当前在线人数19434
首页 - 分类讨论区 - 电脑网络 - 计算机硬件版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
2,000,000封email,怎么处理好?
[版面:计算机硬件][首篇作者:ddeblue] , 2018年01月11日14:12:29 ,1104次阅读,15次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
ddeblue
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: ddeblue (ddeblue), 信区: Hardware
标  题: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 14:12:29 2018, 美东)

工作上要处理大量的email,有2百万封左右,现在公司在用thunderbird,非常慢。老
板让升级一下电脑试试,我就买了 i7 8700k 的cpu 和 samsung 960的 ssd的新电脑,
应该都是非常快的了吧。可是thunderbird的速度更慢了。

请问大神一下,是不是因为 8700k这种gaming cpu不适合处理office文案这类的工作?

还用thunderbird怎么样才能变快些?

谢谢谢谢!
--
※ 来源:·iOS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 68.]

 
yanb
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: yanb (呀), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 14:19:22 2018, 美东)

这种事没啥软件能快
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 107.]

 
amo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: amo (牛肉炖熊掌), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 14:27:57 2018, 美东)

什么形式存在?你要做什么处理?

【 在 ddeblue (ddeblue) 的大作中提到: 】
: 工作上要处理大量的email,有2百万封左右,现在公司在用thunderbird,非常慢。老
: 板让升级一下电脑试试,我就买了 i7 8700k 的cpu 和 samsung 960的 ssd的新电脑,
: 应该都是非常快的了吧。可是thunderbird的速度更慢了。
: 请问大神一下,是不是因为 8700k这种gaming cpu不适合处理office文案这类的工作?
: 还用thunderbird怎么样才能变快些?
: 谢谢谢谢!



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 72.]

 
FangQ
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 4 ]

发信人: FangQ (光芒之神), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 14:30:26 2018, 美东)

【 在 ddeblue (ddeblue) 的大作中提到: 】
: 工作上要处理大量的email,有2百万封左右,现在公司在用thunderbird,非常慢。老
: 板让升级一下电脑试试,我就买了 i7 8700k 的cpu 和 samsung 960的 ssd的新电脑,
: 应该都是非常快的了吧。可是thunderbird的速度更慢了。
: 请问大神一下,是不是因为 8700k这种gaming cpu不适合处理office文案这类的工作?
: 还用thunderbird怎么样才能变快些?
: 谢谢谢谢!


depends on what you meant by "process".

if you want to do simple text match/replacement in those emails, you can use
perl/sed and directly operate in the thunderbird mailbox files.

For example, if all your emails are stored under the Local_FolderInbox in
Thunderbird, you can find this file under a folder (Linux: ~/.thunderbird/
xxxxxxx.default/Mail/Local Folder/Inbox, Windows: C:
UsersUsernameAppDataRoamingThunderbird).

you just delete the Inbox.msf file and run

perl -pi -e 's/replace_from_string/replace_to_string/g' Inbox

or

sed -i 's/replace_from_string/replace_to_string/g' Inbox

this takes only takes 10-20 seconds processing a 5-10GB mailbox file on an
NVME drive.

remember to make a copy before the replacement. you can use regular
expression for the above command to replace more complex patterns.
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 129.]

 
ddeblue
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 5 ]

发信人: ddeblue (ddeblue), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 15:22:07 2018, 美东)

就是下载到公司电脑thunderbird里面,回复邮件,查询搜索邮件,简单的处理。



[在  amo (牛肉炖熊掌) 的大作中提到:]
:什么形式存在?你要做什么处理?
--
※ 来源:·iOS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 68.]

 
ddeblue
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 6 ]

发信人: ddeblue (ddeblue), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 15:26:05 2018, 美东)

我们主要回复邮件,查询搜索邮件,简单的处理。

thunderbird主要是在下载和index邮件的时候特别的慢,经常freeze。 我在
thunderbird里面增加了catch的size到1024M,重启一次就变回到350M默认的catch

[在  FangQ (光芒之神) 的大作中提到:]
:depends on what you meant by "process".
:if you want to do simple text match/replacement in those emails, you can
use perl/sed and directly operate in the thunderbird mailbox files.
:For example, if all your emails are stored under the Local_FolderInbox in
:Thunderbird, you can find this file under a folder (Linux: ~/.thunderbird/
:xxxxxxx.default/Mail/Local Folder/Inbox, Windows: C:
:UsersUsernameAppDataRoamingThunderbird).
:you just delete the Inbox.msf file and run
:perl -pi -e 's/replace_from_string/replace_to_string/g' Inbox
:or
:sed -i 's/replace_from_string/replace_to_string/g' Inbox
:..........
--
※ 来源:·iOS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 68.]

 
chunjuan
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 7 ]

发信人: chunjuan (👍春卷🐱更多春卷👍), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 15:42:45 2018, 美东)

re 这个
这个数量级的话我觉得完全可以存到数据库里面 然后外边做检索和回复

thunderbird其实挺多年没更新 也就最近才开始重新开始开发
我记得win下面都没有64位的安装包 何况你这么大的数据量
【 在 FangQ (光芒之神) 的大作中提到: 】
: depends on what you meant by "process".
: if you want to do simple text match/replacement in those emails, you can
use
:  perl/sed and directly operate in the thunderbird mailbox files.
: For example, if all your emails are stored under the Local_FolderInbox in
: Thunderbird, you can find this file under a folder (Linux: ~/.thunderbird/
: xxxxxxx.default/Mail/Local Folder/Inbox, Windows: C:
: UsersUsernameAppDataRoamingThunderbird).
: you just delete the Inbox.msf file and run
: perl -pi -e 's/replace_from_string/replace_to_string/g' Inbox
: or
: ...................




--
※ 修改:·chunjuan 於 Jan 11 16:46:10 2018 修改本文·[FROM: 192.]
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 192.]

 
amo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 8 ]

发信人: amo (牛肉炖熊掌), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 16:31:38 2018, 美东)

可以存到老克家地下室

【 在 chunjuan (👍春卷🐱更多春卷👍) 的大作中提到: 】
: re 这个
: 这个数量级的话我觉得完全可以存到数据库里面 然后外边做检索和回复
: use



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 72.]

 
chunjuan
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 9 ]

发信人: chunjuan (👍春卷🐱更多春卷👍), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 16:59:02 2018, 美东)

嗯 直接发信让nsa帮着检索 然后存到收信人桌面上
【 在 amo (牛肉炖熊掌) 的大作中提到: 】
: 可以存到老克家地下室



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 192.]

 
FangQ
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 10 ]

发信人: FangQ (光芒之神), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 17:21:21 2018, 美东)

【 在 ddeblue (ddeblue) 的大作中提到: 】
: 我们主要回复邮件,查询搜索邮件,简单的处理。
: thunderbird主要是在下载和index邮件的时候特别的慢,经常freeze。 我在
: thunderbird里面增加了catch的size到1024M,重启一次就变回到350M默认的catch


you don't want to put everything under a single inbox folder. it just make
that file huge in size.

split those into multiple folders, manually, or automatically using filters,
see instructions


http://support.mozilla.org/en-US/questions/1027435
http://computing.artsci.wustl.edu/help/194
http://support.mozilla.org/en-US/kb/organize-your-messages-using-filters#w_move-to-a-folder

this way, each folder contains a fraction of emails, easy to index, easy to
navigate.

My thunderbird manages all my past emails (I kept at least those for the
past 10 years, older ones are backed up and removed). Once a folder grows to
a point, I will create a folder in the format of the year under a folder
named Archives, and move all emails of that year to that folder. I have had
little issue navigate/search in those folders.
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 129.]

 
FangQ
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 11 ]

发信人: FangQ (光芒之神), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 17:28:04 2018, 美东)

【 在 chunjuan (👍春卷🐱更多春卷👍) 的大作中提到: 】
: re 这个
: 这个数量级的话我觉得完全可以存到数据库里面 然后外边做检索和回复
: thunderbird其实挺多年没更新 也就最近才开始重新开始开发
: 我记得win下面都没有64位的安装包 何况你这么大的数据量

thunderbird uses sqlite under the hood, you can load the .sqlite file
directly to sqlite3, or use an extension

http://support.mozilla.org/en-US/kb/rebuilding-global-database
http://developer.mozilla.org/en-US/docs/Mozilla/Thunderbird/Thunderbird_extensions/HowTos/Common_Thunderbird_Extension_Techniques/Use_SQLite

there were regular updates, both on linux and windows. My thunderbird on one
of my remote windows desktop was installed circa 2005, and has been
automatically upgraded since (copied from winxp to win7 once, but never
reinstalled).

--
※ 修改:·FangQ 於 Jan 11 17:35:08 2018 修改本文·[FROM: 129.]
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 129.]

 
FangQ
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 12 ]

发信人: FangQ (光芒之神), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 17:32:19 2018, 美东)

【 在 ddeblue (ddeblue) 的大作中提到: 】
: 就是下载到公司电脑thunderbird里面,回复邮件,查询搜索邮件,简单的处理。
: [在  amo (牛肉炖熊掌) 的大作中提到:]
: :什么形式存在?你要做什么处理?

so, you are not "processing" 2 million emails, really, you just want to
process new incoming emails to an Inbox with 2 mil existing emails.

in that case, all you need to do is to create a new folder, move most of the
existing emails to the folder, and the compress. after that, your default
inbox will be responsive again.

also, delete junks and compress regularly, I doubt all your emails are worth
keeping.

--
※ 修改:·FangQ 於 Jan 11 17:33:53 2018 修改本文·[FROM: 129.]
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 129.]

 
chunjuan
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 13 ]

发信人: chunjuan (👍春卷🐱更多春卷👍), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 17:56:20 2018, 美东)

https://news.ycombinator.com/item?id=15963223
我用tb也十几年了 不过这几年确实一直没有大的改进
特别是calendar那块 和exchange server对接后邮件的处理也是

不过真还不知道他用的是sqlite 之前迁移profile 倒是看到.db 没往那边想
【 在 FangQ (光芒之神) 的大作中提到: 】
: thunderbird uses sqlite under the hood, you can load the .sqlite file
: directly to sqlite3, or use an extension
: http://support.mozilla.org/en-US/kb/rebuilding-global-database
: http://developer.mozilla.org/en-US/docs/Mozilla/Thunderbird/Thunderbird_extensions/HowTos/Common_Thunderbird_Extension_Techniques/Use_SQLite
: there were regular updates, both on linux and windows. My thunderbird on
one
:  of my remote windows desktop was installed circa 2005, and has been
: automatically upgraded since (copied from winxp to win7 once, but never
: reinstalled).



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 192.]

 
gogogo2
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 14 ]

发信人: gogogo2 (googlebot), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Thu Jan 11 22:38:28 2018, 美东)

用gmail,search天下无敌,比如何客户端都强,
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 170.]

 
ddeblue
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 15 ]

发信人: ddeblue (ddeblue), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Sun Jan 14 18:21:28 2018, 美东)

谢谢大神,做了以下几点,现在好多了。

1. 信多的文件夹分成多个文件夹。
2. 不用的email就在gmail里面备份。在gmail里面archive不需要的email,并且加上
label,这些label选择不下载到IMAP,这样就不会显示在thunderbird里面。偶尔需要
这些email,就到gmail里面去找。
3. 勾选自动compress email。这个不知道有什么效果。之前也在自动compress,只是
有的时候compress的时候,thunderbird就freeze,反而更慢了。



[在  FangQ (光芒之神) 的大作中提到:]
:you don't want to put everything under a single inbox folder. it just
make
:that file huge in size.
:split those into multiple folders, manually, or automatically using filters
, see instructions
:http://support.mozilla.org/en-US/questions/1027435
:http://computing.artsci.wustl.edu/help/194
:http://support.mozilla.org/en-US/kb/organize-your-messages-using-filters#w_move-to-a-folder
:this way, each folder contains a fraction of emails, easy to index, easy to
navigate.
:My thunderbird manages all my past emails (I kept at least those for the
:past 10 years, older ones are backed up and removed). Once a folder grows
to a point, I will create a folder in the format of the year under a folder
:named Archives, and move all emails of that year to that folder. I have had
little issue navigate/search in those folders.
--
※ 来源:·iOS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 68.]

 
dsb
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 16 ]

发信人: dsb (大手笔), 信区: Hardware
标  题: Re: 2,000,000封email,怎么处理好?
发信站: BBS 未名空间站 (Sun Jan 14 23:28:40 2018, 美东)

thunderbird处理你几百万email完全没问题,我的thunderbird的mail folder都几百G
了也没见慢。你的问题是email不是日积月累逐渐增加的,而是一次处理几百万,如果
你开index的话自然就死机了

所以把thunderbird的global index关了,然后进mail folder把你的mailx文件copy到
folder里,再打开thunderbird,把email分类,然后对每个folder逐个建index. 完成后
再开global index.

compact的意思是说把你删掉的email从系统里删除---thunderbird并不删email,删的只
是sqlite的index.所以你看不到email了,但email其实还在。

thunderbird其实就是当年linux上的mailx加个图形界面,这玩意现在的blade server
上几乎是企业邮件一半的江山,


【 在 ddeblue (ddeblue) 的大作中提到: 】
: 谢谢大神,做了以下几点,现在好多了。
: 1. 信多的文件夹分成多个文件夹。
: 2. 不用的email就在gmail里面备份。在gmail里面archive不需要的email,并且加上
: label,这些label选择不下载到IMAP,这样就不会显示在thunderbird里面。偶尔需要
: 这些email,就到gmail里面去找。
: 3. 勾选自动compress email。这个不知道有什么效果。之前也在自动compress,只是
: 有的时候compress的时候,thunderbird就freeze,反而更慢了。
: [在  FangQ (光芒之神) 的大作中提到:]
: :you don't want to put everything under a single inbox folder. it just
: make
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 74.]

[分页:1 ]
[快速返回] [ 进入计算机硬件讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996