ExtMail服务器社区 » Postfix在中国 » 如何提高发送大量邮件的效率

xuledw 发表于 2010-6-24 18:35

如何提高发送大量邮件的效率

说明下：postfix搭建的smtp
default_destination_recipient_limit = 1000做了调整［想要抄送提高效率不知可行否］
4W封邮件 要求在10小时之类发送完毕 比较好的解决方案 还不能连接如163之类的过多 而造成被封
说明下我的这4W多都是网站的邮件订阅用户，非垃圾邮件
说下目前情况每天发送3W多封，凌晨开始发送大概12点左右发送完成 简单情况见后面
简单说明下，程序调用发送的 几乎是sleep一秒发送一个［所有接收者收到的都是同一封相同内容的邮件］
现在针对发送缓慢有何优化
想法1
1秒内增加抄送用户数 比如1秒内打乱用户邮件列表 每次抄送大概20封不同域名的邮箱［这个调度算法可能是个问题有点麻烦］
如下：

Jun 24 17:31:53 zhujiming postfix/qmgr[8217]: 282691D88014: from=<[email]mailtotuan@mailto.com[/email]>, size=853, nrcpt=5 (queue active)
Jun 24 17:31:53 zhujiming postfix/smtp[12785]: 282691D88014: to=<[email]lxu@mailto.com[/email]>, relay=mail.mailto.com[60.28.205.198]:25, delay=0.07, delays=0.05/0/0.01/0.02, dsn=2.0.0, status=sent (250 2.0.0 o5O9Vt9m016320 Message accepted for delivery)
Jun 24 17:31:53 zhujiming postfix/smtp[19130]: 282691D88014: to=<[email]hellodw@163.com[/email]>, relay=163mx01.mxmail.netease.com[220.181.12.58]:25, delay=0.35, delays=0.05/0/0.08/0.22, dsn=2.0.0, status=sent (250 Mail OK queued as mx8,OsCowKD7n7cJJiNMIdSTAA--.1835S2 1277371913)
Jun 24 17:31:53 zhujiming postfix/smtp[19741]: 282691D88014: to=<[email]mailto@sohu.com[/email]>, relay=sohumx1.sohu.com[220.181.26.202]:25, delay=0.42, delays=0.05/0.01/0.09/0.28, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 9664326F223)
Jun 24 17:31:53 zhujiming postfix/smtp[3370]: 282691D88014: to=<[email]mailtojuxin@qq.com[/email]>, relay=mx2.qq.com[112.90.138.98]:25, delay=0.5, delays=0.05/0/0.12/0.33, dsn=2.0.0, status=sent (250 Ok: queued as )
Jun 24 17:31:53 zhujiming postfix/smtp[25191]: 282691D88014: to=<[email]hellodw@126.com[/email]>, relay=126mx02.mxmail.netease.com[220.181.15.192]:25, delay=0.59, delays=0.05/0/0.13/0.41, dsn=2.0.0, status=sent (250 Mail OK queued as mx12,wMmowLDrj68EJiNMIu8kAA--.275S2 1277371908)
Jun 24 17:31:53 zhujiming postfix/qmgr[8217]: 282691D88014: removed

想法2 是否可以增加多个服务器来解决？有没有必要［自己考虑这样可以配置多个来发送我的邮件而防治我的单个域名短时间内频繁连接邮件运营商的服务器］
比如原来的域名是[email]abc@abc.com[/email]
DNS 中
@ IN MX 10 mail.abc.com
我增加
@ IN MA 10 bjmail.abc.com
我再搭建一个bjmail.abc.com的邮件服务器 作为我的relay的服务器发送者放到白名单 还是[email]abc@abc.com[/email]最终用户收到邮件不受影响。

谢谢各位能给些建议，和如何优化来提高发送效率

我的目前发送量大概是3W多
Mail log analysis - Jun 23
-------------------------
Summary
all send=32999
all success=32118
Success Rate:  97.3300%
Unknow user: 116
failueruser: 881
-------------------------
all success list head 40
   7039 163.com
   4017 126.com
   3760 hotmail.com
   3296 sina.com
   2753 qq.com
   2375 gmail.com
   2336 yahoo.com.cn
   1478 sohu.com
    657 yahoo.cn
    293 tom.com
    275 139.com
    197 live.cn
    176 vip.sina.com

tinazhou004 发表于 2010-6-24 21:26

回复 1# xuledw 的帖子

我之前有在群里发了些关于邮件速度控制方面的帖子，可以共同研究下[url]http://www.extmail.org/forum/thread-15156-1-2.html[/url] 看了下您的发送，网易的发送量是最多的奥，我们现在最麻烦的也是网易的邮箱，老是进垃圾邮箱，请问你们是如何解决的呢？还有网易的对内容过滤貌似也很紧，不知道怎么解决！  谢谢

xuledw 发表于 2010-6-25 09:04

对于网易的邮件 根据返回日志可以降低发送频率，另外对内容做优化 标题可以加AD字样 标示为广告，这样 进入垃圾的可能性比较下。如果是网站的真实用户，建议接收者将您的发送者放入白名单

tinazhou004 发表于 2010-6-25 10:11

回复 4# xuledw 的帖子

您好，非常感谢您的指点，我想加您qq可以吗？对于内容的优化方面我们也在总结一些方法，但是不知道什么样的邮件内容符合对方的要求，不知您有没有总结，急切希望能得到您的帮助，谢谢！

tinazhou004 发表于 2010-6-25 10:13

回复 4# xuledw 的帖子

以前有问过网易的管理员为什么会进垃圾邮箱，后面所有邮件就被挡，对方的回复是：

与我方历史收录到的垃圾邮件比较，该邮件具有若干垃圾邮件特征
请作出适当调整
2010-06-08- 管理员
所以对内容方面希望能得到您的指点！非常感谢！

tinazhou004 发表于 2010-6-25 10:22

回复 4# xuledw 的帖子

刚刚有试了下您说的 “标题可以加AD字样 标示为广告” 的确之前进垃圾邮箱的邮件进了广告这一项，可是这和进收件箱还是有差别的哈，不知道合适不合适，但也就发现网易有广告邮件这一项，其他邮箱貌似没有！

xuledw 发表于 2010-6-25 10:58

说明下还有个参数
default_process_limit = 100
in_flow_delay = 1s
假设同一时间内堆积100个过来---同事抄送20个分散域名
那么同一秒可以外发100*20封邮件［2000］
昨天程序改了调度算法。是通过default_process_limit = 100这个参数实现的
结果大致如下：Mail log analysis - Jun 25
        -------------------------
        Summary
        all send=29936
        all success=28311
        Success Rate:  94.5700%
        Unknow user: 127
        failueruser: 1625
        -------------------------
        all success list head 40
          5958 163.com
          3388 126.com
          3237 hotmail.com
          2769 sina.com
          2362 qq.com
          2032 gmail.com
          1248 sohu.com
           442 yahoo.com.cn
           200 139.com
           178 live.cn
           138 yeah.net
           136 vip.sina.com
           136 sina.com.cn
           129 msn.com
            83 yahoo.cn
            83 263.net
            76 foxmail.com

tinazhou004 发表于 2010-6-25 12:35

回复 8# xuledw 的帖子

你是观察邮件的发送成功率是吗？其实那些参数是和发送速度关系比较大，当然对发送成功率也是有影响的

xuledw 发表于 2010-6-25 13:00

[quote]原帖由 [i]tinazhou004[/i] 于 2010-6-25 12:35 发表 [url=http://www.extmail.org/forum/redirect.php?goto=findpost&pid=79842&ptid=15331][img]http://www.extmail.org/forum/images/common/back.gif[/img][/url]
你是观察邮件的发送成功率是吗？其实那些参数是和发送速度关系比较大，当然对发送成功率也是有影响的 [/quote]
是的 需要成功率的统计
另外就是效率
25号的all send=29936这么些邮件 用来不到3个小时 效率还是可以的

xuledw 发表于 2010-6-25 14:05

其实很多都是瞎扯  申请白名单最重要
主要是群发都有可能会被过掉
我们老板这里有点关系所以163,sohu,sina,qq都给放了白名单了 即使这样不做好优化 发送还是会被拒

tinazhou004 发表于 2010-6-25 15:31

回复 11# xuledw 的帖子

哈哈，谢谢您的消息，原来国内真的会这样，晕死！还不知道网易也有白名单！再说你的问题，其实3个小时将近3万，其实效率还可以，差不多这种速度吧，我现在感觉可以调整速度的参数是
default_destination_concurrency_limit = (是用来调控到同一个目的地的并发数，其实感觉是对所有域都调控在内，也是最有用的)
initial_destination_concurrency = (是默认的postfix第一次尝试发送时的并发数)
default_process_limit = (默认的进程数100。但还没搞清楚对邮件发送的真正影响)
最主要感觉就这几个，研究的也不是很清楚，本来是想得出一个公式，可以拿每次发送数量就可以计算出要花多少时间，也正在研究中

tinazhou004 发表于 2010-6-25 16:00

回复 11# xuledw 的帖子

对奥，还没向您请教，优化方面都包含哪些呢？感觉特别是内容，不知道有哪些注意点，可能会比较细点，不知道能不能赐教！谢谢！

tinazhou004 发表于 2010-6-29 19:19

回复 11# xuledw 的帖子

请问方便赐教吗？关于内容的规范方面，最近被网易折腾的不轻

tinazhou004 发表于 2010-7-7 10:57

回复 11# xuledw 的帖子

请问，你对邮件发送效率有什么进展，随便问下，你 们发往网易的邮件都是加（AD）的吗？谢谢！

xuledw 发表于 2010-7-9 11:39

其实最根本的是加白名单了 说什么优化都是白搭
我们这里对sohu sina yahoo qq发送都遇到问题 打过招呼加了白名单之后
效率98％以上都OK
现在剩下的问题就是解决少量的tom用户和21cn用户的
Said: 553 this mail is blocked by kbas system,blockid=bjmx22.tom.com
这个问题
本论坛也看到些例子
另外关于QQ的有个他域邮箱管理 可以申请的看看 另外提交公司信息报备

liushaobo 发表于 2010-7-10 11:02

:lol ，你付钱给163.sohu 等就可以了

smallthing 发表于 2010-7-15 03:36

看你的日志觉得还是随机生成邮箱地址…………

xuledw 发表于 2010-8-18 11:27

[quote]原帖由 [i]smallthing[/i] 于 2010-7-15 03:36 发表 [url=http://www.extmail.org/forum/redirect.php?goto=findpost&pid=80241&ptid=15331][img]http://www.extmail.org/forum/images/common/back.gif[/img][/url]
看你的日志觉得还是随机生成邮箱地址………… [/quote]
那个是自己手动改的邮件地址，不要张扬 呵呵

查看完整版本: 如何提高发送大量邮件的效率