Nodejs下实现邮件的同步读取 1

项目需求

之前两篇文章风别对codeceptjs框架进行了基本的介绍【1】,并用codecept搭建了第一个测试框架【2】。Codeceptjs有许多优点,其中一条就是将许多异步调用包装成了同步调用。文档【3】中有一段描述:“ Tests are written in a synchronous way. This improves the readability and maintainability of tests. While writing tests you should not think about promises. You should focus on the test scenario.”意思是说,测试case是以同步的方式写成的。这一方式提高了测试case的可读性和可维护性。所以,在开发测试case的时候,你可以专注于测试scenario,而不用考虑promise。我想,作者写这段话的意思是突出I对象的特性,而不是说在codeceptjs中完全不需要为异步操作采取额外的步骤。例如,在我们当前的项目中,就需要到制定邮箱内读取邮件的内容,标准的codeceptjs的I对象并没有提供现成的方法,也就是说我们需要自己扩展codeceptjs实现这一功能。很高兴的是网上已经有很多牛人提供了现成的解决方案,尽管都不能完全满足我们的需求。站在巨人的肩膀上,我们提出了一个难称完美却差强人意的方案,谨在此分享,请大家斧正。

工具库选择imap

对于从邮箱中读取邮件,node-imap是较为常用的IMAP客户端模块【4】。和大多数nodejs核心API一样, node-imap构建于异步事件驱动模式。在这种模式下,一种被称为emitter的对象会发出event,event会引起一些被称作listener的function调用【5】。

stream.on('data', function(chunk) {
    buffer += chunk.toString('utf8');
});

类似的代码可能会引起java程序员(比方说我)的不适,因为这里的一切都是异步调用。而java提供的同步顺序调用【6】可能会更加适合java程序员的胃口。

    String emailHost = "email.box";
    String userEmail = "username";
    String password = "password";
    props.setProperty("mail.store.protocol", "imaps");
    props.setProperty("mail.imap.starttls.enable", "true");
    props.setProperty("mail.imap.ssl.enable", "true");

    // Get a Session object
    Session session = Session.getInstance(props, null);
    session.setDebug(true);
    Store store = session.getStore("imaps");
    store.connect(emailHost, userEmail, password);
    
    // Open the Folder
    String mailBox = "inbox";
    Folder folder = store.getDefaultFolder();
    ...
    // term for search
    String subject = "XXXX";

    SearchTerm term = new SubjectTerm(subject);

    // get msgs
    Message[] msgs = folder.search(term);
            ...

如果是javascript,要想实现同步的效果,必须将一切操作放入promise中。首先创建imap连接:

const imap = new Imap({
    user: '$user',
    password: '$password',
    port: 993,
    host: '$host',
    tls: true
});

其次,将打开imap连接的操作用promise包起来。打开连接后的操作将作为‘ready’事件的callback函数被调用:

function connectAsync() {
    return new Promise(function (resolve, nay) {
        imap.on('ready', resolve);
        imap.connect();
    });
}

再其次,将打开mailbox的操作用promise包起来。打开mailbox后的操作将作为打开事件的callback函数被调用:

function openBoxAsync(name, readOnly) {
    return new Promise(function (resolve, nay) {
        imap.openBox(name, readOnly, function (err, mailbox) {
            if (err) nay(err); else resolve(mailbox);
        });
    });
}

打开mailbox之后,调用imap提供的api,按照查询条件获得目标message集合。同样将这一步操作放入promise:

function searchForMessages(startData) {
    return new Promise(function (resolve, nay) {
        imap.seq.search([['SINCE', startData], ['SUBJECT', '$My_subject']], function (err, result) {
            if (err) nay(err); else resolve(result);
        });
    });
}

对于按照查询条件获得的目标message集合中的每一封邮件,只选取我们需要的信息:

function getMailAsync(request, process) {
    return collect_events(request, 'message', 'error', 'end', process || collectEmailAsync, true);
}

这里collect_events是一个公用函数,用于等待一系列由相同类型event触发的并行处理的callback函数全部执行完毕,并将结果以集合的形式返回:

function collect_events(thing, good, bad, end, munch, isFetch = false) { // Collect a sequence of events, munching them as you go if you wish.
    return new Promise(function (yay, nay) {
        const ans = [];
        thing.on(good, function () {
            const args = [].slice.call(arguments);
            ans.push(munch ? munch.apply(null, args) : args);
        });
        if (bad) thing.on(bad, nay);
        thing.on(end, function () {
            Promise.all(ans).then(yay);
            if (isFetch) {
                imap.end();
            }
        });
    });
}

对于每封邮件,仅处理其body事件:

function collectEmailAsync(msg, seq) {
    return new Promise(
        function (resolve, nav) {
            const rel = collect_events(msg, 'body', 'error', 'end', collectBody)
                .then(function (x) {
                    return (x && x.length) ? x : null;
                })
            resolve(rel);
        });

}

每封邮件body事件会返回一个stream,处理其‘data’事件,并将data事件中获得的数据拼接起来,组成字符串:

function collectBody(stream, info) {
    return new Promise(
        function (resolve, nay) {
            const body = collect_events(stream, 'data', 'error', 'end')
                .then(function (bits) {
                    return bits.map(function (c) {
                        return c.toString('utf8');
                    }).join('');
                })
            ;
            resolve(body);
        }
    );
}

最终将各个方法以promise chain的形式串起来,就能以同步的方式得到想要的结果,详细代码请参照github【8】:

async function f(startData = '$start_date') {
    let emailBody = await connectAsync().then(function () {
        console.log('connected');
    }).then(
        function () {
            return openBoxAsync('INBOX', true);
        }
    ).then(function () {
        return searchForMessages(startData);
    }).then(
        function (result) {
            return getMailAsync(
                imap.seq.fetch(result, {bodies: ['HEADER.FIELDS (FROM)', 'TEXT']})
                ,
                function (message) {
                    // For each e-mail:
                    return collectEmailAsync(message);
                }
            );
        }
    ).then(function (messages) {
        console.log(JSON.stringify(messages, null, 2));
        return messages[messages.length-1][1];
    })
        .catch(function (error) {
            console.error("Oops:", error.message);
            imap.end();
        })
    console.log(emailBody);
}

问题1

上面的imap能很好的同邮箱建立连接,并通过回调函数读取符合查询条件的邮件。但是有一个致命的问题,它是异步的,也就是说,不能直接用于codeceptjs的scenario中。做了一些调查,有一个叫做imap-promise的模块【8】,实现了打开邮箱和读取邮件的同步调用。但是仍然存在两个问题。第一,该模块是一个大而全的通用方案,能读取邮件的所有内容,包括header,body,以及各个属性和附件(很牛!),因此使用起来比较复杂。而第二个问题就比较致命了,它通过关闭进程的方式保障邮箱连接的关闭,难以置信!因此,需要进一步的完善。首先,简化对邮件内容的读取,其次,提供同步的方法关闭连接。

问题2

修改后的代码仍然不能满足需求,至少在两个方面需要改进。首先是实现同步关闭连接的方法必须和读取邮件的“配对使用”。 其次,当多次调用读取邮件的方法时候,会引起emitter MaxListeners error。将在下一篇文章中继续讨论。

【1】浅析 codeceptjs
【2】第一个codeceptjs测试框架
【3】How it works
【4】imap
【5】events_emitter_once_eventname_listener
【6】java mail
【7】test_imap_sample.js
【8】imap-promise

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,509评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,806评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,875评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,441评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,488评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,365评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,190评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,062评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,500评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,706评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,834评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,559评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,167评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,779评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,912评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,958评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,779评论 2 354

推荐阅读更多精彩内容