afl++ parallel分析

afl++源码为例。分析slave在同步master的queue case的逻辑过程

parallel_fuzzing.md文档中提到,只有main节点才会和所有其他节点同步,secondary节点只会和main节点同步。

For performance reasons only -M main node syncs the queue with everyone, the -S secondary nodes will only sync from the main node.

如果是slave或者afl_import_first定义为1,或者queue_cycle为1,刚开始会进行一次同步。slave不会在每次fuzz_one结束后都进行和master的同步,而是每5次(由SYNC_INTERVAL宏定义控制)的fuzz_one后进行一次同步。

// afl-fuzz.c
skipped_fuzz = fuzz_one(afl);

if (!skipped_fuzz && !afl->stop_soon && afl->sync_id) {

    if (!(sync_interval_cnt++ % SYNC_INTERVAL)) { sync_fuzzers(afl); }

}

然后进入位于afl-fuzz-run.csync_fuzzers函数中。
首先扫描sync下的所有除了自身的fuzz实例文件夹。如果扫描者是slave的话,目标扫描的就是master fuzz。而是否是master fuzz是由在对应fuzz文件夹中是否有is_main_node文件来判断的

// afl-fuzz-run.c
sd = opendir(afl->sync_dir);
if (!sd) { PFATAL("Unable to open '%s'", afl->sync_dir); }

afl->stage_max = afl->stage_cur = 0;
afl->cur_depth = 0;

/* Look at the entries created for every other fuzzer in the sync directory.
*/

while ((sd_ent = readdir(sd))) {

    u8  qd_synced_path[PATH_MAX], qd_path[PATH_MAX];
    u32 min_accept = 0, next_min_accept;

    s32 id_fd;

    /* Skip dot files and our own output directory. */

    if (sd_ent->d_name[0] == '.' || !strcmp(afl->sync_id, sd_ent->d_name)) {

        continue;

    }

    entries++;
...

然后在确保目标fuzz目录下有queue文件夹后,扫描该queue文件夹下的所有用例,获取queue中的test case数量


    /* Skip anything that doesn't have a queue/ subdirectory. */

    sprintf(qd_path, "%s/%s/queue", afl->sync_dir, sd_ent->d_name);

    struct dirent **namelist = NULL;
    int             m = 0, n, o;

    n = scandir(qd_path, &namelist, NULL, alphasort);

    if (n < 1) {

      if (namelist) free(namelist);
      continue;

    }

然后在slave的.synced文件夹下面创建一个名为当前被扫描的fuzz示例名字的文件(文件内容为index。用于标注当前已经扫描存储进来的test case的index,即该index从0开始,逐一获取main queue里的id:index测试用例,并递增更新对应的index),

源码中n变量表示queue中的test case总数,m变量表示queue中未获取过的test case的最小index。此处mn分别表述了我们要从目标queue中获取test case的最小索引和最大索引界限。
之后o变量从n-1开始,不断递减直到m,然后获取每个索引为o的test case

o = n - 1;

while (o >= m) {

    s32         fd;
    struct stat st;

    sprintf(path, "%s/%s", qd_path, namelist[o]->d_name);
    afl->syncing_case = next_min_accept;
    next_min_accept++;
    o--;

    /* Allow this to fail in case the other fuzzer is resuming or so... */

    fd = open(path, O_RDONLY);

    if (fd < 0) { continue; }

    if (fstat(fd, &st)) { WARNF("fstat() failed"); }

    /* Ignore zero-sized or oversized files. */

    if (st.st_size && st.st_size <= MAX_FILE) {
... // 对每个o索引的test case的一系列操作
    }

    close(fd);

}

然后在每一轮对o索引的test case的一系列操作如下

u8  fault;
u8 *mem = mmap(0, st.st_size, PROT_READ, MAP_PRIVATE, fd, 0);

if (mem == MAP_FAILED) { PFATAL("Unable to mmap '%s'", path); }

/* See what happens. We rely on save_if_interesting() to catch major
    errors and save the test case. */

write_to_testcase(afl, mem, st.st_size);

fault = fuzz_run_target(afl, &afl->fsrv, afl->fsrv.exec_tmout);

if (afl->stop_soon) { goto close_sync; }

afl->syncing_party = sd_ent->d_name;
afl->queued_imported +=
    save_if_interesting(afl, mem, st.st_size, fault);
afl->syncing_party = 0;

munmap(mem, st.st_size);

主要过程为

  • 读入test case
  • 将读入的test case经过write_to_testcase函数,设置到afl状态中对应的buf中,并写出到testcase文件。此处write_to_testcase不一定是将原始的test case直接写入buf中,如果有afl_custom_post_process的话,会调用它对test case进行后续处理再写入buf中,再写出到testcase文件。
  • 跑一次fuzz_run_target看看是否超时
  • 然后经过一次save_if_interesting的测试来执行一次目标程序的运行,如果intestest的话,会把test case加入queue并返回1.即如果interest的话,queued_imported会被设置为1.

最后就是各种清理工作了。

如果整个过程slave并没有找到master的话,它会把自己当作master并设置对应的is_main_node文件。
此处注释中说,如果多个slave同时没有找到master,将自己设置为main的时候可能会有race condition,但这个没有问题。因为在下一次运行的时候,这个slave如果在找到master的时候,他自己临时的is_main_node会被删除。

  // If we are a secondary and no main was found to sync then become the main
  if (unlikely(synced == 0) && likely(entries) &&
      likely(afl->is_secondary_node)) {

    // there is a small race condition here that another secondary runs at the
    // same time. If so, the first temporary main node running again will demote
    // themselves so this is not an issue

    u8 path[PATH_MAX];
    afl->is_main_node = 1;
    sprintf(path, "%s/is_main_node", afl->out_dir);
    int fd = open(path, O_CREAT | O_RDWR, 0644);
    if (fd >= 0) { close(fd); }

  }
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352