Nodejs爬取网站数据并保存为json文件

将抓取的数据保存在json或者csv中, 以便导入数据库.

只需在printInfo方法中,将打印换成写入文件即可,核心代码:

fs.readFile('./xlmw/xlmw_10.json', 'utf8', function (err, data) {
    if (err) console.log(err);
    dataList.forEach(function (item) {
        data += JSON.stringify(item);
    })
    fs.writeFileSync('./xlmw/xlmw_10.json', data, 'utf8', (err) => {
        if (err) throw err;
        console.log('done');
    });
});

注意:

1. 保存时要使用 JSON.stringify()将数据转为字符串;
2. 要想不覆盖文件中的数据,就要先读取,拼接数据再写入.

效果如下:

save_json.gif