在使用简书导出内容的时候，大家都会遇到的一个问题就是图片并没有一并导出。所以需要一些手段来进行爬取。
文章导出
在简书的设置下面，就有一键导出的按钮，可以将 markdown 全部下载到本地。
所有 markdown 文件路径查询
const fs = require("fs");
const recursiveQueryFile = (path) => {
const children = fs.readdirSync(path);
return {
path,
children: children.map((child) => {
const childPath = path + "/" + child;
const stat = fs.statSync(childPath);
if (stat.isDirectory()) {
return recursiveQueryFile(path + "/" + child);
} else {
return {
path: childPath,
isFile: true,
};
}
}),
};
};
const paths = recursiveQueryFile("../docs");
由于目录中可能嵌套着目录，所以需要用递归的方式来查到所有 markdown 文件的路径。
将递归的树形结构路径变为一个路径数组
const allFilePaths = [];
function getFilePaths(arr) {
arr.forEach((item) => {
if (item.children) {
getFilePaths(item.children);
}
if (item.isFile) {
allFilePaths.push(item.path);
}
});
}
getFilePaths(paths.children);
获取所有 md 文件下面的图片地址
const fs = require("fs");
const imgList = [];
allFilePaths.forEach((path) => {
const data = fs.readFileSync(path, "utf-8");
const matchResults = data.match(/!\[\S+\]\(\S+\)/g);
if (matchResults) {
matchResults.forEach((str) => {
let url = str.replace(/!\[\S+\]\(/, "");
url = url.replace(")", "");
imgList.push(url);
});
}
});
逐个请求 URL 并将数据保存到本地
const request = require("request");
const fs = require("fs");
// 逐个请求 URL，并将图片下载到本地
const map = {};
async function queryAll() {
let i = 1;
for (const url of imgList) {
map[url] = `/public/imgs/${i}.webp`;
request({ url }).pipe(
fs
.createWriteStream(`../app/public/imgs/${i}.webp`)
.on("close", (err) => {
if (err) {
console.log("写入失败", err);
} else {
console.log("写入成功");
}
})
);
i++;
await waitForTimeout(100);
}
console.log("map", map);
fs.writeFileSync("./map.json", JSON.stringify(map)); // 保存下 URL 对应的图片名称
}
queryAll();
// 等待时间
function waitForTimeout(time) {
return new Promise((resolve, reject) => setTimeout(resolve, time));
}
用本地图片路径替换 md 中的远程图片路径
const mapStr = fs.readFileSync("./map.json", "utf-8");
const map = JSON.parse(mapStr);
allFilePaths.forEach((path) => {
let data = fs.readFileSync(path, "utf-8");
if (data.match(/!\[\S+\]\(\S+\)/g)) {
Object.keys(map).forEach((key) => {
data = data.replace(key, map[key]);
});
fs.writeFileSync(path, data);
}
});
最后
如此一来就愉快地完成了简书搬家
