利用node.js 抓取网站上的img src 地址
并下载到本地文件夹
-下面代码附讲解
-node.js 下载地址：https://nodejs.org/en/
//设置常量http 导入http模块
const http = require("http");
//设置常量fs 导入fs file system 文件管理系统
const fs = require("fs");
//抓取图片的地址 img_url
var img_url = "http://sc.chinaz.com/tupian/renwutupian.html"
//设置空字符串网页内容 后面要把网页的数据存到html_content 字符串变量中
var html_content = ""
//设置 空数组 images 存储后面截取的img src
var images = []
//http 获取网络url 把得到的res 取出
http.get(img_url, (res) => {
//监测 res 获取 数据data 开始
res.on("data", (data) => {
console.log("开始获取数据")
//因为获取到的data 是二进制数据 将data toString() 转换为字符串 存到html_content变量中
html_content += data.toString()
// console.log(html_content)
})
//检测获取结束
res.on("end", () => {
console.log("获取数据结束")
//Reg 正则表达式
//这里的正则表达式 因为我测试的这个链接地址是src2
//具体表达式因抓取环境更改😁
var imgReg = /<img.*src2="(.+?)".*?>/g
//将html_content 用正则表达式 截取 数据
//回调函数中第一个接收的数据是 img 的标签 <img src =" src内容">
//第二个数据是 img 标签里面的 src内容
html_content.replace(imgReg, (image_biaoqian, image_src) => {
//将img标签里的src内容 push到 前面创建的空数组 images里
images.push(image_src)
// console.log(image_src)
})
//遍历图片数组中的数据，下载每一张图片
//item 数组元素 i 数组元素下标
images.forEach((item, i) => {
//save_img_fn 保存图片的方法
save_img_fn(item, i)
})
})
})
//下载图片的方法
//将遍历图片里传入的item i 接收
function save_img_fn(item, i) {
//开始检测 item 这里的item 就等于 每一个图片的链接
http.get(item, (res) => {
//开始监测获得的数据
res.on("data", (data) => {
//将获得的数据 用拼接数据的方式 将 获得的数据data 拼接到路径./images/中
//命名方式以元素下标命名
fs.appendFile("./images/" + i + ".jpg", data, (err) => {})
})
//监测结束
res.on("end", () => {
})
})
}
