采集系列文章
爬虫软件的介绍及案例说明(文章链接)
案例一:采集京东商品列表页数据(文章链接)
▶案例二:采集京东商品详情(本文)
案例三:采集京东商品评论(文章链接)
案例四:采集花瓣网的图片(文章链接)
附加:如何通过链接URL批量下载图片(文章链接)
当你想收集京东商品详情,比如商品基本信息、店铺信息、促销信息、商品轮播图时,本文能够帮助你快速收集你想要的信息。
一、结果预览
采集结果除了商品和店铺的基本信息,还包括促销赠品、优惠券信息、促销信息以及商品基本参数等。
二、工具
1、八爪鱼采集工具
官网下载、安装、注册及登录后,就能直接使用,操作过程十分简单,故略过程!
三、采集总体步骤
1、使用八爪鱼采集器爬取京东商品列表信息,目的是批量获得商品商详页的链接(具体内容请查看采集案例一:采集京东商品列表页)
2、使用上面收集的商详页链接和八爪鱼采集器,爬取商品详情信息,将采集的信息保存为Excel(本文内容)
3、根据八爪鱼采集到的轮播图片链接URL,批量下载轮播图
☆八爪鱼不能直接爬取图片,只能爬取图片链接URL,如果想批量下载图片,请查看“如何通过链接URL批量下载图片”
四、制定采集目标
Step 1:查看京东商品详情页中的信息组成部分,并明确每一部分的属性。如下图,商品标题、商品价格、优惠券信息、促销信息、商品介绍等是以文本的形式呈现的,可以直接用采集器采集;而轮播图是以图片的形式呈现的,采集器只能采集到相应的链接(URL),需再用其他软件批量下载图片。
☆注意:当一个商品页面有多个产品属性时,会依次采集商详信息。如下图,该产品有“Q萌造型 童音教学-柴柴黄”和“Q萌造型 童音教学-柴柴蓝”这两个属性,故采集器先采集柴柴黄的商详信息,再采集柴柴蓝的商详信息。
五、八爪鱼模板采集
Step 1:明确你想要采集什么商品的商详信息,是某个品牌下的所有商品,亦或是某个类目下排名前列的商品。例如,我想爬取“儿童电动牙刷”类目下前50名的商品商详信息。
Step 2:使用八爪鱼爬取上图中的京东商品列表信息,主要是获得数据中的商详页链接。(该步骤略,如有需求请查看采集案例一:采集京东商品列表页)
Step 3:打开八爪鱼软件,选择模板。点击【京东】,再选择【京东商品详情采集】
Step 4:了解模板基本信息,如模板介绍、采集字段预览、示例数据等,看看模板采集的数据是否符合要求。并点击“立即使用”。
Step 5:设置采集参数,并点击“保存并启动”。此处将Step 2中京东商品列表数据的商详页链接复制到框框中。
Step 6:选择运行模式,此处选择“启动本地采集”,其余两种都需要付费。完成这一步,采集器就开始采集信息了。
Step 7:下图为采集框,等待数据采集结束。
Step 8:采集完成,弹出对话框,点击【导出数据】
Step 9:选择导出的文件格式,一般选Excel格式,然后采集就结束啦!
六、查看Excel文件
以上是京东商详信息的采集过程,如果你想要进一步轮播图片,如上面结果预览所示,则可以点击链接①查看。
链接①:如何通过链接URL批量下载图片