第一步， 观察页面特征
第二步 ， 设计工作流程
1.jpg
抓取 url，选择 好selector
1.jpg
1.jpg
1.jpg
设置页面爬取 代码， 第一步创建 数据库连接。
1.jpg
目标 要的url
http://bj.58.com/diannao/0/pn2/
1.jpg
完整的 情况
1.jpg
1.jpg
然后 插入数据库
url_list.insert_one({'url': item_link})
本地 pythcarm mongodb 插件 查看 配置
1.jpg
由于 具体的 内容 页面里面有些 还是不能正常访问，那么我们就要做一个判断。 正常的那个页面是有td 标签的。
1.jpg
下一步 我们设计spider2
1.jpg
插入数据到 数据库中
1.jpg
1.jpg
1.jpg
