一、目标
爬取转转二手商品数据
二、 设计工作流程
- 手绘工作流程，首先应从首页获得所有大类目链接。再从某大类里获取所有商品的链接，并写出第一个相关函数，对应爬虫一，对应数据库文件一
- 编写获得具体商品信息的函数，对应爬虫二，对应数据库文件二
- 爬虫一获得链接并存储至数据库一，爬虫二从数据库一获取链接，将所有链接对应商品的信息保存至数据库二。
三、 具体步骤
1. 新建项目，获取所有类目链接
新增文件 channel_extract.py
import requests
from bs4 import BeautifulSoup
start_url = 'http://bj.ganji.com/wu/'
def get_category_urls(start_url):
wb_data = requests.get(start_url)
soup = BeautifulSoup(wb_data.text, 'lxml')
part_category_urls = soup.select('div.main-pop dt a') # 此变量生成一个字典的集合，无法使用的，当我们通过for in 时，会调出单独的字典，再使用字典函数get()等等
for part_category_url in part_category_urls:
category_url = 'http://' + start_url.split('/')[2] + str(part_category_url.get('href'))
print(category_url)
#get_category_urls(start_url)
category_url_list = '''
http://bj.ganji.com/shouji/
http://bj.ganji.com/shoujipeijian/
http://bj.ganji.com/bijibendiannao/
http://bj.ganji.com/taishidiannaozhengji/
http://bj.ganji.com/diannaoyingjian/
...................... '''
2. 爬取商品链接及商品具体信息
新建文件page_parsing.py
import requests
from bs4 import BeautifulSoup
import time
import pymongo
client = pymongo.MongoClient('localhost', 27017)
ganji1 = client['ganji1_db']
item_url_list = ganji1['item_url_list_db'] # 存储所有商品的链接
item_info = ganji1['item_info_db'] # 存储商品的详细信息
#=========获取一个分类下的所有商品链接=========#
def get_item_urls_from(category, pages):
category_url = '{}o{}/'.format(category, str(pages))
wb_data = requests.get(category_url)
time.sleep(1)
soup = BeautifulSoup(wb_data.text, 'lxml')
part_item_url1 = soup.select('tr.zzinfo.jz td.t a') # 通过这3行代码，清除了链接中的商家商品，剩余均为个人商品
part_item_url2 = soup.select('td.t a')
part_item_url = list( set(part_item_url2) - set(part_item_url1) )
if soup.find('td','t'):
for i in part_item_url:
item_url = i.get('href').split('?')[0]
item_url_list.insert_one( {'url':item_url} )
print(item_url)
else:
pass # 通过这个判断式来判断爬取翻页到头时自动停止，td t 是商品的标题元素，没它就证明该页面没商品了
#get_item_urls_from('http://bj.ganji.com/shouji/',1)
#=========获取一个商品的详情=========#
def get_item_info(url):
wb_data = requests.get(url)
if wb_data.status_code == 404: # status_code 是requests 自带的一个方法，在一开始的时候检测网页是否有效存在
pass
else:
try:
soup = BeautifulSoup(wb_data.text, 'lxml')
data = {
'title': soup.title.text,
'price':soup.select('span.price_now i')[0].text,
'area': soup.select('.palce_li i')[0].text,
'url': url
}
item_info.insert_one(data)
print(data)
except AttributeError:
pass
#get_item_info('http://zhuanzhuan.ganji.com/detail/923140825311903756z.shtml')
3. 新建运行主程序main.py
from multiprocessing import Pool
from page_parsing import get_item_urls_from
from page_parsing import get_item_info
from page_parsing import item_url_list
from page_parsing import item_info
from channel_extract import category_url_list
#=============断点续传-防止程序中断===============#
db_urls = [ item['url'] for item in item_url_list.find() ] # 从数据库中find字典元素，用item调用出key 'url'对应的value,也就是网址，并形成列表
index_urls = [ item['url'] for item in item_info.find() ]
x = set(db_urls)
y = set(index_urls)
rest_of_urls = x - y
def get_all_urls_from(category): # 获得所有链接
for i in range(1,5):
get_item_urls_from(category,i)
def get_all_item_info(url): # 获得所有详情页
for i in rest_of_urls:
get_item_info(i)
if __name__=='__main__':
# =============获取所有的链接==============#
# pool = Pool(processes= 4)
# pool.map(get_all_urls_from, category_url_list.split()) # split()会将长字符串变成一个 列表，map直接从列表里依次拿元素
# pool.close()
# pool.join()
#================获取所有商品的详情=================#
pool = Pool(processes= 4)
pool.map( get_all_item_info, rest_of_urls )
pool.close()
pool.join()
4. 建立监控程序 counts.py
import time
from page_parsing import item_url_list
from page_parsing import item_info
while True:
time.sleep(1)
print(item_url_list.find().count())
print(item_info.find().count())
5. 忽略报错功能(防止程序中断)
def try_to_make(ass):
try:
print(1/ass)
except (ZeroDivisionError,TypeError):
print('ok~')
try_to_make('0')
# 如上，通过 try except 实现忽略错误，可添加在正常程序中，这里只是示范(重要程序有错必究，不能忽略的)
6. 运行
打开终端，开启3个窗口，切换到程序文件夹中，第一个窗口输入mongod,mongo，好了，mongo已开启
第二个窗口输入 python3 counts.py
第三个窗口输入python3 main.py
好了，开始抓取数据了，成功
运行截图
