<h2>代码</h2>
<pre>#爬取转转
from bs4 import BeautifulSoup
import requests
import re
def get_info0(url):
urls = urls0
for url in urls:
wb_data = requests.get(url)
# 判断状态码，检查是否被网站封ip
if wb_data.status_code != 200:
continue
soup = BeautifulSoup(wb_data.text, 'lxml')
prices = soup.select('.price_now')
areas = soup.select('.palce_li')
for views in soup.select('.look_time'):
data0 = {
'title' : soup.title.text,
'price': prices[0].text if len(prices) > 0 else 0,
# 检查区域标签是否存在，存在则取，不存在设置默认值
'area': list(areas[0].stripped_strings) if len(areas) > 0 else [],
# 检查时间标签是否存在，存在则取，不存在设置默认值
'view' : views.get_text()
}
print(data0)
url = 'http://bj.58.com/pbdn/0'
while True:
#获取下一页
urls=[]
index = requests.get(url)
soup = BeautifulSoup(index.text, 'lxml')
if soup.find("a", class_="next") == None:
print("没有下一页")
break
else:
next_page = soup.find("a", class_="next").get('href').split("/")[3]
current_page = 'http://bj.58.com/pbdn/0/{}'.format(next_page)
url = current_page
urls.append(url)
for link in urls:
urls0=[]
index = requests.get(url)
soup = BeautifulSoup(index.text, 'lxml')
for link0 in soup.find_all(href=re.compile('zhuanzhuan'), class_='t'):
link0 = link0.get('href').split('?')[0]
urls0.append(link0)
get_info0(url)
</pre>
<pre>#爬取商品页
from bs4 import BeautifulSoup
import requests
import re
def get_info1(url):
urls = urls1
for url in urls:
wb_data = requests.get(url)
# 判断状态码，检查是否被网站封ip
if wb_data.status_code != 200:
continue
soup = BeautifulSoup(wb_data.text, 'lxml')
prices = soup.select('.c_f50')
areas = soup.select('.c_25d')
dates = soup.select('.time')
data1 = {
'title' : soup.title.text,
'price': prices[0].text if len(prices) > 0 else 0,
# 检查区域标签是否存在，存在则取，不存在设置默认值
'area': list(areas[0].stripped_strings) if len(areas) > 0 else [],
# 检查时间标签是否存在，存在则取，不存在设置默认值
'date': dates[0].text if len(dates) > 0 else ""
}
print(data1)
url = 'http://bj.58.com/pbdn/1'
while True:
urls = []
index = requests.get(url)
soup = BeautifulSoup(index.text,'lxml')
if soup.find("a", class_="next") == None:
print("没有下一页")
break
else:
next_page = soup.find("a", class_="next").get('href').split("/")[3]
current_page = 'http://bj.58.com/pbdn/1/{}'.format(next_page)
url = current_page
urls.append(url)
#以上urls中包含了所有列表页
for links in urls:
urls1 = []
for link1 in soup.find_all(href=re.compile('x.shtml?'),class_ = 't'):
link1 = link1.get('href').split('?')[0]
urls1.append(link1)
get_info1(urls1)
</pre>
<h2>成果</h2>
爬取“转转”的程序大概可以爬取到3400多条的数据，耗时17分钟。比较慢啊。爬取“商家”数据越300条，耗时1分钟。
<h2>总结</h2>
刚一开始也想想老师讲的那样统一爬取，后来发现58改版的幅度非常大，个人售卖已全部转为“转转”，而且个人信息的网页内容和商家信息的网页内容有很多不同，个人没有时间，浏览量也可以直接通过html获取。所以我决定写两个程序分别爬取。
最大的难点是如何爬取全部数据。
以“转转”为例：
转转的起始页是：http://bj.58.com/pbdn/0/
这一页要爬取的数据主要有详情页的链接和下一页链接。
通过观察，图片和标题都能起到跳转的作用，所以会重复抓取2条详情页的链接。不过标题链接中独有class="t"的属性可以借此定位。
为了获取全部列表页，我是这样考虑的。
首先解析起始页，得到下一页的链接，然后将下一页的链接作为当前页，接着重复上一步骤。这一步的实现其实相当简单，需要用的while True。只不过当时想了好久。
在“商家”中，没有爬取浏览量，因为我始终没有找到相应的js内容。除了这个之外，其他的与“转转”基本思路一致。
<h2>反思</h2>
这次作业的最大收获就是练习了 while True 的编写。简直是爬取的利器。
