趁热打铁，再来爬一下 TX 的网站 -- 科技 -腾讯网。腾讯新闻的科技板块，至于为什么爬这个板块？我们要做新时代的科技少年😂 😂 😂 。闲话少叙，快上车。
一、分析网页代码
打开网页并进入调试模式，可以看的我们要爬取的内容都在这个 <div> 中。
打开看看，就是它们，这个网站默认加载 20 条新闻，拉到底部会加载更多。
因为是爬取新闻，也不涉及翻页的问题（爬以前的旧文章干嘛？😢 ）。与 36Kr 不同的是，36Kr 的新闻是按照时间顺序排列的，新的在前，而 TX 貌似是按照热度排列的，哪个点击量高哪个在前。也无所谓了，只要爬这前 20 个就行了，大约每 10 分钟会有 3 ～ 5 篇新文章。
我们在点开其中一个 <div> 看看要爬取的元素位置，如下图。
跟 36Kr 差不多，藏了一层又一层，思路也是一样的，先拿到它们外层的那个没名的 <div>，再用 xpath 获取每个元素（因为 by_id、by_class_name 都行不通，我试过了😂 ）。
二、爬虫代码
这里也不啰嗦了，直接贴。编写的思路跟前一篇爬 36Kr 的差不多，发现 xpath 这个东西很好用，感觉一般的网站都可以用 xpath 搞定。只是为了避免出现这样那样的错误，加了很多 try - except 来保证程序不崩😂 ，如果你有更好的方案，欢迎交流。
#!/usr/bin/env python
#coding:utf-8
from selenium import webdriver
import time
import requests
class News:
def __init__(self):
self.dr = webdriver.Chrome()
self.dr.set_page_load_timeout(30)
try:
self.dr.get('https://xw.qq.com/m/tech/index.htm/')
except Exception as e:
print 'initDriverError: ', e
else:
pass
def loadData(self):
try:
main_view = self.dr.find_element_by_id('__next')
item_list = main_view.find_element_by_xpath("//div/div[@class='wrapper_channel']/div/div[3]")
except Exception as e:
print 'loadDataError: ', e
else:
i = 1
while i <= 20:
try:
xpath_head = "//div[" + str(i) + "]/div[@class='wrap']/div[@class='inner ']/a[@class='link cf']/div/div[@class='title']"
xpath_href = "//div[" + str(i) + "]/div[@class='wrap']/div[@class='inner ']/a[@class='link cf']"
xpath_img = "//div[" + str(i) + "]/div[@class='wrap']/div[@class='inner ']/a[@class='link cf']/div/div[@class='image']/div[@class='image-inner']/img"
title = item_list.find_element_by_xpath(xpath_head).text
url = item_list.find_element_by_xpath(xpath_href).get_attribute('href')
src = item_list.find_element_by_xpath(xpath_img).get_attribute('src')
except Exception as e:
# 同 36Kr 不太一样，腾讯新闻爬到这里有时就会出现异常，获取不到元素
# 所以，在这里向下滚动浏览器， try - except，重新获取元素
self.dr.execute_script('window.scrollBy(0,300)')
time.sleep(3)
try:
title = item_list.find_element_by_xpath(xpath_head).text
url = item_list.find_element_by_xpath(xpath_href).get_attribute('href')
src = item_list.find_element_by_xpath(xpath_img).get_attribute('src')
except Exception as e:
# 如果依旧获取不到，那么可能是视频格式的新闻，各元素的 xpath 不同
self.loadVideoData(item_list, i)
else:
self.saveData(title, url, src)
else:
self.saveData(title, url, src)
i += 1
self.quit()
def loadVideoData(self, item_list, i):
try:
# 视频格式的新闻，xpath 不同
xpath_head = "//div[" + str(i) + "]/div[@class='wrap']/div[@class='inner ']/a[@class='link cf']/div[@class='title']"
xpath_href = "//div[" + str(i) + "]/div[@class='wrap']/div[@class='inner ']/a[@class='link cf']"
xpath_img = "//div[" + str(i) + "]/div[@class='wrap']/div[@class='inner ']/a[@class='link cf']/div[@class='image']/div[@class='image-inner']/img"
title = item_list.find_element_by_xpath(xpath_head).text
url = item_list.find_element_by_xpath(xpath_href).get_attribute('href')
src = item_list.find_element_by_xpath(xpath_img).get_attribute('src')
except Exception as e:
print 'loadVideoDataError: ', e
else:
self.saveData(title, url, src)
# 例如你要将数据爬下来，存入自己的服务器
def saveData(self, title, url, src):
form_data = {'title':title,'url':url,'src':src}
headers = {}
req_url = ''
try:
req = requests.post(req_url, headers = headers, data = form_data,)
except Exception as e:
print 'saveDataError: ', e
else:
if req.status_code == 201:
print 'Save data successful'
else:
print 'Failed: ', req.status_code
print req.text
def quit(self):
self.dr.quit()
i = 1
while i:
News().loadData()
print u'第 %d 次获取数据完毕' % i
i += 1
time.sleep(600)
10.1 假期到现在已经跑了 10 多天了，可以正常爬取数据，这里就不录效果展示 gif 了。只是有一个问题还存有疑问，获取网页元素时，如果先遍历拿到 <a class='link cf'> 标签，再通过 xpath 获取每个 <a> 标签里的标题、图片等数据，这时拿到的都是同一个数据。这个情况爬 36Kr 的时候也出现过，还请研究过的朋友指点一下。
欧了，大功告成，不明白的童鞋，可以看看前几篇文章，比较简单的是 “不得姐” 和 “糗百”，爬 36Kr 时遇到了点问题，编写的步骤和心路历程在上一篇写过了。
另外应该是简书的一个 bug，编写文章时，用 ``` 符号设置代码区域，如果粘贴大量代码，在下方继续编辑，点一下浏览器就闪退了。不知道你们有这种情况没有……
- 如果看了我的文章对你有些帮助的话，点个❤️ 再走呗，我想弄个微博认证，需要 2000 个喜欢，还差 1900 多个😂 。
