安裝模塊
selenium
scrapy
selenium
主要先用於登入或js互動，剩餘的在使用scrapy進行爬取。scrapy
Scrapy 是一个爬蟲框架,同時支持異步、多線程、速度非常快、高效，適合爬取海量數據及一層一層的爬取，
如何使用
- 命令行調試
scrapy shell https://doc.scrapy.org/en/latest/_static/selectors-sample1.html
# 會進入交互模式
>>> response.url # 查看當前url
'https://doc.scrapy.org/en/latest/_static/selectors-sample1.html'
>>> response.status # 查看response狀態
200
>>> response.selector.xpath('//title/text()') # 選擇xpath
[<Selector (text) xpath=//title/text()>]
>>> sel.xpath(".//a//@href").extract() # 獲取所有a標籤的url
['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']
- python 調試
from selenium import webdriver
from scrapy.selector import Selector
browser = webdriver.Chrome()
browser.get("https://w3.iiiedu.org.tw/")
sel = Selector(text=browser.page_source)
titles = sel.xpath(".//*[@id='centerBodyBox_seminar']//a//text()").extract()
print([t for t in titles])
輸出:
['<免費研討會> FB行銷@在地生活圈研討會',
'AR/VR創新應用與視覺優化講座',
'【免費】數位轉型系列講座：數位轉型趨勢和行動方案解析',
'【免費】數位轉型系列講座：數位轉型勢在必行',
'【免費】數位轉型系列講座：AIoT切入智慧醫療與照護的下一波革命',
'【免費】數位轉型系列講座： AI電腦視覺讓你看得更清楚',
'【免費】數位轉型系列講座：AI塑造新零售、新體驗',
'【免費】數位轉型系列講座：AI金融科技的新突破 ',
'【免費】數位轉型系列講座：AI迎向精準行銷的數位革命',
'【免費】數位轉型系列講座：深度學習與各類影像應用',
'【免費】數位轉型系列講座： 數位轉型怎麼做？從企業戰略到人力資本之導入步驟及方法',
'【免費】數位轉型系列講座：AI啟動無人機的未來商業',
'【免費】數位轉型系列講座： AIoT產業智慧轉型的發展模式']
啟動
- 新建專案項目
建立專案
scrapy startproject tutorial
查看目錄
在終端輸入命令
tree tutorial
新建一個myspider.py
tutorial/
├── tutorial
│ ├── __init__.py
│ ├── items.py
│ ├── middlewares.py
│ ├── pipelines.py
│ ├── __pycache__
│ ├── settings.py
│ └── spiders
│ ├── __init__.py
│ ├── myspider.py # 新建
│ └── __pycache__
└── scrapy.cfg
myspider.py
import scrapy
from selenium import webdriver
from scrapy.selector import Selector
import datetime
class mySpider(scrapy.Spider):
name = "mySpider"
start_urls = ["https://doc.scrapy.org/en/latest/_static/selectors-sample1.html"]
def __init__(self):
# 定義webdriver
self.browser = webdriver.Chrome()
def parse(self, response):
# 先由self.browser進行請求
self.browser.get(response.url)
# 用scrapy選擇器獲取selenium的頁面源代碼
sel = Selector(text=self.browser.page_source)
baseurl = sel.xpath('//base/@href').extract_first()
# 'http://example.com/'
links = sel.xpath(".//a//@href").extract()
# ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']
for i in links:
request = scrapy.Request(baseurl + i,
callback=self.parse_2,
)
def parse_2(self, response):
'''進入下一個頁面'''
print(response.url)
執行
scrapy crawl <name>
name為mySpider.py裡頭定義的name，並非腳本或項目名。
scrapy crawl mySpider
小結
scrapy除了使用上比較繁瑣一點，基本上使用上沒什麼缺點。
