帮朋友写的一个亚马逊关键词搜索结果,用request跟beautiful爬下来是 一堆乱码,不知道怎么解析,最后用selenium实现自动化抓取,效率较慢。
环境：python 3
要求：
抓取每个关键词的结果数是多少
思路：
自动化打开窗口；
拼接关键词链接；
用selenium抓取,id：s-result-count,文本内容
存储到本地
代码实现：
#coding = utf - 8
from selenium import webdriver
import os
import time
#url跳转链接
baseUrl = 'http://www.amazon.com/s/ref=nb_sb_noss_2?url=search-alias%3Daps&field-keywords='
offSet = ['ceramic knife set','dogs','pet','towel','bathroom','paper','quilt','glass','Skate']
#启动浏览器
chromedriver = "F:\\Anaconda\Lib\\site-packages\\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
browser = webdriver.Chrome(chromedriver)
#browser.get("https://www.baidu.com/")
#循环获取link
i = 0
for key_word in range(len(offSet)):
print(i)
#time.sleep(10)
#url
try:
browser.get(baseUrl+offSet[i])
#selenium find id元素
content = browser.find_element_by_id('s-result-count').text
#time.sleep(15)
resultFile = open("F:\\amazon_keyword.txt","a")
resultFile.write(content +"\n")
resultFile.close()
except:
print('Error')
#browser.close()
i += 1
总结：刚开始由于网络原因,一直延时抓取,提示错误,用了try想找出异常,接了网线后才发现是网络原因-
