淘宝可以说是一个检验爬虫技术是否过关的最强关卡了，下面来打破它吧。
淘宝的所有操作差不多都是在登录的状态下进行的，这时候想要对淘宝进行请求获取信息就必须在登录的状态下进行了。
方式一：（selenium）
使用selenium模块，使用自动化模块进行爬取淘宝，对自己需要的信息进行爬取下来，这是一个很简单的方式，但是这也是一个效率比较低下的爬虫形式。这个简单的自动化爬取形式就不详细讲解了。但是有一个值得注意的点就是登陆的时候，会被检测出内容输入的速度过快，之后弹出一个滑动验证条，需要对验证条进行处理才能够登陆成功。
方式二：（requests）
使用requests模块，对淘宝页面发起请求，但是在发起请求之前就需要携带上淘宝账号的cookies信息，如果没有携带cookies信息，那么对淘宝发起的所有请求都没有任何有用信息返回。
1. selenium简介
使用selenium模块，使用自动化模块进行爬取淘宝，对自己需要的信息进行爬取下来，这是一个很简单的方式，但是这也是一个效率比较低下的爬虫形式。这个简单的自动化爬取形式就不详细讲解了。但是有一个值得注意的点就是登陆的时候，会被检测出内容输入的速度过快，之后弹出一个滑动验证条，需要对验证条进行处理才能够登陆成功。
1.1 针对浏览器的主要操作方法：
创建浏览器对象：driver = webdriver.xxx()
窗口最大化：maximize_window()
获取浏览器尺寸：get_window_size()
设置浏览器尺寸：set_window_size()
获取浏览器位置：get_window_position()
设置浏览器位置：set_window_position(x,y)
关闭当前标签/窗口：close()
关闭所有标签/窗口：quit()
1.2 selenium定位元素
因为selenium是模仿真实点击浏览器的行为，所以必须要先定位网页元素，才能进行各种操作。
「定位页面元素的8种主要方式」
id定位：driver.find_element_by_id(value)
name属性值定位：driver.find_element_by_name(value)
类名定位：driver.find_element_by_class_name(value)
标签名定位：driver.find_element_by_tag_name(value)
链接文本定位：driver.find_element_by_link_text(value)
部分链接文本：driver.find_element_by_partial_link_text(value)
xpath路径表达式：driver.find_element_by_xpath(value)
css选择器：driver.find_element_by_css_selector(value)
1.3 selenium操作网页
定位元素后，需要对网页进行各种操作，比如点击、刷新、保存等。
点击展开新的页面，点击方法：element.click()
其他主要操作方法：
请求某个url：driver.get(url)
刷新页面操作：refresh()
回退到之前的页面：back()
前进到之后的页面：forward()
获取当前访问页面url：current_url
获取当前浏览器标题：title
保存图片：get_screenshot_as_png()/get_screenshot_as_file(file)
网页源码：page_source
2. 爬取流程
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time, datetime, random
# 创建Chrome浏览器对象，这会在电脑中打开一个窗口
browser = webdriver.Chrome('C:/Users/dell/Downloads/chromedriver_win32 (1)/chromedriver.exe')
wait = WebDriverWait(browser, 10)
# 保存图片；
def savepic():
basepath = 'F:/test/'
filename = "{:%Y%m%d%H%M%S}-{:03}.png".format(datetime.datetime.now(), random.randint(1,100))
browser.save_screenshot(basepath+filename)
# 生成页面快照并保存
def search():
browser.get('https://www.taobao.com/')
input = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))
) # 选择输入框
# 点击搜索按钮
submit = WebDriverWait(browser, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))
time.sleep(1)
input.send_keys('美食')
time.sleep(1)
submit.click()
# login
input_username = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, 'div.fm-field > div.input-plain-wrap.input-wrap-loginid > input')))
input_password = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, 'div.fm-field > div.input-plain-wrap.input-wrap-password > input')))
input_login = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, '#login-form > div.fm-btn > button')))
input_username.send_keys('*******')
print('账户名输入完成')
time.sleep(1)
input_password.send_keys('*******')
print('密码输入完成')
# input_password.send_keys(Keys.ENTER)
time.sleep(1)
# 等待登录按钮
input_login.click()
print('登录成功!')
def main():
search()
if __name__ == '__main__':
main()
显示出搜索页了
翻页：输入每一页 页码，不使用下一页，防止出错；
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
from config import *
import time, datetime, random, re, pymongo
# 创建Chrome浏览器对象，这会在电脑中打开一个窗口
browser = webdriver.Chrome('C:/Users/dell/Downloads/chromedriver_win32 (1)/chromedriver.exe')
wait = WebDriverWait(browser, 10)
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]
def search():
try:
browser.get('https://www.taobao.com/')
input = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))
) # 选择输入框
# 点击搜索按钮
submit = WebDriverWait(browser, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))
time.sleep(1)
input.send_keys('美食')
time.sleep(1)
submit.click()
# login
input_username = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, 'div.fm-field > div.input-plain-wrap.input-wrap-loginid > input')))
input_password = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, 'div.fm-field > div.input-plain-wrap.input-wrap-password > input')))
input_login = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, '#login-form > div.fm-btn > button')))
input_username.send_keys('')
print('账户名输入完成')
time.sleep(1)
input_password.send_keys('')
print('密码输入完成')
# input_password.send_keys(Keys.ENTER)
time.sleep(1)
# 等待登录按钮
input_login.click()
print('登录成功!')
# 页数
total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.total')))
get_products()
return total.text
except TimeoutException:
return search() # 超时重新请求；
def next_page(page_number):
try:
input = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input')))
submit = wait.until(
EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
input.clear()
input.send_keys(page_number)
submit.click()
time.sleep(2)
# 判断是否翻页成功
wait.until(EC.text_to_be_present_in_element(
(By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > ul > li.item.active > span'), str(page_number)))
get_products()
except TimeoutException:
next_page(page_number)
def get_products():
# 宝贝信息
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager .items .item')))
html = browser.page_source
doc = pq(html)
items = doc('#mainsrp-pager .items .item').items()
for item in items:
product = {
'image': item.find('.pic .img').attr('src'),
'price': item.find('.price').text(),
'deal': item.find('.deal-cnl').text()[:-3],
'title': item.find('.title').text(),
'shop': item.find('.shop').text(),
'location': item.find('.location').text()
}
print(product)
save_to_mongo(product)
def save_to_mongo(result):
try:
if db[MONGO_TABLE].insert(result):
print('保存到mongo_DB成功', result)
except Exception:
print('保存到mongo失败', result)
def main():
total = search()
total = int(re.compile('(\d+)').search(total).group())
for i in range(2, 3):
next_page(i)
print(total)
if __name__ == '__main__':
main()
# config.py
MONGO_URL = 'localhost'
MONGO_DB = 'taobao'
MONGO_TABLE = 'product'
声明：本爬虫仅供学习， 若被他人用于商业用途与本人无关！
