selenium+pyquery 获取淘宝商品信息

from selenium import webdriver
from selenium.webdriver.common.by import By  # 按照什么方式查找,比如By.ID,By.CSS_SELECTOR
from selenium.webdriver.support.ui import WebDriverWait  # 等待页面加载某些元素
from selenium.webdriver.support import expected_conditions as EC  # 预期条件
from selenium.common.exceptions import TimeoutException  # 加载超时异常
from pyquery import PyQuery as pq
import re


def search():
    try:
        browser.get('https://www.taobao.com/')   # 访问url
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))) # 等待(条件为是否存在(通过CSS选择器查找class='q'的搜索框)),最大延时为10s
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,"#J_TSearchForm > div.search-button > button"))) # 等待(条件为是否可点击(通过CSS选择器查找 //button 的按钮)), 最大延时为10s
        input.send_keys(u'鞋子')  # 在输入框输入鞋子
        submit.click()  # 点击搜索按钮
        total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.total")))   # 等待(条件为是否存在(通过CSS选择器查找 //*[@class='total'] 页数)), 最大延时为10s
        get_products()
        return total.text   # 返回页数的文本内容
    except TimeoutException:    # 如果访问延时,则再次访问
        return search()

# 跳转到下一页
def next_page(page_number):
    try:
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > input")))    # 等待(条件为是否存在(通过CSS选择器查找 页面输入框)), 最大延时为10s
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit"))) #  等待(条件为是否可点击(通过CSS选择器查找 //button 的按钮)), 最大延时为10s
        input.clear()   # 清除页数输入框内的文本内容
        input.send_keys(page_number)    # 输入页数
        submit.click()  # 点击确定,进行翻页
        # EC.text_to_be_present_in_element(locator, text) 判断元素中存在指定文本
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > ul > li.item.active > span"), str(page_number)))  # 等待(判断是否存在文本(在CSS选择器找到的位置中, 页面数字字符串)) 就是查看页面数字是否高亮
        get_products()
    except TimeoutException:    # 如果访问延时,则再次访问
        next_page(page_number)

# 得到淘宝商品信息
def get_products():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-itemlist .items .item"))) # 等待(条件为是否存在(通过CSS选择器查找 第一个商品信息)), 最大延时为10s
    html = browser.page_source  # 将网页源代码赋值给html
    doc = pq(html)  # 使用pq格式化网页
    items = doc("#mainsrp-itemlist .items .item").items()   # 用 items() 方法遍历并返回对象列表
    for item in items:
        product = {
            'image': item.find('.pic .img').attr('src'),  # 图片 使用find()函数查找class为pic(不完全匹配)和img的标签,获取元素的src属性
            'price': item.find('.price').text(),    # 价格 寻找class为price(这里是不完全匹配)的标签,并获取其文本信息(这里是获取包括后代节点的所有文本)
            'deal': item.find('.deal-cnt').text()[:-3],  # 人数 寻找class为deal-cnt的标签,并获取其文本内容(这里去掉了'人付款')
            'title': item.find('.title').text(),    # 标题 寻找class为title(不完全匹配)的标签
            'shop': item.find('.shop').text(),  # 店名 寻找class为shop的标签,并获取其文本信息(这里是获取包括后代节点的所有文本)
            'location': item.find('.location').text(),  # 地点 寻找class为location的标签
        }
        print(product)

def main():
    total = search()
    # total = int(re.compile('(\d+)').search(total).group(1))   # 这一步返回的是最大页数100,暂时用不上
    # 爬取所有数据用total+1
    for i in range(2, 10):
        next_page(i)

if __name__ == '__main__':
    browser = webdriver.Chrome()
    wait = WebDriverWait(browser, 10)   # 设置最大等待时间为10s
    main()
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 虽然淘宝的页面数据是通过 Ajax 获取的,也就是可以通过开发者模式直接找到它请求数据的接口,并且发现返回的数据是...
    小飞牛_666阅读 4,434评论 0 11
  • 一、介绍 还是崔庆才老师的视频,废话不多说,直接上菜 二、流程 目标站点分析用浏览器打开淘宝首页输入‘美食’,打开...
    1想得美阅读 3,788评论 0 2
  • 利用selenium抓取淘宝商品搜索页的信息。试了一下调用chrome,速度确实不快。后续可以通过使用Phanto...
    yu008阅读 1,137评论 0 0
  • 给大家分享一个最近发生在自己身上的囧事. 最近一次航班,刚坐下不久,旁边就过来一位美女,说了一句21C, 然后就坐...
    史慧君阅读 4,985评论 11 52
  • 昨天下午学科进修培训,听了一位教授的讲座。 时间安排不合理,上午刚听完半天的公开示范课,中午一点半就开始听讲座,正...
    西瓜雪糕JX阅读 2,985评论 0 0