全链路数据分析思路
数据分析学习，就要全链路的学习，就是从获取数据源，到数据清洗，再到数据分析，可视化的展现，
一整套完整的学习路径。这也是数据分析的完整思路。
上篇主要讲解爬去淘宝指定商品的部分信息，并写入到CSV文件中。
这部分使用pycharm
下篇主要讲解对爬取到的数据进行数据清洗，数据可视化的分析。
这部分使用jupyter notbook
【上篇】
引入所需要的库，没有的库，pip自行安装下就可以
定义函数：传入商品关键字参数，搜索商品页，返回总页数
光标定位在淘宝首页的搜索框内，传入搜索关键字例如：粽子，搜索，扫描登陆
获取到下面总页数，返回。
定义获取数据的函数：
获取商品的名称、价格、付款人数、店名、发货地址
获取后写入到csv文件中，以搜索关键字命名，mode=a 可追加，获取一页写入一次，newline=''是每行中间不空行，没这个参数每行直接都有一个空行，delimiter =',' 是逗号分隔符
定义主函数main():
翻页发现每页url只有q=和s=在变化，q是搜索关键字，s是一页商品数量，每页是44个单品
所以构造url如下
执行程序：
完整代码：
from seleniumimport webdriver
import time
import csv
import re
# 搜索商品，获取商品页码
def search_product(key_word):
# 定位输入框,定位搜索框中，查看代码发现id=q
browser.find_element_by_id("q").send_keys(key_word)
# 定义点击按钮，并点击,"搜索"按钮的类名是btn-search
browser.find_element_by_class_name('btn-search').click()
# 最大化窗口：为了方便我们扫码
browser.maximize_window()
# 等待15秒，给足时间我们扫码
time.sleep(15)
# 定位这个“页码”，获取“共100页这个文本”
page_info = browser.find_element_by_xpath('//div[@class="total"]').text
# 需要注意的是：findall()返回的是一个列表，虽然此时只有一个元素它也是一个列表。
# 返回总页数是”共100页“ 用正则取数字100，\d是匹配一个数字\d+匹配多个数字
page = re.findall("(\d+)", page_info)[0]
return page
# 获取数据
def get_data():
# 通过页面分析发现：所有的信息都在items节点下
items = browser.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq "]')
for itemin items:
# 参数信息
pro_desc = item.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
# 价格
pro_price = item.find_element_by_xpath('.//strong').text
# 付款人数
buy_num = item.find_element_by_xpath('.//div[@class="deal-cnt"]').text
# 旗舰店
shop = item.find_element_by_xpath('.//div[@class="shop"]/a').text
# 发货地
address = item.find_element_by_xpath('.//div[@class="location"]').text
# print(pro_desc, pro_price, buy_num, shop, address)
with open('{}.csv'.format(key_word), mode='a', newline='', encoding='utf-8-sig')as f:
csv_writer = csv.writer(f, delimiter=',')
csv_writer.writerow([pro_desc, pro_price, buy_num, shop, address])
def main():
browser.get('https://www.taobao.com/')
page = search_product(key_word)
print(page)
get_data()
page_num =1
while int(page) != page_num:
print("*" *100)
print("正在爬取第{}页".format(page_num +1))
browser.get('https://s.taobao.com/search?q={}&s={}'.format(key_word, page_num *44))
browser.implicitly_wait(15)
get_data()
page_num +=1
print("数据爬取完毕！")
if __name__ =='__main__':
key_word ="粽子"
browser = webdriver.Chrome()
main()
