电脑环境：
image.png
Python下载：
https://www.python.org/downloads/release/python-383/
3.X.X需要下载windows XXX executable installer
image.png
-
下载完成后打开，这里我下载的是3.8.3
image.png
pip 安装与使用
Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。
可以通过以下命令来判断是否已安装：
pip3 --version # Python3.x 版本命令
经过测试2.0的版本命令也是可以用的
pip --version # Python2.x 版本命令
image.png
安装第三方库
在进行爬取数据和解析数据前，需要在Python运行环境中下载安装第三方库requests。
需要先升级pip,否则会出现下图的报错
python -m pip install --upgrade pip
image.png
pip install requests
在Windows系统中，打开cmd界面，在该界面输入pip install requests,按回车键进行安装。
pip3 install pandas
pip3 install numpy
pip3 install bs4
pip3 install lxml
比较省事的办法是安装Anaconda套装
这里安装的，是一个优秀的 Python 软件包管理工具 pipenv
输入代码
我直接使用了自带的IDLE工具
首先执行：
pip install pipenv
安装后，请执行
pipenv install
pip3 install jupyter
此处请确认你的电脑上已经安装了 Google Chrome 浏览器。
pipenv shell
image.png
jupyter notebook
image.png
选择new python3
运行python文件
python D:\code\crawlInfo.py
需要注意的一点python代码一定要顶格写
selenium安装
pip3 install selenium
下载与chrome版本匹配的chromedriver
http://chromedriver.storage.googleapis.com/index.html
我的版本是87.0.4280.66
image.png
http://chromedriver.storage.googleapis.com/index.html?path=86.0.4240.22/
配置
解压压缩包，找到chromedriver.exe复制到chrome的安装目录（其实也可以随便放一个文件夹）。
源码如下
from openpyxl import load_workbook
from openpyxl import Workbook
from urllib.request import urlopen
from urllib.request import Request
from urllib import parse
from lxml import etree
import sys
from bs4 import BeautifulSoup
from openpyxl import Workbook
import xlwt
import requests
import json
from bs4 import BeautifulSoup
from xlrd import open_workbook
import time
from xlutils.copy import copy
setSQLData = []
ws = load_workbook('D:\code\zhanghao.xlsx')
Sheet_1 = ws['Sheet1']
num = 0
for i in range(1,2187):
B1 = Sheet_1.cell(i+1,4).value
params = {"companyName": B1, "pageNo": 1, "pageSize": 10}
row_content = []
r = requests.post(url = 'https://www.jsrcxxg.com/myblog/api/getPageCompany', headers = {"Content-Type":"application/json"},json = params)
data2 = json.loads(r.text)
row = [data2['data']['list'][0]['companyName'], data2['data']['list'][0]['linePeople'], data2['data']['list'][0]['linePhone']]
print (row)
setSQLData.append(row)
# 将数据写入Excel
wb = Workbook()
# 设置Excel文件名
dest_filename = 'crawlweb.xlsx'
# 新建一个表
ws1 = wb.active
# 设置表头
titleList = ['公司名', '联系人', '联系电话']
for row in range(len(titleList)):
c = row + 1
ws1.cell(row=1, column=c, value=titleList[row])
# 填写表内容
for listIndex in range(len(setSQLData)):
ws1.append(setSQLData[listIndex])
wb.save(filename=dest_filename)
print ("end")
