环境搭建
- ide: pycharm
- 数据库：mysql
- 数据库可视化ide：navicat
- 虚拟环境（可以支持不同python版本）：virtualenvwrapper
mkdir virtualenvs
pip3.6 install virtualenvwrapper
vim ~/.bash_profile
#.bash_profile
export WORKON_HOME='/Users/tangminglong/virtualenvs'
export VIRTUALENVWRAPPER_PYTHON='/usr/local/bin/python3.7'
source /usr/local/bin/virtualenvwrapper.sh
创建虚拟环境
mkvirtualenv (-p python路径) test 可以指定python版本
列出所有虚拟环境
workon
#进入虚拟环境
workon test
#退出
deactivate
目前虚拟环境存放的目录是~/virtualenvs
#删除虚拟环境
删除目录及可以了
#安装依赖
在对应的虚拟环境下 pip install requests
爬虫作用
- 采集网站数据
- 自动化测试
- 灰色产业
学习爬虫需要知识
- 计算机网络（http/https tcp/ip socket）
- 前端知识
- 正则表达式
- 数据存储(分布式存储)
- 并发处理(多进程、多线程、线程池、协程)
- 图像识别（处理反爬、验证码） 机器学习算法(验证码、数据解析)
解决问题
- 爬虫的采集和更新策略
- 数据解析
- 数据存储
- 模拟登录(验证码识别)
- 爬虫的监控和部署
- 解决反爬
- 数据去重(url去重 内容去重)
基础知识
- 网络
- 七层协议：应用层、表示层、会话层、传输层、网络层、 数据链路层、物理层
- 五层协议：应用层(http https ftp dns pop3)、传输层、网络层(tcp ip IGMP)、数据链路层 (ARP RARP 交换机)、物理层(双绞线、集线器)
- socket聊天
- socket多人聊天
- socket模拟http
- http协议（换行 传输的数据）
- 前端
requests库(github)
encoding 编码（自动识别）
json 转为json
- 正则表达式
# .匹配任意字符
# ^ 以某个字符开始
# $ 以某个字符结束
# * 某个字符零到多次（匹配最长）
# + 一到多次
# ? 0到1次
# {m,n} m到n次
# [] 括号里面只要出现一个都可以（中括号里面的短横线-，表示区间 ） [a-z]
# \s 空格换行 \S
# \d 匹配一个数字 \D
# \w 字母数字下划线 \W
# \b 单词开始或者结束位置的空字符串 \B
# | 或
# \\ 转移字符
.*匹配最长 贪婪匹配
.*?取消贪婪匹配
分组 ：()
eg info="姓名:tmlong 生日:1987年10月11日 本科2016年9月1日"
result = re.match('.*生日.*?(\d{4})',info) 1987
match从字符串开始找 search不是
ps:match 匹配一行 如果换行就匹配不到 re.DOTALL
- 元素筛选
from bs4 import BeautifulSoup
html =‘<html>aads</html>’
bs = BeautifulSoup(html,’html.parser’)
bs.find(‘div’)
div_tag = bs.find(‘div’,id="info”) 选择所有id为info的div
children = div_tag.contents 提取所有子元素 descendant遍历
next_siblings(是否加s)兄弟节点 previous_siblings
div_tag.get(“class”) 获取属性
//div[@lang] 所有拥有属性为lang的div
//div[@lang=‘eng] 所有拥有属性lang等于eng的div
/div/div[last()] div 下面的div数组的最后一个
/div/* 选取div下的所有子节点
//div/div[contains(@class,'hello’)]
import scrapy from Selector
sel = Selector(text=html)
girl_friend_name_class=“/html/body/div[1]/p/@class”
sel.xpath(girl_friend_name_class).extract()
more_than_class1 = "//div/div[contains(@class,'hello')]”
ps
浏览器源码选择元素 右键 可以提取表达式
contains 内置了很多方法
div > p 获取div下的第一个p元素
div p 获取div下所有p元素
#name 获取id为name
.name 获取class为name
ul + p 获取ul下第一个p元素
ul ~ p ul所有相邻的p元素
a[hrep=‘https://baidu.com'] 获取href等于‘https://baidu.com的a元素
href$ href^ href*
import scrapy from Selector
sel = Selector(text=html)
name_tag = sel.css(".name1 > p::text").extract()[0]
