7-19
编写数据清洗
编写预防性代码处理意外情况
在语言学有个模型叫n-gram，把一句话分解成若干文字片段，用2-gram和3-gram来做文本提取和语法分析
ngram把待处理字符串分成单词序列，形成以每个单词开始的二元数组，同时会出现一些凌乱的数据，首先用正则表达式移除转义字符，再把unicode字符过滤掉，把内容转化成utf-8格式以消除转义字符，再增加一些规则处理数据
百度了一下网上数据清理好像大部分都是用pandas库，可能是因为大数据处理，而书中的案例只是一小段数据
http://python.jobbole.com/87346/
OpenRefine
数据存储清洗
https://wenku.baidu.com/view/a71a43b670fe910ef12d2af90242a8956becaaf6.html
自然语言处理
我们把文本分解成ngram模型后，用python的operator的模块对2-gram序列的频率字典进行排序，我们可以通过最常用的5000词列表，过滤之后得到文本中出现频率不低于三次的2-gram序列。核心词已经搜索出来了，搜索包含每个核心n-gram序列的第一句话
自然语言工具包NLTK，模块安装后，可以下载NLTK自带的文本库nltk.dowmload()
https://blog.csdn.net/zzulp/article/details/77150129
自然语言处理是一件非常复杂的事
维基百科六度分割
找出维基百科凯文贝肯和其他词条存在的最短路径，效果最好而且最常用的是广度优先搜索，广度优先搜索算法的思路是优先搜索直接连接到起始页的链接，而不是一个链接纵向深入搜索，如果这些链接不包含目标页面，就对第二层链接进行搜索
提交一个基本表单
requests库安装
表单的源码是
<form method="post" action="processing.php">
First name: <input type="text" name="firstname"><br>
Last name: <input type="text" name="lastname"><br>
<input type="submit" value="Submit">
</form>
这时候我们可以知道两个输入字段的名称是firstname和lastname，这时候还需要注意表单的真实行为发生在pricessing.php
Requests库提交表单只需要四行代码实现
import requests
params = {'firstname': 'Ryan', 'lastname': 'Mitchell'}
r = requests.post("http://pythonscraping.com/files/processing.php", data=params)
print(r.text)
单选按钮复选框和其他输入，字段名称可以通过查找源代码name属性获得，想查看浏览器想服务器传递了那些参数，用chrome浏览器的审查元素或者开发者工具查看
提交文件和图像表单<input>标签里有一个type属性是file
import requests
files = {'uploadFile': open('../files/Python-logo.png', 'rb')}
r = requests.post("http://pythonscraping.com/pages/processing2.php",
files=files)
print(r.text)
用requests库跟踪cookie
HTTP介入认证 requests库有一个auth模块专门用来处理HTTP认证
Javascript
在javascript所有变量用var关键字进行定义，还有一个特性就是把函数当做变量使用
用python执行JavaScript代码效率非常低，所以要用第三方库绕过并直接解析他
1.jQuery
jQUery可以动态的创建HTML内容，只有在JavaScript代码执行后才会显示内容，如果用传统方法采集内容，只能获得执行前页面上的内容
2.Google Analytics
乳沟一个网站用了Google analytics类似的网络分析系统，那么采集时确保那些分析工具cookie都关掉
