主要是对常用的博客网站进行抓取，目前已完成csdn博客
关键技术：
Requests + BeautifulSoup
url： https://blog.csdn.net/diandianxiyu_geek/article/details/83657231
正则表达式匹配url,存储到mysql数据库,总共三张数据库表:csdnblogs,visited,url_queue,后两个表主要用于避免重复的url
数据库表结构：
模拟登陆
Selenium 模拟点击 + send_keys
Cookies格式转换 + session登陆
代码：
结果图：已抓取1000多条数据
错误记录：
#1054 - Unknown column 'tittle' in 'field list'
看似字段tittle不存在于表中，于是找了好一会原因，结果是字段前面少了t，去掉空格就可以正常运行了
TypeError: 'NoneType' object is not subscriptable
没有初始化queue，队列为空
ModuleNotFoundError: No module named '__main__.DBsettings'; '__main__' is not a package
首先在引用的时候要注意: from 文件夹名 import 文件名
然后在代码中执行引入的方法： 文件名.方法**
