任务一：爬取新闻
任务描述：通过对网页结构的分析，爬取网易新闻（https://www.163.com/），新浪新闻（https://news.sina.com.cn/）的新闻内容，并存入mysql中。
1.1 前期准备：
1. 安装mysql，并创建数据库(craw)和表格(news)，其中news表格中包含以下字段
2. 安装并引入以下库：
1. cheerio 解析html
2. request 发起http请求
3. iconv-lite 字符串编码转换
1.2 实现方法
主逻辑：访问新闻网站的主页，获取格式正确的要爬取的url，判断此url在数据库中是否存在，即数据是否已经爬过，若没有，调用newsGet函数爬取正文内容。
1.2.1 获取要爬取的网页链接
获取要爬取的网页的种子，用iconv转换编码，并用cheerio解析html，观察首页上的<a href>标签后的url的格式，对其url进行相应的处理，如果是//开头的要加上"https://www.163.com/"。
根据新闻正文的链接，归纳出正则表达式，获取实际上要爬取的新闻的网页
对于网易新闻，通过观察可以发现，正文的链接格式基本为:https://www.163.com/xxx/article/xxxxxxxxx.html
归纳出的正则表达式为：\/article\/(\w{16}).html/;
但在后续爬取数据的过程中，发现当链接为:https://www.163.com/dy/article/xxxxxxxxx.html形式的网页爬出来的数据有很多乱码，查看网页编码方式发现为GBK，因此网易新闻UTF-8和GBK编码方式都有，为了方便处理，在这里用正则表达式除去链接为dy的链接，即更改后的正则表达式为：/[^dy]\/article\/(\w{16}).html/;
在得到url的正则表达式后，可以找到要爬取正文的新闻的链接了
代码如下
1.2.2 获取正文内容
通过查看新闻正文的html和一些标签内容，选择出数据库中需要的内容
在网易新闻中文章来源和坐着都在post_author中，所以在后续两个字段一起处理。
在获取所需内容的过程中，根据设置的变量，去网页的源码中获取相关内容的文本，再对一些异常进行处理，例如：爬出来的结果是null，或为" "空字符串。在这里对于爬出结果为null的，查看其网页内容，通过网页的检查工具，查看字段是否存在，对xx_format变量进行相应的修改，如果是一些比较特殊的网页，内容存放在不同的标签下，可适当选择return，即放弃爬取此页面。
代码如下：
1.2.3 将得到的内容用sql语句写入数据库中
新浪新闻爬取的总体流程跟网易新闻的差不多。
经过分析url的主要形式为：https://news.sina.com.cn/c/2021-04-27/doc-ikmyaawc2137887.shtml 。也就是类似于https://news.sina.com.cn/xx/xxxx-xx-xx/xxxxxxxxxx.shtml
正则表达式为：var url_reg = /\/(\d{4})-(\d{2})-(\d{2})\/doc-(\w{8})(\d{7}).shtml/;
相关字段在新浪新闻中的获取方法为：
其他部分与网易新闻的代码大致相同
1.2.3 爬取结果
成功爬取相应数据
爬取了三天的数据，共992条，其中，网易新闻385条，新浪新闻607条。
任务二：搭建网站实现搜索和热度分析功能
在成功爬取数据后，搭建网站实现对标题的搜索功能，结果以表格的形式展示在前端界面中。完成对搜索内容的事件热度分析。
2.1 实现对标题的搜索功能
2.1.1 实现成果
在标题的搜索框中输入关键词，点击查询后，展示标题中含有相关关键词的新闻信息。
2.1.2 前端设计
在前段要做的事情是获取表单中的关键词，传给相关函数进行处理从数据库中获取相关新闻，再将结果传回给前端。前端对获取到的数据进行处理，构造成html的语法，使其显示在网页上。前端的核心js代码如下：
2.1.3 后端函数实现
后端函数的主要逻辑是获取到前端传来的关键词后，执行sql语句，并将结果组织为json的形式返回给前端
2.2 完成对搜索内容的事件热度分析
2.2.1 实现成果
2.2.2 前端设计
事件的热度主要体现在关键词在一天的新闻中出现的条数，前端的任务是将表单中的数据传给后端，获取包含该关键词的新闻每天出现的总条数，并以表格和图形的形式展示出来。
2.2.3 后端函数实现
后端函数的主要逻辑是获取到前端传来的关键词后，执行sql语句，在这里要用到group by函数来将结果按日期聚类，还要用到like来查找含有关键词的记录。并将结果组织为json的形式返回给前端
总结：
通过此次实验，在爬取新闻的过程中，对html的结构，如何获取html中相应的文本和正则表达式有了更深刻的认识，也能够将其与数据库联系起来，将数据存入数据库中。在进行搜索分析时，对exporess的结构有了更清楚的认识，能够将前后端结合起来，在后端根据前端传来的参数去数据库中查找相应的内容返回给前端。在实现前端时，对css，html的使用也有了一定的认识。
