题目:
1. scrapy 和 scrapy-redis 有什么区别？为什么选择 redis 数据库？
2. 用过的爬虫框架或者模块有哪些？谈谈他们的区别或者优缺点？
3. 常用的 mysql 引擎有哪些？各引擎间有什么区别？
4. 描述下 scrapy 框架运行的机制？
5. Dns服务的工作过程是什么？
1. Scrapy 和 Scrapy-Redis 有什么区别？为什么选择 redis 数据库？
Scrapy是一个基于Twisted的异步处理框架，是纯python实现的爬虫框架，其拥有极强的扩展性，架构清晰，模块之间耦合程度低，可以灵活完成各种需求。Scrapy-Redis是基于redis数据库、运行在Scrapy框架之上的组件。
单机Scrapy中是维护一个本地的Queue队列，这个队列是利用deque模块实现的。但是Scrapy并不支持分布式，所以我们使用Scrapy-Redis库，其提供了Scrapy分布式的队列、调度器、去重等功能，可以让 Scrapy 支持分布式策略，Slaver 端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指纹集合。
为什么选择redis？因为它支持主从同步，而且数据都是缓存在内存中的，所以基于redis的分布式爬虫，请求数据和高频读取效率非常高。
2. 用过的爬虫框架或者模块有哪些？谈谈他们的区别或者优缺点？
(待续)
3. 常用的 mysql 引擎有哪些？各引擎间有什么区别？
有ISAM、MyISAM、InnoDB、MEMORY。最常用的引擎主要有两个：MyISAM和InnoDB。区别如下：
| MyISAM | InnoDB |
|---|---|
| 不支持事务 | 支持事务 |
| 不支持外键 | 支持外键 |
| 不支持行锁 | 支持行锁 |
| MyISAM 是默认引擎 | InnoDB 需要指定 |
| 保存表的行数 | 不保存表的行数 |
| 适合查询以及插入为主的应用 | 适合频繁修改以及涉及到安全性较高的应用 |
| 清空整个表时，MyISAM 会重建表 | InnoDB 是一行一行的删除，效率非常慢 |
InnoDB引擎提供了对数据库ACID事务的支持,它的设计目的就是处理大数据容量的数据库系统。它本身实际上是基于Mysql后台的完整系统。MySQL运行的时候，InnoDB会在内存中建立缓冲池，用于缓冲数据和索引。
但，InnoDB不支持全文搜索，由于没有保存行数，当进行Select count(*) from table指令的时候，需要进行扫描全表。
( 事务的四大特性: 原子性 Atomicity、 一致性 Consistency、 隔离性 Isolation、 持久性 Durability。简称ACID )MyISAM引擎是MySQL的默认引擎，当执行Insert插入和Update更新语句（即执行写操作）的时候需要锁定这个表。所以效率会降低。
但，其保存了行数，所以进行Select count(*) from table语句时只需直接读取已经保存的行数值即可。
综上：
大容量的数据集是趋向于选择InnoDB，因为它支持事务处理和故障的恢复。事务是一种高级的处理方式，如在一些列增删改中只要哪个出错还可以回滚还原，而 MyISAM就不可以了；InnoDB可以利用数据日志来进行数据的恢复。主键查询在InnoDB也是比较快的。
表的读操作远远多于写操作时，并且不需要事务的支持的，趋向于选择MyISAM。大批量的插入语句时（这里是INSERT语句）在MyISAM引擎中执行的比较快，但是UPDATE语句在InnoDB下执行的会比较快，尤其是在并发量大的时候。
4. 描述下 scrapy 框架运行的机制？
-
架构介绍：
- Engine：引擎，完成整个系统的数据流处理、事务触发。是整个框架的核心。
- Item：项目，定义了爬取结果的数据结构，爬取数据会被赋值成该Item对象。
- Scheduler：调度器，将引擎发过来的request按照一定的方式进行整理排列、入队，并等待引擎再次请求。
- Downloader：下载器，下载网页内容，将response返回给引擎。
- Spiders：爬虫，定义了爬取逻辑和网页的解析规则，主要负责解析响应并提取数据和新的request。
- Item Pipeline：项目管道，负责处理（清洗、验证、存储）爬虫所提取的数据。
- Downloader Middlewares：下载器中间件，处理引擎与下载器之间的request和response。其功能十分强大，修改User-Agent、处理重定向、设置代理、设置cookies、失败重试等都需要它来实现。
- Spider Middlewares：爬虫中间件，处理输入爬虫的response和爬出输出的数据和request。
-
数据流
- 首先，引擎打开一个网站，找到处理该网站的爬虫，并向其请求第一个要爬取的url。
- 引擎从爬虫处取得url后，通过调度器以request的形式调度。
- 引擎从调度器处请求下一个要爬取的url。
- 调度器将url返回给引擎，引擎接收到url后将其通过下载器中间件转发给下载器下载。
- 下载完后，下载器生成该页面的response，并将其通过下载器中间件发送给引擎。
- 引擎收到response后，通过爬虫中间件交给爬虫做进一步处理。
- 爬虫处理了response后，返回提取到的项目和新的request给引擎。
- 引擎将项目给项目管道处理，而新request交给调度器。
- 重复3-8步骤，直到调度器中没有更多的request，引擎关闭该网站，爬取结束。
5. Dns服务的工作过程是什么？
DNS是计算机域名系统 (Domain Name System 或Domain Name Service) 的缩写，它是由域名解析器和域名服务器组成的。域名服务器是指保存有该网络中所有主机的域名和对应IP地址，并具有将域名转换为IP地址功能的服务器。其中域名必须对应一个IP地址，一个域名只能对应一个IP地址（比如访问一个域名不可能向两个ip地址请求），而IP地址不一定有域名且可以对应多个域名。
在浏览器输入网址，敲下回车的时候，发生了什么，以 www.qq.com 为例（参考博客）：
由于在用户主机上运行着DNS的客户端，在浏览器中输入网址，敲下回车的时候，浏览器将在接收到的url中抽取出域名字段。操作系统会先检查自己本地的hosts文件是否有这个网址映射关系，如果有，就先调用这个IP地址映射，完成域名解析。
如果hosts文件里没有这个域名映射，则查找本地DNS解析器缓存，是否有这个网址映射关系，如果有就直接返回，完成域名解析。
-
如果hosts文件和本地DNS解析器都没有相信的映射关系，则会先找到TCP/IP参数中设置的首选DNS服务器，即本地DNS服务器。
- 此服务器收到查询时，如果要查询的域名包含在本地配置区域资源中，则返回解析结果给客户机，完成域名解析，此解析具有权威性。
- 如果要查询的域名，不由本地DNS服务器区域解析，但该服务器已经缓存了此网址映射关系，则调用这个IP地址映射，完成域名解析，此解析不具有权威性。
-
如果本地DNS服务器本地区域文件于缓存都找不到此映射关系，则根据本地DNS服务器的设置（是否设置转发器）进行查询。
- 若未使用转发模式，本地DNS就把请求发至13台根DNS，根DNS服务器收到请求后会判断这个域名（.com）是谁来授权管理，并会返回一个负责该顶级域名服务器的IP。本地DNS服务器收到IP信息后，将会联系负责.com域的这台服务器。这台.com服务器收到请求后，如果自己无法解析，它就会找一个管理.com域的下一级DNS服务器地址（http://qq.com）给本地DNS服务器，本地DNS服务器收到这个地址后，就会找http://qq.com域服务器，重复上面的操作进行查询，直到找到www.qq.com主机。
- 如果本地DNS服务器设置了转发模式，此DNS服务器就会把请求转发至上一级DNS服务器，由上一级服务器进行解析，上一级服务器如果不能解析，或找根DNS或把转请求转至上上级服务器，以此循环。
最后解析结果返回给本地DNS服务器，由此DNS服务器在返回给客户机。
