前一个系列的文章是关于勘察的，下面这个系列是关于爬虫的，主要内容如下：
- 使用 Wget 下载一个页面用于离线分析
- 使用 HTTrack 下载一个页面用于离线分析
- 使用 ZAP 的 Spider
- 使用 Burp Suite 爬取一个网站
- 使用 Burp 的 repeater 重发请求
- 使用 WebScarab
- 识别爬取结果中的相关文件和目录
简介
渗透测试的实施途径有很多，比如黑盒、灰盒、白盒测试。黑盒测试，事先不知道待测系统的信息，只知道服务的URL地址。 白盒测试，测试团队事先了解被测系统的全部信息，基础设施架构、软件版本、测试用账户信息、开发信息等 。灰盒测试，可以理解为介于黑盒和白盒之间的混合测试。
不管黑盒还是灰盒测试，勘察阶段都是发现白盒测试中所用信息（应用所有者提供的）,的必要手段。下面，我们继续以黑盒测试的途径（该途径覆盖了外部攻击者获取用于渗透到应用或服务的特定功能所需信息所有步骤）继续讨论。
跟所有Web系统渗透测试的勘察阶段一样，我们要先去浏览并保存目标站点的所有页面和文件。类似于 Web Crawler和 Web Spider 的工具可以帮我们快速实现这一目标。这些工具跟进所有的链接或外部文件索引，有时候还能构造某些秒单并发给服务器，报存所有的请求和响应，以供我们进行相应的离线分析。
这个系类的文章里，我们会讨论如何利用 Kali 中提供的一些爬虫工具， 来获取网页内容。
