一恒轻创笔记

蜘蛛池就是一堆由域名组成的站群，在每个站点下都生成海量页面（抓一堆文本内容相互组合），页面模板与正常网页没多大区别。由于每个站点都有海量的页面，所以整个站群的蜘蛛总抓取量也是...