SEO中的蜘蛛日志抓取

  1. 蜘蛛日志抓取量= 蜘蛛总停留时间 / 单个页面抓取耗时

  2. 蜘蛛分析工具

    1. www.loghao.com 针对一些比较小的企业站的log日志

    2. PY日志分析

      1. 蜘蛛抓取是否正常，有没有抓取404

      2. 抓取连贯性，2篇抓取间隔不超过1分钟

      3. 主要是看重复抓取的次数

      4. 使用reboots静止一些垃圾页面的抓取

  4. 如何提高抓取连贯性

    1. 就是将相似的文章连续进行发布

    2. 调用按时间顺序进行调用，这样百度蜘蛛会根据需求会进行连续的爬取

    3. 在相关推荐里面，使用order_by发布时间的方法进行调用

  6. 如果一直没有蜘蛛

    1. 发布一些时效性比较好的文章

    2. 主动推送一定要做，先阶段白帽手法最好的方法

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容