如何规划好网站的URL-国平

阅读文档:

最好的规划URL目录层级的方式，就是按照业务方的逻辑来规划，从内容上应该是什么从属关系就怎么规划URL

一.因为爬虫固有的特点造成的抓取障碍:

  • 重复URL的问题 例如:模板部分的URL
    解决:搜索引擎已经解决这个问题

  • 搜索引擎采集的“待抓取列表”重复性问题

爬虫一边按照优先级抓取一部分的URL，一边把还未被抓取的URL记录下来等待下次抓取，只是这些还未被抓取的URL，下次爬虫来访问的频率就每个网站都不一样了， 每一类URL被访问的频率也不一样。
那些目录层级比较深的URL是次要抓取的；那些在模板部分的或重复率非常高的URL是被次要抓取的；那些动态参数多的URL是次要抓取的…..

二.因网站结构造成的爬取障碍

静态化的本质是URL唯一化,静态化只是一个手段而不是目的，为了保证URL的唯一化，可以把URL静态化、也可以用robots.txt或nofollo屏蔽动态内容、可以用rel=canonical属性、还可以在webmaster tool里屏蔽一些参数等等。

URL中要尽量用有意义的字符。这不是因为要在URL增加关键词密度而这么做的，是为了方便搜索引擎抓取。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容