浅析搜索引擎蜘蛛工作原理

在SEO工作中,有的时候我们很少关心搜索引擎蜘蛛是如何工作的,虽然,它是一个相对复杂的工作系统,但对于SEO人员而言,我们有必要进行详尽的了解,它有利于指导我们有效的工作。

那么,搜索引擎蜘蛛是如何工作的,又该如何引蜘蛛呢?

根据以往的工作经验,小编将通过如下内容,解读主流搜索引擎,百度蜘蛛是如何工作的:

1、常见蜘蛛抓取的策略:

①深度优先遍历策略

简单理解,深度优先遍历策略主要是指建立一个起点,按照这个起点的顺序,顺序抓取链条上,没有被抓取的每个节点。但有的时候,面对“无限循环”节点的时候,这一策略便显得捉禁见肘。

②宽度优先遍历策略

宽度优先便利策略,是早期搜索引擎常用的一种抓取策略,主要流程是提取整个页面中的URL,其中未被抓取的URL,就被放入待抓取列队,以此循环。

③PR优先策略

RP优先策略是一个非常注明的链接分析方法,它用于衡量网页的重要性,通常它会计算一个页面上URL的PR,按照从高到低的顺序进行抓取。

由于PR值的计算,需要不断的迭代更新,通常这里所采用的都是非完全PageRank策略。

④反链策略

反链策略,并没有一个明确的官方文档说明,这里小编认为,它主要是基于反链的数量以及种子页面的权威度,二者进行加权评估后,按照优先顺序抓取。

⑤社会化媒体分享策略

社会化媒体分析策略,主要是指一个URL在社交媒体中的流行度,它的转载量,评论,转发量,综合指标的评估。

言外之意,如果你的URL最先没有在百度网址提交,而是出现在社交媒体中,比如:头条文章,也是很有可能被百度抓取的。

2、一般蜘蛛抓取的流程:

对于搜索引擎而言,常见的抓取流程包括:种子页URL提取->整理新的待抓取URL集合->合并更新链接(包括已经抓取过的链接)->解析页面内容->进入链接总库(索引库)

其中,在解析页面内容,进入索引库的时候,它需要经过多层复杂的系统计算,评估目标URL的质量,从而决定是否进入低质量库。

3、如何引蜘蛛爬行页面:

对于合理引导蜘蛛爬行页面,具体常见的操作是:

①内容更新频率

理论上,如果你的页面更新频率相对较高,那么搜索引擎自然爬虫就是频繁来访,目的是抓取更多潜在的优质内容。

②内容更新质量

言外之意,如果你长期频繁更新低质量内容,是不可取的,特别是百度爬虫而言,如果你定期输出高质量且具有稀缺性的内容(独特的视角)你会发现蜘蛛的来访频率很高,并且经过一定周期的信任度累积,很容易达到“秒收录”

③网站页面稳定

服务器的连通率是决定,搜索引擎蜘蛛是否能够顺利抓取的主要因素,如果你的网站经常产生延迟,识别对抓取与索引产生重要影响。

④整站目标权重

这是一个综合性指标的考虑,通常而言,高权重的站点,更受搜索引擎的亲睐,蜘蛛抓取的也相对频繁,但这个评级,并不是咱们SEO专员,简单通过站长工具查询的结果,而是百度自身,一个非常私密的评估体系。

www.zmcms.com.cn

以上内容由挚梦科技建站整理提供,如有相关疑问可以联系我们或者下方评论。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,509评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,806评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,875评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,441评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,488评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,365评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,190评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,062评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,500评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,706评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,834评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,559评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,167评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,779评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,912评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,958评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,779评论 2 354

推荐阅读更多精彩内容