只有Google才能搜索到我的网站?!

前言

博客已经写了一段时间,这几天看到小伙伴在群上贴了一张图,大体是关于:在Google搜索某个关键字,可以在前几条记录里面找到他的博客内容。于是我抱着试一试的心态,在Google上搜了下自己博客里的一些关键字,效果出乎意料的好!但当我用百度,好搜,神马之类的国内搜索引擎,搜索同样的关键字,却几乎看不到任何博客信息。

Google搜索效果

搜索以下几个关键字,都可以在前面几条可以找到我的博客!

搜索"xtutu"

g20151211152712.png

搜索"游戏产品 客户端"

g20151211152919.png

搜索"游戏 转盘 算法"

g20151211153030.png

搜索"服务端架构 思考"

g20151211153107.png

搜索"c++ 添加 lua"

g20151214180240.png

手动提交sitemap

毕竟在国内,百度更加符合国人的口味,而且近一段时间百度首页也做了很多改版,比如我的关注、推荐等等,看新闻的确是方便了不少。
既然百度无法主动搜索到我的网站,只能靠我们自己把网站信息手动提交给百度了!
地址
同理,好搜,神马搜索都可以自己手动来提交网站的sitemap。

但是!!!

然后百度居然不支持hexo的sitemap!!!

解决方法

好在百度还支持主动推送,所以只好自己写脚本把网站的sitemap.xml解析成百度支持的格式,然后再发给ta。
代码如下,注意配置这块改成自己的。自己的信息可以从这里找到,就是图中的接口调用地址。


20160129102059.jpg
# !/usr/bin/env python
# coding=utf8
import urllib2
import urllib
from xml.dom import minidom

def get_nodevalue(node, index = 0):
    return node.childNodes[index].nodeValue if node else ''

# 配置信息
# 如果sitemap中的地址是xtutu.me,当设为True的时候,就会自动把地址补为www.xtutu.me
needAddWWW = False
sitemapUrl = "http://www.xtutu.me/sitemap.xml"
baiduUrl = "http://data.zz.baidu.com/urls?site=www.xtutu.me&token=xxxxxxxxxxxxxx&type=original"

# 获取并解析xml文件
linksStr = ""
req = urllib2.urlopen(sitemapUrl)
xmlVal = req.read()
doc = minidom.parseString(xmlVal)
root = doc.documentElement
urlSet = root.getElementsByTagName('url')
for node in urlSet:
    urlString = get_nodevalue(node.getElementsByTagName('loc')[0]).encode('utf-8','ignore')
    if needAddWWW:  # 判断是否需添加www字段
        urlString = urlString.replace("://", "://www.")
    linksStr = linksStr + urlString + "\n"
print linksStr

# 发送xml文件给百度
req = urllib2.urlopen(baiduUrl, linksStr)
content = req.read()
print content

raw_input("Press ENTER to exit")

输出结果

http://www.xtutu.me/search-engine-and-my-website/
http://www.xtutu.me/baidu_verify_4Lm08kj7TJ.html
http://www.xtutu.me/egret-graphics-draw-optimize/
http://www.xtutu.me/game-wheel-lottery/
http://www.xtutu.me/think-about-server/
http://www.xtutu.me/helloworld/
http://www.xtutu.me/typescript-javascript-compare/
http://www.xtutu.me/egret-source-part-mainloop/
http://www.xtutu.me/egret-source-part-render/
http://www.xtutu.me/how-to-create-a-good-game-for-client-programmer/
http://www.xtutu.me/python-script-to-upload-directory-from-windows-to-a-linux-server-achieving-one-click-deployment/
http://www.xtutu.me/the-date-object-in-js/
http://www.xtutu.me/coffeescript-javascript-compare/
http://www.xtutu.me/add-lua-support-for-cplusplus-project/
http://www.xtutu.me/categories/index.html
http://www.xtutu.me/tags/index.html
http://www.xtutu.me/egret/
http://www.xtutu.me/about/index.html
http://www.xtutu.me/404.html

{"remain":387,"success":19}

代码地址
https://github.com/xtutu/util-script

百度,我只能帮你到这里了

后记

好搜,神马在提交了sitemap之后,搜索结果的确是有了不少改善,但是还是没有google那么精准。
至于百度。。。搜索结果依旧毫无改善。
查了下资料,才发现居然是因为Github主动屏蔽了来自于BaiduSpider的请求。- -!
不过这一情况可以通过CDN(国内的很多平台都需要备案)来解决,可以参考以下这篇文章:
http://www.dozer.cc/2015/06/github-pages-and-cdn.html
目前我是把博客移到了gitcafe上。。。但是即使我做了这么多,百度依旧搜不到我的博客,看来只能慢慢等百度收录了。。。

本文同步发表在个人网站xtutu.me

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容