亚马逊robots.txt文件解析

Robots.txt的作用：

Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。


Robots.txt文件写法规则：

User-agent: *  #这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: /ABC/  #禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm   #禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?*   #禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$   #禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html    #禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/　#这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp    #这里定义是允许爬寻tmp的整个目录

Allow: .htm$   #仅允许访问以".htm"为后缀的URL。

Allow: .gif$   #允许抓取网页和gif格式图片

Sitemap    #网站地图告诉爬虫这个页面是网站地图


亚马逊robots.txt网址：https://www.amazon.com/robots.txt

亚马逊robots.txt文件解析

User-agent: *    #定义所有搜索引擎

Disallow: /exec/obidos/account-access-login

Disallow: /exec/obidos/change-style

Disallow: /exec/obidos/flex-sign-in

Disallow: /exec/obidos/handle-buy-box

Disallow: /exec/obidos/tg/cm/member/

Disallow: /gp/aw/help/id=sss   #禁止访问gp目录下的aw文件里的help文件中Id=sss的内容

Disallow: /gp/cart

Disallow: /gp/flex

Disallow: /gp/product/e-mail-friend

Disallow: /gp/product/product-availability

Disallow: /gp/product/rate-this-item

Disallow: /gp/sign-in

Disallow: /gp/reader   #禁止访问gp目录下的reader (读者)中的内容

Disallow: /gp/sitbv3/reader

Disallow: /gp/richpub/syltguides/create

Disallow: /gp/gfix

Disallow: /gp/associations/wizard.html    #禁止访问gp目录下的associations文件中的wizard.html页面内容

Disallow: /gp/dmusic/order

Disallow: /gp/legacy-handle-buy-box.html   #禁止访问gp目录下的legacy-handle-buy-box.html页面内容

Disallow: /gp/aws/ssop

Disallow: /gp/yourstore

Disallow:/gp/gift-central/organizer/add-wishlist

Disallow: /gp/vote

Disallow: /gp/voting/

Disallow: /gp/music/wma-pop-up

Disallow: /gp/customer-images

Disallow:/gp/richpub/listmania/createpipeline

Disallow: /gp/content-form

Disallow: /gp/pdp/invitation/invite

Disallow: /gp/customer-reviews/common/du   #禁止访问gp目录下的customer-reviews（用户评价）文件下的common文件中du的内容

Disallow:/gp/customer-reviews/write-a-review.html   #禁止访问gp目录下的customer-reviews（用户评价）文件下的write-a-review.html页面内容

Disallow: /gp/associations/wizard.html

Disallow: /gp/music/clipserve

Disallow: /gp/customer-media/upload

Disallow: /gp/history  #禁止访问gp目录下的history(历史记录)中的内容

Disallow: /gp/item-dispatch

Disallow:/gp/dmusic/order/handle-buy-box.html

Disallow: /gp/recsradio

Disallow: /gp/slredirect

Disallow: /dp/shipping/

Disallow: /dp/twister-update/

Disallow: /dp/manual-submit/

Disallow: /dp/e-mail-friend/  #禁止访问dp目录下的e-mail-friend

(e-mail朋友)中的内容

Disallow: /dp/product-availability/

Disallow: /dp/rate-this-item/

Disallow: /gp/registry/wishlist/*/reserve

Disallow:/gp/structured-ratings/actions/get-experience.html

Disallow: /gp/twitter/   #禁止访问gp目录下的twitter中的内容


Disallow: /ap/signin

Disallow: /gp/registry/wishlist/

Disallow: /wishlist/

Allow: /wishlist/universal*

Allow: /wishlist/vendor-button*

Allow: /wishlist/get-button*   #允许访问wishlist目录下get-button文件夹中的所有信息

Disallow: /gp/wishlist/

Allow: /gp/wishlist/universal*

Allow: /gp/wishlist/vendor-button*

Allow: /gp/wishlist/ipad-install*

Disallow: /registry/wishlist/

Disallow: /review/common/du

Disallow: /gp/registry/search.html

Disallow: /product-reviews/B0069IY63Y

Disallow: /gp/orc/rml/

Disallow: */gcrnsts   #禁止搜索引擎爬到所有内容中的gcrnsts内容

Disallow: /gp/gc/widget

Disallow: /gp/dmusic/mp3/player

Disallow: /gp/entity-alert/external

Disallow:/gp/customer-reviews/dynamic/sims-box

Disallow: /review/dynamic/sims-box

Disallow: /gp/redirect.html

Disallow: /gp/twister/ajaxv2

Disallow: /ss/twister/ajax

Disallow: /b?*node=7454917011   #禁止访问爬取包含node=7454917011的动态路径

Disallow: /b?*node=7454927011

Disallow: /b?*node=7454939011

Disallow: /b?*node=7454898011

Disallow:/gp/customer-media/actions/delete/

Disallow:/gp/customer-media/actions/edit-caption/

Disallow: /gp/dmusic/

Allow: /gp/dmusic/promotions/PrimeMusic   #允许访问爬取gp目录下dmusic目录中promotions文件下的PrimeMusic信息

Allow:/gp/dmusic/promotions/AmazonMusicUnlimited

Disallow: /gp/offer-listing/

Allow: /gp/offer-listing/B000

Allow: /gp/offer-listing/9000

Disallow: /b?*node=9052533011

Disallow: /lm/R1XIHQVKXSKBNJ

Disallow: /lm/R3HQ5WJSZK6QSO

Disallow: /surprise/

Disallow: /local/ajax/

Disallow: */B00M3E1NYI

Disallow: */B00M3E1Q5Y  #禁止访问所有内容中的B00M3E1Q5Y的内容

Disallow: */B00M3E1TOM

Disallow: */B00M3E1WYO

Disallow: */B00M3E204K

Disallow: */B00M3E236A

Disallow: */B00M3E260I

Disallow: */B00M3E28WO

Disallow: */B00M3E2BC6

Disallow: */B00M3E2DPQ

Disallow: */B00M3E2GU8

Disallow: */B00M3E2J14

Disallow: */B00M3E2LOE

Disallow: */B00M3E1HJY

Disallow: /gp/socialmedia/giveaways

Disallow: /gp/b2b-rd

Disallow: /gp/aw/so.html

Disallow: /gp/rentallist

Disallow: /gp/video/dvd-rental/settings

Disallow: /gp/rl/settings

Disallow: /gp/video/settings

Disallow: /gp/video/library

Disallow: /gp/video/watchlist

Disallow: /reviews/iframe

Disallow: /gp/switch-language

Disallow: /ga/p/

Disallow: /gp/profile/

Disallow: /giveaway/host/setup/

Disallow: /ss/customer-reviews/lighthouse/

Disallow: /ospublishing/story/*

Disallow: /gp/aw/ol/

Disallow: /gp/promotion/

Disallow: /hz/leaderboard/top-reviewers/

Disallow: /hz/leaderboard/hall-of-fame/

Disallow: /review/top-reviewers/

Disallow: /review/hall-of-fame

Disallow: /reviews/top-reviewers/

Disallow: /reviews/hall-of-fame


User-agent: Googlebot  #定义谷歌搜索引擎

Disallow: /rss/people/*/reviews   #禁止谷歌搜索引擎爬取rss目录中people目录下的所有reviews目录下的内容

Disallow: /gp/pdp/rss/*/reviews

Disallow: /gp/cdp/member-reviews/

Disallow: /gp/aw/cr/

Disallow: /exec/obidos/account-access-login

Disallow: /exec/obidos/change-style

Disallow: /exec/obidos/flex-sign-in

Disallow: /exec/obidos/handle-buy-box

Disallow: /exec/obidos/tg/cm/member/

Disallow: /gp/aw/help/id=sss

Disallow: /gp/cart

Disallow: /gp/flex

Disallow: /gp/product/e-mail-friend

Disallow: /gp/product/product-availability

Disallow: /gp/product/rate-this-item

Disallow: /gp/sign-in

Disallow: /gp/reader

Disallow: /gp/sitbv3/reader

Disallow: /gp/richpub/syltguides/create

Disallow: /gp/gfix

Disallow: /gp/associations/wizard.html

Disallow: /gp/dmusic/order

Disallow: /gp/legacy-handle-buy-box.html

Disallow: /gp/aws/ssop

Disallow: /gp/yourstore

Disallow:/gp/gift-central/organizer/add-wishlist

Disallow: /gp/vote

Disallow: /gp/voting/

Disallow: /gp/music/wma-pop-up

Disallow: /gp/customer-images

Disallow:/gp/richpub/listmania/createpipeline

Disallow: /gp/content-form

Disallow: /gp/pdp/invitation/invite

Disallow: /gp/customer-reviews/common/du

Disallow: /gp/customer-reviews/write-a-review.html

Disallow: /gp/associations/wizard.html

Disallow: /gp/music/clipserve

Disallow: /gp/customer-media/upload

Disallow: /gp/history

Disallow: /gp/item-dispatch

Disallow:/gp/dmusic/order/handle-buy-box.html

Disallow: /gp/recsradio

Disallow: /gp/slredirect

Disallow: /dp/shipping/

Disallow: /dp/twister-update/

Disallow: /dp/manual-submit/

Disallow: /dp/e-mail-friend/

Disallow: /dp/product-availability/

Disallow: /dp/rate-this-item/

Disallow: /gp/registry/wishlist/*/reserve

Disallow: /gp/structured-ratings/actions/get-experience.html

Disallow: /gp/twitter/

Disallow: /ap/signin

Disallow: /gp/registry/wishlist/

Disallow: /wishlist/

Allow: /wishlist/universal*   #禁止谷歌搜索引擎爬取wishlist目录下的universal的所有内容

Allow: /wishlist/vendor-button*

Allow: /wishlist/get-button*

Disallow: /gp/wishlist/

Allow: /gp/wishlist/universal*

Allow: /gp/wishlist/vendor-button*

Allow: /gp/wishlist/ipad-install*

Disallow: /registry/wishlist/

Disallow: /review/common/du

Disallow: /gp/registry/search.html

Disallow: /product-reviews/B0069IY63Y

Disallow: /gp/orc/rml/

Disallow: */gcrnsts 

Disallow: /gp/gc/widget

Disallow: /gp/dmusic/mp3/player

Disallow: /gp/entity-alert/external

Disallow: */sim/B001132UEE

Disallow:/gp/customer-reviews/dynamic/sims-box

Disallow: /review/dynamic/sims-box

Disallow: /gp/redirect.html

Disallow: /gp/twister/ajaxv2

Disallow: /ss/twister/ajax

Disallow: /b?*node=7454917011   #禁止谷歌搜索引擎访问爬取其包含node=7454917011的动态路径

Disallow: /b?*node=7454927011

Disallow: /b?*node=7454939011

Disallow: /b?*node=7454898011

Disallow:/gp/customer-media/actions/delete/

Disallow: /gp/customer-media/actions/edit-caption/

Disallow: /gp/dmusic/

Allow: /gp/dmusic/promotions/PrimeMusic

Allow:/gp/dmusic/promotions/AmazonMusicUnlimited

Disallow: /gp/offer-listing/

Allow: /gp/offer-listing/B000

Allow: /gp/offer-listing/9000

Disallow: /b?*node=9052533011

Disallow: /lm/R3HQ5WJSZK6QSO

Disallow: /lm/R1XIHQVKXSKBNJ

Disallow: /surprise/

Disallow: /local/ajax/

Disallow: */B00M3E1NYI    #禁止谷歌搜索引擎爬取所有信息中的B00M3E1NYI内容

Disallow: */B00M3E1Q5Y

Disallow: */B00M3E1TOM

Disallow: */B00M3E1WYO

Disallow: */B00M3E204K

Disallow: */B00M3E236A

Disallow: */B00M3E260I

Disallow: */B00M3E28WO

Disallow: */B00M3E2BC6

Disallow: */B00M3E2DPQ

Disallow: */B00M3E2GU8

Disallow: */B00M3E2J14

Disallow: */B00M3E2LOE

Disallow: */B00M3E1HJY

Disallow: /gp/aag

Allow: /gp/aag/main?*seller=ABVFEJU8LS620

Disallow: /gp/socialmedia/giveaways

Disallow: /gp/b2b-rd

Disallow: /gp/aw/so.html

Disallow: /gp/pdp/profile/

Disallow: /gp/video/library

Disallow: /gp/video/watchlist

Disallow: /gp/video/settings

Disallow: /gp/rl/settings

Disallow: /gp/video/dvd-rental/settings

Disallow: /gp/rentallist

Disallow: /reviews/iframe

Disallow: /gp/switch-language

Disallow: /ga/p/

Disallow: /giveaway/host/setup/

Disallow: /gp/help/customer/express/c2c/


User-agent: EtaoSpider   #定义一淘网搜索引擎

Disallow: /   #禁止一淘网爬取亚马逊所有信息

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 216,843评论 6赞 502
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,538评论 3赞 392
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 163,187评论 0赞 353
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,264评论 1赞 292
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,289评论 6赞 390
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,231评论 1赞 299
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,116评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,945评论 0赞 275
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,367评论 1赞 313
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,581评论 2赞 333
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,754评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,458评论 5赞 344
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,068评论 3赞 327
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,692评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,842评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,797评论 2赞 369
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,654评论 2赞 354