Robots文件介绍；
robots.txt是一个纯文本文件，用于声明该网站中不想被robots访问的部分，或者指定搜索引擎蜘蛛只抓取指定的内容。
robots.txt不是规定，而是约定俗成需要搜索引擎蜘蛛自觉遵守一种道德习俗。
当一种搜索引擎蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt。
如果找到，搜索引擎蜘蛛就会按照该文件中的内容来确定抓取的范围
如果该文件不存在，那么搜索机器人就沿着链接抓取。
Robots文件作用：
防止私密或重要内容被搜索引擎抓取
节省服务器资源，从而提高服务质量
减少重复抓取，提高网站质量
指定sitemap文件位置
网站地图：
网站地图，又称站点地图，上面放置了网站上所有的页面链接。当访客在网站上找不到自己需要的信息时，可以将地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图。通过网站地图可爬行到网站的各个页面。网站也可以通过添加网站地图提高网站收录量。
网站地图的形式：HTML网站地图、Xml网站地图
网站地图制作（爱站SEO工具）
死链的形式：协议死链、内容死链
死链产生的原因：网站改版、伪静态设置、站内链接规划错误、虚拟主机设置
如何检测出死链：
网站在运营过程中出现经常出现死链，因此，SEO人员需要提前查找出死链并及时提交处理，那么如何查找死链呢？
这里介绍一款常用的死链检测软件——Xenu；或者站长工具中 死链接检测工具都OK
死链处理方法：
Robots文件设置、搜索引擎站长后台提交死链、请求删除百度快照
nofollow添加方法：
最常用的方法，直接给链接添加上nofollow属性标签、或者是在网页的meta标签中添加nofollow属性标签。
nofollow的作用：
站内nofollow标签：主要用于站内不重要的页面，如“关于我们”、“订阅本站”等，这些页面质量较低，可以忽略掉。
站外nofollow标签：用于论坛签名、帖子等，这些内容质量较低的页面，可以有效防止这些链接对网站造成不良影响。
网站内部链接优化技巧：
网站首页设置网站地图并提交搜索引擎
减小网站文章链接深度
创建文章关键词锚文本
不排名页面添加nofollow标签
频道页、内容页相互建立链接
注意链接的相关性和用户体验
内部链接要保证URL的唯一性
注意控制内部链接
