首先是404页面的设置。什么是404页面？其实很简单就是我们网站的一个错误页面。即网站任何的死链接都会显示404页面。这个设置是为了给用户更好的体验，人性化的表现网页链接的错误页面。
其次是robots文件的设置。那什么是robots文件呢？robots文件就是告诉搜索引擎，我这个网站哪个文件夹下的内容你不能浏览，哪个页面不能浏览。举例：淘宝是彻底屏蔽百度的。即百度是搜不到淘宝的。那就会有人不信，因为百度搜索淘宝的都是第三方那里的数据，他通过别的网站对淘宝的介绍和描述把这些信息搜索出来的。这个的意义就是马云不希望受制于百度，不会因为百度的算法调整而牵连淘宝，他想自己圈流量。不相信的人可以看这个链接http://www.taobao.com/robots.txt，这个就是看淘宝屏蔽百度蜘蛛的robots文件的设置。一般人的网站设置不需要这样，因为我们是做百度的流量。除非你的网站有特别需求可以这么设置。
再次就是301重定向设置。什么是301重定向设置呢？举例：你是否有这样的经历，在浏览器地址栏输入：www.baidu.com 能够进入百度首页，输入 baidu.com 也能进入百度首页。这个就是301重定向。我们的网址有带www 的，那么如果你想你的用户不用输入 www 就能进入你的网站，这个时候就要设置301重定向了。
最后就是网站地图的安装了。网站有地图是很好的，主要体现在蜘蛛能够知道你网站的网页。如果你的网站网页太多，蜘蛛爬取可能会遗漏，但是有了网站地图，蜘蛛就能更多的收录你的网页。
