域名不属于URL
搜索引擎喜欢静态代码
http://是网络协议，属于网址，https://是网络高级协议
URl称为网页地址，网址后面的内容是网民来源，URL层级越短越容易被抓取，有助于排名。
如何缩减织梦层级？
步骤如下：
织梦后台→系统→系统基本参数→删除 /a 保存（文档html默认保存路径）→核心→栏目管理→选择其中一个栏目更改→文件保存目录→一个 /a →高级选项→文章命名规则→Y 后面“/”改成“-”→生成
需要手动改，没有一键全部改
robots的协议
一、robots.txt协议
1，是纯文本协议，用于声明该网站中不想被蜘蛛访问部分，或者指定蜘蛛抓取的部分
2，不是固定，而是一种约定，需要蜘蛛自觉遵守的一种习俗
二、robots.txt的作用
1，防止私密或重要内容被搜索引擎抓取
2，节省服务器资源，从而提高服务质量
3，减少重复抓取，提高网站质量指定sitemap文件位置
三、robots.txt的常用语法 *是通配符
User-agent
：* 用户代理 搜素引擎针对哪个搜素引擎蜘蛛，这里的*代表搜素引擎种类，*是通配符
1、AIIOW 允许：定义的允许蜘蛛抓取某个栏目或文件
2、AIIOW：/cgi-bin/：定义是允许访问cgi-bin目录
3、AIIOW：/*htm$ :允许访问意htm为后缀的URL
4、Disallow 不允许 ：禁止蜘蛛抓取某个栏目或文件
5、User-agent/admin/禁止抓取admin目录
6、Grawi-delay 延迟时间 间隔抓取时间
7、Visit-time:0100-1600 在每天的01:00-16:00允许抓取
8、Request-rate：20/1m 0900-1359 允许在每天9:00-13:59允许抓取，以每秒20抓取
仅允许百度蜘蛛、谷歌蜘蛛访问格式为：
Userr-agent:baiduspider
Allow:/
Userr-agent:Guglebot
Allow:/
Userr-agent:*
Disallow:/
蜘蛛是从上而下爬行的，假设网站只有A,B文件夹，只想让百度蜘蛛看到A文件，格式为：
Userr-agent:baiduspider
Allow:/A
Disallow:/B
Userr-agent:*
Disallow:/
网站地图
网站地图可以理解成是一个文件，包含了自己网站很多重要的链接，蜘蛛可以通过网站地图提高工作效率，能被快速收录页面，一般是和robots.txt放在一起
如何生成网站地图？
百度搜索sitemap→点击小爬虫→输入域名→生成→选择后缀为XML的→出现代码（整篇复制）→桌面新建文本文档，改名sitemap.xml→用记事本打开→粘贴代码
在桌面新建一个robots.txt文本文档，在尾部加上sitemap:http://网址/sitemap.xml，用ftp工具上传到根目录里。
