原文出处我的公号：运营黑客。
你需要建立有效页面数据库
之前写过一篇文章《谈点 SEO》
关于 SEO 运营观，我简明提到，好的 SEO 工作开展，是需要从「需求形成产品」再到「流量获取及转化」贯穿始终的。文中有这么一段话：
SEO 运营观（传递价值，变现产品）
SEO运营公式：有效查询覆盖 × 有效抓取 × 有效收录 × 展现 × 点击 × 转化
「有效」界定了目标性，尤其需要对查询、抓取、收录做界定。
一个公式的成立，常识是默认为任何一个环节都是有效。我之所以在「查询覆盖」、「抓取」、「收录」前面特意加上了「有效」二字。是这三个环节是绝大多数 SEOer 常识盲区。谈查询覆盖、抓取、收录，往往理所当然地认为是在不加以有效与无效区分得谈总量。于是，把查询覆盖搞得多多的，把抓取搞得多多的，把收录搞的多多的，是用功所在。
这种不对有效无效做区分带来的影响是恶劣的。如同二八定律，一个网站的有效页面占据整个网站可能的页面，可能只有 20%，甚至更少。这个数据我没有做测量，但意思很清楚，大部分页面是属于无效页面的。如果都不加以区分地去做功课，那么这些功课可能有 80% 是无效的。
80% 的无效抓取，无效用功！80% 的无效收录，无效用功！这只是对搜索引擎资源的浪费。更不好的是，你的工作对象 80% 是无效的。
如果网站页面数量不超过 1000 个，或者网站结构很简单，就算 80% 的无效，也浪费不了多少时间与精力。这不是说小网站不需要做有效与无效区分，只是做了区分，带来好处相对于中大型站点不那么明显而已。
网站上了一定量级，比如上万；或者典型页面较多，比如超过 10 个，这时候就需要考虑一个建立有效页面数据库了。（注：本文不谈及有效查询数据库建立）
建立有效页面数据库目的
SEO 处理对象更加清晰明确，有的放矢，尽可能规避无效功课。
有效页面数据库，你只需要关注有效页面的抓取情况，有效页面的收录情况。你要做的都是针对有效页面做页面增长、页面改进。不属于有效的页面的抓取、收录，都是你要摒弃的。
搜索引擎分配给你网站的抓取量是相对恒量的。从常识出发，很容易就理解到建立有效页面数据库的意义。
另外，有效页面数据库的建立，对新人快速熟悉上手有很好的帮助，也是团队良好协作的一个基础。这种好处，在大型网站表现的尤为突出。
有效页面的定义
定义：有效页面就是有收录价值的页面。
定义标准
- 有（强）排名价值的。一个页面可以过排名获取流量，就必然有收录价值。也就是说排名价值是判定其是否有收录价值的充分条件。
典型类型有：网站首页、专题页、列表页、详情页等。
如：http://www.mafengwo.cn/travel-scenic-spot/mafengwo/10067.html - 无（弱）排名价值，但可以帮助搜索引擎直接或间接抓取其他排名价值页面。关键特征：页面上有大量指向其他页面的链接，但自身没有显著的排名意图。
典型类型有：列表页、索引页，栏目页等。
如：http://www.mafengwo.cn/mdd/ - 无（弱）排名价值，但可以提升整站权重。这类页面常见于海量文章页、贴子等。通过 UGC 创造的页面大多数可以归为此类。不过，这些海量的页面，除了可以极大提高整站权重，其整体排名价值又往往超过了网站其他所有有效页面。这是非常有意思的现象。页面数量越多的网站，这个表现越明显——很多你压根想不到的词，这些词大部分只被检索过一次，带来的流量超过了整体的一半。
典型的类型有：详情页。
如：http://www.mafengwo.cn/i/7127948.html
建立有效页面数据库的流程
关于有效页面数据库搭建流程，可以单独写一篇比较长的文章。这里做框架性阐述。
1 . 确立有效页面规则
主体、意图、属性A（可能还有 B、C、D等）、记录A（可能还有 B、C、D等）、页面类型以及 URL。
仍然拿蚂蜂窝的页面举例：
http://www.mafengwo.cn/travel-scenic-spot/mafengwo/10067.html
大概可以设计下面这个样子。
| 主体 | 意图 | 属性 | 记录 | URL |
|---|---|---|---|---|
| 目的地 | 攻略 | 国家 | 菲律宾 | http://www.mafengwo.cn/travel-scenic-spot/mafengwo/10067.html |
拿到一个有效页面规则，其他目的地国家都同理得到。
2 . 拿到字典表
页面各个字段参数与记录对应关系构成了字典表。
大概可以设计下面这个样子。
| 主体 | 意图 | 属性 | 记录 | 参数 |
|---|---|---|---|---|
| 目的地 | 攻略 | 国家 | 菲律宾 | 10067 |
注意：最好加上主体、意图、属性这三个字段。随着网站结构复杂，记录上完全一样的词，对应的参数很可能不一样。所以需要加上主体、意图、属性来加以细分。
3 . 组合「有效页面」
接下来，我们要拿到有效页面了。
有效页面有三种：
- 应当有效页面。与查询覆盖完全匹配的理想页面，也是我们最终想要拿到的。实际操作中，无法一蹴而就得到。
- 组合有效页面。通过字典结合规则组合得到。应当有效页面和现存有效页面都是其子集。但是组合有效页面往往会出现一个问题，由于规则很难以过于精细，组合出来的会产生超出查询覆盖边界。
- 现存有效页面。网站数据库现有的有效页面。这部分页面有两个的局限性表现。
- 可能各种各样的原因，比如由于数据不全，会导致现存有效页面往往小于应当有效页面。
- 这部分有效页面是遵循组合规则生成，也会出现现存有效页面超出应当有效页面的情况。
三者关系见下图：
拿到最终的应当有效页面，需要建立在组合有效页面和现存有效页面的基础上。
- 通过规则和字典，拿到组合有效页面。
- 采集或从数据库拿到现存有效页面。
- 结合组合有效页面、现存有效页面以及内容数据，补全现存页面缺少部分，剔除现存页面超出部分。
有效页面数据库的应用
前面说过，最终是要拿到应当有效页面数据。但从动态的角度来看，应当有效页面数据是没有最终静止形态。因此，有效页面数据的应用，除了是为了不断逼近应当有效页面，更多的是在逼近过程中的应用。
拿到有效页面数据，大家可以尽情的发挥自己的想象力，怎么用得效率高，怎么用得爽，就怎么来。只要在整个 SEO 运营公式的框架下，结合实际情况，可以通过各种各样的方式利用起来。
在主体、意图、属性、记录、URL 的基础上，继续增加想要关注的字段。比如 Title、H1、状态码、关键词、收录等。
应用主要有三个方面
- 记录
有的放矢地记录，每个版本都可以往回查找。记录是复盘的前提。 - 监测
尽早发现变化，如内容的修改，收录排名变动等。 - 优化
结合记录和监测，可以预知趋势，可以总结操作得失。基于未来和过去，才能做出合理的优化判断。
举个监测规避风险的场景
大中型网站，由于其复杂性以及数据量大，一些对 SEO 影响不好的操作，往往会等等实质性结果出来了，才后知后觉。
比如程序的一个小操作，导致了某类页面的 Title 变了个样，H1 标签丢失等等。看到这里，真让人有点怕怕。
如果某类页面状态码都变成了 404，看到这里，已经恐怖如斯了，这 SEO 工作真心没法搞了。
所以需要一些监测机制来预防和提前发现。前面说到的添加更多需要关注的字段，就是形成机制的若干要点。
最后，无有效页面数据，不优化。人话就是，甭做了，浪费感情。
