从搜索引擎所采取的技术来说，可以将搜索引擎技术的发展分为4个时代：分类目录、文本检索、链接分析和用户中心。
史前一代：分类目录的一代
这个时代也可以称为“导航时代”，Yahoo和hao123是这个时代的代表。通过人工收集整理，把各类别的高质量网站或者网页分门别类罗列，用户可以根据分级目录来查找高质量的网站。这种方式是纯人工的方式，并未采取什么高深的技术手段。
采取分类目录的方式，一般被收录的网站质量都较高，但是这种方式可扩展性不强，绝大部分网站不能被收录。
第一代：文本检索的一代
文本检索的一代采用经典的信息检索模型，比如布尔模型、向量空间模型或者概率模型，来计算用户查询关键词和网页文本内容的相关程度。网页之间有丰富的链接关系，而这一代搜索引擎并未使用这些信息。早期的很多搜索引擎比如Alta Vista、Excite等大都采取这种模式。
相比分类目录，这种方式可以收录大部分网页，并能够按照网页内容和用户查询的匹配程度进行排序。但是总体而言，搜索结果质量不是很好。
第二代：链接分析的一代
这一代的搜索引擎充分利用了网页之间的链接关系，并深入挖掘和利用了网页链接所代表的含义。通常而言，网页链接代表的一种推荐关系，所以通过链接分析可以在海量内容中找出重要的网页。这种重要性本质上是对网页流行程度的一种衡量，因为被推荐次数多的网页其实代表了其具有流行性。搜索引擎通过结合网页流行性和内容相似性来改善搜索质量。
Google率先提出并使用PageRank链接分析技术，并大获成功，这同时也引进了学术界和其他商业搜索引擎的关注。后来学术界陆续推出了很多改进的链接分析算法。目前几乎所有的商业搜索引擎都采取了链接分析技术。
采用链接分析能够有效改善搜索质量，但是这种搜索引擎并未考虑用户的个性化要求，所以只要输入的查询请求相同，所有用户都会获得相同的搜索结果。另外，很多网站拥有者为了获得更高的搜索排名，针对链接分析算法提出了不少链接作弊方案，这样导致搜索结果质量变差。
第三代：用户中心的一代
目前的搜索引擎大都可以归为第三代，即以理解用户需求为核心。不同用户即使输入同一个查询关键词，但其目的也有可能不一样。比如同样输入“苹果”作为查询词，一个追捧iPhone的时尚青年和一个果农的目的会有相当大的差距。即使是同一个用户，输入相同的查询词，也会因为所在的时间和场合不同，需求有所变化。而目前搜索引擎大都致力于解决如下问题，如何能够理解用户发出的某个很短小的查询词背后包含的真正需求，所以这一代搜索引擎称之为以用户为中心的一代。
为了能够获取用户的真实需求，目前搜索引擎大都做了很多技术方面的尝试。比如利用用户发送查询词时的时间和地理位置信息，利用用户过去发出的查询词及相应的点击记录、历史信息等技术手段，来试图理解用户此时此刻的真正需求。
