ElasticSearch教程系列(一)

(1)什么是搜索

搜索,第一反应百度、谷歌。百度:比如说我们想找寻任何的信息,都会去网上搜索一下,比如说找一部自己喜欢的电影,或者说找一本喜欢的书等等。但是百度!=搜索。

搜索:就是在任何的场景下,找寻你想要的信息,这个时候,会输入一段你想要搜索的关键字,然后就期望找到这个关键字相关的信息。

常见的搜索比如说:互联网搜索,电商网站,招聘网站,新闻网站等等。


(2)如何用数据库做搜索会怎么样?

做软件开发的,或者对计算机有了解的,都知道,数据是存储在数据库里面的,比如说电商网站的商品信息,招聘网站上的职位信息等等,所以自然一点的说,如果从技术角度去考虑,如何实现如说:电商网站内部的搜索功能的话,就可以考虑,去使用数据库去进行搜索。

但是数据库搜索具有局限性:

  • 比方说:每条记录的制定字段的文本,可能会很长,比如说:商品描述字段可能会达数万字段,这个时候,每次对要对每条记录的所有文本进行搜索。
  • 数据库不能进行分词搜索。就比如说搜索生化机不能把生化危机搜索出来。

(3)什么是全文检索和Lucene

全文检索图解如下:


全文搜索过程.jpg

Lucene:Lucene,就是一个jar包,里面包含了封装好的各种建立倒排索引,以及进行搜索的代码,包括各种算法。如果采用java开发,直接引入Lucene jar,然后基于lucene的api进行开发。用lucene,我们就可以去将已有的数据建立索引,lucene会在本地磁盘上面,给我们组织索引的数据结构。


(4)什么是Elasticsearch?

为什么引入Elasticsearch图解如下:


为什么引入ES.jpg

Elasticsearch(ES)是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎;还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,是一个几乎实时的搜索平台,能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。

特点:可大可小、全文检索、分布式 数据分析 合并、开箱即用、非常简单、传统数据库的补充。


(5)Elasticsearch的功能,可以做什么?
  • 分布式的搜索引擎和数据分析引擎
    1、搜索:百度,网站的站内搜索、IT系统检索。
    2、数据分析:比如电商网站最近7天电子产品销量排名前十的商家有那些,新闻网站,最近1个月访问量前三的新闻模块是那些。

  • 全文检索,结构化检索,数据分析。
    1、全文检索:比如搜索商品中为手机的商品select * from products where product_name like "%手机%"
    2、结构化检索:比如搜索商品分类为日化用品的商品有那些select * from products where category_id = '日化商品'
    3、数据分析:分析每一个商品分类下有多少个商品select category_id,count(*) from products group by category_id

  • 对海量数据进行近实时的处理
    1、分布式:ES自动可以将海量数据分散到多台服务器上去存储和检索。
    2、海量数据处理:分布式后,可以采用大量的服务器去储存和检索数据,自然而然就可以实现海量数据的处理。
    3、近实时:秒级别对数据进行搜索和分析。

与分布式/海量数据相反的:lucene 单机应用,只能在单台服务器上使用,最多只能处理单台服务器可以处理数据。


(6)Elasticsearch的适用场

国外

  • 维基百科,类似百度百科,牙膏,牙膏的维基百科,全文检索,高亮,搜索推荐
  • The Guardian(国外新闻网站),类似搜狐新闻,用户行为日志(点击,浏览,收藏,评论)+社交网络,数据(对某某新闻的相关看法),数据分析,给到每篇新闻文章的作者,让他知道他的文章的公众反馈(好,坏,热门,垃圾,鄙视,崇拜)
  • Stack Overflow(国外的程序异常讨论论坛),IT问题,程序的报错,提交上去,有人会跟你讨论和回答 全文检索,搜索相关问题和答案,程序报错了,就会将报错信息粘贴到里面去,搜索有没有对应的答案
  • GitHub(开源代码管理),搜索上千亿行代码
  • 电商网站,检索商品
  • 日志数据分析,logstash采集日志,ES进行复杂的数据分析(ELK技术,elasticsearch+logstash+kibana)
  • 商品价格监控网站,用户设定某商品的价格阈值,当低于该阈值的时候,发送通知消息给用户,比如说订阅牙膏的监控,如果高露洁牙膏的家庭套装低于50块钱,就通知我,我就去买
  • BI系统,商业智能,Business Intelligence。比如说有个大型商场集团,BI,分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成,产出相关的数张报表,**区,最近3年,每年消费金额呈现100%的增长,而且用户群体85%是高级白领,开一个新商场。ES执行数据分析和挖掘,Kibana进行数据可视化

国内

  • 国内:站内搜索(电商,招聘,门户,等等),IT系统搜索(OA,CRM,ERP,等等),数据分析。

(7)Elasticsearch核心概念
  • Near Realtime(NRT)
    近实时,从写如数据到数据被搜索到有一个延迟(大概1秒);执行搜索和分析可以到秒级

  • Cluster 集群
    群集是一个或多个节点(服务器)的集合, 这些节点共同保存整个数据,并在所有节点上提供联合索引和搜索功能。一个集群由一个唯一集群ID确定,并指定一个集群名(默认为“elasticsearch”)。该集群名非常重要,因为节点可以通过这个集群名加入群集,一个节点只能是群集的一部分。

  • Node节点
    节点是单个服务器实例,它是群集的一部分,可以存储数据,并参与群集的索引和搜索功能。就像一个集群,节点的名称默认为一个随机的通用唯一标识符(UUID),确定在启动时分配给该节点。如果不希望默认,可以定义任何节点名。这个名字对管理很重要,目的是要确定你的网络服务器对应于你的ElasticSearch群集节点。

  • Document & Field文档
    文档是可以被索引的信息的基本单位。一个document可以是一条客户数据,一条商品分类数据,一条订单数据,通常用json表示。Index 里面单条的记录称为 Document(文档)。许多条 Document 构成了一个 Index,一个document里面可以有多个filed,每个filed就是一个数据字段。

eg: product docume { "product_id":"1", "product_name":"牙刷", "produce_desc":"美白", "category_id":"1", "category_name":"日化用品" }

  • Index索引
    索引是具有相似特性的文档集合,索引由名称(必须全部为小写)标识,该名称用于在对其中的文档执行索引、搜索、更新和删除操作时引用索引。例如,建立一个produce index ,里面可能就存放了所有的商品数据。

  • Type类型
    Type是index的逻辑数据分类,一个索引内部可定义一个或多个类型(type)。一般来说,不同的 Type 应该有相似的结构。举例来说,id字段不能在这个组是字符串,在另一个组是数值。性质完全不同的数据(比如products和logs)应该存成两个 Index,而不是一个 Index 里面的两个 Type。Eg:比如说一个商品index包含很多商品document,但是商品有很多分类(电器产品、生鲜产品,日化产品),每个种类的document的filed可能不太一样。

  • Shard分片
    索引可以存储大量的数据,这些数据可能超过单个节点的硬件限制。索引可以存储大量的数据,这些数据可能超过单个节点的硬件限制。es可以将一个索引中的数据切分为多个shard,分布在多个服务器上存储,有了shard就可以横向扩展,存储更多的数据,让搜索和分析等操作分布到多台服务器上去执行,提升吞吐量和性能,每个shard都是一个Lucene index,可以被放置到集群中的任何节点上。

  • Replicas副本
    任何一台服务器随时可能故障或者宕机,此时shard就可能会丢失,因此可以为每个shard创建多个replica,replica可以在shard故障时提供备用服务,保证数据不丢失,多个replica 还可以提升搜索操作的吞吐量和性能。primary shard(建立时一次设置,不能修改,5个),replica shard (随时可修改,默认1个)


后续系列持续更新,敬请期待……

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,928评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,192评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,468评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,186评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,295评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,374评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,403评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,186评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,610评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,906评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,075评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,755评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,393评论 3 320
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,079评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,313评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,934评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,963评论 2 351

推荐阅读更多精彩内容