elasticsearch的简单搭建

一、elasticsearch介绍

ElasticSearch 是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch 是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

我们建立一个网站或应用程序,并要添加搜索功能,但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快,我们希望能有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP来索引数据,我们希望我们的搜索服务器始终可用,我们希望能够从一台开始并扩展到数百台,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。因此我们利用Elasticsearch 来解决所有这些问题以及可能出现的更多其它问题。

二、elasticsearch优点

便于安装支持多平台;Linux,Windows等

便于开发支持多语言;Java,Python,PHP等

查询速度快,使用于大量数据查询

支持分词系统和聚合分析等多种功能

三、window和Linux

提示:以elasticsearch-2.3.3为例,无论是Windows还是Linux在配置elasticsearch.yml文件时对其中的配置项保持严格的缩进,否则启动可能报错

并且当前安装elasticsearch版本较低,后续版本可能与此不同但是万变不离其宗。

3.1、Windows搭建elasticsearch

(1)将下载好的elasticsearch-2.3.3.zip包解压

(2)进入elasticsearch-2.3.3目录下的conf下

(3)修改elasticsearch.yml(详细介绍见文章结尾)配置文件中的network.host选项为自己本地的ip地址

(4)在此返回到elasticsearch-2.3.3目录下并进入到bin目录下双击启动elasticsearch.bat该文件即可

3.2、Linux搭建elasticsearch

(1)将下载好的elasticsearch-2.3.3.zip包解压

(2)进入elasticsearch-2.3.3目录下的conf下

(3)修改elasticsearch.yml(详细介绍见文章结尾)配置文件

        cluster.name:英文集群名称 

        node.name: 英文节点名称

        path.data: 数据存放位置

        path.logs:日志存放位置

        network.host:主节点ip地址

        transport.tcp.port: tcp端口一般使用9300

        http.port: web访问端口一般使用9200

        保存并退出

(4)在此返回到elasticsearch-2.3.3目录下并进入到bin目录下执行./elasticsearch即可,后台执行需在后面加上-d

四、增加head,kopf,elasticsearch-sql可视化插件等

(1)查看elasticsearch-2.3.3目录下是否含有plugins改目录,如果没有则需要手动创建

(2)将head.zip解压至plugins目录下按照以上步骤重新启动即可

访问地址:http://ip:9200/_plugin/head/

同理kopf和elasticsearch-sql安装

特殊说明:只有elasticsearch-sql插件只能查询并且可以将sql转为elasticsearch聚合语句;而kopf和head既可以做查询又可以做增、删、改

head插件展示效果图


kopf插件展示效果图


elasticsearch-sql插件展示效果图

五、关于elasticsearch.yml配置详解

(1)集群名称,默认为elasticsearch

            cluster.name:elasticsearch

(2)节点名称,es启动时会自动创建节点名称,但你也可进行配置

            node.name: "node1"

(3)是否作为主节点,每个节点都可以被配置成为主节点,默认值为true

            node.master: true

(4)是否存储数据,即存储索引片段,默认值为true

            node.data: true

            {master和data同时配置会产生一些奇异的效果:

            1) 当master为false,而data为true时,会对该节点产生严重负荷;

            2) 当master为true,而data为false时,该节点作为一个协调者;

            3) 当master为false,data也为false时,该节点就变成了一个负载均衡器。}

(5)每个节点都可以定义一些与之关联的通用属性,用于后期集群进行碎片分配时的过滤

             node.rack: rack1

(6)默认情况下,多个节点可以在同一个安装路径启动,如果你想让你的es只启动一个节点,可以进行如下设置

            node.max_local_storage_nodes: 1

(7)设置一个索引的碎片数量,默认值为5

            index.number_of_shards: 5

(8)设置一个索引可被复制的数量,默认值为1

            index.number_of_replicas: 1

(9)配置文件所在的位置,即elasticsearch.yml和logging.yml所在的位置

            path.conf: /path/to/conf

(10) 分配给当前节点的索引数据所在的位置:

            path.data: /path/to/data

(11) 临时文件位置:

            path.work: /path/to/work

(12)日志文件所在位置:

            path.logs: /path/to/logs

(13) 插件安装位置:

            path.plugins: /path/to/plugins

(14) 插件托管位置,若列表中的某一个插件未安装,则节点无法启动:

            plugin.mandatory: mapper-attachments,lang-groovy

(15) JVM开始交换时,ElasticSearch表现并不好:你需要保障JVM不进行交换,可以将bootstrap.mlockall设置为true禁止交换:

            bootstrap.mlockall: true

            请确保ES_MIN_MEM和ES_MAX_MEM的值是一样的,并且能够为ElasticSearch分配足够的内在,并为系统操作保留足够的内存。

(16)默认情况下,ElasticSearch使用0.0.0.0地址,并为http传输开启9200-9300端口,为节点到节点的通信开启9300-9400端口,也可以自行设置IP地址:

            network.bind_host: 192.168.0.1

(17)publish_host设置其他节点连接此节点的地址,如果不设置的话,则自动获取,publish_host的地址必须为真实地址:

            network.publish_host: 192.168.0.1

(18)bind_host和publish_host可以一起设置:

            network.host: 192.168.0.1

(19)可以定制该节点与其他节点交互的端口:

            transport.tcp.port: 9300

(20)节点间交互时,可以设置是否压缩,转为为不压缩:

            transport.tcp.compress: true

(21)可以为Http传输监听定制端口:

            http.port: 9200

(22)设置内容的最大长度:

            http.max_content_length: 100mb

(23)禁止HTTP

            http.enabled: false

(24)网关允许在所有集群重启后持有集群状态,集群状态的变更都会被保存下来,当第一次启用集群时,可以从网关中读取到状态,默认网关类型(也是推荐的)是local:

            gateway.type: local

(25)允许在N个节点启动后恢复过程:

            gateway.recover_after_nodes: 1

(26)设置初始化恢复过程的超时时间:

            gateway.recover_after_time: 5m

(27)设置该集群中可存在的节点上限:

            gateway.expected_nodes: 2

(28)设置一个节点的并发数量,有两种情况,一种是在初始复苏过程中:

            cluster.routing.allocation.node_initial_primaries_recoveries: 4

            另一种是在添加、删除节点及调整时:

            cluster.routing.allocation.node_concurrent_recoveries: 2

(29)设置复苏时的吞吐量,默认情况下是无限的:

            indices.recovery.max_size_per_sec: 0

(30)设置从对等节点恢复片段时打开的流的数量上限:

            indices.recovery.concurrent_streams: 5

(31)设置一个集群中主节点的数量,当多于三个节点时,该值可在2-4之间:

            discovery.zen.minimum_master_nodes: 1

(32)设置ping其他节点时的超时时间,网络比较慢时可将该值设大:

            discovery.zen.ping.timeout: 3s

            http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多关于discovery的设置。

(33)禁止当前节点发现多个集群节点,默认值为true:

            discovery.zen.ping.multicast.enabled: false

(34)设置新节点被启动时能够发现的主节点列表:

            discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

六、elasticsearch集群的简单说明

单点与集群的关系是依靠同一个主节点名称和不同子节点名称,不同端口号,不同ip作为联系的介质,在配置文件中只需要在个别配置项配置多个不同ip和不同端口,并且同一个集群名称即可

七、工作中elasticsearch踩过的坑

(1)在个别业务场景下需要查询大量的数据并展示出来,无论是http请求查询也好还是elasticsearch API查询也好,当查询大于1024条数据事基本都会遇到一个报错;显示查询内容大于1024,这时需要在elasticsearch的配置文件中增加一个设置:

            index.query.bool.max_clause_count: 100000

(2)踩坑继续补充中.............

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容