关于elasticsearch的安装配置

windows安装

安装 elasticsearch

1.首先安装java se 1.7 以上,配置环境变量

2.ElasticSearch Download(官网) 下载ElasticSearch安装包

3.解压后在elasticsearch下的bin目录下的elasticsearch.bat可以直接启动

安装 elasticsearch-head

1.修改 elasticsearch/config/elasticsearch.yml

2.添加

http.cors.enabled: true

http.cors.allow-origin: "*"

4.下载 elasticsearch-head 或者git clone 到随便一个文件夹

  1. 安装nodejs(一顿下一步就行)

  2. cd elasticsearch-head(切换到head的解压路径下,elasticsearch5.0以上不能使用plugin -install mobz/elasticsearch-head 命令进行安装head)

  3. <a name="OLE_LINK1"></a>npm install -g grunt-cli(注意查看安装路径,默认路径如果不是在head目录下,记得修改 npm config get prefix 查看目录 )

  4. npm install grunt安装grunt

  5. npm install (执行这一步的时候,如果报错,让选择正确的license版本号, 那么打开D:\elasticsearch-head\路径下的package.json中的Apache2改为 Apache-2.0,)

(执行npm install 的时候速度非常慢

可以使用这个指令把下载路径换成淘宝的镜像路径

npm install grunt --registry=http://registry.npm.taobao.org

或者直接把下载地址设置为淘宝路径(推荐)

npm config set registry http://registry.npm.taobao.org,如果还是比较慢的话

可以尝试使用 npm install cnpm -g 使用淘宝的镜像 npm cache clean 清理缓存)

image.png
  1. grunt server (启动elasticsearch-head可以访问http://localhost:9100/
image.png
image.png

Linux下的安装

linux下的elasticsearch 安装

1.将jdk安装到linux中(1.7以上)

2.配置环境变量

vim /etc/profile 编辑profile文件

在底部加入

JAVA_HOME=/usr/java/jdk1.8

PATH=JAVA_HOME/bin:PATH

CLASSPATH=JAVA_HOME/jre/lib/ext:JAVA_HOME/lib/tools.jar

export PATH JAVA_HOME CLASSPATH

装好后记得使环境变量生效 source /etc/profile

3.将下载好的elasticsearch 的tar包,通过xftp放入目标服务器

4.解压文件

5. ./bin/elasticsearch 指令启动

6.出来箭头所指的地方代表成功

image.png

linux下的elasticsearch-Head安装

1.从官网下载对应的tar包

<u>https://nodejs.org/en/download/</u>

image.png

2.通过xftp放入对应的服务器中

3.解压tar包

tar -xvf node-v6.11.3-linux-x64.tar.xz 解压tar包

mv node-v6.11.3-linux-x64 nodejs 重命名为nodejs

4.查看nodejs 的bin目录下 是否有npm 和node

将两个文件设置为全局

ln -s /home/debian/node/nodejs/bin/npm /usr/local/bin/npm

ln -s /home/debian/node/nodejs/bin/node /usr/local/bin/node

也可以设置为环境变量 vim /etc/profile 编写NODE_HOME并配置到PATH中用“:”隔开

image.png

装好后记得使环境变量生效source /etc/profile

查看是否安装成功 node -v

[图片上传失败...(image-d7d837-1515480300826)]

6.执行wget http://nodejs.org/dist/v6.11.3/node-v6.11.3.tar.gz

  1. cd node

./configure /path(安装的路径)

<a name="OLE_LINK2"></a> make

make install

  1. vim /etc/profile 设置环境变量

  2. source /etc/profile 配置的环境变量生效,可以使用 node -v指令查看是否成功

  3. 安装grunt 执行sudo npm install -g grunt-cli 如果提示sudo : npm指令找不到,那么需要执行

ln -s /home/debian/node/6.11.3/bin/npm /usr/local/bin/npm

ln -s /home/debian/node/6.11.3/bin/node /usr/local/bin/node

如果还是不行,那么可以将路径链接到usr/ bin

sudo ln -s /usr/local/bin/node /usr/bin/node

sudo ln -s /usr/local/bin/npm /usr/bin/npm

sudo ln -s /usr/local/lib/node /usr/lib/node

sudo ln -s /usr/local/bin/node-waf /usr/bin/node-waf

11.执行grunt -v 查看是否成功

image.png

12.修改 /Gruntfile.js

image.png

在如图所示的地方添加一个hostname:’0.0.0.0’在windows下就可以访问虚拟机了

13.windows下连接

image.png

Docker安装elasticsearch

设置为国内镜像

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://dc945b6d.m.daocloud.io

docker pull docker.elastic.co/elasticsearch/elasticsearch:5.5.3 拉取es到本地

docker run -d --restart=always -p 9200:9200 -p 9300:9300 \

--name=elasticsearch-stores \

-e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" \

-v /data/docker/elasticsearch/data:/usr/share/elasticsearch/data \

-v /data/docker/elasticsearch/logs:/usr/share/elasticsearch/logs \

-v /data/docker/elasticsearch/config:/usr/share/elasticsearch/config \

-v /etc/localtime:/etc/localtime \

-v /etc/timezone:/etc/timezone \

docker.elastic.co/elasticsearch/elasticsearch:5.5.3(这个映射如果一定要加,需要把docker容器中的config )前面是宿主机器的文件

此处执行这个指令的时候最好用root,避免权限问题导致映射不过来

写在一行里面 直接执行就好

安装es-jdbc的时候,我是直接安装在宿主机上了,es-jdbc的版本一定要和es的版本对应

目前es-jdbc我用的是2.3.4.1

wget http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/2.3.4.1/elasticsearch-jdbc-2.3.4.1-dist.zip

运行自己写好的sh mysql-stores.sh 和 sh mysql-stores-schedule.sh

(1)舍弃标准输出,将错误输出到log文件中

nohup ./program >/dev/null 2>log &

(2)如果错误信息也不想要的话:

nohup ./program >/dev/null 2>&1 &

本身的sh里面已经带有Log的输出,所以错误信息也不要了,选择第二个

修改.sh中的信息时,一定要删除
image.png

如图对应的文件,再重新生成此文件,否则,修改不会生效

查看集群

<a name="OLE_LINK3"></a>192.168.217.128:9200/_cat/health?v

查看节点

192.168.217.128:9200/_cat/nodes?v

查看索引

192.168.217.128:9200/_cat/indices?v

新建删除索引

192.168.217.128:9200/stores?pretty

查看索引下所有的数据

<a name="OLE_LINK4"></a>192.168.100.129:9200/stores/_search?q=*&pretty

往索引里面放入数据目前没有办法在postman

elasticsearch.yml比较关键的配置

xpack.security.enabled: false 取消掉调用的时候的登录校验 5.5.3版本

cluster.name: elasticsearch

配置es的集群名称,默认是elasticsearch,es会自动发现在同一网段下的es,如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。

node.master: true 指定该节点是否有资格被选举成为node,默认是true,es是默认集群中的第一台机器为master,如果这台机挂了就会重新选举master。

node.data: true 指定该节点是否存储索引数据,默认为true。

index.number_of_shards: 5 设置默认索引分片个数,默认为5片。

index.number_of_replicas: 1 设置默认索引副本个数,默认为1个副本。

path.conf: /path/to/conf 设置配置文件的存储路径,默认是es根目录下的config文件夹。

path.data: /path/to/data 设置索引数据的存储路径,默认是es根目录下的data文件夹,可以设置多个存储路径,用逗号隔开,例: path.data: /path/to/data1,/path/to/data2

path.work: /path/to/work 设置临时文件的存储路径,默认是es根目录下的work文件夹。

path.logs: /path/to/logs 设置日志文件的存储路径,默认是es根目录下的logs文件夹

path.plugins: /path/to/plugins 设置插件的存放路径,默认是es根目录下的plugins文件夹

bootstrap.mlockall: true 设置为true来锁住内存。因为当jvm开始swapping时es的效率 会降低,所以要保证它不swap,可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值,并且保证机器有足够的内存分配给es。 同时也要允许elasticsearch的进程可以锁住内存,linux下可以通过ulimit -l unlimited命令。

network.bind_host: 192.168.0.1 设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0。

network.publish_host: 192.168.0.1 设置其它节点和该节点交互的ip地址,如果不设置它会自动判断,值必须是个真实的ip地址。

network.host: 192.168.0.1 这个参数是用来同时设置bind_host和publish_host上面两个参数。

transport.tcp.port: 9300 设置节点间交互的tcp端口,默认是9300。

transport.tcp.compress: true 设置是否压缩tcp传输时的数据,默认为false,不压缩。

http.port: 9200 设置对外服务的http端口,默认为9200。

http.max_content_length: 100mb 设置内容的最大容量,默认100mb

http.enabled: false 是否使用http协议对外提供服务,默认为true,开启。

gateway.type: local gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统,分布式文件系统,hadoop的HDFS,和amazon的s3服务器,其它文件系统的设置方法下次再详细说。

gateway.recover_after_nodes: 1 设置集群中N个节点启动时进行数据恢复,默认为1。

gateway.recover_after_time: 5m 设置初始化数据恢复进程的超时时间,默认是5分钟。

gateway.expected_nodes: 2 设置这个集群中节点的数量,默认为2,一旦这N个节点启动,就会立即进行数据恢复。

cluster.routing.allocation.node_initial_primaries_recoveries: 4 初始化数据恢复时,并发恢复线程的个数,默认为4。

cluster.routing.allocation.node_concurrent_recoveries: 2 添加删除节点或负载均衡时并发恢复线程的个数,默认为4。

indices.recovery.max_size_per_sec: 0 设置数据恢复时限制的带宽,如入100mb,默认为0,即无限制。

indices.recovery.concurrent_streams: 5 设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5。

discovery.zen.minimum_master_nodes: 1 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1,对于大的集群来说,可以设置大一点的值(2-4)

discovery.zen.ping.timeout: 3s 设置集群中自动发现其它节点时ping连接超时时间,默认为3秒,对于比较差的网络环境可以高点的值来防止自动发现时出错。

discovery.zen.ping.multicast.enabled: false 设置是否打开多播发现节点,默认是true。

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"] 设置集群中master节点的初始列表,可以通过这些节点来自动发现新加入集群的节点。

安装时遇到的问题

1****、max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

修改/etc/sysctl.conf配置文件,

cat /etc/sysctl.conf | grep vm.max_map_count vm.max_map_count = 262144

如果还是出现这个问题的话执行

sysctl -w vm.max_map_count = 262144

2、在linux中启动后,在windows下访问不了

修改elasticsearch目录中的 config中的elasticsearch.yml,将#去掉,并且将host改为0.0.0.0

Vim config/elasticsearch.yml

image.png
image.png
image.png

3. 安装node的时候一定要记得不要用压缩包直接解压就算安装了,这种安装方法在Linux中是行不通的

  1. 安装sudo npm install 的时候保错,如图所示,

尝试执行了sudo npm install phantomjs-prebuilt@2.1.15 --ignore-scripts 后,再执行sudo npm install 不在报错

image.png

最新的创建docker容器指令 一定要在普通用户权限下运行
docker run -d --restart=always -p 9200:9200 -p 9300:9300 --name=es
-e ES_JAVA_OPTS="-Xms1024m -Xmx1024m"
-v /data/docker/elasticsearch/data:/usr/share/elasticsearch/data
-v /data/docker/elasticsearch/logs:/usr/share/elasticsearch/logs
-v /data/docker/elasticsearch/config:/usr/share/elasticsearch/config
-v /data/docker/elasticsearch/plugins:/usr/share/elasticsearch/plugins
-v /etc/localtime:/etc/localtime
-v /etc/timezone:/etc/timezone
docker.elastic.co/elasticsearch/elasticsearch:6.0.0

docker network connect localhost_connection es

关于报错
执行 sudo chown -R ubuntu /data/docker/elasticsearch/

org.elasticsearch.bootstrap.StartupException: java.lang.IllegalStateException: failed to obtain node locks, tried [[/usr/share/elasticsearch/data/elasticsearch]] with lock id [0]; maybe these locations are not writable or multiple nodes were started without increasing [node.max_local_storage_nodes] (was [1])?
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:134) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:121) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:69) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:134) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[elasticsearch-6.0.0.jar:6.0.0]
Caused by: java.lang.IllegalStateException: failed to obtain node locks, tried [[/usr/share/elasticsearch/data/elasticsearch]] with lock id [0]; maybe these locations are not writable or multiple nodes were started without increasing [node.max_local_storage_nodes] (was [1])?
    at org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:244) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.node.Node.<init>(Node.java:263) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.node.Node.<init>(Node.java:245) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:322) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:130) ~[elasticsearch-6.0.0.jar:6.0.0]
    ... 6 more
Caused by: java.io.IOException: failed to obtain lock on /usr/share/elasticsearch/data/nodes/0
    at org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:223) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.node.Node.<init>(Node.java:263) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.node.Node.<init>(Node.java:245) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:322) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:130) ~[elasticsearch-6.0.0.jar:6.0.0]
    ... 6 more
Caused by: java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/nodes/0/node.lock
    at sun.nio.fs.UnixException.translateToIOException(UnixException.java:84) ~[?:?]
    at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102) ~[?:?]
    at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107) ~[?:?]
    at sun.nio.fs.UnixFileSystemProvider.newFileChannel(UnixFileSystemProvider.java:177) ~[?:?]
    at java.nio.channels.FileChannel.open(FileChannel.java:287) ~[?:1.8.0_151]
    at java.nio.channels.FileChannel.open(FileChannel.java:335) ~[?:1.8.0_151]
    at org.apache.lucene.store.NativeFSLockFactory.obtainFSLock(NativeFSLockFactory.java:113) ~[lucene-core-7.0.1.jar:7.0.1 8d6c3889aa543954424d8ac1dbb3f03bf207140b - sarowe - 2017-10-02 14:36:35]
    at org.apache.lucene.store.FSLockFactory.obtainLock(FSLockFactory.java:41) ~[lucene-core-7.0.1.jar:7.0.1 8d6c3889aa543954424d8ac1dbb3f03bf207140b - sarowe - 2017-10-02 14:36:35]
    at org.apache.lucene.store.BaseDirectory.obtainLock(BaseDirectory.java:45) ~[lucene-core-7.0.1.jar:7.0.1 8d6c3889aa543954424d8ac1dbb3f03bf207140b - sarowe - 2017-10-02 14:36:35]
    at org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:209) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.node.Node.<init>(Node.java:263) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.node.Node.<init>(Node.java:245) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:322) ~[elasticsearch-6.0.0.jar:6.0.0]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:130) ~[elasticsearch-6.0.0.jar:6.0.0]
    ... 6 more

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,185评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,445评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,684评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,564评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,681评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,874评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,025评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,761评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,217评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,545评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,694评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,351评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,988评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,778评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,007评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,427评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,580评论 2 349

推荐阅读更多精彩内容