elasticsearch各种问题总结(转载自我的CSDN同名博客wujianqinjian)

阿里云elasticsearch试用套路

阿里云的elasticsearch可以给用户提供试用的机会,这一点还算是比较大方。
但是,并没有领取页面,你必须通过elasticsearch的购买页面来0.00元购买。
https://data.aliyun.com/product/elasticsearch
通过上面链接进入到够买页面,节点必须选择“3”,购买价格才会变成0.00元(仅新用户)!

 

阿里云elasticsearch白名单问题

即:通过客户端访问elasticsearch,但配置为:0.0.0.0/0 默认无效,需参照下面配置!


在这里插入图片描述
阿里云免费试用elasticsearchYAML配置开启

注意点:阿里云虽然可以领取免费的elk,但配置是比较低的,为了能顺畅体验,建议YML参数配置全部开启
问题:

  1. 如果不开启自动创建索引的话,通过java、python直接PUT文档会报错哦
  2. YML参数配置需要重启,已确认重启一次至少2到4个小时(免费,所以你懂得)


    在这里插入图片描述
阿里云elasticsearch无法查询到中文结

原因:倒排索引将数据分成不同的分词,用这些分词词来匹配数据查询(可能我理解的不对),
但默认的词库没有中文相关的分词。
解决方法:网上查找中文分词词库,并上传到阿里云的插件中(我用的是热更新)


在这里插入图片描述

 

elasticsearch无法启动

elasticsearch 出于安全考虑,不允许使用root用户启动。
解决方法: 
1. 创建组elasticsearch,并在组elasticsearch下创建用户elasticsearchUser
2. elasticsearch所有目录的所有者必须是elasticsearchUser
3. 进入/elasticsearch/bin目录下,使用elasticsearchUser用户执行 ./elasticsearch 启动elasticsearch


在这里插入图片描述

 

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

系统级别默认的最大打开文件数太小,也可能导致elasticsearch无法启动!
解决方法:/etc/sysctl.conf 文件中最后一行添加:vm.max_map_count=655300
执行“sudo sysctl -p”使配置生效

在这里插入图片描述

 

ES日期校验导致java 或者python迁移数据到elasticsearch异常中断

场景:通过java API迁移数据时,发现经常自动中断,更换为python API迁移数据,问题同样发生,且无明显规律!
通过日志查看到每次断开时插入的最后一条数据和下一条数据,发现只要数据中包含日期,就会产生中断!
原因:在一开始设置“mapping”时,数据的类型被设置成文本类型,当数据中存在“日期类型”的数据,
ES 就会认为插入类型错误,实际上,数据就是文本类型,只不过数据中间包含了日期。
解决方案:关闭日期校验


在这里插入图片描述

 

docker构建elasticsearch集群无法通过外网访问

场景:玩家A突然告诉我,通过dockerpose构建elasticsearch集群简单又方便。
于是,自己就照搬官网的构建文件“https://www.elastic.co/guide/en/elasticsearch/reference/5.6/docker.html”,
3秒钟在腾讯云构建了一个2个节点的elastic集群(正常应该要有3个节点),方便至极兴奋的跳起来了。
问题:打开浏览器验证集群:“网页无法正常访问”。
排查过程: 

  1. 服务器中直接使用curl 127.0.0.1:9200 访问正常
  2. 查看防火墙,发现防火墙已关闭,排除防火墙原因
  3. 腾讯云嘛,经常玩的都懂,于是提工单,在腾讯云的帮助下,腾讯云工程师果断撇清腾讯云服务器
    (事实证明人家真没有问题,但同时也暴露一个问题:防火墙关闭、安全组也打开了9200,腾讯云
    工程师协助检查,发现9200依旧被过滤,无法访问)
  4. 反复启动多次容器,仔细查看日志
    发现一条WARNING: IPv4 forwarding is disabled. Networking will not work.
    直接粘贴“百度”发现了标准的解决方案
    更改 /etc/sysctl.conf中的“ net.ipv4.ip_forward=1”,默认其实是0.
    更改后执行“systemctl restart network”,再次启动elasticsearch则可以通过外网访问!


    在这里插入图片描述
elasticsearch7.0无法创建索引

常见:QQ群小伙伴反馈 创建索引报错,截图如下。
解决方案:群内大神回复,官方文档中已解释:集群最大分片数只能是1000


在这里插入图片描述
elasticsearch7.0 实验数据获取从哪里来

问题:要学习必须有足够的实验数据,从哪里来?
解决方法:群里面有人推荐“kaggle(https://www.kaggle.com/datasets),是一个数据网站,里面有各种各样的数据,
虽然通过官网的工具,也可以自己造数据,但要自己造数据的话,一般人能想到
在文本类型的数据中添加“日期”吗?
所以,kaggle的数据更加真实,实验的过程中能够发现更多实际问题!

阿里云mysql同步elasticsearch

解决方案:

  1. 使用阿里云DTS传输工具:https://blog.csdn.net/u010569419/article/details/89924494
  2. 通过logstash:https://www.elastic.co/cn/products/logstash
  3. 使用elasticsearch官网对应的API:https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-docs-index.html
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,185评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,652评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,524评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,339评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,387评论 6 391
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,287评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,130评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,985评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,420评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,477评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,088评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2 354