为什么说程序员一定要看 ElasticSearch 源码

前提

人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需,大型企业早已淹没在系统生成的浩瀚数据流当中。大数据技术业已集中在如何存储和处理这些海量的数据上。Elasticsearch 作为开源领域的后起之秀,从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、分布式、RESTFul API 三大优势,已经成为当下风口中“会飞的猪”。

在我的电脑本地写了几篇 ElasticSearch 的源码解析了,回过头来想想应该也写一篇为何我会去看它的源码?

为什么呢?下面我讲讲自己从接触搜索到现在看源码的过程!

第一次接触搜索

搜索,我们首先想到的是搜索引擎:Google、百度,这个就算是接触的最早的了。

我自己项目里面接触搜索是大二暑假那时练习的一个项目,里面用了 Solr,然后当时自己也稍微了解了下,并用在了项目里面。

第二次接触搜索

从第一次项目里面用到了搜索,后面自己对这方面就比较感兴趣。再一次接触搜索是实习的时候进公司。第一件事情就是被老大叫的去学习搭建 Elasticsearch 集群,于是乎,电脑就装了三个虚拟机,Elasticsearch 就一个个的装了起来了。也记录了博客下来:Elasticsearch 系列文章(二):全文搜索引擎 Elasticsearch 集群搭建入门教程,当时搭建的时候 ES 的版本才刚从 2.x 升级到 5.x 呢,截止本文时间 2018.08.04,现在 ES 版本已经是到 7.0 了,这版本升级是真的的快,这也说明了 ES 的活跃度很高,背后的开发工程师维护也快,侧面突出要去看它源码的重要性。

当时自己在本地测试搭建集群后,给分配了另外一个任务就是去了解 ES 中的自带分词、英文分词、中文分词的相同与差异、以及自己建立分词需要注意的点。于是乎:当时在公司 wiki 贡献了这篇文章:Elasticsearch 系列文章(一):Elasticsearch 默认分词器和中分分词器之间的比较及使用方法。这篇文章几乎已经把市面上所有的分词都写进去了,包括他们的相同点、不同点、如何使用、如何自定义分词器。

然后还有就是我同组的一个同学,她的任务就是 2.x 升级到 5.x 中 mapping 的大改变有哪些?后面我也看了她总结的文档,很详细!

在这次接触了 ES 后,因为我自己本地已经有环境了,所以自己测试了一些功能,给 ES 安装插件(IK、x-pack、支持 sql 的、),后面自己也去测试 ES 的索引、文档、REST API。

第三次接触搜索

由于是自己对其感兴趣,所以后面就去找了些相关的视频,比如:中华石衫的《Elasticsearch 顶尖高手系列-高手进阶篇》几个系列视频教程个人感觉还是不错的,看完这几个系列估计入门肯定是没有问题的。版权原因,不提供下载链接。

另外就是《Elasticsearch 权威指南》翻译的版本,翻译还没有全,可以去看看,讲得很详细的,市面上应该还没有哪本书讲的有这么清楚,如果英文不错的可以直接啃英文吧。

还有就是官网的文档了,非常非常详细,还有 demo,2.x 版本的是有中文的官方文档,可以凑合着看。

学习新东西,要学会先看官方文档,何况 Elasticsearch 的官方文档这么详细呢!

第四次接触搜索

后面实习的时候,又分配了公司中间件监控的两个模块:Elasticsearch 和 HBase 组件的监控。于是乎,再次有机会接触 Elasticsearch 了,这次主要还是利用 Elasticsearch 自带的 REST API :_cluster/health 、_cluster/stats、_nodes、_nodes/stats 去获取到集群的健康信息、节点信息(内存、CPU、网络、JVM等信息)。为了做这个项目自己当时也去找了网上很多类似的文章参考常用的监控指标和他们是怎么做监控的。我当时的任务主要还是采集信息,然后存到公司大项目的 influxdb 中,最后用 grafana 展示出来,后面我组的运维大佬给我看了监控大盘,界面挺酷炫的,哈哈哈,牛逼!

第五次接触搜索

后面就没怎么接触 ElasticSearch 了,一直忙着其他的东西。

实习辞职后,毕业出来找工作的那段日子,自己又花了一星期稍微过了一遍 《Elasticsearch 权威指南》 这本书,话说还帮我面试挺过不少关呢,哈哈哈!因为我项目里写了 Elasticsearch 的监控,如果你对 Elasticsearch 其他的不熟悉,面试官稍微问些其他关于这方面的,那就不知道就有点尴尬了,所以还是准备了下。看完之后应付面试没多大的问题。

第六次接触

看起来我接触了 Elasticsearch 很久了,其实真正项目里面是没有用到 Elasticsearch 做过项目的,没有用到 Elasticsearch 的搜索做什么项目,于是自己当时找工作其实也打算找到工作后看能不能自己做个项目或者公司项目里面用用 Elasticsearch 呢?

结果在新公司新项目里,很快就用到了。只不过这次不是 Java 项目里面用了,而是和 GoLang 整合。不过 API 都差不多,多熟悉几次就很快上手了,关键还是要懂 Elasticsearch 如何构造 DSL 查询语句,这样再转换成 GO 里面的 API 就快了。

还有就是公司里刚好有个中科院研究生大佬,他就写过 Elasticsearch 这块的书籍《从 lucene 到 Elasticsearch 全文检索实战》,另外他的 CSDN 博客也很火,阅读量很高,感兴趣的可以买本书支持下。

中途自己遇到 Elasticsearch 实在不会的问题也会主动去找大佬咨询,然后大佬耐心教教我这个渣渣菜鸡,在文章这里感谢下大佬这段时间的关照。

萌生阅读源码的想法

既然接触了这么久的 Elasticsearch ,项目里用过,书籍也看过,虽然还不是很熟,但是如果看看它的源码是不是会让我对它的印象更深呢?

说干就干,晚上回家就从 GitHub clone 了源码在本地,那时刚好回家,就在火车上直接用 VS code 看了会源码,也没有在 ide 里 debug 起来。

写这篇文章的时候已经把 Elasticsearch 的整个启动流程(加载读取配置、加载插件等)、如何支持 REST API 看了下,后面会在下班后回家继续阅读源码,继续分享我的源码解析的。

有想法就去干,不尝试下,怎么知道适不适合你?

总结

其实阅读源码的主要原因还是自己感兴趣;另外就是这东西现在项目里确实也用到了,如果我对源码熟悉的话可能会对我的理解会更加透彻点;还有就是 Elasticsearch 确实火,公司几乎都用的,所以学习下还是有必要的。


如果你是一名程序员,如果你刚好又是Java程序员,恰巧刚好你的技术又遇到了瓶颈但是你又拒绝平庸,期待蜕变,想进入一线互联网公司或者给自己涨薪

我这里刚好有一套自己保存的Java进阶学习资料。包含了Spring框架、Mybatis框架SpringBoot框架、SpringMVC框架、SpringCloud微服务、Dubbo框架、Redis缓存、RabbitMq消息、JVM调优、Tomcat容器、MySQL数据库

之前的两千人群满了 这个是新群Java高级进阶群:963,944.895,免费发送的哟

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容