数据结构
- 数据机构
- 结构化：指具有固定格式，或者有限长度的数据，如数据库，元数据等
- 非结构化：指无定长的或者无固定格式的数据，如邮件，或者word文档，文本文档等
非结构化数据的检索
- 顺序扫描法（Serial Scanning）：从头到尾的检索，适合小数据型的数据
- 操作系统索索文件
- Linux上的wrapper方法
- 全文索索（Full-text Search）
- 将非结构化的数据中的一部分信息提取出来，重新进行组织，使其变得有一定的结构，然后对这部分数据进行搜索，以达到快速搜索的目的
- 索引：就是上述说的被提取出来的信息，重新进行组织后变成的结构化数据
- 相当于字典
全文搜索的实现原理
- 建立文本库（把所有的汉字收集起来）
- 建立索引（把汉字的规律提取出来）
- 执行搜索（对要查询的汉字进行查找）
- 过滤结果（去掉其他不是自己检索的字）
全文搜索的实现技术
- 基于java的开源实现
- Lucene 全文搜索的引擎
- ElasticSearch ：基于Lucene建立起来的
- Solr ：全文检索系统，跟ElasticSearch差不多
- 对比：solr利用了第三方的分布式管理系统，在传统的应用中solr要好一点，而ElasticSearch自身有。目前ElasticSearch应用的更多一点
ElasticSearch的简介
- 高度可扩展的开源全文搜索和分析引擎
- 快速的，可近实时地对大数据进行存储、搜索和分析
- 用来支撑有复杂的数据搜索需求的 企业应用
- 特点：
- 分布式：会把数据存储的索引分开到多个分片去的
- 高可用：由于是分布式系统，就算是若干台主机崩溃了，系统服务还是可以正常使用，所以是高可用的。
- 多类型
- 多API
- 面向文档：不用事先定义模式，每个类型可以定义模式和自定义索引
- 异步导入
- 进实时
- 基于Lucene
- Apache协议
ElasticSearch核心概念
-
近实时
- 其实可以做到实时的，需要牺牲索引的效率：每次搜索的时候，都要进行刷新，如果牺牲查询的效率，每次查询之前都需要刷新
- 而ElasticSearch做了一个折中的方案，每隔N秒去自动做一次刷新，在创建索引之后，最多就是在N秒之内就能查询到。
- 索引创建后不会直接写入磁盘，而是存放到了文件系统缓存当中，会与刷新策略设置定期的同步到磁盘去。
- 一般刷新策略的参数设置在1秒，因为延迟会有一秒的原因
-
集群：它是一个或者多个节点的集合，用来保存应用的所有数据 ，并提供基于全部节点的集成式的索引和搜索功能
- 每个集群的名称都是唯一的，默认的就是ElasticSearch。
- 节点要加入集群，需要根据这个名称来，尽量不要使用相同的名称，以避免节点在加入集群的时候产生错误，
- 每个集群需 的名称
-
节点
-是指集群中，单台的服务器，用来保存数据，并参与整个集群的索引和搜索- 用UUID通用分的唯一标识符来表示，名称在节点启动的时候，分配给节点的，可以自定义名称
索引：用来加快搜索的速度的。相似文档的集合，内容与义务本身的业务是相关的，可以利用索引保存数据每个索引都有一个名称，通过这个名称可以对索引中包含的文档来进行添加更新，删除和搜索等等操作。再单个集群中可以根据需要定义任意数量的索引。
类型：是对索引包含的文档要进一步的细分。 根据文档的公共属性进行划分
文档：进行索引的基本单位，与索引中的类型是相对应的。文档使用的是json的格式来表示；在非结构化数据中，文档对应的是结构化数据中的一个实体。文档的一个实例对应的就是关系型数据库中的实体的一个实例，也就是具体的某条数据
分片：需要水平分割或者缩放内容卷，通过分片分配到多个节点上，进行并行，从而提高性能和吞吐量
副本：分片可以设置不同的副本，故障不可避免，所以需要设置副本。增加副本其实可以增加吞吐量和搜索量
总体来说，索引可以分配多个分片，而分片又可以设置多个副本，默认情况下，ElasticSearch的每个索引会分配5个分片和1个副本，意味着每个集群至少有2个节点, 拥有5个分片和5个副本，这样就有10个分片。
