题记
本文内容资料来源于拉钩教育大数据高薪训练营
impala的概述
Impala是Cloudera提供的⼀款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询(Impala速度快)，Impala是参照⾕歌的新三篇论⽂当中的Dremel实现⽽来，其中旧三篇论⽂分别是
（BigTable，GFS，MapReduce）分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce。
Impala最⼤卖点和最⼤特点就是快速，Impala中⽂翻译是⾼⻆羚⽺。
Impala的优缺点
-
优点
- Impala没有和hive一样采用mapReduce作为计算引擎，而是采用了MPP数据库技术（Massively Parallel Processing）即大规模并行处理，大大提高了查询速度。
- 使⽤LLVM(C++编写的编译器)产⽣运⾏代码，针对特定查询⽣成特定代码。
- 优秀的IO调度，Impala⽀持直接数据块读取和本地代码计算。
- 选择适合的数据存储格式可以得到最好的性能（Impala⽀持多种存储格式）。
- 尽可能使⽤内存，中间结果不写磁盘，及时通过⽹络以stream的⽅式传递。
-
缺点
- Impala属于MPP架构，只能做到百节点级，⼀般并发查询个数达到20左右时，整个系统的吞吐已经达到满负荷状态，在扩容节点也提升不了吞吐量，处理数据量在PB级别最佳。
- 资源不能通过YARN统⼀资源管理调度，所以Hadoop集群⽆法实现Impala、Spark、Hive等组件的动态资源共享
Impala与Hive对比分析
查询过程
- Hive：Hive存在冷启动的问题，即一个task会启动对应的MapReduce，会存在多个MapReduce的启动和关闭的过程。
- Impala：Impala运行后台守护线程，不存在冷启动的情况。
中间结果 - Hive：Hive通过MR计算引擎对数据进行分析，在其中存在缓冲区数据溢写到磁盘的过程，且MR在shuffle过程中默认存在Sort过程，因此会有较大的磁盘开销。
- Impala：在执行程序之间使用流的方式传输中间结果，避免了数据写磁盘的过程，尽可能使用内存。
交互查询 - Hive：适合批处理，不适合实时交互查询。
- Impala：非常适合交互式查询，当数据量限制在PB级
计算引擎 - Hive：是基于批处理的Hadoop MapReduce
- Impala：更像是MPP数据库
容错 - Hive：Hive是容错的（通过MR&Yarn实现）
- Impala：Impala没有容错，由于良好的查询性能，Impala遇到错误会重新执⾏⼀次查询
查询速度
Impala：Impala⽐Hive快3-90倍
适⽤场景
- Hive: 复杂的批处理查询任务，数据转换任务，对实时性要求不⾼同时数据量⼜很⼤的场景。
- Impala：实时数据分析，与Hive配合使⽤,对Hive的结果数据集进⾏实时分。impala不能完全取代hive，impala可以直接处理hive表中的数据。
