spark 发布 2.2.0版本
- Apache Spark 2.2.0是2.x分支上的第三次主版本发布，其他两个版本分别2.0.x,2.1.x两个主版本以及下属的分支版本。这次发布spark移除了Structured Streaming的实验标签。也就是说，这次发布的版本的焦点在于其易用性、稳定性，并完善、解决了超过1100个问题(目前来看，实际上有1146个问题，具体内容可以在spark的 jira上看到)。
- 这次版本主要对一下几个模块着做了修改
- Core and Spark SQL
- Structured Streaming
- MLlib
- SparkR
- GraphX
- Deprecations
- Changes of behavior
- Known Issues
- Credits
Core and Spark SQL(内核和spark SQL)
- API更新
- SPARK-19107：支持通过DataFrameWriter和catalog来创建hive表
- DataFrameWriter是spark.sql下的一个接口，主要用于将数据集写到外部存储系统中
- Catalog同样是spark.sql的一个接口，用于提供标准API访问spark SQL中的元数据
- SPARK-13721：支持hive的LATERAL VIEW OUTER explode()功能
- LATERAL VIEW OUTER explode()是hive所提供的一行转多列的方法(详情 现在这里挖个坑，找个时间来添一下)
- SPARK-18885:针对数据源和hive的正/反序列化数据的同一建表语法
- SPARK-16475:对sql查询中的 BROADCAST, BROADCASTJOIN, and MAPJOIN增加广播提示功能
- SPARK-18350:支持本地回话时区(为了解决机器处于不同时区、或者不同用户处于不同时区所产生的时间不同问题)
- SPARK-19261:支持扩展的sql语法alter table table_name add cloumns
- SPARK-20420:增加external catalog时间
- external catalog
- SPARK-18127：增加spark的钩子和扩展点
- 这是Srinath提出的一个改进点，其本意是希望通过自定义spark会话的方式来来实现以下目标：增加自定义的分析规则，如实现递归操作;增加自己的分析检查，如对数据源做特殊的检查，在发现问题的时候可以提前发现；增加自定义优化等
- SPARK-20576：在Dataset/DataFrame中支持通用的提示函数
- SPARK-17203：数据源操作不应该区分大小写
- SPARK-19139：为spark增加AES基础认证机制
- SPARK-19107：支持通过DataFrameWriter和catalog来创建hive表
- 性能和稳定
- 代价优化器
- 针对filter,join,aggregate,project和limit/sample操作的评估基数
- 对join重排序进行优化
- 对TPC-DS利用启发式星型结构进行优化
- 引入一个基于聚合操作的jvm对象
- 部分聚合支持hive UDAF 函数
- 对CSV和JSON的文件列表/IO进行优化
- 解决不可撤销/不可杀死的任务耗尽系统资源的问题
- 拓扑结构的块复制问题
- 代价优化器
- 其他值得注意的改变
- 支持解析多行JSON文件
- 支持解析多行CSV文件
- 支持分区表的表分析命令
- 在完成插入和创建hive表后丢弃阶段字典和数据文件
- 视图更加文健、标准而不需要大量的SQL扩展
- 支持从hive 2.0/2.1的模型仓库中读取数据
- 提供提交协议的RDD端口API
- 对定时调度任务增加黑名单列表
- 移除对hadoop 2.5和更早版本的支持
- 移除对java7的支持
Structured Streaming(结构流)
- 常规应用
- Structured Streaming(结构流)的API现在属于常规应用，不再具有实验标签
- kafka 优化
- 支持在流中或者批量从kafka中读取/写入数据
- 使用一个缓存的kafka生产者通过kafka sink向kafka写入数据
- API更新
- 使用[flat]MapGroupWithState时支持复杂状态执行和超时
- 支持一次触发器
- 其他不重要的改变
- 增加一个测试和基准的rate source(信率源)
- structtured streaming 编程指南
MLlib
- 基于data-frame的新算法API
- 线性SVC
- SVC: support vector classification(支持向量聚类算法)
- 基于data-frame API的卡方检验
- 基于data-frame API的相关分析
- 基于特征转化的确实值处理
- 广义线性模型增加Tweedie分布
- 频繁项集挖掘中的FPGrowth算法和关联规则
- 线性SVC
- 已存在的算法中增加python和R的api
- Gradient Boosted Trees(梯度提升树)
- 二分k均值
- 局部敏感哈希 参考
- pySpark的分布式主成分分析和矩阵奇异值分解
- 主要bug修复
- DistributedLDAModel.logPrior计算准确率修复
- EMLDAOptimizer因类型匹配错误失败(由GraphX checkpointing的bug导致)
- 修复在二项式广义线性模型中计算信息准则错误问题
- AIC ：AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，由于它为日本统计学家赤池弘次创立和发展的， 因此又称赤池信息量准则
- 在某些输入数据中训练二分K均值模型报"java.util.NoSuchElementException: key not found"错误
- pyspark.ml.Pipeline 在多线程模式使用时会出问题
- 框约束的逻辑回归
- MLlib编程指南
SparkR
- SparkR在2.2.0版本焦点主要集中在:增加了大量现存Spark SQL特性的支持
*主要特征- Structured Streaming API支持R语言
- 完整的catalogAPI可以支持R语言
- to_json,from_json的列函数
- 合并dataFrame 和 合并列
- 支持dataFrame的checkpointing
- R中approxQuantile函数支持多列计算
- SparkR编程指南
GraphX图计算
- bug修复
- 图计算接收器从PageRank中获取到了不准确的结果
- 图顶点Rdd/边缘RDD做checkpoint操作时出现ClassCastException异常
- GraphX编程指南
不赞成
- python
- 放弃对python2.6的支持
- MLlib
- spark.ml LDA类不应该在spark.mllib的API中暴露，在spark.ml.LDAModel中，不提倡oldLocalModel 和 getModel
- SparkR
- 不提倡创建外部表
方式改变
- MLlib
- 开发API ALS.train()使用默认参数0.1代替1.0，为了匹配常规算法API中的默认参数设置
- sparkR:
- 为SparkR的高斯矩阵模型增加对数似然估计，但是引入一个sparkR的模型不会持续兼容：高斯矩阵模型在SparkR 2.1中已经被移除，可能不会在sparkR 2.2中重新引入。我们计划在将来对其保持向后兼容。
