spark的强大不再赘述,可以自行百度
spring boot是java中创建微服务中一个最基础的框架
下面是记录spring boot集成spark处理数据出现的一些错误及记录
spring boot + spark 构建工程 :maven配置:
启动时报 java.lang.verifyerror 错误分析错误为 com.fasterxml.jackson 包的版本问题,springboot 自带 jackson包版本为2.6.6,而spark为2.4.4;构建时排除spark的Jackson包:com.fasterxml.jackson.corejackson-databind发现仍然出现上面错误,再次分析确认spark自带依赖jackson-module-scala_2.10 的包为2.4.4;即默认支持的是2.4.4版本的Jackson包将此改为jackson-module-scala_2.10 2.6.6版本
启动成功
第一次用简书写日志,真麻烦,代码不知道怎么粘贴