背景描述 spark是一个优秀的面向大数据的数据计算引擎，并且针对不同的应用场景，spark本身提供了一些很好的工具如对于数据分析计算我们可以选用spark sql，对于...
发简信
IP属地：河南
-
一种spark application提交管理的工程化实践 -
通过hive shell操作phoenix下的hbase表
环境配置 hive-2.3.2hbase-1.4.2phoenix-4.14.0-HBase-1.4spark-2.3.0-bin-hadoop2.7 想通过phoenix来...
-
获取SQL分组中的第1条或topN条记录
以mysql为例创建表项 插入测试记录 查询数据库中记录，如下 需求1: 按照custom_id进行分组，且每组按照date排序，然后获取每组中时间最新的一条记录 结果数据如...
-
hive执行sql:stage-1 map = 0 reduce = 0
问题描述：在hive shell中执行sql,如insert into person_base1 select * from person_base; 运行日志中一直显示如下...
-
hive服务启动异常定位记录
环境说明 hadoop-2.7.4hive-2.3.2hbase-1.4.2jdk1.8.0_161 问题现象原先启动hiveserver2和metastore的两个服务一直...
-
hmaster启动异常解决记录
环境背景在单台云服务器上使用docker搭了一套简单的大数据开发测试环境，1个master，2个slave,服务启动使用docker-compose简单编排。 hmaster...
-
centos安装docker-compose
操作系统环境版本 docker-compose需使用pip安装安装命令 安装python-pip遇到的错误 混合安装了el6与el7的package，可以尝试下面的方法解决:...