发简信
IP属地：北京
-
-
PySpark写数到 Hive 动态分区
首先，写入动态分区表，要设置一些严格模式的参数，将其设置为非严格模式 插入非分区 Hive 表 对于插入 Hive 表来说，这个重分区不是必须的，但是建议使用，这样可以控制插...
-
PySpark 读写 MySQL
SparkSQL 有着强大的与其他存储介质交互的功能，其中就包括MySQL，这里简单介绍一下我在工作中用到的使用 PySpark 读写 MySQL 的使用。 写出到 MySQ...
-
感谢，可能我的版本比较老了。
MySQL按条件删除报错You can't specify target table 'xxx' for update in FROM clause
经常使用mysql 的查询功能，比较少使用删除。最近在网上做了几个sql题，有一个删除的问题，本以为挺简单，确报出如题目的错误，在网上一搜索才发现了这个问题。谨以此作为自己的...
-
Python对文件系统的几个操作
刚做了一个小需求，对文件系统有一些操作，记录一下，巩固记忆。 获取文件自己所在的路径： 创建文件夹： 删除文件： 下载hdfs 文件本地: 读取本地日志文件，去掉 _SUCC...
-
-
Hive中使用Python文件实现UDF
背景：表中有一个降水强度字段，但是并不是真实的降雨量，后来数据模型的同事给了一个python脚本，按照脚本可以大体转换成降雨量。思路：1.想过用 python 现将表中的数查...
-
Python获取Hive数据计算相关性系数
需求： 1.从hive 表中获取数据。 2.计算各个指标与主分析指标间的相关系数。 3.将计算出来的相关系数，放入csv 文件，待使用。 首先，相关系数我们选择了皮尔逊相关系...
-
sparkstreaming将offset存到hbase
之前一直将offset存到zookeeper，由于streaming程序会对zk有大量的读取操作，故将offset存到zk不太好，现已将offset都改到hbase中 kaf...
-
MySQL按条件删除报错You can't specify target table 'xxx' for update in FROM clause
经常使用mysql 的查询功能，比较少使用删除。最近在网上做了几个sql题，有一个删除的问题，本以为挺简单，确报出如题目的错误，在网上一搜索才发现了这个问题。谨以此作为自己的...
-
HikariCP数据库连接池
快速，简单，可靠。HikariCP是一个“零开销”生产就绪JDBC连接池。大约130Kb,它的性能几乎是C3P0、DBCP的25倍，十分强悍引用大话数据库连接池 配置也是十分...
-
kafka删除topic
删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题，发现都会偶然出现无法彻底删除kafka的情况。前提：kafka必须配...
-
Hive的性能优化以及数据倾斜
hive性能优化 一、Map阶段的优化： （控制hive任务中的map数，确定合适的map数，以及每个map处理合适的数据量）。 map个数影响因子： input目录中文件总...
-
flume监控inode变化的文件由于要实时读取redis的AOF文件，但是flume的taildir source在监控文件的时候，如果文件的inode变化了，那么会出现重复读取数据的情况，这里可以通过修改...
-
感谢楼主，网上见过的写的最详细的关于hbase 的文章了！
Hbase技术详细学习笔记
最近在逐步跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase...
-
Hbase技术详细学习笔记最近在逐步跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase...
