发简信
IP属地：河北
-
-
Kettle:使用触发器和快照表进行增量数据同步
本文介绍了使用快照表和触发器进行增量数据同步。主库为Oracle 11g数据库，针对需要同步的表建立增量数据临时表以及触发器并通过kettle定时同步到PostgreSQL数...
-
Flink SQL 性能调优--MiniBatch提升吞吐率Flink 在设计和实现流计算算子时，把“面向状态编程”作为第一准则。因为在流计算中，为了保证状态（State）的一致性，需要将状态数据存储在状态后端（StateBacken...
-
基于Hexo的matery主题搭建博客并深度优化本文来自 悟尘纪，获取更新内容可查看原文： https://www.lixl.cn/2019/031019385.html 对于有一定技术背景的同学，自己动手搭建博客网站是一...
-
Flink基于RoaringBitmap的精确去重方案
在Flink实时统计中，提到去重，我能想到比较流行的几种方式： 布隆过滤器 - 非精确去重，精度可以配置，但精度越高，需要的开销就越大。主流的框架可以使用guava的实现，或...
-
（十四）Win10 IDEA环境下SparkSQL连接Hive的几个坑在之前的文章中介绍了通过spark-shell访问hive中数据的方法，那么在IDEA中应该怎样连接Hive并访问数据呢？网上有很多篇文章介绍，但可能是因为环境不同，访问过程...
-
-
Hadoop之linux调优
Hadoop之linux调优 标签： hadoop linux 1. 增大文件描述符nofile（查看当前的lsof |wc -l） 和 用户最大进程nproc a. 调整L...
-
Installing Apache Ranger Hive Plugin For Apache Spark
Apache Spark is built bundled with built-in Hive Metastore client(version 1.2.1.spark2)...
-
hbase observer实现value自动累加求和
hbase有两种Coprocessor，endpoint和observer，endpoint类似于存储过程，可以在hbase上实现了一个类似于mapReduce的过程，obs...
-
微软出品的Spark用例分享Spark做为一个通用的大数据引擎，用例太多，很难说得全。。。我们也就只能随机选取几个来分享。。。今夜，分享一本微软出品的Spark经典用例电子书: Three practi...
-
es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？面试题 es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？ 面试官心理分析 这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没...
-
详细解析 kafka manager 的使用添加集群 常用参数说明 下面已常用的选项作说明 Enable JMX Polling是否开启 JMX 轮训，该部分直接影响部分 kafka broker 和 topic 监控...
-
深入理解elasticsearch elasticsearch外源资源整理：https://github.com/jacksu/awesome-es
-
Vue复用Echart，动态更新数据视图Echart ECharts ，一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器。Echart提供了丰富功能的...
