引言 我所经历的大部分是 Java 应用， Java 语言的一个特性就是不需要使用者管理内存，Java 语言提供了管理内存的利器=》垃圾回收器。垃圾收集器虽然解决了使用者避免...
发简信
IP属地：内蒙古
-
G1 垃圾回收初探 -
人生只是一场，又一场战斗！剩者为王。<br><a href="https://www.jianshu.com/mobile/club?ref=4ee2c98" target="_blank">https://www.jianshu.com/mobile/club?ref=4ee2c98</a>
-
Gravitino 与 Spark 集成 （纯源码分析）背景 在上一期介绍了 Gravitino 的概念以及解决了什么问题，现在介绍下 Gravitino 如何与 Spark 集成，毕竟 Spark 的市占率是非常巨大的。 Spa...
-
Java G1 GC 调优实战总结 — 从内存占用到GC停顿优化
一、背景介绍 某Java应用，堆内存5.6GB，GC停顿时间过长，年轻代GC也经常超过1秒，影响响应和系统稳定性。初始GC参数： 堆中年轻代占比较大，内存占用高，GC频繁且停...
-
【大数据】Kerberos 认证问题导致服务 OOM三年前来到公司大数据团队，算是入了大数据的坑。一开始对大数据的组件不是很了解，一路走来在不停地学习探索。上周遇到了一个问题，我们数据地图的服务在预发环境触发 POD 级别的 ...
-
JDBC连接池被耗尽？一次SqlSession未关闭引发的排查记录
这是我在排查一个开源项目 Gravitino[https://github.com/apache/gravitino] 线上问题时的实战记录。起初问题表现得并不明显，只是偶尔...
-
【Hive】Alter Table 逻辑
摘要 本文深入分析了 Apache Hive Metastore 中 ALTER TABLE 操作，重点探讨了不同场景下分区元数据的更新策略。通过代码级解析，我们揭示了 Hi...
-
元数据湖-Gravitino 整体概况什么是 Gravitino 引用官方文档 Apache Gravitino 是一个高性能、地理分布式、联邦式元数据湖。它能够直接管理不同数据源、类型及区域的元数据，同时为用户...
-
浅聊 Spark DAG前置知识： RDD 与算子： RDD（类似 Stream） RDD（弹性分布式数据集）是 Spark 的核心抽象，代表一个分布式的、不可变的数据集合。它允许开发人员以容错的方...
-
程序员算法基础——贪心算法
前言 贪心是人类自带的能力，贪心算法是在贪心决策上进行统筹规划的统称。 比如一道常见的算法笔试题----跳一跳： 有n个盒子排成一行，每个盒子上面有一个数字a[i]，表示最多...
-
kubernetes 日志采集方案 采用DaemonSet 还是 SideCar呢？
参考文献：https://mp.weixin.qq.com/s/7Rq0LFhIs8oJoDRmNqrKqw 日志最主要的采集工具是 Agent，在 Kubernetes 场...
-
基于elasticsearch suggester的中文检索建议实现写一下个人spark实现的es completion suggester，目录如下， Overview 检索建议suggestion（补全completion和纠正corre...
-
Ranger架构剖析Ranger介绍 2016年，Hadoop迎来了自己十周岁生日。过去的十年，Hadoop雄霸武林盟主之位，号令天下，引领大数据技术生态不断发展壮大，一时间百家争鸣，百花齐放。...
-
-
LSM Tree原理详解0 前言 对于存储介质为磁盘或SSD的数据库，长期以来主流使用B+树这种索引结构来实现快速数据查找。当数据量不太大时，B+树读写性能表现非常好。但是在海量数据情况下，B+树越...
-
编译原理-First集和Follow集以及预测分析算法实现(java)
本篇文章内的源码: 这里[https://gitee.com/wo883721/compilers] 一. 概念 1.1 串首终结符集 定义: 给定一个文法符号串α， α的...
-
单元测试之Mockito与PowerMock
什么是Mock？ 在单元测试中，我们往往想去独立地去测一个类中的某个方法，但是这个类可不是独立的，它会去调用一些其它类的方法和service，这也就导致了以下两个问题： 外部...
-
Java 函数组合
函数组合是一项把多个函数合并到一个函数的技术。你可以自己将多个独立的函数合并成一个函数（比如一个或多个 Java Lambda 表达式），但是对于函数组合 Java 也提供了...
-
【译】MapReduce: 在大规模机器上的简易数据处理概要 MapReduce 是一个处理和生成大数据集的程序模型和相关实现。用户定义一个 map 函数：处理一个 key/value 对生成一组中间键值对，和一个Reduce 函...
-
Java 函数式接口
Java 函数式接口 这个术语首先出自于 Java 8。Java 里的函数式接口 指的是一个接口只包含一个抽象方法。也就是说函数式接口可以包含拥有实现（方法体）的默认方法和静...
