前两天突然被业务部的同事问了一句:“我现在要做搜索结果全量导,该用哪个接口,性能要好的?”之前虽然是知道这三种方法都是可以做分页的深度查询,但是由于具体的代码实现细节没看过,...
前两天突然被业务部的同事问了一句:“我现在要做搜索结果全量导,该用哪个接口,性能要好的?”之前虽然是知道这三种方法都是可以做分页的深度查询,但是由于具体的代码实现细节没看过,...
环境准备 git maven jdk 8u51及以上 flink1.9源码 编译 Flink针对不同Hadoop版本编译方法不一样,请根据自己的情况自行选择 已预编译好的Ha...
MyBatis Generator (MBG) 是由一个XML配置文件驱动的。这个配置文件中会声明以下内容: 如何连接数据库 要生成什么对象,以及如何生成它们 哪些表需要应用...
1. Nxlog 模块简介 在之前的文章当中我已经提到过 Nxlog 的 module 共分为4种,它们分别是 input, output, processor, exten...
1. NXLog 简介 nxlog 是用 C 语言写的一个开源日志收集处理软件,它是一个模块化、多线程、高性能的日志管理解决方案,支持多平台。今天我主要分析一下 nxlog ...
1. 用户空间 通常 32 位 Linux 虚拟地址空间划分, 0-3GB为用户空间,3GB-4GB为内核空间。每个进程都有4GB的虚拟地址空间,其中0-3GB是自己私有的用...
logstash设计了一种叫lumberjack的日志传输。同时兼顾了性能、可靠、灵活等优点。本文从协议的角度分析一下,lumberjack是如何设计的。 首先,日志传输是基...
如何监控Elasticsearch(一)[https://www.jianshu.com/p/c8cbba119b9a]如何监控Elasticsearch(二)[https:...
本文探讨在大规模日志数据收集过程中,针对日志文件的处理需要注意的技术细节。 1. 通配符和目录递归搜索 大多数场景下,日志往往被分散在不同的目录中,比如以日期为名的目录。因此...