前言 今天 Review 了一下同事的代码，发现其代码中有非常多的 mapPartitions,问其原因，他说性能比 map 更好。我说为什么性能好呢？于是就有了这篇文章 网...
发简信
IP属地：四川
-
Spark系列——关于 mapPartitions的误区
-
-
pythonFlask框架学习Flask是由python实现的一个web微框架，让我们可以使用Python语言快速实现一个网站或Web服务。而且有对应的python3及python2版本。首先这边选择的是...
-
-
一、Socket技术详解Socket原理 １、什么是Socket 在计算机通信领域，socket 被翻译为“套接字”，它是计算机之间进行通信的一种约定或一种方式。通过 socket 这种约定，一台计...
-
当ES向logstash发出reject
背景：使用了自定义插件之后，出现了数据无法写入es的问题。 查看日志后发现如下信息： 查阅相关资料，了解到出现"es_rejected_execution_exception...
-
logstash插件
背景：由于需要将探针数据中的服务器位置信息等数据可能是错误的，而我们自己有相对准确的数据，所以要自己来把这些信息附加到探针数据中。对于这个需求，最高效的做法应该就是自己开发l...
-
es故障：‘index [xxx] blocked by :[FORBIDDEN/12/index read-only / allow delete (api)];’
故障描述：检查es索引发现几个大索引在半夜停了，查看redis发现已经被撑爆内存重启过了。集群状态为红色，logstash日志显示： 检查各台服务器，发现有几台服务器磁盘使用...
-
自定义logstash geoip filter使用的mmdb文件
自定义logstash geoip filter使用的mmdb文件 Python 源码 logstash 配置 相关源码 logstash的GeoIp过滤器源码地址：http...
-
logstash filter 自定义插件开发 全步骤一.理论信息 1. 使用logstash自带命令生成插件模版 bin/logstash-plugin generate --type filter --name tes...
-
ElasticSearch 5.X 最佳实践
Author: 袁野Date: 2018.01.05Version: 1.0 注意事项：本文档所述为通用情况，不可作为特定业务参照；本文档所述适用于 ELK 栈中的 Elas...
