当Hadoop集群开启Kerberos后，跨集群访问需要配置Kerberos cross-realm(跨域访问)。 Kerberos跨域访问原理查看：Kerberos跨域原理...
IP属地：福建
-
Hadoop配置Kerberos互信
-
Apache Nifi 身份验证（Authentication）及授权验证（Authorization）设置最详攻略（二）在上一篇文章，我们谈到了如何设置Nifi的身份验证模块。在文章结尾，我们成功通过了身份验证，但是却遇到了授权验证的错误，以至于还是没能够访问Nifi的主界面。在这篇文章，我们...
-
HBase RegionServer动态感知过程HBase支持集群动态扩容，都归功于HMaster对HRegionServer的动态感知。本文基于hbase-1.2.0-cdh5.7.2版本进行讲述，不能的版本存在细微的差...
-
@朱智武 有试过knox吗
Apache Nifi 身份验证（Authentication）及授权验证（Authorization）设置最详攻略（一）
Apache Nifi 是一个非常强大的信息流管理工具。它自带的UI界面以及其所使用的流程图构建信息流的方式都使得一般用户很容易上手。除此之外Nifi还有更多强大的功能，例如...
-
@斯盖丸_沈天一 听你的描述，应该是你Python输出的时候乱码了。
spark stdout中文乱码
1、前言 作为一个工作在中国的程序员，在项目开发中经常会打印中文，当然在编程中运用中文（日志等）不可避免的会碰到编码问题，刚开始遇到编码问题时，我也是挺不乐意去研究的，后来静...
-
在executor对应服务器的${yarn.nodemanager.log-dirs}/container-logs/application_ID
spark stdout中文乱码
1、前言 作为一个工作在中国的程序员，在项目开发中经常会打印中文，当然在编程中运用中文（日志等）不可避免的会碰到编码问题，刚开始遇到编码问题时，我也是挺不乐意去研究的，后来静...
-
HBase 压缩策略DateTieredCompactionPolicyHBase是采用Log-Structured Merge Tree的架构，随着Flush阶段的不断触发，生成许多的HFile（默认128M），而不管是对于HDFS还是现有的H...
-
spark application job自定义日志输出前言 spark默认采用log4j作为日志框架，并且采用${SPARK_HOME}/conf/log4j.properties作为默认的日志配置，默认如下： 从上述配置可知，...
-
@剑客_1ac0 谢谢
spark stdout中文乱码
1、前言 作为一个工作在中国的程序员，在项目开发中经常会打印中文，当然在编程中运用中文（日志等）不可避免的会碰到编码问题，刚开始遇到编码问题时，我也是挺不乐意去研究的，后来静...
-
Python3.5 RocketMQ
目前RocketMQ社区已经发布RocketMQ python客户端，见：https://github.com/messense/rocketmq-python。本文可以作为...
-
我提供的jpype1的下载源里，有对应mac和Linux的版本，在系统中安装对应的版本就好了
Python3.5 RocketMQ
目前RocketMQ社区已经发布RocketMQ python客户端，见：https://github.com/messense/rocketmq-python。本文可以作为...
-
@No_e382 系统没有影响
Python3.5 RocketMQ
目前RocketMQ社区已经发布RocketMQ python客户端，见：https://github.com/messense/rocketmq-python。本文可以作为...
-
HBase 线上问题排查 - 为什么读写这么少还会触发巨量 IO ？前言 之前的文章都是偏环境的部署、搭建、测试以及一些官文翻译，实在是没有什么硬货，现在部分业务开始上生产，那么稳定性就是首当其冲的。最近负责排查了一个线上关于 HBase 的...
-
开发部署HBase Endpoint Coprocessor一、前言 本文示例协处理器实现根据scan条件对指点列进行count、avg。这里推荐HBase技术社区文章，该文非常详细的介绍了如何开发并部署一个HBase Endpoin...
-
一条数据的HBase之旅，简明HBase入门教程-开篇常见的HBase新手问题:1. 什么样的数据适合用HBase来存储?2. 既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉?3. 存放于HBase中...
