发简信
IP属地：上海
-
Elasticsearch-5.6.0使用repository-hdfs快照（备份）数据到hdfs并恢复
背景 Elasticsearch的副本机制提供了可靠性，可以容忍个别节点丢失而不影响集群的对外服务，但是并不能提供对灾难性故障的保护，所以需要对...
-
ES集群状态查看命令
Elasticsearch中信息很多，同时ES也有很多信息查看命令，可以帮助开发者快速查询Elasticsearch的相关信息。 1. _cat...
-
ELK 6.3.2环境搭建最近把ELK生产环境从5.6.0升级到了6.3.2，在此记录一下 基础环境： 操作系统：Centos 6.7 64位ELK版本：6.3.2jdk...
-
sqoop job省略输入mysql密码
sqoop在创建job时，使用--password-file参数，可以避免输入mysql密码，如果使用--password将出现警告，并且每次都...
-
sqoop定时增量导入mysql数据到hdfs(hive)
需求 有2张大的mysql表，量级分别是1亿和4.5亿（太大了，DBA的同学正在考虑分表），而且数据是增量的，需要写spark任务做处理，直接读...
-
Specified key was too long; max key length is 767 bytes。
问题：spark sql连接hive的元数据（mysql库）时报错：Specified key was too long; max key le...
-
centos6.5安装postgresql9.3及数据迁移最近来了一批数据，其中有一部分是一个从postgresql导出的sql文件，大概有7个多G，需要把数据整合到Mysql里边做进一步处理，网上搜了...
-
Spark之thriftserver/beeline的使用
启动thriftserver: 默认端口是10000 ，可以修改 启动beelinebeeline -u jdbc:hive2://localh...
-
es设置max_result_window
es设置index.max_result_window（就是from+size,默认大小10000），可通过如下方式修改： curl -XPUT...