aldksgody

1.前言 在使用ES进行中文搜索时，分词的效果直接影响搜索的结果。对于没有能力自研分词，或者一般的使用场景，都会使用ik分词器作为分词插件。ik分词器的基本使用可以参考: E...

aldksgody

Spring Boot 能够使用Logback, Log4J2 , java util logging 作为日志记录工具。Spring Boot 默认使用Logback作为日...

aldksgody

什么是docker Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从Apache2.0协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量...

aldksgody

Redis简介 REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-value存储系统。 Redis是一...

aldksgody

我们工作中各服务之间大多数数据都是以JSON类型的数据进行传输的，即生产者服务将JSON类型的数据传递到对应的队列， 而消费端处理器中接收到的数据类型也是JSON类型。 Js...

aldksgody

前言 起因是最近做的一个历史遗留项目，需要加些新需求，在本机进行压测时，发现在并发600的状态下跑一段时间后，就会开始偶现500的错误。可能是老项目用的人少（B2B的项目），...

aldksgody

CentOS中执行yum update时，会报如下错误： 这是因为在CentOS 6在2020年11月30过后，就不在维护了，使用如下方法解决： 进入/etc/yum.rep...

aldksgody

前言:RabbitMQ相关知识请参考: https://www.jianshu.com/p/cc3d2017e7b3Linux安装RabbitMQ请参考: https://w...

aldksgody

这里分析Hive中部分UDF及UDTF函数的源码并依此进行自定义 1.UDF 这里UDF以Upper方法为例 此方法会将传入的字符串变为大写后返回 代码如下： 该类主要继承了...

aldksgody

Sqoop安装 配置conf下的sqoop-env.sh文件 添加关键的环境变量 因为要使用mysql，需要把mysql驱动包添加到lib下 在sqoop安装路径下输入bin...

aldksgody

DBWritable 在通过Mapper读取数据时可以选择使用DBInputFormat或DBOutputFormat从Mysql或Oracle中读取或写入数据,这里使用my...

aldksgody

用MR往HBase里写Int类型遇到了乱码问题，总结一下。 直接往HBase表里写int，通过shell查询 可以看到是一堆字节数组，hbase存储所有数据都是用过Byte数...

aldksgody

今天在看网课做项目的时候使用flume的时候拿它和kafka对接，source使用的是一个TAILDIR,channel就是一个普通的memorychannel，因为内容比较...

aldksgody

初学Hadoop对学习的东西作一个总结。 Partitioner（分区） 我们知道Hadoop中默认使用的InputFormat是TextInputFormat，它的默认切片...