本文为学习笔记，会随着学习深入持续更新，仅供参考场景：mysql到hdfs；hdfs到doris1、mysql到hdfs参考配置文件 2、hdfs到doris参考配置文件 注...
发简信
IP属地：澳门
-
温故知新：DataX使用记录
-
温故知新：初识DataX
本文为学习笔记，会随着学习深入持续更新，仅供参考 一、datax干嘛的和之前的seatunnel使用上有什么区别 DataX 是阿里巴巴开发的一个开源数据同步工具。DataX...
-
温故知新：docker镜像
本文为学习笔记，会随着学习深入持续更新，仅供参考场景：简化部署步骤，通过docker打包组件镜像实现快速部署，支持机器扩展（打包前，请参考官方确认是否建议用docker镜像部...
-
温故知新：初识hive本文为学习笔记，会随着学习深入持续更新，仅供参考一、hive是干什么的建立在hadoop上的数仓系统，可以将存储在hadoop中的结构化/半结构化数据映射成一张数据库表，提供...
-
温故知新：初识hadoop本文为学习笔记，会随着学习深入持续更新，仅供参考一、hadoop是干嘛的分布式存储、计算、调度的一个解决方案，可以构建大规模服务集群。完成海量数据存储。 二、基本架构、组成模...
-
温故知新：初识flink本文为学习笔记，会随着学习深入持续更新，仅供参考 1、什么是flinkFlink是一个批处理和流处理结合的统一计算框架和分布式处理引擎，可以实现数据的实时采集、实时计算和下游...
-
温故知新：初识Seatunnel本文为学习笔记，会随着学习深入持续更新，仅供参考 1、Seatunnel是干什么的简化企业中多源、异构数据的集成过程。它能够每天稳定地同步数十亿条数据，支持多种数据格式和存储...
-
SpringBoot入门实战：SpringBoot整合Apache Hadoop
1.背景介绍 Spring Boot 是一个用于构建 Spring 应用程序的优秀框架。它的目标是简化开发人员的工作，让他们专注于编写业务代码，而不是为 Spring 应用程...
-
日常总结：获取枚举类通用接口
场景：前端有些需要获取枚举类的接口实现逻辑：通过反射机制写一个通用方法来获取枚举类1、通用方法实现： 2、接口调用这里的“code”和“name”就是枚举类中定义的变量名 返...
-
并发导致分配或写入异常
背景：给大批量用户分配账号，用户和账号关系为一对一，支持tps150左右。解决方案：redis队列存储账号，redis锁（生成账号）+多线程（处理分配逻辑）代码逻辑 如果并发...
-
JSON.parseObject解析DTO报错场景：接收第三方请求结果，将json转化成DTO的时候报错报错代码如下 报错信息如下： 打印后发现JSON.parseObject解析的结果数据中会有反斜杠，下面获取的mes...
-
java查询字段脱敏
场景1：查询出的字段页面需要脱敏显示 解决方式如下 1、通过sql实现字段脱敏 借助的是AOP思想，对返回值进行一次修改，重写ResponseBodyAdvice接口这种方法...
-
BaseTypeHandler实现数据库查询字段转换
场景：想将数据库查询出的-1统一转化成null解决： 通过mybatis的BaseTypeHandler实现特殊字段映射以long类型为例，其他类型同理 参考链接：1、MyB...
-
MapStruct数据转换涉及非静态方法
技术场景：mapStruct将DO转化成DTO的时候涉及到字段的转换，转换方法是非静态方法，需要从数据库获取数据进行转换 业务场景：数据库存储的是省市的编码，查询后需要将省市...
-
Nacos服务发现-一、概览上一篇 Nacos服务发现-零、导学[https://www.jianshu.com/p/7d740088a7cd] 1.1 从单体架构到微服务 1.1.1 单体架构 Web...