一个95%时间都在入门和魔改的菜🐕
发简信
IP属地：香港
-
Stable Diffusion工作原理（How does Stable Diffusion work?中文版）翻译自How does Stable Diffusion work?[https://stable-diffusion-art.com/how-stable-diffusio...
-
Spark小文件异步合并工具类
简介 由于Spark应用写数据到Hive表时，容易因为shuffle数过多导致生成过多小文件，影响集群存储利用率；故需要一个能避免读写冲突的小文件合并工具。 工具类 调用 T...
-
Structured Streaming自定义MySQLSink-威力增强版
之前使用过foreach单条处理的MySQLSink，可能导致连续开关连接，性能较差，故通过prepareStatement的addBatch批量处理数据。 这样在proce...
-
确认下是:gflagfile 的 Master 高级配置代码段（安全阀），他这里面叫安全阀的配置挺多的容易弄混，我一开始也弄混了，确认之后是没这个问题了
Spark读Kudu时报认证问题
报错:WARN TaskSetManager: Lost task 3.0 in stage 17.0 (TID 2071, node135.bcwcluster.com, ...
-
-
Spark 内存管理的前世今生（下）欢迎关注我的微信公众号：FunnyBigData 在《Spark 内存管理的前世今生（上）》中，我们介绍了 UnifiedMemoryManager 是如何管理内存的。然而，...
-
<<RxJava 2.x 实战>>、<<Kotlin 进阶实战>> 作者<br><br>掘金小册<<Android 进阶：基于 Kotlin 的 Android App 开发实践>>作者<br><br>微信公众号: Java与Android技术栈<br><br>关注领域：Java/Kotlin 服务端、桌面端 、Android 、 机器学习、端侧智能<br>
-
Spark 应用监控告警和自动重启
Spark on yarn 执行流计算时，如果流挂了，没有提醒会导致实时指标计算停滞，为了保证流的7/24运行，需要有一个能监控Spark on yarn上的应用，实现失败重...
