问题回顾 在hive中执行自定义函数udf解析解密的时候,遇到一长串报错 cold not initialize class 无论怎么替换jar包,这个错误始终顽固存在,导致...
发简信
IP属地：江苏
-
一个hiveudf开发的踩坑总结-幽灵缓存的问题
-
percentile函数的使用注意事项
给出俩个值88.726 44.648 计算p5值使用percentile,得到的结果是46.852 百分位数计算结果解释 一、为什么只有两个数，还能算出 p5？不同软件里的 ...
-
实时标签开发的一个简单总结简单的数据流程图就是如上,简单描述一下,就是将上游的kafka数据解密,对符合条件的数据解析转换过滤封装 将这部分数据推到下游kafka数据源,同时为了保证实时的可靠性,同时...
-
maxRecordsPerFile 使用maxRecordsPerFile 使用 在实现一个需求的时候发现的问题;要求是将数据写入到cos中,要求每个文件的固定条数是5千万条且文件名字后缀以数字递增例如001,00...
-
order by 压缩大表的探索
0. 成果 5T数据成功压缩至1.4T压缩率大概维持在68%-76% ,200亿左右的数据 1. 为什么不采用sort by/distribute by而是采用 order ...
-
2024人生主线混乱
人生主线混乱 最近一年真的是啥也没搞….一直是一个半途而废的糕手…一直想搞搞计算机其他方向的东西 之前花了俩三周学前端技术,后面到css和布局直接搞懵了,直接没啥搞的欲望了,...
-
0.4.SQLboy近期优化案例
1. row_number 数据倾斜 partition的字段,可能是倾斜的,单独领出来,union all俩部分 2. group by数据倾斜 group by 的一些...
-
2024一个短期的生活片段
自对大环境下的职场环境没有信心后,我就开始琢磨着其他的方向了,计算机&互联网这行,看去了投入所带来的收益很低了,虽说数仓&数据行业门槛低得很,但是不至于一个城市几乎没什么岗位...
-
idea中构建react
直接使用idea的react会报错 想要下载node.js查看安装npm和node.js的版本使用淘宝镜像npm install -g cnpm --registry=htt...
-
Push基础知识(更新)参考:https://zhuanlan.zhihu.com/p/642949547[https://zhuanlan.zhihu.com/p/642949547]https:...
-
So-vits-SVC(AI音色转换)
https://github.com/svc-develop-team/so-vits-svc[https://github.com/svc-develop-team/so-...
-
Remotion(可编程的方式制作视频)
remotion.dev 一个视频可以表达为一个随着时间变动的图像函数，根据每一帧改变内容，最终就能产生动画效果Video = image(time)
-
2023-10-17方向
继上次写的现状篇 1. 数据分析能力: python爬虫在数据分析可视化和直播数据拉取做分析的事项,做这个的话是不荒废代码能力的,但是创意很难,找数据也难,比如我想做个过期网...
-
@务源 老哥base哪啊，带我混一个不😳
2023-09-10现状,期待与计划
周期性总结是我喜欢做的事情 回南京啦,真的是工作太难找了,坚持学习的我还算认真吧,可是工作还是难找 可能是我看城市不准,一直是投杭州的简历,虽然面试机会和offer也有但是很...
-
Davinci(二)快速上手和一些目标https://www.bilibili.com/video/BV1SV4y187Rm?p=9&vd_source=4947513124c92502d52a...
-
Davinci(一)【干货】一小时上手达芬奇剪辑！哔哩哔哩[https://www.bilibili.com/video/BV1dE411x79b/?spm_id_from=pageDriver...
-
2023-10-02 推荐几个好用的工具
1. everything 是一个强大的文件搜索工具，帮助您快速定位计算机上的文件和文件夹下载 - voidtools[https://www.voidtools.com/z...
-
2023-09-10现状,期待与计划
周期性总结是我喜欢做的事情 回南京啦,真的是工作太难找了,坚持学习的我还算认真吧,可是工作还是难找 可能是我看城市不准,一直是投杭州的简历,虽然面试机会和offer也有但是很...