发简信
IP属地：四川
-
使用Spark读取并分析二进制文件
需求 客户希望通过spark来分析二进制文件中0和1的数量以及占比。如果要分析的是目录，则针对目录下的每个文件单独进行分析。分析后的结果保存与被...
-
Spark中进行聚合时的特殊场景
在对数据进行统计分析时，如果对指标进行聚合运算，而待查询的字段中还包含了维度，则原则上我们还需要按照维度字段进行分组。倘若这个聚合运算为sum函...
-
代码诊所续几年前，我有机会负责一个项目的咨询。团队很小，目标是对旧有系统的后端用Java改写，而团队的开发人员全为C程序员。我的工作职责是负责项目设计、开...
-
代码诊所几年前，我有机会负责一个项目的咨询。团队很小，目标是对旧有系统的后端用Java改写，而团队的开发人员全为C程序员。我的工作职责是负责项目设计、开...
-
继续探索with语句
在上一篇博客《漂亮的with，鱼与熊掌可以兼得》中，展现了with的优雅之处，然而在比较with与|>时，言犹未尽，讲得不够透彻。 在那篇博客中...
-
推行TDD的思考
我在参与的开发项目以及咨询项目中，都有实践TDD的经验。直至今日，我仍然会在某些功能开发时采用TDD的方式实现功能。虽然没有达到将TDD溶于开发...
-
漂亮的with，鱼与熊掌可以兼得
假设要加载磁盘上的一个文件，并以二进制形式读取文件的数据。若要从健壮性的角度考虑，需得考虑两种异常情况： 加载文件失败，例如给定的文件路径并不存...
-
一次设计演进之旅需求背景： 我们需要实现对存储在HDFS中的Parquet文件执行数据查询，并通过REST API暴露给前端以供调用。由于查询的结果可能数量较大...
-
Scala中的map与collect
在Scala中，当我需要对集合的元素进行转换时，自然而然会使用到map方法。而当我们在对tuple类型的集合或者针对Map进行map操作时，通常...