MapReduce 数据压缩：用 CPU 换 IO，这笔账怎么算？ 数据压缩是 MapReduce 性能优化的"常规武器"——减少磁盘写入、减少网络传输、节省存储空间。但压缩...
发简信
IP属地：北京
-
MapReduce 数据压缩：用 CPU 换 IO，这笔账怎么算？
-
Python 常用模块：别从头造轮子，这些内置的和第三方的直接拿来用
Python 常用模块：别从头造轮子，这些内置的和第三方的直接拿来用 Python 最值钱的东西就是它的生态——标准库加上 PyPI 上几十万的第三方包，几乎覆盖了你可能遇到...
-
为什么说线性模型是深度学习的基石？从 Scikit-Learn 谈起
为什么说线性模型是深度学习的基石？从 Scikit-Learn 谈起 很多刚接触深度学习的人，容易陷入一个误区。大家往往一上来就去研究复杂的网络结构，觉得基础的线性模型太简单...
-
MapReduce Shuffle 深度解析：数据从 Map 到 Reduce 的完整旅程
MapReduce Shuffle 深度解析：数据从 Map 到 Reduce 的完整旅程 MapReduce 里有一句老话："Map 和 Reduce 的代码好写，Shuf...
-
Python 单例模式：一个类只能有一个实例，到底怎么实现？
Python 单例模式：一个类只能有一个实例，到底怎么实现？ 写程序的时候，有些东西全局只能有一份——配置管理器、日志记录器、数据库连接池。如果每个地方都 new 一个，资源...
-
MapReduce Join 操作：大表关联小表用 Map 端，大表关联大表用 Reduce 端
MapReduce Join 操作：大表关联小表用 Map 端，大表关联大表用 Reduce 端 数据处理中，多表关联是家常便饭——订单关联用户、日志关联商品、销售关联库存。...
-
Python 的 @classmethod 和 @staticmethod：什么时候用哪个，一次说清楚Python 的 @classmethod 和 @staticmethod：什么时候用哪个，一次说清楚 写 Python 类的时候，除了普通的实例方法，还有两种带装饰器的方法...
-
MapReduce OutputFormat 解析：结果怎么从键值对变成文件
MapReduce OutputFormat 解析：结果怎么从键值对变成文件 MapReduce 处理完数据后，最后一步是把结果写出去。 OutputFormat 就是干这个...
-
MapReduce InputFormat 深度解析：数据怎么从文件变成键值对
MapReduce InputFormat 深度解析：数据怎么从文件变成键值对 MapReduce 处理数据的第一步，是把原始文件读进来、切成块、转成键值对，交给 Map 函...
-
Python 模式匹配：从 in 到正则再到 match-case，一招对一招
Python 模式匹配：从 in 到正则再到 match-case，一招对一招 处理文本和数据，绕不开匹配这件事——判断一段文字里有没有某个词、提取一个手机号、解析一段 JS...
-
MapReduce深度解析：分而治之，把大数据拆成小任务MapReduce深度解析：分而治之，把大数据拆成小任务 处理 TB 级的数据，单机跑不动。MapReduce 的思路很简单：把大任务拆成小任务，分到多台机器上并行跑，最后把...
-
Python 字符串：处理文本的这几十种方法，其实常用的就那些
Python 字符串：处理文本的这几十种方法，其实常用的就那些 写 Python 代码，字符串操作避不开。解析日志、处理用户输入、拼 SQL、格式化输出——天天都在跟文本打交...
-
Hadoop 历史服务器：作业跑完就消失？用它找回来Hadoop 历史服务器：作业跑完就消失？用它找回来 YARN Web UI 只能看到当前正在跑的作业。作业一旦完成，它就消失了——你看不到它跑了多久、占了多少资源、失败了为...
-
Python 循环：重复的事交给代码去做
Python 循环：重复的事交给代码去做 写程序，大量的事情都是重复的——遍历列表里的每个元素、处理文件的每一行、一直等到某个条件满足。 Python 给了你两种方式做重复的...
-
YARN 日志聚集：别一台一台登录服务器查日志了
YARN 日志聚集：别一台一台登录服务器查日志了 在 YARN 上跑作业，每个任务分散在不同节点。如果没开日志聚集，排查问题你得这样： 去 YARN Web UI 看任务跑在...
-
Python if 判断：从"要不要做"到"做哪个"
Python if 判断：从"要不要做"到"做哪个" 写程序就是在做决策：用户年龄够不够？密码对不对？分数属于哪个等级？ Python 的 if、elif、else 就是用来...
-
Hadoop 单机环境搭建：配置文件、启动命令、验证方法，照着做就能跑
Hadoop 单机环境搭建：配置文件、启动命令、验证方法，照着做就能跑 Hadoop 的配置，关键不在改参数，在于搞清楚"每个文件是管什么的、改了什么会影响什么"。 四个核心...
-
Python 异常处理：别让程序因为一个小错误就崩了
Python 异常处理：别让程序因为一个小错误就崩了 写程序最怕什么？不是 bug 修不完，而是程序跑着跑着突然崩了，日志里一堆红字，用户看到的是"服务器错误"。 异常处理就...
-
HDFS 深度解析：大数据存储的"硬盘不够、单盘坏了怎么办"
HDFS 深度解析：大数据存储的"硬盘不够、单盘坏了怎么办" 做大数据的人，绕不开 HDFS。 你的数据量上了 PB 级，单机硬盘装不下；硬盘总会坏，数据丢了怎么办？HDFS...