240 发简信
IP属地:北京
  • MapReduce 作业慢?别乱调参数,先找到瓶颈在哪

    MapReduce 作业慢?别乱调参数,先找到瓶颈在哪 MapReduce 作业跑得慢,原因可能出在任何地方——CPU、内存、磁盘、网络、数据倾...

  • Python 虚拟环境:别再把所有项目塞进一个”大仓库”了

    Python 虚拟环境:别再把所有项目塞进一个"大仓库"了 你有没有遇到过这种情况: 项目 A 用的是 Django 2.0,项目 B 用的是 ...

  • MapReduce 数据清洗:脏数据进来,干净数据出去,连 Reduce 都省了

    MapReduce 数据清洗:脏数据进来,干净数据出去,连 Reduce 都省了 数据清洗是数据分析的第一步,也是最重要的一步——"垃圾进,垃圾...

  • Python3 协程:异步编程的核心机制与实战

    Python 协程:从 yield 到 async/await,异步编程的进化之路 写 Python 做网络请求、爬虫、Web 服务的时候,你有...

  • ReduceTask工作机制

    ReduceTask 工作机制:拉数据、排序、分组、计算——一个 Reduce 任务的完整一生 Map 阶段干完活了,输出了一堆中间文件,散落在...

  • Python3 线程:多任务并发编程详解

    Python 线程:什么时候该用,什么时候别用 写并发代码的时候,很多人第一反应就是"开线程"。 但 Python 的线程有个特殊的地方——GI...

  • MapTask 工作机制:从读数据到写磁盘,一个 Map 任务的完整一生

    MapTask 工作机制:从读数据到写磁盘,一个 Map 任务的完整一生 一个 Map 任务,从开始到结束,走五个阶段: Read → Map ...

  • Python 文件操作:读写文件这件事,记住 with open 就够了

    Python 文件操作:读写文件这件事,记住 with open 就够了 写程序,文件操作避不开。读配置、写日志、处理数据、导出报表——天天都在...

  • MapReduce 数据压缩:用 CPU 换 IO,这笔账怎么算?

    MapReduce 数据压缩:用 CPU 换 IO,这笔账怎么算? 数据压缩是 MapReduce 性能优化的"常规武器"——减少磁盘写入、减少...