1.MapReduce的核心思想和处理过程 MapReduce 的核心思想是分而治之，和归并排序的思想是一样的。整体的处理过程如下图1： map: 就是一个大任务分成多个子任...
发简信
IP属地：四川
-
举例说明MapReduce的过程 -
常用的各类存储
常用的存储分为下三类： 块存储 文件存储 对象存储本文就这三类存储分别介绍下他们的特点和使用场景 块存储 块存储： 指在一个RAID（独立磁盘冗余阵列）集中，一个控制器加入一...
-
Spark 和MapReduce 的差别
Spark 和MapReduce 的差别 MapReduce Spark Spark 的缺点- 还是继承了hadoop 的遗留问题， 数据倾斜，导致热点问题 怎样避免Spar...
-
树莓派无线上网设置
版本 硬件型号： 树莓派3B（自带无线网卡模块）操作系统： Linux raspberrypi 4.19.66-v7+ 1. 根据SSID 和无线密码来获取密文的密码 wpa...
-
RDD、DataFrame和DataSet的区别
spark 2.X开始，三者的关系发生了变化，可以参考《且谈Apache Spark的API三剑客：RDD、DataFrame和Dataset》 ,在2.X中DataFram...
-
如何正确使用机器学习中的训练集、验证集和测试集？训练集、验证集和测试集，林林总总的数据集合类型，到底该怎么选、怎么用？看过这篇教程后，你就能游刃有余地处理它们了。 问题 审稿的时候，不止一次，我遇到作者错误使用数据集合跑模...
-
通过datax 把mysql 的数据导出到HDFS中通过datax 把mysql 的数据导出到HDFS中 注： 我的datax 运行在mysql这台机器上，hdfs在另外的一台机器上；1. mysql 创建表和插入数据： 1....
