1、目录、文件操作 pwd ( print working directory )查看当前所在路径--绝对路径 cd (change directory )切换目标 cd ....
发简信
IP属地：福建
-
git Bash 命令行大全
-
Spark远程调试
start-all.sh -> start-master.sh -> start-slaves.sh 1.Master启动的脚本start-master.sh -> spa...
-
Hadoop重新格式化HDFS的方法
一、记一次“不合格”的方法 这种方法也是网上参考博客得来的，一开始就觉得有问题，后来真的发现了问题。 首先停止已经启动的hadoop： 然后查看hadoop配置文件hdfs-...
-
为VMware虚拟机内安装的Ubuntu 16.04设置静态IP地址1.安装环境 VMware 10.0.4 build-2249910 Ubuntu 16.04 x86_64 2.在VMware中，配置网络环境 VMware在默认安装完成之...
-
Spark Core源码精读计划#5：事件总线及ListenerBus目录 前言 Spark事件总线概述 ListenerBus特征addListener()与removeListener()方法doPostEvent()方法postToAll...
-
一张图读懂非公平锁与公平锁在Java并发编程中，公平锁与非公平锁是很常见的概念，ReentrantLock、ReadWriteLock默认都是非公平模式，非公平锁的效率为何高于公平锁呢？究竟公平与非公...
-
Spark延迟任务调度-实例分析
最近在看Spark任务调度，尤其是延迟调度这块，翻了好多资料与博客都是发现延迟调度中是这样介绍的：“在为任务分配节点时（executor），先判断任务的最佳运行节点是否空闲，...
-
Spark shuffle中 reduce task是怎么拉取数据的？1.map task 执行完毕后会将计算状态以及磁盘小文件位置等信息分装到mapStatue对象中，然后由本进程中的MapOutPutTrackerWorker对象将mapS...
-
Spark Core源码精读计划#14：Spark Web UI界面的实现目录 前言 创建SparkUISparkContext中的操作初始化SparkUI WebUI的具体实现属性成员和Getter方法WebUI提供的attach/detach类...
