我知道集群上是安装了pyspark环境的，但是，他是怎么做到两种环境(我打包的和集群自带的)同时使用的？
Spark on Yarn 之Python环境定制1 动机 不同用户的应用程序使用的python版本及需要的python依赖可能存在不同，若每次缺少依赖都请op去update所有节点，对于大集群的维护来说相对比较困难，而且走...
发简信
IP属地：广东
-
-
你好，楼主。看了你的文章，收益良多！
有一点疑惑的地方：比如在cluster 模式下，我将自己的Python3的环境打包上传HDFS，然后指定--conf spark.yarn.dist.archives和--conf spark.pyspark.python；这里有一点疑惑根据--conf spark.pyspark.python参数每个Executor执行时使用的是我自己打包的环境(包括import一些自己安装的包)，但是我在打包自己的py3环境时，并没有安装pyspark啊，Executor是怎么使用pyspark的包，而不报错的？Spark on Yarn 之Python环境定制
1 动机 不同用户的应用程序使用的python版本及需要的python依赖可能存在不同，若每次缺少依赖都请op去update所有节点，对于大集群的维护来说相对比较困难，而且走...
-
@Mr林_月生 感谢大佬的回复，另外弱弱的问一下，流程图的工具是啥，配图是真的好看！👍
mysql日志系统之redo log和bin log
首先，我们先来看看一次查询/更新语句流程图 mysql不是每次数据更改都立刻写到磁盘，而是会先将修改后的结果暂存在内存中,当一段时间后，再一次性将多个修改写到磁盘上，减少磁盘...
-
@Mr林_月生 大佬，你好，文章读完，感觉收获很多！但还有几个问题，希望能够指点一下：
1. 如果我要执行一条update语句：UPDATE t1 SET c=c+1 WHERE ID=2;
那么redolog中记录的日志是不是类似：
100、2、D
100、2、I、'value'
实际就是update table set ……100(数据页地址) 2(行地址) D：delete I: insert
binlog记录的是不是就是sql语句
2. 还是上面那条语句，mysql的执行顺序，是否是
a. 先从磁盘中把相关数据页读到内存中
b. 更新内存中的数据页 c =c+1
c. 写入redolog日志 -- prepare状态
d. 写入binlog，然后提交
e. 修改redolog为commit状态
空闲时间，根据redolog的记录去真正修改磁盘数据页的数据。mysql日志系统之redo log和bin log
首先，我们先来看看一次查询/更新语句流程图 mysql不是每次数据更改都立刻写到磁盘，而是会先将修改后的结果暂存在内存中,当一段时间后，再一次性将多个修改写到磁盘上，减少磁盘...
-
mysql日志系统之redo log和bin log首先，我们先来看看一次查询/更新语句流程图 mysql不是每次数据更改都立刻写到磁盘，而是会先将修改后的结果暂存在内存中,当一段时间后，再一次性将多个修改写到磁盘上，减少磁盘...
-
利用Hexo在多台电脑上提交和更新github pages博客最初是在实验室里建立了自己的博客，然后有时候回到寝室里想提交博客，于是在网上搜了很多帖子总结出这个方法。 主要的思路是 利用git分支实现 hexo生成的静态博客文件默认放在...
-
Mac OS命令行下使用SublimeText打开文本文件
Step1. 安装Sublime Text编辑器 可直接到以下网址下载dmg安装文件：Sublime Text 3 Step2. 添加命令行别名 打开用户配置文件 添加如下a...
-
Spark on Yarn之Executor内存管理本文1、2、3节介绍了Spark 内存相关之识，第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...
-
@石晓文的学习日记
楼主辛苦，楼主写的《推荐系统系列》真的很赞！收益良多！祝好！ARIMA模型原理及实现
1、数据介绍 再介绍本篇的内容之前，我们先来看一下本文用到的数据。本文用到的中国银行股票数据下载：http://pan.baidu.com/s/1gfxRFbH，提取码d3i...
-
楼主，能否分享一下百度网盘的提取密码。。
ARIMA模型原理及实现
1、数据介绍 再介绍本篇的内容之前，我们先来看一下本文用到的数据。本文用到的中国银行股票数据下载：http://pan.baidu.com/s/1gfxRFbH，提取码d3i...
-
推荐系统遇上深度学习(三)--DeepFM模型理论和实践推荐系统遇上深度学习系列：推荐系统遇上深度学习(一)--FM模型理论和实践：https://www.jianshu.com/p/152ae633fb00[https://ww...
-
楼主，你好，感谢分享！
有一点疑问，
def vectorize_dic(dic,ix=None,p=None,n=0,g=0)
这个函数不太明白，是用来做one_hot编码的吗？推荐系统遇上深度学习(一)--FM模型理论和实践
1、FM背景 在计算广告和推荐系统中，CTR预估(click-through rate)是非常重要的一个环节，判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行。在进...
