发简信
IP属地：广东
-
使用fabric解决百度BMR的spark集群各节点的部署问题前言 和小伙伴的一起参加的人工智能比赛进入了决赛之后的一段时间里面，一直在构思将数据预处理过程和深度学习这个阶段合并起来。然而在合并这两部分代码...
-
解决百度BMR的spark集群开启slaves结点的问题前言 最近一直忙于和小伙伴倒腾着关于人工智能的比赛，一直都没有时间停下来更新更新我的博客。不过在这一个过程中，遇到了一些问题，我还是记录了下来，...
-
spark-2.2.0安装和部署——集群学习日记前言 在安装后hadoop之后，接下来需要安装的就是Spark。 scala-2.11.7下载与安装 具体步骤参见上一篇博文 Spark下载 为...
-
安装Scala-2.11.7——集群学习日记
前言 在安装Spark之前，我们需要安装Scala语言的支持。在此我选择的是scala-2.11.7版本。 scala-2.11.7下载 为了方...
-
Hadoop-2.7.2集群的搭建——集群学习日记前言 因为比赛的限制是使用Hadoop2.7.2，估在此文章下面的也是使用Hadoop2.7.2,具体下载地址为Hadoop2.7.2 开始的准...
-
配置ssh免密码登录——集群学习日记前言 因为比赛的限制是使用Hadoop2.7.2，估在此文章下面的也是使用Hadoop2.7.2,具体下载地址为Hadoop2.7.2 开始的准...
-
利用ssh反向代理以及autossh实现从外网连接内网服务器
前言 最近遇到这样一个问题，我在实验室架设了一台服务器，给师弟或者小伙伴练习Linux用，然后平时在实验室这边直接连接是没有问题的，都是内网嘛。...
-
基于腾讯Centos7云服务器搭建SVN版本控制库基于腾讯Centos7云服务器搭建SVN版本控制库 最近在和小伙伴组队参加一个关于人工智能的比赛，无奈不知道怎么处理好每个人的代码托管问题，于是...