因为传统的机器学习是基于sklearn,xgboost,有着丰富分算法库,spark mlib不能满足所有的需求. spark来处理数据预处理和特征工程,sklearn,x...
发简信
IP属地：内蒙古
-
spark跟pandas数据转换
-
pycharm 开发pyspark下载spark包 配置参数 配置spark参数vim ${spark_dir}/conf/spark-env.shexport SPARK_LOCAL_IP=ifconfig...
-
scala特性
为了能用scala开发spark,简单的介绍一下scala特性.scala即面向对象编程,也同时面向方法编程,也可以说是面向容器编程,在编译阶段会把scala代码编译成jav...
-
spark应用开发HelloWorld准备 代码列子1.安装scala插件开发工具 intellij-IDEA 插件 3.开发代码数据people.json 新建HelloWorld scala object. 输出:
-
marathon 订阅事件
参考:https://mesosphere.github.io/marathon/docs/event-bus.html 启用marathon订阅功能 ./bin/start...
-
Jupyter gateway api使用启动 nohup jupyter kernelgateway --JupyterWebsocketPersonality.list_kernels=True --Kernel...
-
Jupyter Kernel Gateway 安装
安装 conda install -c conda-forge jupyter_kernel_gateway 启动 jupyter kernelgateway 参考 http...
-
安装Anaconda
下载 https://www.continuum.io/downloads 安装 bash $filedir/anaconda_xxx.sh 参考 https://docs....
-
azkaban 配置jobtype plugins出现问题和解决
问题 变量无法替换 Exception in thread "main" azkaban.jobtype.JobTypeManagerException: azkaban.j...
-
azkaban-plugins 开发环境搭建
简述 azkaban-plugins 是用ant构建的,既然ant已经是老式的工程构建工具,为什么不用maven,gradle替换掉它？我觉得是因为azkaban开发者们觉得...
-
azkaban-plugins 开发环境搭建
简述 azkaban-plugins 是用ant构建的,既然ant已经是老式的工程构建工具,为什么不用maven,gradle替换掉它？我觉得是因为azkaban开发者们觉得...
-
剖析 azkaban load plugins
插件有很多,azkaban预留的接口多种多样,比如UserManager,Job,LoginAbstractAzkabanServlet等. 首先我要讲的是,jobType插...
-
剖析azkaban解析作业流
azkaban是没有创建作业流,创建任务,建立任务之间关系的操作的.它本身的工作模式,在本地进行编辑.创建任务,创建作业流,建立依赖关系,然后打成zip上传. Directo...
-
剖析azkaban解析作业流
azkaban是没有创建作业流,创建任务,建立任务之间关系的操作的.它本身的工作模式,在本地进行编辑.创建任务,创建作业流,建立依赖关系,然后打成zip上传. Directo...
-
azkaban 数据库设计
版本:v3.1.0azkaban有17张表,分成6类project,scheduler,triggers,executions,executors,sla.其中project...
-
azkaban webserver代码剖析
上面是AzkabanWebServer的构造函数,AzkabanWebServer有如下的管理器: userManager projectManager executorMa...
-
azkaban webserver代码剖析
上面是AzkabanWebServer的构造函数,AzkabanWebServer有如下的管理器: userManager projectManager executorMa...
-
azkaban 数据库设计
版本:v3.1.0azkaban有17张表,分成6类project,scheduler,triggers,executions,executors,sla.其中project...
