h2o 部署

[TOC]

一、运行环境要求

1、操作系统:

Windows 7或更高版本
OS X 10.9或更高版本
Ubuntu 12.04
RHEL / CentOS 6或更高版本

2、语言:

Java是必需的,支持版本包括:Java 8, 9, 10, 11 和12

要构建H2O或运行H2O测试,需要64位JDK。

要使用命令行,R或Python软件包运行二进制文件,仅需要64位JRE。

Scala 2.10或更高版本
R版本3或更高版本
Python 2.7.x,3.5.x,3.6.x

浏览器:支持的版本包括最新版本的Chrome,Firefox,Safari或Internet Explorer。

二、启动参数说明

从命令行启动时,可以包括有关说明,例如要启动多少个节点,为每个节点分配多少内存,为群集中的节点分配名称等等。

注意: 需要在/tmp目录中有一些空间才能启动。 如果无法启动,请尝试释放/tmp目录中的一些空间,然后再次尝试启动。

有三种不同的参数类型:

  • JVM选项
  • H2O选项

1、参数使用以下格式

java <JVM选项> -jar h2o.jar <h2o选项>

2、JVM选项

-version :显示Java版本信息

-Xmx<堆大小> :要设置节点的堆大小,请配置内存分配选项 -Xmx 。默认设置1Gb (-Xmx1g)。启动节点时,建议总分配的值为四倍数据的内存。

注意:请勿尝试使用超过系统可用内存的内存启动。

3、H2O选项

  • -h-help :在命令行输出中显示此信息。

  • -version: 指定以打印版本信息并退出。

  • -name <ClusterName>:为集群中的实例分配一个名称(<ClusterName> 是集群的名称。具有相同集群名称的节点将形成一个集群(也称为云)。

  • -flatfile <FileName> :指定IP地址的flatfile文件以加快群集形成(其中<FileName>是flatfile的名称)。

  • -ip <IPnodeAddress> :为机器指定IP,而不是默认的localhost,例如:

    • IPv4: -ip 178.16.2.223
    • IPv6: -ip 2001:db8:1234:0:0:0:0:1 (不支持带::的简短IPv6版本)
  • -port <#> :指定用于REST API的PORT。 通信端口将是值+1更高的端口。

  • -baseport :指定为REST API查找可用端口的起始端口,内部通信端口将是值+1高的端口。

  • -network :指定带有子网掩码的IP地址。 IP地址发现代码绑定到与逗号分隔列表中的一个网络匹配的第一个接口;要指定范围,请使用逗号分隔IP地址:-network 123.45.67.0/22,123.45.68.0/24。 例如,10.1.2.0/24支持256种可能性。 支持IPv4和IPv6地址。例如:

  • IPv4: -network 178.0.0.0/8

    • IPv6: -network 2001:db8:1234:0:0:0:0:0/48 (不支持带::的简短IPv6版本)
  • -ice_root <fileSystemPath> :指定临时数据溢出到磁盘的目录。fileSystemPath 默认目录:/tmp/h2o-<userNmae>

  • -log_dir <fileSystemPath>\ : 指定日志写入磁盘的目录。fileSystemPath 默认目录:/tmp/h2o-<UserNmae> (<UserName> 为当前系统用户名称)。

  • -log_level <TRACE,DEBUG,INFO,WARN,ERRR,FATAL> :记录级别或更高级别写入消息。 默认值为INFO。

  • -flow_dir <server-side or HDFS directory>: 指定保存的流的目录。默认目录: /Users/<UserName>/h2oflows (<UserName> 为当前系统用户名称)。注:如果指定目录不存在,它将在您第一次保存流时创建。

  • -nthreads <#ofThreads>:指定低优先级批处理工作队列中的最大线程数(其中<#ofThreads>是线程数)。

  • -notify_local :指定当节点启动时要写入的文件。 文件系统路径包含一行,其中包含嵌入式Web服务器的IP和端口。 例如,192.168.1.100:54321。

  • -context_path :Jetty的上下文路径。

  • features : 禁用被认为是实验性或Beta版的功能。 目前,这仅适用于算法。 选项包括:

    • stable :仅启用稳定算法; 测试版和实验版不会。
    • beta :仅启用beta和稳定算法; 实验不会。
    • experimental :启用所有算法(默认)。

三、联网

1、内部通讯

默认情况下,使用以下过程,自动选择IP和端口(PORT)进行内部通信:

  1. 检索可用接口(已启动)的列表。
  2. 使用顶部的“绑定”界面对它们进行排序。
  3. 对于每个接口,提取关联的IP。
  4. 仅选择可达的IP(过滤由接口提供的IP,例如awdl):

注意:通过查找从端口54322开始的空闲端口来选择端口。可以通过以下选项来更改IP,PORT和网络选择:

  • -ip

  • network

  • -port

  • -baseport

2、集群介绍

​ 在启动期间,新的节点会加入以形成集群。 在群集上开始作业后,它将阻止新成员加入。

  • 要启动具有4GB内存和默认集群名称的H2O节点,请执行以下操作:

    java -Xmx4g -jar h2o.jar
    
  • 要启动具有6GB内存和特定群集名称的H2O节点,请执行以下操作:

    java -Xmx6g -jar h2o.jar -name MyCluster
    
  • 要使用默认群集名称启动具有三个2GB节点的H2O群集:

    java -Xmx2g -jar h2o.jar &   java -Xmx2g -jar h2o.jar &   java -Xmx2g -jar h2o.jar &
    

等待INFO:Registered:#schemas in:#mS输出中,然后再次输入上述命令以添加另一个节点(#的数目将有所不同)。

3、云化:集群创建

H2O提供了两种集群创建模式:

  • Multicast based
  • Flatfile based

Multicast:

​ 在这种模式下,H2O使用IP多播来宣布H2O节点的存在。 每个节点都基于指定的共享群集名称选择相同的多播组和端口(请参见-name选项)。 例如:

对于IPv4 / PORT,生成的多播组是228.246.114.236:58614(对于群集名称michal)。

对于IPv6 / PORT,生成的多播组为ff05:0:3ff6:72ec:0:0:3ff6:72ec:58614(用于群集名称michal和强制执行本地链接范围的本地链接地址)。

Flatfile:

​ flatfile文件描述了群集的拓扑。 文件定义是通过-flatfile选项传递的。 它需要在集群中的每个节点处传递,但每个节点的定义都不同。 但是,所有定义的传递闭包应包含所有节点。 例如,对于以下定义

Nodes nodeA nodeB nodeC
Flatfile A,B A, B B, C

​ 结果群集将由节点A,B,C组成。节点A通过节点B平面文件定义可传递地看到节点C,反之亦然。

​ flatfile文件包含将组成结果集群的IP:PORT形式的节点列表(每个节点单独一行,#前缀的内容都将被忽略)。 在多节点群集上运行,可以比单节点上使用更多的内存用于大型任务(例如,从庞大的数据集创建模型)。

IPv4:

# run two nodes on 108
10.10.65.108:54322
10.10.65.108:54325

IPv6:

0:0:0:0:0:0:0:1:54321
0:0:0:0:0:0:0:1:54323

4、注意:

多点集群时, 页面操作访问 集群中任何一个节点地址就行。

Ip:服务器ip Port:根据系统自动生成,默认:54321

通过浏览器打开:http://172.16.33.107:54321

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容