南大通用GBase 8a在数据实时传输系统中的解决方案(下)

原文链接:https://www.gbase.cn/community/post/4099

更多精彩内容尽在南大通用GBase技术社区,南大通用致力于成为用户最信赖的数据库产品供应商。

前一篇我们介绍了此系统的组网,配置,架构等,此篇文档将基于此架构介绍下,如何进行安装验证等。

一.集群安装前检查

1.1.硬件配置检查

验证服务器硬件配置是否均与硬件配置清单项相符。

验证服务器硬件是否能正常工作、正常启动。

验证raid卡配置是否按照推荐配置进行了设置。

1.2.操作系统配置检查

验证操作系统版本是否采用了推荐版本。

验证是否进行了双卡绑定。

验证千兆、万兆网卡是否工作在正常的速率模式。

验证磁盘分区是否正确,分区大小、采用文件系统是否为推荐配置。

验证防火墙、selinux服务是否为关闭状态。

验证各主机root口令是否设置一致。

验证各主机上集群相关端口是否被占用。

验证操作系统内核参数是否按照推荐配置修改。

1.3.磁盘性能测试

采用dd和fio磁盘测试工具对/data目录进行磁盘IO性能测试,根据测试结果评估磁盘顺序、随机读写的性能是否正常;

写测试 执行命令“dd oflag=direct if=/dev/zero of=1.dat bs=2M count=200”

读测试 执行命令“dd iflag=direct if=1.dat of=/dev/null bs=2M count=200”

读写测试 执行命令“dd iflag=direct oflag=direct if=1.dat of=2.dat bs=2M count=200”

语法:dd [选项]

if =输入文件(或设备名称)。

of =输出文件(或设备名称)。

bs=bytes:同时设置读入/输出的块大小为bytes个字节。

count=blocks:仅拷贝blocks个块,块大小等于ibs指定的字节数。

1.4.网络IO性能测试

采用netperf工具对千兆网络、万兆网络分别进行网络IO性能测试,根据测试结果评估千兆网络、万兆网络的性能是否正常。

Netperf 是一种网络性能测量工具,主要基于 TCP 或 UDP 的传输。工作原理:

Netperf 工具以 client/server 方式工作。server 端是 netserver,用来侦听来自 client 端的连接,client 端是 netperf ,用来向 server 发起网络测试。

二.集群安装

2.1.集群安装文件上传解压

上传集群安装包到某一个coordinator节点的/data/setup/路径下。

解压安装包到当前路径下:

# tar xfj GBase8a_MPP_Cluster-NoLicense-8.6.2_build43-R11-SUSE12-x86_64.tar.bz2

2.2.修改安装参数文件

用户在安装集群前,需要根据实际情况,对安装参数文件进行修改。安装参数文件存在于解压安装包文件后的/data/setup/gcinstall/这个路径里,安装参数文件的文件名为:demo.options。

用户参照如下章节介绍的操作方法,进入解压后的gcinstall目录,根据实际的集群环境修改安装参数文件demo.options

cd /data/setup/gcinstall

vim demo.options

根据此项目硬件情况配置如下:

# cd gcinstall

# vi demo.options

installPrefix= 实际安装路径

coordinateHost =管理节点IP,以逗号分隔

dataHost=数据节点IP,以逗号分隔

#existCoordinateHost =

#existDataHost =

loginUser= root

loginUserPwd = '操作系统用户root密码'

dbaUser = gbase

dbaGroup = gbase

dbaPwd = 'gbase'

rootPwd = '操作系统用户root密码'

dbRootPwd = ''

mcastPort = 5493

安装参数说明如下:

installPrefix:指定安装目录。

coordinateHost :所有coordinator节点 IP列表,IP地址之间用“,”分隔。

dataHost:  所有data节点IP列表,IP地址之间用“,”分隔。

existCoordinateHost: 所有已存在的coordinator节点IP列表,IP地址之间用“,”分隔。本次安装不需配置。

existDataHost: 所有已存在的data节点IP列表,IP地址之间用“,”分隔。本次安装不需配置。

loginUser: 通过该用户ssh到集群各节点,再su切换到root用户执行命令,该参数必须使用。默认用户为root。该用户所属用户组必须也是loginUser。

loginUserPwdFile表示支持用户loginUser在集群节点不同密码的方式;loginUserPwd表示用户loginUser在集群节点密码相同的方式。两者不能兼用,否则报错,可以根据密码的异同选择参数使用,

dbaUser:  集群运行时使用的操作系统用户名。配置dbaUser与installPrefix执行目录相同,需要保证该用户已创建。

dbaGroup: 集群运行时使用的操作系统用户所属的组名。

dbaPwd:   集群运行时使用的操作系统用户的密码。

rootPwdFile,该参数支持root用户在多节点不同密码方式,与参数rootPwd不能同时使用,否则报错。

dbRootPwd :数据库root用户密码。安装集群时无需设置,仅在集群升级、扩容、节点替换时使用生效。

mcastPort:组播端口,缺省值为5493,如果按照UDPU方式安装,则此参数无效。

rootPwd:安装集群节点机器中linux操作系统中root用户的统一的密码。

coordinateHostNodeID: 支持对IPV6地址的输入,当集群节点为IPV4地址,则该参数无效,可不用设置。

2.3.执行安装

成功修改安装参数文件后,执行安装脚本gcinstall.py,安装执行中,具体命令如下:

# ./gcinstall.py --silent=demo.options

参数说明:

1、gcinstall.py命令可选参数:passwordInputMode

参数含义:指定密码获取的方式,通过不同的参数实现不同的获取方式。若指定该参数,则demo.options中的密码不必再修改。

默认值: file

取值范围:[file,pwdsame,pwddiff]

file : 表示从文件或命令行参数获取,和原有的方式一致,该方式下,文件中的密码是明文的;

pwdsame:表示从终端由用户输入密码,并且所有节点的密码一致情况下使用该参数,对于不同用户密码只输入一次,适用于所有节点都用这个密码;

pwddiff:  表示从终端由用户输入密码,并且节点间的密码不一致情况下使用该参数,对于不同用户密码每个节点分别输入一次,适用于不同节点使用不同的密码;

2、-a

参数含义:安装时跳过与用户交互提示信息。

安装成功后,会在每个节点上创建一个操作系统的用户gbase,其密码默认是 gbase。GBase 8a MPP Cluster的主要软件模块都运行在gbase 用户下。

每个coordinator节点的/opt下会创建gcluster子目录,每个data节点的/opt下会创建gnode子目录,GBase 8a MPP Cluster的数据库用户,默认为root, 密码为空。

安装成功后,通过gcadmin查看集群状况,示例如下:

CLUSTER STATE: ACTIVE

CLUSTER MODE: NORMAL

==================================================================

|             GBASE COORDINATOR CLUSTER INFORMATION              |

==================================================================

|   NodeName   |     IpAddress      |gcware |gcluster |DataState |

------------------------------------------------------------------

| coordinator1 |    10.20.64.29     | OPEN  |  OPEN   |    0     |

------------------------------------------------------------------

| coordinator2 |    10.20.64.30     | OPEN  |  OPEN   |    0     |

------------------------------------------------------------------

| coordinator3 |    10.20.64.31     | OPEN  |  OPEN   |    0     |

------------------------------------------------------------------

==============================================================

|               GBASE DATA CLUSTER INFORMATION               |

==============================================================

|NodeName |     IpAddress      |gnode |syncserver |DataState |

--------------------------------------------------------------

|  node1  |    10.20.64.24     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

|  node2  |    10.20.64.25     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

|  node3  |    10.20.64.26     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

|  node4  |    10.20.64.27     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

|  node5  |    10.20.64.28     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

|  node6  |    10.20.64.29     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

|  node7  |    10.20.64.32     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

|  node8  |    10.20.64.33     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

|  node9  |    10.20.64.34     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

| node10  |    10.20.64.35     | OPEN |   OPEN    |    0     |

--------------------------------------------------------------

2.4.配置distribution

现场采用1副本1分片的配置方式进行配置

$ gcadmin distribution gcChangeInfo.xml p 1 d 1

配置成功后可以通过gcadmin  showdistribution查看数据分布方式,示例如下:

2.5.集群的初始化

集群安装完毕,并且建立distribution之后,在首次执行SQL命令之前,需要对数据库系统做初始化操作,才能正确执行所有的SQL操作。如果不做初始化操作,执行数据库操作时会提示不能创建或执行。

1.首先使用root帐号登录集群。

$ gccli -uroot -p

Enter password:

GBase client 8.6.1.1 build 49382. Copyright (c) 2004-2015, GBase.  All Rights Reserved.

gbase>

2.执行初始化命令 initnodedatamap命令。

gbase> initnodedatamap;

Query OK, 0 rows affected

注意:此命令只需执行一次,如果重复执行,系统会报告如下信息:

gbase> initnodedatamap;

ERROR 1707 (HY000): gcluster command error: (GBA-02CO-0004) nodedatamap is already initialized.

至此,GBase 8a MPP Cluster安装结束。

三.集群安装后的校验

3.1.集群服务的启停

成功安装集群后,用户可以在每个节点上使用操作系统的root用户执行以下命令启停gcware服务:

启动服务:

# service gcware start

停止服务:

# service gcware stop

重启服务:

# service gcware restart

其中,coordinator节点针对的服务有gclusterd,gcmonit,corosync,gcrecover;data节点针对的服务有gbased,syncserver,gcmonit。

集群的登录与退出

在任何节点上,在命令行状态,用户必须使用gbase用户,通过gbase 客户端工具连接数据库。命令格式如下。

gccli –u -p [-h] [-P] [-D] [--nice_time_format format] [-c]

参数:

username:-u的参数值,连接数据库的用户名称,该名称默认为root。

password:-p的参数值,连接数据库的密码,该密码默认为空,首次安装并登录集群后,需要修改root用户的password。

ipaddress

ipaddress::-h的参数值,登录集群节点的的参数值,登录集群节点的IP地址,默认地址,默认127.0.0.1可选参数;如果指定多个选参数;如果指定多个IP地址, , 则启动gccli的高可用功能,IP地址之间采采用“,”分隔,例如

192.168.100.10,192.168.100.11,192.168.100.12

在指定多个集群节点IP的情况下,gccli首先尝试与第一个节点IP建立连接,如果无法建立连接,则尝试与下一个节点连接,以此类推。如果配置的多个集群节点IP均无法建立连接,则gccli无法建立与集群的连接,本次登录失败。

portname:-P的参数值,集群使用的端口号,默认5258,可选参数。

databasename:-D的参数值,指定登录时默认的数据库(数据库必须存在),可选参数。

--nice_time_format:指定时间的显示格式,使用该参数,格式显示为'n hour n min nnn.nn sec',不使用该参数,格式显示为'hh:mm:ss.ff'。可选参数。nice_time_format可以这样使用:

1) gccli -uroot --nice_time_format

2) gccli -uroot --nice_time_format = 1

3) gccli -uroot --nice_time_format = 0

其中1和2等价, 3等价于不使用nice_time_format。

-c:使用此参数,用于使用hint优化方式。可选参数。

3.2.简单操作验证

集群安装部署成功后,进行简单的创建,插入,修改,删除的操作,以验证集群的状态正常,示例如下:

验证create database功能

gbase> create database test;

验证create table功能

gbase> create table test(a int,b varchar(200),c decimal(15,4),d date,e datetime,f longblob);

验证insert功能

gbase> insert into test values (1,'AASSSDDD',10922.34,now(),'2019-07-02','xxxxxaaaaaaassssssdddd'),(2,'B',100.01,now(),'2019-07-02','xxxx');

验证update功能

gbase>update test set c= 500.04 where a=2;

验证delete功能

gbase> delete from test where a=2;

验证truncate功能

gbase> truncate table test;

验证drop功能

gbase> drop table test;

验证ftp加载功能

gbase>load data infile 'ftp://gbase:gbase@192.168.58.11/gbasedata/ssbm/lineorder.tbl' INTO TABLE ssbm.lineorder FIELDS TERMINATED BY '|';

验证本地加载功能

gbase> load data infile 'file://192.168.58.11/home/gbase/gbasedata/ssbm/lineorder.tbl' INTO TABLE ssbm.lineorder FIELDS TERMINATED BY '|';

原文链接:https://www.gbase.cn/community/post/4099

更多精彩内容尽在南大通用GBase技术社区,南大通用致力于成为用户最信赖的数据库产品供应商。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,451评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,172评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,782评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,709评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,733评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,578评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,320评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,241评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,686评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,878评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,992评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,715评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,336评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,912评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,040评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,173评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,947评论 2 355

推荐阅读更多精彩内容