从安装到编译: 10分钟教你在本地使用和开发GraphScope

GraphScope作为业界首个开源一站式图计算平台, 已经支持在主流的操作系统上部署并使用。本文将详细介绍本地安装 GraphScope 的两种方式: 1)直接通过 pip 安装已发布的二进制包;2)从源码编译构建最新版本的 GraphScope。

通过 pip 安装 GraphScope

GraphScope 每个版本的 Python 发布包包含了客户端与服务端运行时所需的必要组件以及依赖。在安装 GraphScope 前,确保当前环境满足以下前置条件:

  • Linux 系统:ubuntu 18.04 或更高版本 、centos7 或更高版本,且预安装 gcc 版本不低于 7.1;
  • macOS (Big Sur) 11.2.1 或更高版本(Intel 芯片和 M1 芯片均支持);
  • 暂不支持 Windows。如果使用 Windows 系统,可以通过 WSL 安装 ubuntu 试用;
  • Python 3.7 ~ 3.9 版本。
  1. 首先确认 pip 版本是否大于 19.0:
$ pip3 -V
pip 20.0.2 from /usr/lib/python3/dist-packages/pip (python 3.8)

# 如若版本太低,可通过如下命令将 pip 升级到最新版本。
$ python3 -m pip install --upgrade pip

2. 通过 pip 安装最新版本 GraphScope:

$ pip3 install graphscope --upgrade

3. 如果没有报错,恭喜你,GraphScope 已经顺利安装完成!您已经可以开始使用了。可以通过以下 Python 命令检测 GraphScope 是否已经正确安装:

>>> import graphcope
>>> print(graphscope.__version__)
0.11.0

如果如上面所示,已经正确显示 GraphScope 的版本号,那么接下来就可以使用 GraphScope 了。PlaygroundTutorials 提供了一些上手任务的示例,可以参考这些资料开始你的 GraphScope 旅程。

从源码编译构建 GraphScope

预打包的 Python 安装包可能并不能满足所有使用场景。如果你想对 GraphScope 源码做一些改动,这时可能需要在本地搭建一个构建环境,从源码编译安装。

安装依赖

由于编译 GraphScope 需要 vineyard、libgrape-lite、boost 等一些第三方的工具和依赖,同时也需要 g++、maven、rustc 等不同语言的编译框架。其中有些依赖可直接由包管理器来安装,而另一些需要通过源码编译安装,因此,GraphScope 提供了一个脚本,帮助在本地(ubuntu 20.04+ / centos 8+ / macOS 11.2+)一键安装相关依赖。

# 下载最新版本代码
$ git clone https://github.com/alibaba/GraphScope

# 执行安装脚本
$ bash ./scripts/install_deps.sh --dev
...
...
The script has installed all dependencies 
for builing GraphScope, use commands:

 $ source ${HOME}/.graphscope_env
 $ make graphscope

to build and develop GraphScope.

脚本的执行过程会检测、安装 GraphScope 需要的以下依赖:

  • apache-arrow
  • boost
  • etcd
  • go
  • grpc
  • openjdk11 (如果当前系统的 Java 版本 < 8 或 > 15 )
  • libgrape-lite
  • maven
  • openmpi
  • vineyard
  • ztecd

同时,脚本执行后,会输出一个包含若干环境变量的文件 ${HOME}/.graphscope_env,用于帮助编译 GraphScope。

# 查看环境配置
$ cat ~/.graphscope_env
export LD_LIBRARY_PATH=:/usr/local/lib:/usr/local/lib64
export JAVA_HOME=/usr/lib/jvm/default-java
export PATH=${JAVA_HOME}/bin:$HOME/.cargo/bin:/usr/local/go/bin:$PATH
export PATH=$(go env GOPATH)/bin:$PATH

# source 环境配置
$ source  ${HOME}/.graphscope_env

依赖安装过程中可能会出现一些问题,具体的安装细节可参考该 安装脚本,里面详细的列出了所需要的依赖项及安装方法。也可以在 GraphScope 社区反馈遇到的问题。

从源码构建

GraphScope 提供了一组 Makefile target 来帮助编译各个模块: Coordinator、图分析(GAE)、图查询(GIE)、图学习(GLE)以及客户端模块,我们可以选择性地构建全部或其中某个模块。

GraphScope 的默认安装路径为 /opt/graphscope,可通过 make 参数 INSTALL_PREFIX 指定期望路径。

# 编译并安装 GraphScope (全部模块)
cd GraphScope && make install

试运行一下确认安装完成。

>>> # 进入到 python 目录下
>>> # cd GraphScope/python
>>> import graphscope
>>> print(graphscope.__version__)
0.11.0

开发和测试

在日常的开发测试中,可以通过开启 show_log 选项来帮助输出更多的日志信息。

>>> import graphscope
>>> graphscope.set_option(show_log=True)

不仅如此,在开发过程中如果仅涉及 GraphScope 中某几个模块的修改,则可以选择性的只编译对应模块。模块、代码路径、及对应的编译命令如下:

GraphScope 模块 代码路径 编译命令
客户端 GraphScope/python make python
Coordinator GraphScope/coordinator make coordinator
图分析引擎(GAE) GraphScope/analytical_engine make gae
图查询引擎(GIE) GraphScope/interactive_engine make gie
图学习引擎(GLE) GraphScope/learning_engine make gle

测试客户端 / Coordinator / 图分析模块

首先需要下载单元测试所依赖的数据集:

$ cd ~/ && git clone https://github.com/GraphScope/gstest.git
$ export GS_TEST_DIR=${HOME}/gstest

然后执行单元测试:

$ cd GraphScope && make unittest
# 也可以通过如下命令测试某个具体的用例
$ cd GraphScope/python && python3 -m pytest ./graphscope/tests/unittest/test_session.py [-k test_xxxx_func]

测试 图查询 / 图学习模块 (涉及引擎间数据交互)

$ cd GraphScope && make minitest

结语

GraphScope 支持以 pip3 install graphscope 的方式快速地在本地安装并使用;除此之外,本文从安装依赖、编译、测试三个方面详细地介绍了如何从源码一步步构建并测试 GraphScope 的各个模块。为了更有效的处理超大规模图数据,除单机部署外,借助 vineyard 作为分布式内存数据管理器,GraphScope 也支持在 Kubernetes 集群上部署运行,详细流程可参考官网文档。我们也将在后续文章中详细的介绍如何基于 Kubernetes 部署 GraphScope。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354

推荐阅读更多精彩内容