在AWS上配置jupyterhub

长话短说。
如果单纯是个人目的,那么在远程配置一个jupyter notebook服务器是很简单的。但是比如在课堂中,在学生们不具备每个人都拥有自己的jupyter notebook的情况下,教师完全可以通过一台远程服务器为每一个学生配置一个“独立”的jupyter notebook,而所有这些jupyter notebook都被囊括在一个jupyterhub里头。这就是jupyterhub的用处。

关于jupyterhub的细节我们不予以讨论,有需要的可以参考

  1. 官方的2016年pydata视频:https://www.youtube.com/watch?v=gSVvxOchT8Y&t=2220s
  2. github上的tutorial:https://github.com/jupyterhub/jupyterhub-tutorial

个人的linux服务器并不常见,所以我们在亚马逊云的ubuntu实例上配置安装。除开网络环境的不同(比如受公司,校园局域网的限制之类),以下的配制方法的可移植性还是挺不错的(我认为。。。)

在AWS上配置ubuntu实例

  1. 注册完账号后,点击SurviceEC2

    图1

  2. 点击Launch Instance

    图2

  3. 选择下图的ubuntu系统。


    图3
  4. 选择可以免费试用的配置后,进入下一步。


    图4
  5. 在step3这个配置页面,基本什么都不用改直接进入下一步。


    图5
  6. 接下来调整硬盘大小,如果没什么特殊需求默认8GB就可以了。


    图6
  7. 接下来添加标签,暂时也可以直接跳过。


    图7
  8. 设置端口的时候,开放22端口用于在命令行里通过SSH登录你的ubuntu实例;开放8000端口用于让有需要的人通过浏览器访问你的jupyterhub。


    图8
  9. 就这样实例的配置基本完成。在这个页面最后一次检查下配置有没有问题,没有的话就点击Launch。(因为你把端口8000开放成任何人都可以访问所以被警告不安全,可以不用在意。)

    图9

  1. 这是远程ubuntu的配置。为了让你能够从你的电脑访问这台Ubuntu,还需要设置秘密钥匙用于SSH连接。

    • 选择生成新的钥匙对
    • 填写钥匙对的名字
    • 下载秘钥到你的电脑,最好将它放在~/.ssh这个专门放置ssh秘钥的文件夹里。下载下来后不能弄丢,如果弄丢了就再也找不回来了,AWS并不会帮你保存这个秘钥否则AWS就可以随意进出你的实例。这在安全性上是不会被公众允许的。
    • 接下来点击Launch Instances就可以启动你的Ubuntu咯!
      图10
  2. 接下来就会进入到你拥有的实例的管理页面。Status Checks的状态变成2/2为止需要等待几分钟。变成2/2后你的实例就可以登陆了。提前说明,点击ActionsInstance State就可以自由的开始,暂停,结束你的实例。
    你需要记住你的Public DNS,SSH登录Ubuntu和网页登录Jupyterhub的时候都会用到。

    图11

  3. 从终端登录你的ubuntu实例。默认的用户名是ubuntu。

$ chmod 600 ~/.ssh/AWS_SSH_key_pair.pem
$ ssh -i ~/.ssh/AWS_SSH_key_pair.pem ubuntu@[Public DNS]

ubuntu上配置jupyterhub

  1. 登陆上ubuntu之后,首先要做的就是更新。
$ sudo apt-get update
$ sudo apt-get upgrade

然后安装一下乱七八糟的东西(没太搞明白这些东西是否必须)

$ sudo apt-get -y install git gcc g++ make openssl libssl-dev libbz2-dev libreadline-dev libsqlite3-dev python-dev libmysqlclient-dev
  1. 接下来就要配置python环境了。如果你是以当前用户ubuntu来进行安装的话,之后开启的jupyterhub可能只有ubuntu这个用户能够使用而没法达到多用户的目的。所以我们先进入root在进行一系列操作。
$ sudo su -
  1. 安装pyenv。
$ cd /opt
$ git clone https://github.com/yyuu/pyenv.git pyenv
$ sudo apt-get install emacs

用emacs打开.~/.bashrc后,添加以下配置。

emacs ~/.bashrc
export PYENV_ROOT="/opt/pyenv"
if [ -d "${PYENV_ROOT}" ]; then
    export PATH=${PYENV_ROOT}/bin:$PATH
    eval "$(pyenv init -)"
fi

然后让bash shell读取新添加的配置。

source ~/.bashrc
  1. 接下来通过pyenv来安装和配置ananconda。(当前版本ananconda3-5.1.0)
$ pyenv install ananconda3-5.1.0
$ pyenv global ananconda3-5.1.0

完成了之后你可以通过以下命令来检查一下你的python版本,不出意外的话应该是Anaconda所持有的python。

$ python --version
  1. 利用conda安装jupyterhubhe它所使用的notebook。
$ conda install -c conda-forge jupyterhub
$ conda install notebook
  1. 生成jupyterhub的配置文件。(待会再配置这个文件)
$ mkdir /etc/jupyterhub
$ cd /etc/jupyterhub
$ jupyterhub --generate-config
  1. jupyterhub的启动配置。
$ echo jupyterhub -f /etc/jupyterhub/jupyterhub_config.py > jupyterhub.sh
$ echo su -l root /etc/jupyterhub/jupyterhub.sh \& >> /etc/rc.local
  1. 设置使用这个jupyterhub的用户。登录jupyterhub所需要的就是用户名和密码。
    • 首先是ubuntu。这个用户名已经存在,并且在刚刚进入root时候也设置的密码,所以这样就行了
    • 接下来是一个普通用户testuser
$ adduser testuser

然后系统会让你设置包括密码和身份的一些乱七八糟的东西。

  1. 现在用户和密码都齐全了,要做的就是让告诉jupyterhub哪些是可以登录jupyterhub的普通用户,哪些是登录jupyterhub的管理员级别的用户。
    打开刚刚生成的jupyterhub的配置文件。
& emacs /etc/jupyterhub/jupyterhub_config.py
  • 普通用户
c.Authenticator.whitelist = {'testuser'} 
  • 管理员级别
c.JupyterHub.admin_users = { 'ubuntu' }
  • 然后设置默认登录jupyterhub后的目录。
c.Spawner.notebook_dir = '~/notebook'
  1. 接下来只要打开jupyterhub就可以了。
$ jupyterhub

不过我推荐用nohup和&的组合让程序在后台运行比较好,这样即使你断开了ubuntu的SSH连接,只要你的实例还在运行,你就随时可以通过浏览器登录你的jupyterhub。

$ nohup jupyterhub > jupyterhub.log &
  1. 在浏览器输入以下地址,通过浏览器登录你的jupyterhub。
http://[Public DNS]:8000
  1. 输入用户名testuser和它的用户密码便可。

以上的方法参照结合了以下两篇博文:

  1. AWS EC2(Ubuntu 16.04)にJupyterHub+R実行環境を構築する
  2. JupyterHub + Pyenv + Anaconda環境構築(AWS EC2)

注意:校园网可能会不让你访问这种看似不安全的网页,所以你在校园或者公司里可能会无法登陆http://[Public DNS]:8000

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,594评论 18 139
  • 这是一个帮助文档,我们会一步一步讲解如何从0开始在AWS上申请CPU或者GPU机器进行使用。 申请账号并登陆 首先...
    SherlockLiao阅读 1,609评论 0 3
  • 任务描述 模拟一个队列,队列的每个元素是一个数字,初始队列为空 有一个input输入框,以及4个操作按钮1.点击"...
    不喜鹿阅读 1,009评论 4 9
  • By邪帝是我的 57. 吴三省终于把婚礼的日期定下来了,在十二月十五。 他这几日天天往老大家里跑,问各种婚礼的相关...
    邪帝是我的_阅读 1,560评论 0 2
  • 你喜欢读书吗?在茫茫书海,你是如何选出既适合你,又让你喜欢的那本书的。在不断选书的过程中,我有了三点自己的准则。 ...
    晨希yang阅读 381评论 3 1