JupyterHub on Kubernetes部署

花了三天看了诸多文档,经历N次尝试后,终于成功在自己的Mac上,将JupyterHub部署在了Kubernetes(k8s)上,写一篇博客记录下安装过程,希望可以帮助到需要的朋友。

1.实验依赖

  • Mac v10.12.2
  • Docker v18.09.3
  • Kubernetes v1.13.0
  • Helm v2.11.0

2.安装Docker Desktop + k8s

Docker Desktop是使用Mac学习Docker,Kubernetes最简单和快捷的工具,可以很方便的为你搭建一个k8s环境,所以我们的第一步也是安装Docker Desktop,并配置k8s。

Docker Destop本身安装很简单,但遗憾的是k8s所需的镜像由于墙的原因很难拿到。在启用kubernetes过程中,会出现kubernetes is starting的问题,所以参考https://github.com/maguowei/k8s-docker-for-mac的方法,可以成功配置。

简单复述一下步骤:

  • 从github上clone该项目

  • 下载并安装Docker Desktop(注意:必须安装他提供的版本,最新版的Docker Desktop无效,可能原因是缺少某些镜像)

  • 设置Docker官方加速镜像 https://registry.docker-cn.com,记得点Apply&Restart,否则不生效

1552698791901.jpg
  • 在Kubernetes中启用Enable Kubernetes,直到两个都变成 is running
1552698923865.jpg

3.安装Helm

根据Jupyterhub官方文档https://zero-to-jupyterhub.readthedocs.io/en/latest/描述,在k8s部署Jupyterhub需要使用helm,所以第二部需要安装Helm。

还是因为某些镜像拿不下的原因,如果按照官方文档的方法还是不行,参考https://blog.csdn.net/wzygis/article/details/84346573的方法来。

因为已经写的很清楚了,这里还是简单回顾步骤:

tar -xvzf  helm-v2.11.0-darwin-amd64.tar.gz -C ~/app/ 
mv ~/app/darwin-amd64/helm /usr/local/bin/helm
  • 编辑tiller.yaml,直接复制原文内容,执行命令
kubectl apply -f tiller.yaml
helm init
  • 替换镜像
kubectl edit deploy tiller-deploy -n kube-system
  • image gcr.io/kubernetes-helm/tiller:v2.11.0 替换成 image: sapcc/tiller:v2.11.0(注意:此处的版本必须和下载的helm客户端版本一致,否则报错)

  • 验证helm是否安装成功

helm version
1552701357411.jpg

这里还可以参考https://my.oschina.net/u/2306127/blog/1619818

最新Helm安装参考
https://www.jianshu.com/p/7ab38da8758e

helm init -i registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.11.0 --stable-repo-url http://mirror.azure.cn/kubernetes/charts/ --service-account tiller --override spec.selector.matchLabels.'name'='tiller',spec.selector.matchLabels.'app'='helm' --output yaml | sed 's@apiVersion: extensions/v1beta1@apiVersion: apps/v1@' | kubectl apply -f -

最新helm安装参考
https://www.jianshu.com/p/8aec2776f3f1

4.安装Jupyterhub

安装好了k8s,helm后,终于来到了最后一步,安装jupyterhub。然而可惜的是,官网提供的方法仍然不可用,需要参考https://my.oschina.net/u/2306127/blog/1836933的方法。当然这里面还有坑。。。

基本按照参考文章里的快速安装指南来安装,但是按照他的安装步骤是不成功的,所以这里参考我的来:

docker pull docker.io/kubernetes/pause
docker tag kubernetes/pause gcr.io/google_containers/pause:0.8.0
  • 修改secretToken

    • 执行 openssl rand -hex 32,生成字符串
    • 在 /jupyterhub/values.yaml中,替换proxy下的secretToken为刚才生成的字符串
  • 继续修改values.yaml中的storageClass,有两处,我这里设置成了"hostpath",也可以设置成“NFS”,根据自己的情况来吧。

  • 继续修改values.yaml中的images tag,镜像的版本信息需要和jupyterhub-images-pull.sh下载的一致,这里可以对应着全部改掉。

  • 继续修改values.yaml中proxy:service: type:为 NodePort。

  • 这里还有一个坑踩了好久,默认的Node分配的Memory只有2G,但是开启各种pod后,很快资源就不够了,这样jupyterhub服务启不来,所以干脆这里调节成4G。然后修改values.yaml中的memory,注意我这里proxy和hub只分配了256Mi,但是 singleuser:memory:guarantee至少1G,否则jupyterhub不运行。

1552703625967.jpg
  • 执行命令,开启服务
    helm install ./jupyterhub --version=v0.7.0 \
    
  • 验证是否部署成功
    kubectl --namespace=jupyter get pod (两个都running)
    
1552704272983.jpg
```
kubectl --namespace=jupyter get svc proxy-public(查看端口)
```
1552704423052.jpg
  • 浏览器登录localhost:30877


    1552704680601.jpg

5.总结

整个安装过程还是比较曲折的,由于之前完全没接触过docker,k8s,jupyterhub,花了一些时间在学习概念和工具的使用。还有大量时间在搜寻资料和试错上,不过好在还是有大神已经造了轮子,自己多尝试还是可以成功部署的。

6.最主要的几篇参考文献

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容