记jupyter-notebook linux下 跨机器 环境迁移

背景:

    公司老集群升级( CHD5升级到CDH6),集群资源重新分配。原来本人负责的提数任务(jupyter是提数使用的工具),需要另在一台机器安装jupyter并搭建jupyter运行环境,以下为整个流程的详细记录,如有更方便、易行的办法,欢迎讨论。

    1.jupyter一直挂载在老机器后台,查看jupyter挂载进程:ps -ef | grep jupyter

进程信息

    2.conda env list  查看列表中的所有运行环境,并且找到jupyter的运行环境。

3.在对应环境目录下找到依赖包信息,一般都在环境目录下:requirement.txt

4.在要迁移的机器上创建对应环境并指定一致的python版本(需要在老机器上切换到jupyter的对应运行环境并查看对应python版本): conda create -n 虚拟环境名称 python=2.7 

5.在新创建的环境下创建依赖包信息文件:vi xxxx.txt 。将原环境下的依赖包信息copy到该文件下 :wq 保存并退出。

    使用pip install -r xxxx.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 

    -i-指定镜像地址采用的是清华镜像    

    若有安装依赖报错信息(极大原因是版本过旧),百度找到对应可用版本,修改xxxx.txt依赖包信息,直至安装成功。这种办法不能保证依赖包版本完全一致,如何跨机器 进行完全一致的环境迁移也是困扰我的问题,有了解的朋友,请指教

6.Linux服务器上配置Jupyter并在后台运行

https://blog.csdn.net/qq_41699621/article/details/103064684

上图是之前老机器上 采用的json文件格式生成的jupyter配置文件,这部分是为了本人回溯问题。

大家参考上面贴的博主连接,采用其二、三、四步骤

采用.py文件的格式生成的jupyter配置文件就可以,亲测可行。

执行到第七步:

    按照上面的链接的挂载操作,会将home目录暴露出来。所以在服务器后台挂载jupyter 进程时,可以将指定目录作为jupyter web端启动后的默认目录(避免了jupyter启动后的web端的操作者 对home目录 有风险操作),并可以指定log存放的地址

附加:查到要kill掉的进程PID,然后kill 进程的pid number:kill xxx

7.浏览器输入迁移的机器 host:端口号  测试jupyter是否搭建成功!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • jupyter notebook是交互式的Python运行环境,可以把它看做是一张草稿纸,你可以通过它来进行你的思...
    resolvewang阅读 26,807评论 5 16
  • 如何在使用Jupyter Notebook时,解决Python虚拟环境间的切换问题?本文一步步帮你拆解。希望你能够...
    王树义阅读 82,132评论 9 44
  • 久违的晴天,家长会。 家长大会开好到教室时,离放学已经没多少时间了。班主任说已经安排了三个家长分享经验。 放学铃声...
    飘雪儿5阅读 8,048评论 16 22
  • 今天感恩节哎,感谢一直在我身边的亲朋好友。感恩相遇!感恩不离不弃。 中午开了第一次的党会,身份的转变要...
    余生动听阅读 11,015评论 0 11
  • 可爱进取,孤独成精。努力飞翔,天堂翱翔。战争美好,孤独进取。胆大飞翔,成就辉煌。努力进取,遥望,和谐家园。可爱游走...
    赵原野阅读 3,645评论 1 1

友情链接更多精彩内容