Windows的Linux子系统搭建数据科学环境

近日看到R语言中文社区上一篇关于Windows的Linux子系统搭建Python和R环境的文章,加上虾神也在宣传,于是我也动手来玩一玩。之前很早就了解过WSL,但一直没动手使用,趁机来学习一下。

1 Windows Subsystem for Linux(WSL)简介

简介一下WSL。

Windows Subsystem for Linux(简称WSL)是一个为在Windows 10上能够原生运行Linux二进制可执行文件(ELF格式)的兼容层。它是由微软与Canonical公司合作开发,目标是使纯正的Ubuntu 14.04 "Trusty Tahr"映像能下载和解压到用户的本地计算机,并且映像内的工具和实用工具能在此子系统上原生运行。WSL提供了一个微软开发的Linux兼容内核接口(不包含Linux代码),来自Ubuntu的用户模式二进制文件在其上运行。该子系统不能运行所有Linux软件,例如那些图形用户界面,以及那些需要未实现的Linux内核服务的软件。不过,这可以用在外部X服务器上运行的图形X Window系统缓解。此子系统起源于命运多舛的Astoria项目,其目的是允许Android应用运行在Windows 10 Mobile上。此功能组件从Windows 10 Insider Preview build 14316开始可用。——维基百科

2 WSL安装

在开始菜单里搜索"Microsoft Store"。

image

接着在"Microsoft Store"中搜索"Linux"。

image

从中选择一个Linux的发行版安装即可。我选的是Ubuntu 18.04 LTS,个人比较熟悉Ubuntu,同时也想试一下18.04版本。点击获取后,"Microsoft Store"就会自动下载安装。当然安装完后,你可以把它固定到开始屏幕比较方便。

image

当然现在启动WSL是失败的,因为还得在Windows中启用该功能。依旧是在开始菜单搜索Windows功能。

image

接着打钩"适用于Linux的Windows子系统"。

image

这个时候就能愉快地开启Ubuntu系统了(当然一般上面勾选完需要重启系统,这类就跳过了)。

image

如果第一次启动的话,会要求你创建一个Linux的账户和密码,熟悉Linux系统的同学应该很清楚了,这就不多说了,如果不熟悉的,建议去学习一下Linux的基础管理和操作。这样就愉快地可以开始在Windows上玩耍Linux系统了。另外这个系统其实是安装在如下的地址内,这样子后期管理时也可以快速上手使用。

C:\Users\你的用户名\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu18.04onWindows_79rhkp1fndgsc\LocalState\rootfs

同时WSL直接将你的其他磁盘挂载到了mnt文件夹下面,可以直接通过/mnt/d访问。

cd /mnt/f
ls -l
image

如果觉得下载速度略慢的话,完全可以更新apt源文件来提速。可以看到在/etc/apt下面的sources.list

image

我们这里在自己的F盘创建了一个WSL的工作空间,可以用来做各种相关的事情,譬如这里在更新apt源文件前,先备份到这个空间内。需要提醒下,我这里都先运行了sudo su,以root账户执行。所以不需要在命令前加sudo,如果不是root账户,请加sudo。

mkdir /mnt/f/WSLworkspace
cp /etc/apt/sources.list /mnt/f/WSLworkspace/sourcesbackup.list
image
image

而替换源通常使用vim或者gedit来操作,这个时候知道我们的系统安装路径的好处就来了。只需要在Windows上打开对应文件夹下的sources.list(建议用Notepad++),复制粘贴就可以。给出几个源。

清华

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

阿里源

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

中科大

deb https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

接着就可以进行更新软件了。

sudo apt-get update
sudo apt-get upgrade

3 WSL搭建数据科学环境

接下来就是搭建数据科学环境(Python和R)了。这里推荐安装Anaconda,当然如果想从头开始安装也是允许的。先去Anaconda 官网找到最新的版本。我Windows上基本都是Python2,因此在这个版本上主要以Python3为主,就是图中红框的。下载链接如下。

image

https://repo.continuum.io/archive/Anaconda3-2018.12-Linux-x86_64.sh

接着用wget下载,可以改变路径。

wget -P /mnt/f/WSLworkspace https://repo.continuum.io/archive/Anaconda3-2018.12-Linux-x86_64.sh 

接下来就是安装Anaconda3。

bash /mnt/f/WSLworkspace/Anaconda3-2018.12-Linux-x86_64.sh

中间可以选择安装位置,这里默认安装在/root/Anaconda3,接着就等待安装结束了。安装过程中会提示是否将Anaconda3添加到环境变量,选yes。安装完会提示是否要安装Microsoft VS code,我建议可以不装。接着再Linux命令行里敲入。

jupyter lab --allow-root

关于这个的配置有一些参考的内容见后面的链接,这里不详细展开,如果以root账户运行的话必须加上--allow -root。

接着在Windows浏览器里访问http://localhost:8888/lab?。

image

除了Python3,我们还推荐装个R,用于混合编程。这个时候毕竟本机已经安装了原生R,我决定在Linux上搭建一个Microsoft R Open(MRO)。同样是打开MRO官网

image

利用wget下载MRO。

wget -P /mnt/f/WSLworkspace https://mran.blob.core.windows.net/install/mro/3.5.1/microsoft-r-open-3.5.1.tar.gz

由于我用的Ubuntu18.04,还需要安装libpng12库。

wget -P /mnt/f/WSLworkspace https://mirrors.kernel.org/ubuntu/pool/main/libp/libpng/libpng12-0_1.2.54-1ubuntu1_amd64.deb
dpkg -i libpng12-01_1.2.54-1ubuntu1_amd64.deb

定位到MRO下载路径。

cd /mnt/f/WSLworkspace
tar -xf microsoft-r-open-3.5.1.tar.gz
cd microsoft-r-open
./install.sh

接着需要看MRO和MKL的许可,先按回车看许可,接着按q键退出,按y进行安装。

image

R安装好后,还需要配置到jupyter中。首先需要先安装devtools,Ubuntu 18.04还需要先安装libssl。

apt-get install libssl-dev

接着进入到R中。

install.packages('devtools')
library(devtools)
install_github('IRKernel/IRkernel')

这边发现IRkernel装不上,还需要装libcurl。

apt-get install libcurl4-openssl-dev

最后发现github连接老有问题。

image

Github也有一个相同的issues,可以安装离线包,在github上点击clone or download,下载到文件夹中。

devtools::install('/mnt/f/WSLworkspacre/IRkernel-master')

终于安装成功。最后在R里,再敲入如下命令。

IRkernel::installspec(name = 'ir35', displayname = 'MRO')

大功告成。

image

运行一波代码。

image
image
image

虽然R语言中文社区给出了比较完整的教程,但是具体搭建过程中,还是无数的坑。希望大家也是动手实践为主。最近发现好多需要在Linux系统上安装的包和库,因此有这个环境非常地好。

参考链接:

windows10 Linux子系统文件目录

再见虚拟机!在Win10中使用Linux版本的R和Python

Ubuntu 18.04 软件源修改成国内源(文件或界面形式)

设置 jupyter notebook 可远程访问

Running as root is not recommended. Use --allow-root to bypass

Running as root is not recommended. Use --allow-root to bypass

Github Issues:Installation of packages using Devtools Fails - error setting certificate

error setting certificate verify locations, install_github

无法安装github上的R包:error setting certificate verify

Github Issues:Installation failed: Timeout was reached during installation of IRkernel

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,029评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,395评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,570评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,535评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,650评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,850评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,006评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,747评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,207评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,536评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,683评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,342评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,964评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,772评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,004评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,401评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,566评论 2 349

推荐阅读更多精彩内容