PYPI Server是经常用于搭建内网或私有pypi私有库的python包。并且使用搭建和配置也比较简单。
官方仓库是https://github.com/mosquito/pypi-server/ 中可以进行查看安装和使用不做赘述。
下面主要分享基于docker的安装和一些坑。
docker hub 查看镜像 https://hub.docker.com/r/pypiserver/pypiserver
首先拉取镜像(默认已安装docker,未安装的可以自行搜索)docker pull pypiserver/pypiserver
第二步需要新建一个用来保存私有库包文件的文件夹(除非你需要一次性的私有仓库,否则你需要永久保存这些包)。我这里默认创建了一个
/data/pypi/packages的文件夹路径。创建完成之后,就可以运行docker容器了。执行一下命令
docker run --name 'pypi' --restart always -v /data/pypi/packages:/data/packages -p 8080:8080 -d pypiserver/pypiserver -P . -a . packages
--name 代表容器名称,--restart always 是防止意外造成仓库无法使用而自动重启。-v /data/pypi/packages:/data/packages挂在卷,冒号前是自己本地创建的文件夹路径,冒号后面是固定的容器内挂载路径。具体可以查看dockerhub中的Dockerfile文件。 -p 8080:8080 是暴露端口,确保冒号前的端口本机未被使用即可。-d 代表以后台的方式允许。后面接上镜像名称之后就可以启动了。
部署之后,我们可以上传python包了。如果对于python构建方法不理解的可以,查看相关文档。https://setuptools.readthedocs.io。这里推荐一个有其他作者分享的操作方法。https://cloud.tencent.com/developer/article/1351316 。当我们包写完之后,就可以推送到自己搭的私有仓库了。有两个方式指定推送的地址。第一种修改setup的上传python包配置文件~/.pypirc配置文件。
index-servers =
pypi
test-pypi
#官方PyPI源信息[pypi]
repository: https://pypi.python.org/pypi
username:{{your_username}}
password:{{your_password}}
#自己搭建的PyPI源信息[test-pypi]
repository:http://127.0.0.1:8080/
username:{{your_username}}
password:{{your_password}}
其中pypi是官方地址。
此时你是没有私有仓库没账号密码的。我们缺省账号密码,进行尝试。
直接上传python包会发现,要求输入密码,跳过会提示没有权限。这时候我们需要制定密码文件,或者修改其为不需要密码上传。如果非必须,建议可以使用无密码验证上传。
首先先介绍有密码的仓库。同样是允许镜像,首先,我们需要创建“.htpasswd”文件,格式为“用户名:密码”:【注:window下可能无法直接创建,可以用过文本创建并写入下面代码后,通过另存为”.htpasswd”,注意需要带双引号的。】
user1:123456
文件名.htpasswd
并把上方~/.pypirc文件中的用户名密码修改为:
username:user1
password:123456
之后删除之前的镜像,重新创建带密码的镜像。
其命令修改为:
docker run --name 'pypi' --restart always -v /data/pypi/packages:/data/packages -v .htpasswd:/data/.htpasswd -p 8080:8080 -d pypiserver/pypiserver -P .htpasswd packages
这里不同的是多了一个-P,此参数用于指定密码文件,详情了解可以查询官方仓库说明。最后的packages是指定文件夹名称,这个和Dockerfile有关,固定命令不需要修改和理解。
twine upload -r test-pypi dist/*
之后输入账号密码即可
如果你不想~/.pypirc文件,因为你不不需要频繁上传,或者你大部分时间是上传pypi官方仓库的。你可以在twine的时候指定网址。我们尝试执行
twine upload --repository-url http://127.0.01:8080 dist/*
同样输入账号密码即可。
但是如果你是私用的仓库,并且不需要做相关上传的权限控制,可以尝试不带密码的仓库创建。同样先删除有密码的镜像。将容器创建命令修改为:
docker run --name 'pypi' --restart always -v /data/pypi/packages:/data/packages -v .htpasswd:/data/.htpasswd -p 8080:8080 -d pypiserver/pypiserver -P . -a . packages
这里的参数有些不同 -P . -a . 参数值变成了. 第一个.表示不指定密码文件,第二个表示,任何用户不进行权限验证。
这样我们直接执行
twine upload --repository-url http://127.0.01:8080 dist/*
跳过账号密码,即可上传。
接下来是比较重要的,如果你是用官方直接构建好的镜像,那么此刻还是会上传不成功。会提示上传500错误(500: Internal Server Error" Package upload appears to have failed)。
此时如果登录docker容器内查看,会查看到原因大体是,文件夹没有权限。此时需要登入到容器内部去修改文件夹权限。注意这里不能用普通用户登入容器内部修改文件夹权限,因为会提示权限不足以修改文件夹权限,所以索性用root方式登录。执行下面命令
docker exec -it --user root pypi /bin/sh
其中--user root 标识使用root登录。登录容器之后,直接修改文件夹权限即可chmod 777 -R packages 当然是在/data路径下执行。修改之后退出再次尝试上传。这时候会发现我们上传成功了。之后在使用pip下载包的时候我们直接指定地址
pip install -i http:127.0.0.1:8080/simple/ xx(包) --trusted-host 127.0.0.1:8080
即可安装成功。