docker registry
的作用就是存储我们的镜像。通常情况下我们可以使用docker hub来存储,不过如果是在公司内部使用,不想将镜像公开,可以手动搭建一个本地registry,如docker registry
或harbor
。本文简单介绍一下docker registry
的搭建使用及常用配置。
基础服务
搭建registry最基础的命令为:
docker run -d -v /data/registry:/var/lib/registry -p 5000:5000 registry:2
registry定义的对外服务端口为5000
,我们也可以通过环境变量REGISTRY_HTTP_ADDR
来修改服务端口。
docker run -d \
-e REGISTRY_HTTP_ADDR=0.0.0.0:5001 \
-p 5001:5001 \
registry:2
如果要使用其他存储,如 Amazon S3 bucket
, Google Cloud Platform
或其他docker支持的存储,也可以通过环境变量单独配置(推荐用yaml的形式来配置)。
注:私有仓库,推送镜像时,要在/etc/docker/daemon.json
或C:\ProgramData\docker\config\daemon.json
文件中添加以下配置,并重启docker。
{
"insecure-registries":[
"xxx.xxx.xxx.xx:port" #仓库IP地址和端口,或者是域名
]
}
修改后,访问仓库就会走80端口。
带TLS的registry
- 证书制作
证书申请流程:先生成一个私钥,然后用私钥生成证书请求(证书请求里应含有公钥信息),再利用证书服务器的CA根证书来签发证书。
mkdir -p /root/docker/auth/certificates;
cd /root/docker/auth/certificates;
// 生成根证书
// 生成CA私钥(.key)-->生成CA证书请求(.csr)-->自签名得到根证书(.crt)(CA给自已颁发的证书)。
openssl genrsa -out ca.key 2048
openssl req -new -key ca.key -out ca.csr // 请求中的State or Province Name和Common Name一定要填写。
openssl x509 -days 3650 -in ca.csr -signkey ca.key -out ca.crt
cat ca.crt ca.key > ca.pem // 生成pem格式的证书
// 生成服务端证书
// 生成私钥(.key)-->生成证书请求(.csr)-->用CA根证书签名得到证书(.crt)
openssl genrsa -out server.key 1024 // 创建过程中需要输入密码
openssl req -new -key server.key -out server.csr // 需要输入上一步创建的密码,State or Province Name地址要在ca证书中,Common Name (eg, your name or your server's hostname)要填写。
openssl ca -in server.csr -out server.crt -keyfile ca.key -cert ca.crt
创建服务端证书的第三步,可能会报错unable to open '/etc/pki/CA/index.txt'
,需要手动创建该文件touch /etc/pki/CA/index.txt
, 并创建一个序列文件来标记CA证书echo '1000' > /etc/pki/CA/serial
。
证书生成也可以参考:https://www.jianshu.com/p/1163d1ae8029
- 使用TLS证书起registry服务
docker run -d \
--restart=always \
--name registry \
-v /root/docker/registry:/var/lib/registry \
-v /root/docker/auth/certificates:/certs \
-e REGISTRY_HTTP_ADDR=0.0.0.0:443 \
-e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/server.crt \
-e REGISTRY_HTTP_TLS_KEY=/certs/server.key \
-p 443:443 \
registry:2
基本身份认证
为了提高regsitry的安全性,可以开启访问控制,用户需要登陆后才可以使用registry。
首先,创建一个密码文件,里面包含一条用户名密码(stark/catherine)。
mkdir /root/docker/auth
docker run \
--entrypoint htpasswd \
httpd:2 -Bbn stark catherine > /root/docker/auth/htpasswd
windows系统下需要修改编码格式:
docker run --rm --entrypoint htpasswd httpd:2 -Bbn testuser testpassword | Set-Content -Encoding ASCII auth/htpasswd
然后启动容器,带上用户认证。
docker run -d \
-p 5000:5000 \
--restart=always \
--name registry \
-v /root/docker/registry:/var/lib/registry \
-v "/root/docker/auth:/auth" \
-e "REGISTRY_AUTH=htpasswd" \
-e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \
-e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
-v "/root/docker/auth/certificates:/certs" \
-e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/server.crt \
-e REGISTRY_HTTP_TLS_KEY=/certs/server.key \
registry:2
配置一个域名解析:echo 127.0.0.1 myregistry.com>> /etc/hosts
,然后使用docker登录docker login myregistry.com:5000
,用户名/密码就是前面配置的stark/catherine。
注:使用身份认证,建议开启TLS,否则登录信息明文传输(header中),一样不安全。
x509报错解决:x509报错通常就是自签证书没有加入到docker client所在host的信任证书中,手动加入即可。对于linux用户,只需要拷贝根证书文件到/etc/docker/certs.d/myregistrydomain.com:5000/ca.crt
中即可。
最后,也可以在浏览器中访问https://localhost:5000/v2/_catalog
或是https://localhost:5000/v2/docker/registry/tags/list
查看仓库信息。
更高级的身份认证
以上只是最简单的用户认证,只能使用我们预先定义好的用户来访问。
我们也可以在regsitry之前使用一个代理,来实现更高级的身份认证;或者将registry集成到我们自己的身份认证和访问控制系统中,由我们的鉴权服务来签发token给用户,然后用户使用签发的token访问我们的registry。harbor就提供了这样一整套服务,如果有此方面的需求,可以考虑使用harbor。
通过yaml配置docker registry服务
不知到为啥,容器起来了,但访问不了
- 编写YAML配置文件
version: 0.1
storage:
filesystem:
rootdirectory: /var/lib/registry # docker镜像在容器内的存储位置。
maxthreads: 100
cache: # 可以是redis或inmemory,加速层 metadata(layerinfo/blobdescriptor)的读取。
blobdescriptor: inmemory
auth:
htpasswd:
realm: basic-realm
path: /auth/htpasswd
http:
addr: localhost:5000 # registry服务的地址。
net: tcp
tls:
certificate: /auth/certificates/server.crt # x509公钥的绝对路径
key: /auth/certificates/server.key # x509私钥的绝对路径
- 使用该yaml文件起docker registry容器。假设我们的yaml文件位于
/root/docker/config
目录下。
docker run -d --restart=always \
-v /root/docker/config/config.yml:/etc/docker/registry/config.yml \
-v /root/docker/auth:/auth \
-p 5000:5000 \
-v /root/docker/registry:/var/lib/registry \
registry:2
完整的配置选项
完整的配置选项参考。
配置文件和环境变量的对应关系。配置文件中的内容为:
version: 0.1
storage:
filesystem:
rootdirectory: /var/lib/registry
上述配置文件如果通过环境变量来配置,则对应的环境变量为:
REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY=/var/lib/registry
格式为REGISTRY_variable
,其中variable
为配置的变量,通过_
连接yaml文件中的各层变量得到。
常用的配置
- 后端存储
registry支持的后端存储有filesystem
(本地存储),azure
,gcs
,s3
,swift
,oss
,inmemory
。存储只能配置一个,否则会出错。inmemory
表示存储在内存中,仅供测试使用。使用本地存储时,不建议使用windows本地的存储,因为windows对路径长度有限制。
完整的配置文件及其说明如下:
storage:
filesystem:
rootdirectory: /var/lib/registry
azure:
accountname: accountname
accountkey: base64encodedaccountkey
container: containername
gcs:
bucket: bucketname
keyfile: /path/to/keyfile
credentials:
type: service_account
project_id: project_id_string
private_key_id: private_key_id_string
private_key: private_key_string
client_email: client@example.com
client_id: client_id_string
auth_uri: http://example.com/auth_uri
token_uri: http://example.com/token_uri
auth_provider_x509_cert_url: http://example.com/provider_cert_url
client_x509_cert_url: http://example.com/client_cert_url
rootdirectory: /gcs/object/name/prefix
s3:
accesskey: awsaccesskey
secretkey: awssecretkey
region: us-west-1
regionendpoint: http://myobjects.local
bucket: bucketname
encrypt: true
keyid: mykeyid
secure: true
v4auth: true
chunksize: 5242880
multipartcopychunksize: 33554432
multipartcopymaxconcurrency: 100
multipartcopythresholdsize: 33554432
rootdirectory: /s3/object/name/prefix
swift:
username: username
password: password
authurl: https://storage.myprovider.com/auth/v1.0 or https://storage.myprovider.com/v2.0 or https://storage.myprovider.com/v3/auth
tenant: tenantname
tenantid: tenantid
domain: domain name for Openstack Identity v3 API
domainid: domain id for Openstack Identity v3 API
insecureskipverify: true
region: fr
container: containername
rootdirectory: /swift/object/name/prefix
oss:
accesskeyid: accesskeyid
accesskeysecret: accesskeysecret
region: OSS region name
endpoint: optional endpoints
internal: optional internal endpoint
bucket: OSS bucket
encrypt: optional data encryption setting
secure: optional ssl setting
chunksize: optional size valye
rootdirectory: optional root directory
inmemory:
delete: // 表示允许通过digest删除镜像blob和manifest。(删除镜像的时候同时删除对应的layer?)
enabled: false
cache: // 可以是redis或inmemory,加速层 metadata(layerinfo/blobdescriptor)的读取。
blobdescriptor: inmemory
maintenance:
uploadpurging: // 定期清理超过age的无效文件(夹)
enabled: true
age: 168h
interval: 24h
dryrun: false
readonly: // 设置registry只读,通常在后端存储gc的时候会开启。
enabled: false
redirect: // 不经过registry直接传输数据到后端存储
disable: false
- 用户认证
用户认证支持silly
,token
,htpasswd
中的一个或者不配置。silly
实际上不认证,只要请求头中有Authorization
字段就直接通过;使用token认证的认证流程参考;使用htpasswd
,需要事先准备好密码文件,如果新增用户,需要重启registry来加载。
auth:
silly: // 不推荐,只要请求头中带有Authorization 就认证通过。
realm: silly-realm
service: silly-service
token:
realm: token-realm // realm为提供token签发服务的服务地址
service: token-service // service为registry的名称或域名?表示registry在token签发服务中注册的域名。
issuer: registry-token-issuer // token的签发者。签发着会在token中写入,且必须与此处的值相匹配。
rootcertbundle: /root/certs/bundle // 根证书所在的绝对路径,路径下必须存在证书的公钥。
htpasswd:
realm: basic-realm
path: /path/to/htpasswd // 密码文件,如果不存在,则自动创建一个,并添加一个默认用户,并将密码打印到stdout。该文件只在registry启动的时候加载一次,支持的加密方式为bcrypt。
token
认证流程简图:
- HTTP配置
http:
addr: localhost:5000 // registry服务的地址。根据下面net的不同,配置为ip:port或unix socket文件。
net: tcp // tcp或unix。
prefix: /my/nested/registry/ // 如果服务不是运行在跟路径下(ip:port后,还带有的一些其他路径),需要补充上该路径,前后都要带"/"。一般以docker容器方式启动的regsitry不需要配置。
host: https://myregistryaddress.org:5000 // 对外提供服务的URL地址。
secret: asecretforlocaldevelopment
relativeurls: false
draintimeout: 60s // registry收到停止信号后,等待连接结束的时间。
tls:
certificate: /path/to/x509/public // x509公钥的绝对路径
key: /path/to/x509/private // x509私钥的绝对路径
clientcas: // x509 ca证书文件列表,绝对路径
- /path/to/ca.pem
- /path/to/another/ca.pem
minimumtls: tls1.2 // 支持的tls版本
ciphersuites: // 加密算法
- TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384
- TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384
letsencrypt: // 可选,使用let's encrypt的证书
cachefile: /path/to/cache-file
email: emailused@letsencrypt.com
hosts: [myregistryaddress.org]
debug: // debug信息获取地址
addr: localhost:5001
prometheus:
enabled: false
path: /metrics // 通过上面debug定义的地址,获取prometheus监控信息。localhost:5001/metrics
headers: // response中需要包含的header
X-Content-Type-Options: [nosniff] // 不要解析为HTML??
http2:
disabled: false // 是否支持http2