基于百度云 BOS 搭建私有 Docker Registry

Docker Registry 作为 Docker 的核心组件之一负责了镜像的存储以及分发。用户只需要使用 Docker 的客户端就可以直接和 Registry 进行交互，下载和上传镜像。

百度对象存储 BOS (Baidu Object Storage) 提供稳定、安全、高效以及高扩展存储服务。

Baidu BOS storage driver 基于官方 Docker Registry 源码，结合百度云 Go 语言SDK：https://github.com/guoyao/baidubce-sdk-go.git，通过实现 storagedriver.StorageDriver 接口，提供了一个针对百度云 BOS 的 Storage Driver。

准备工作

• 安装 Docker Engine，如何安装请参考 Docker官方文档

• 下载 Registry 镜像（或者通过源码仓库https://github.com/guoyao/distribution.git 自己 build 一个镜像）

  docker pull guoyao/registry:0.6.0
  

  因为是从Docker官方Registry下载镜像，速度会比较慢，可以配置国内的镜像加速器

• 注册百度云账号，开通 BOS 服务，在百度云 BOS 控制台新建一个 Bucket，假设 Bucket 名称为 registry-test

• 获取百度云 AK / SK

部署私有 Docker Registry

• 为 Registry 相关的配置新建一个单独的目录

  mkdir registry && cd registry
  

• 在当前目录下新建我们的账户密码（最简单的账户验证方式）

  mkdir auth
  htpasswd -Bbn admin 123456 > auth/htpasswd
  

• 启动 Registry

  docker run -d \
             -v `pwd`/auth:/auth:ro \
             -e REGISTRY_AUTH=htpasswd \
             -e REGISTRY_AUTH_HTPASSWD_REALM=basic-realm \
             -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
             -e REGISTRY_STORAGE=bos \
             -e REGISTRY_STORAGE_BOS_ACCESSKEYID=Your_AK \
             -e REGISTRY_STORAGE_BOS_ACCESSKEYSECRET=Your_SK \
             -e REGISTRY_STORAGE_BOS_REGION=bj \
             -e REGISTRY_STORAGE_BOS_BUCKET=registry-test \
             -p 5000:5000 \
             --restart=always \
             guoyao/registry:0.6.0
  

  详细的 BOS STORAGE 的配置文档在这里： https://github.com/guoyao/distribution/blob/release/0.6/docs/storage-drivers/bos.md

• 操作镜像

  Login

  docker login localhost:5000
  

  根据命令行提示输入之前设置的用户名：admin，密码：123456；登录成功会提示：Login Succeeded

  Push

  首先通过 Dockerfile 生成一个镜像，或者修改一个已有镜像的 tag，比如：localhost:5000/busybox

  docker push localhost:5000/busybox
  

  推送成功后就可以在百度云 BOS 控制台查看到这个镜像了
  

  Pull

  docker pull localhost:5000/busybox
  

上述方式只能通过 localhost 来 push 和 pull 镜像，如果想通过公网 域名 或 IP，需要配置 --insecure-registry xxx.xxx.xxx.xxx 到 Docker Deamon 的启动参数中，并重启 Docker Deamon，否则会报错：

Error response from daemon: Get https://xxx.xxx.xxx.xxx:5000/v1/users/: http: server gave HTTP response to HTTPS client

通过域名访问 & 配置https证书

如果不希望配置 --insecure-registry 参数，你需要购买一个独立的域名（假设为 myregistrydomain.com），并且申请该域名的 https 证书，将证书 xxx.crt 和 xxx.key 文件放在当前 certs 子目录下，然后在启动 Registry 时，配置证书：

docker run -d \
           -v `pwd`/auth:/auth:ro \
           -e REGISTRY_AUTH=htpasswd \
           -e REGISTRY_AUTH_HTPASSWD_REALM=basic-realm \
           -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
           -v `pwd`/certs:/certs:ro \
           -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/xxx.crt \
           -e REGISTRY_HTTP_TLS_KEY=/certs/xxx.key \
           -e REGISTRY_STORAGE=bos \
           -e REGISTRY_STORAGE_BOS_ACCESSKEYID=Your_AK \
           -e REGISTRY_STORAGE_BOS_ACCESSKEYSECRET=Your_SK \
           -e REGISTRY_STORAGE_BOS_REGION=bj \
           -e REGISTRY_STORAGE_BOS_BUCKET=registry-test \
           -p 443:5000 \
           --restart=always \
           guoyao/registry:0.6.0

既然已经使用 https 证书了，我们把对外暴露的端口换成 443 端口，然后就可以直接通过域名来操作镜像了：

docker login myregistrydomain.com
docker push myregistrydomain.com/busybox
docker pull myregistrydomain.com/busybox

更多关于部署 Registry 的内容，可以参考官方文档：https://docs.docker.com/registry/deploying/

配置 Nginx 代理访问

因为要启动多个容器，这里我们使用 docker-compose 来做容器编排，首先安装 docker-compose（需要使用 root 用户来安装），安装方式如下：

curl -L https://github.com/docker/compose/releases/download/1.10.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose

• 创建 nginx 主配置文件

cat > auth/nginx.conf << 'EOF'
events {
    worker_connections  1024;
}

http {

  upstream docker-registry {
    server registry:5000;
  }

  ## Set a variable to help us decide if we need to add the
  ## 'Docker-Distribution-Api-Version' header.
  ## The registry always sets this header.
  ## In the case of nginx performing auth, the header will be unset
  ## since nginx is auth-ing before proxying.
  map $upstream_http_docker_distribution_api_version $docker_distribution_api_version {
    '' 'registry/2.0';
  }

  server {
    listen 443 ssl;
    server_name myregistrydomain.com;

    # SSL
    ssl_certificate /certs/xxx.crt;
    ssl_certificate_key /certs/xxx.key;

    # Recommendations from https://raymii.org/s/tutorials/Strong_SSL_Security_On_nginx.html
    ssl_protocols TLSv1.1 TLSv1.2;
    ssl_ciphers 'EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH';
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;

    # disable any limits to avoid HTTP 413 for large image uploads
    client_max_body_size 0;

    # required to avoid HTTP 411: see Issue #1486 (https://github.com/docker/docker/issues/1486)
    chunked_transfer_encoding on;

    location /v2/ {
      # Do not allow connections from docker 1.5 and earlier
      # docker pre-1.6.0 did not properly set the user agent on ping, catch "Go *" user agents
      if ($http_user_agent ~ "^(docker\/1\.(3|4|5(?!\.[0-9]-dev))|Go ).*$" ) {
        return 404;
      }

      # To add basic authentication to v2 use auth_basic setting.
      auth_basic "Registry realm";
      auth_basic_user_file /etc/nginx/conf.d/htpasswd;

      ## If $docker_distribution_api_version is empty, the header will not be added.
      ## See the map directive above where this variable is defined.
      add_header 'Docker-Distribution-Api-Version' $docker_distribution_api_version always;

      proxy_pass                          http://docker-registry;
      proxy_set_header  Host              $http_host;   # required for docker client's sake
      proxy_set_header  X-Real-IP         $remote_addr; # pass on real client's IP
      proxy_set_header  X-Forwarded-For   $proxy_add_x_forwarded_for;
      proxy_set_header  X-Forwarded-Proto $scheme;
      proxy_read_timeout                  900;
    }
  }
}
EOF

• 创建 docker-compose.yml 文件

nginx:
  image: nginx:1.9
  ports:
    - 443:443
  links:
    - registry:registry
  volumes:
    - ./auth:/etc/nginx/conf.d:ro
    - ./auth/nginx.conf:/etc/nginx/nginx.conf:ro
    - ./certs:/certs:ro

registry:
  image: guoyao/registry:0.6.0
  environment:
    - REGISTRY_STORAGE=bos
    - REGISTRY_STORAGE_BOS_ACCESSKEYID=Your_AK
    - REGISTRY_STORAGE_BOS_ACCESSKEYSECRET=Your_SK
    - REGISTRY_STORAGE_BOS_REGION=bj
    - REGISTRY_STORAGE_BOS_BUCKET=registry-test

• 启动容器

docker-compose up -d

更多关于配置 Nginx 代理访问 Registry 的内容，可以参考官方文档：https://docs.docker.com/registry/recipes/nginx/