Gitlab默认的robots.txt并没有全面禁用机器人，默认文件位置为：
/opt/gitlab/embedded/service/gitlab-rails/public/robots.txt
配置新的robots.txt：
1、编辑 /etc/gitlab/gitlab.rb:
nginx['custom_gitlab_server_config'] = "rewrite ^/robots.txt /var/opt/gitlab/robots.txt last;"
2、重新配置 GitLab:
sudo gitlab-ctl reconfigure
或者直接编辑默认文件，即时生效，但升级时是否会回滚我没测试，不清楚
