方法一、
修改 urls.py，将 robots.txt 放到 templates 目录

# urls.py
from django.views.generic import TemplateView
url(r'^robots\.txt$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),

方法二、
修改 urls.py，不需添加 robots.txt 文件

# urls.py
from django.http import HttpResponse

url(r'^robots\.txt$', lambda r: HttpResponse('User-agent: *\nDisallow: /admin', content_type='text/plain')),

方法三、
1、可以参考 Django 官网所放位置：github > djangoproject.com

2、修改 nginx 配置

location  /robots.txt {
    alias  /path/to/static/robots.txt;
}