娃在幼儿园吃了些啥?Python自动爬取幼儿园伙食菜单,通过微信公众号展示

前言

家里宝宝目前幼儿园小班,谈话的时候经常问她的也就是今天玩了什么、学了什么、吃了什么等。这其中最容易检验答案的就是“吃了什么”,因为有幼儿园官方主页的每日伙食菜单可以对照。其他的只能在家长群里交流了解。
但幼儿园官网的菜单有个明显缺点——只能查看当前一个星期的,没法查看历史数据。正好现在接触Python比较多,于是很自然地有了爬取菜单保存到数据库的想法。那既然保存了吧,就再搭个web服务展示出来吧;既然要弄网页吧,那干脆放到公众号里吧。于是有了这个“幼儿园伙食菜单”迷你项目。
主要呢自己也能通过“幼儿园伙食菜单”项目接触下bootstrap和微信公众号平台,复习下Django。github地址:https://github.com/zhangjizhong-86/kinder_foods

效果预览

最终成品是个看上去很简洁的一个网页,默认高亮显示当天菜单,也可以通过日期选择器选择日期,显示对应日期的幼儿园伙食。


菜单

环境

  • Debian 9 x64
  • python 3.7.0
  • mysql Ver 15.1 Distrib 10.1.37-MariaDB, for debian-linux-gnu (x86_64) using readline 5.2
  • Django 2.0.7

项目目录结构

主要目录和文件,不重要的或没用上的就不列出了。

kinder_foods
│ bosva_menu.log # 日志
│ bosva_menu.py # 采集脚本
│ manage.py # django脚本

├─menu # django
│ │ views.py # 视图文件
│ │
│ ├─static
│ │ ├─css
│ │ │ bootstrap-datetimepicker.css等
│ │ ├─fonts
│ │ │ glyphicons-halflings-regular.eot等
│ │ └─js
│ │ │ bootstrap-datetimepicker.js等
│ │ └─locales
│ │ bootstrap-datetimepicker.zh-CN.js等
│ │
│ ├─templates
│ │ menu.html # 网页模板

└─menu_server # django项目
│ settings.py
│ urls.py

数据采集

首先需将菜单从网页上爬下来,bosva_menu.py完成这个任务,其中的函数说明:

  • load_html: 爬取菜单,组织数据结构
    利用requesets和BeautifulSoup,没什么好多说的,网上关于爬虫的内容很多,这里也是很基础的内容:
def load_html(url):
    r = requests.get(url)
    html = r.content
    soup = BeautifulSoup(html, "html.parser")
    ...(略)
  • db_connect: 连接本地数据库
    我比较习惯把数据库连接过程单独封装在一个函数里,通过函数返回连接对象。
def db_connect(host='localhost', user='root', password='pass', db='test', charset='utf8'): 
    return pymysql.connect(host=host,
                             user=user,
                             password=password,
                             db=db,
                             charset=charset,
                             cursorclass=pymysql.cursors.DictCursor)
  • to_database: 写入数据库
    写入时忽略已存在的数据(insert ignore ...),返回写入的条数。
def to_database(row, conn):
    with conn.cursor() as cur:
        insert_sql = '''insert ignore into kinder_foods values (%s,%s,%s,%s,%s)'''
        rows_affected = cur.executemany(insert_sql, row)
        conn.commit()
    return rows_affected
  • log: 记录日志
    简单的日志记录函数,当然还是推荐使用Logger,这里偷懒了。
def log(log, file):
    with open(file, 'a', encoding='utf8') as f:
        print('[' + datetime.now().strftime('%Y-%m-%d %H:%M:%S') + ']' + log, file=f)

代码均只展示主要部分,省略异常处理等细节

定时执行采集任务

网页上的菜单每周更新,但不确定确切时间,干脆每天运行bosva_menu.py吧(所以插入数据的时候使用insert ignore)

crontab -e
58 6 * * * cd /root/bosva_menu && /root/.pyenv/shims/python bosva_menu.py

每天的UTC6:58(北京时间14:58)执行爬取脚本

Django项目

在当前路径下新建项目

django-admin.py startproject menu_server .

允许IP访问

settings.py中将服务器的IP和域名加入ALLOWED_HOSTS

ALLOWED_HOSTS = ['XX.XX.XX.XX','domain-name.com']

模板(templates)

模板文件menu.html,使用bootstrap框架和bootstrap的日期选择器。
选择日期后通过ajax更新菜单表格<tbody>。
<body>里的内容包括两部分:

  1. 日期选择器
    bootstrap datetimepicker提供了一些样例,稍加修改即可。
<div class="container">
    <form action="" class="form-horizontal"  role="form">
        <fieldset>
            <div class="form-group">
                <label for="dtp_input2" class="col-md-2 control-label">选择日期</label>
                <div class="input-group date form_date col-md-5" data-date="" data-date-format="yyyy-mm-dd" data-link-field="dtp_input2" data-link-format="yyyy-mm-dd">
                    <input class="form-control" size="16" type="text" value="" readonly>
                    <span class="input-group-addon"><span class="glyphicon glyphicon-remove"></span></span>
                    <span class="input-group-addon"><span class="glyphicon glyphicon-calendar"></span></span>
                </div>
                <input type="hidden" id="dtp_input2" value="" /><br/>
            </div>
        </fieldset>
    </form>
</div>
  1. 菜单表格
    class=table-responsive使表格具备自宽度适应功能。
    <tbody>标签下留白,留给ajax更新。
<div class="table-responsive">
<table class="table table-bordered">
   <thead>
      <tr>
         <th class="text-center">日期</th>
         <th class="text-center">早点</th>
         <th class="text-center">午餐</th>
         <th class="text-center">午点</th>
         <th class="text-center">体弱儿营养菜</th>
      </tr>
   </thead>
   <tbody id='menu'>
      
   </tbody>
</table>
</div>

引用部分

引用bootstrap 3.3.7、bootstrap datetimepicker、jquery

<link rel="stylesheet" href="/static/css/bootstrap.min.css">  
<link rel="stylesheet" href="/static/css/bootstrap-datetimepicker.min.css"  media="screen">
<script type="text/javascript" src="/static/js/jquery-3.3.1.min.js"></script>
<script type="text/javascript" src="/static/js/bootstrap.min.js"></script>
<script type="text/javascript" src="/static/js/bootstrap-datetimepicker.js" charset="UTF-8"></script>
<script type="text/javascript" src="/static/js/locales/bootstrap-datetimepicker.zh-CN.js" charset="UTF-8"></script>

以及适配移动终端
加入viewport适配移动终端,否则在高分屏上字体非常小。更多viewport参考:https://www.cnblogs.com/2050/p/3877280.html

<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" charset="utf-8" > 

模板主要js脚本

  • dom ready后执行do_ajax,初始化日期选择插件,定义日期改变事件触发ajax,向后台POST参数new_query_date
    <script type="text/javascript">
        $(document).ready(function(){
            do_ajax(today());
            $('.form_date').datetimepicker({
            // 初始化日期选择器
                language:  'zh-CN',
                weekStart: 1,
                todayBtn:  1,
                autoclose: 1,
                todayHighlight: 1,
                startView: 2,
                minView: 2,
                forceParse: 0
            });
            
            $('.form_date').datetimepicker().on('changeDate', function(e) {
            // 选择日期发生变化
                let new_query_date = $('.form-control').val();
                // 通过AJAX发送新的请求,参数为选择的日期
                do_ajax(new_query_date);
            });
        });
    </script>
  • do_ajax负责发起查询,携带查询日期,成功获得返回值后更新menu的html
        function do_ajax(query_date)
        {
            // AJAX POST,携带查询日期,根据返回JSON更新菜单tbody
            $.post("/ajax/",
                {'query_date': query_date, 'csrfmiddlewaretoken': '{{ csrf_token }}'}, 
                function(data, status){
                    for (let query_date_return in data) { 
                        menu = data[query_date_return];
                        if (status == 'success' & menu != null) {
                            let html;
                            for (let date in menu) {
                                if (query_date_return == date) { html += '<tr class="success"><th class="text-center">' + date + '<br>' + getWeekday(date) + '</th>'; } // 该日期与查询日期一致,高亮显示
                                else { html += '<tr><th class="text-center">' + date + '<br>' + getWeekday(date) + '</th>'; }
                                let meals = menu[date];
                                for (let meal in meals) {
                                    let dishes = meals[meal];
                                    html += '<td class="text-center">' + dishes + '</td>'; //菜品
                                }
                                html += '</tr>'
                            }
                            $("#menu").html(html);
                        } else { alert('这个日期没有数据哦!'); } //查询的日期没有数据
                    } 
            });
        }

视图(views)

最主要的是ajax函数(ajax请求会被路由到这个函数),当前端ajax请求传递查询日期后,从数据库查询结果,并组织成一个数据结构,以json形式返回。

def ajax(request):
    if request.method == 'POST':
        # 获取页面请求的日期,如果没有,则默认为当前日期(UTC+8)
        # 页面时区以浏览器自动调整
        query_date = request.POST.get('query_date', datetime.now(timezone(timedelta(hours=8))).strftime('%Y-%m-%d'))
        query_date_menu = db_query(query_date)
        for k, v in query_date_menu.items():
            date_in_subquery = k
            menu = v
        if menu:
            menu_sort = sort(menu)
            query_date_menu[date_in_subquery] = menu_sort
        data = json.dumps(query_date_menu) # 如果没有查询到相应日期的菜单, menu==None -> data==null 
        return HttpResponse(data, content_type='application/json')

服务器后台运行

nohup python manage.py runserver 0.0.0.0:80 &

域名申请

网上搜索了一番,最终用优惠在namesilo花$5.99申请了一个还算看得上眼的.com域名,配置域名解析到服务器IP地址。
如果有需要域名的,欢迎使用本人的优惠注册链接或使用优惠码“WORTHAMILLION”。

微信公众号

个人用户可以开通公众号中的订阅号,在管理-素材管理中新建图文消息,在原文链接中粘贴网页地址,这样在点击阅读原文后就能实现跳转。
如果网站没有备案,或端口不是标准端口(80),微信内置浏览器会对页面进行转换,页面上的js和css会不正常,所以建议申请.com域名+部署在80端口。
设置添加公众号、按需回复和点击菜单,均回复新建的图文消息。这部分都是网页操作,就不详述了。

订阅号效果

进入订阅号,回复“菜单”或点击“每日菜单”:


订阅号

点击图文消息:


图文消息

原文链接,可横向滚动:
点击阅读原文
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,589评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,615评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,933评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,976评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,999评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,775评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,474评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,359评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,854评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,007评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,146评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,826评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,484评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,029评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,153评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,420评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,107评论 2 356

推荐阅读更多精彩内容

  • 全文链接 第一章 创建一个blog应用第二章 使用高级特性来增强你的blog第三章 扩展你的blog应用第四章上 ...
    夜夜月阅读 8,995评论 37 34
  • 我见过苍翠欲滴, 也见过万紫千红; 见过春暖花开, 也见过秋水长天; 见过朦胧烟雨, 也见过万里晴空; 见过清风见...
    十一小姐呀阅读 718评论 0 2
  • 16-summer#12.28#打卡 真是年少不懂事啊,上学时总觉得老师叫我们背的课文枯燥难背。写得都是什么啊,要...
    写故事的阿夏阅读 610评论 0 0
  • 我今天情绪属于稳定性低落的状态。 可能是早晨倩倩抱了我一下,只是一小会,就觉得有一种心酸要夺眶而出。今天没有哭,到...
    毛绒毯子卷大颖阅读 260评论 0 0
  • 当我看着你远去的身影,当手中的花掉落一地,当天上的云朵分离,当大雁飞回时,当情字溢满心里,当你送我的礼物被藏起,当...
    穆炎阅读 380评论 1 4