数据挖掘工程师Web开发修炼(1)---基于Flask的后端API搭建

Photo by Markus Spiske on Unsplash

1、前言

简单API设计与制作是数据工程师必备的技能之一,同时相信数学科班出身的数据挖掘工程师在职业初期都会思考如何提高个人的工程性,所以数据挖掘工程师Web开发修炼系列文章主要简单总结以下三个部分

  • 基于Flask的后端API搭建
  • 基于Bootstrap的简单前端界面搭建
  • 基于阿里云的应用部署

本文更偏向介绍怎么利用Python微框架Flask搭建较为完整的后端API项目,至于flask的基础部分,可直接看文档即可。
Flask英文文档Flask中文文档

2、创建项目myFlask

mkdir myFlask

3、虚拟环境利器——Virtualenv

在实际实践中,不同项目可能使用不同版本的python第三方包,比如应用A可能需要jinja 2.7,而应用B需要jinja 2.6,所以需要一个工具来统一开发环境,在此使用Virtualenv进行演示,将路径切换到项目根目录下。

(1)安装

sudo pip install virtualenv

(2)创建独立的Python运行环境

virtualenv --no-site-packages env

参数--no-site-packages是防止本地的python包污染到虚拟环境,此时在我们项目的根目录下便出现了env文件夹。

(3)进入环境

source env/bin/activate

注:退出虚拟环境命令为deactivate

(4)安装Flask

sudo pip install flask

4、API文件组织结构

假设目前我们基于历史数据用机器学习算法一个简单的推荐策略,那么运营部门需要我们做到他们每输入一个新数据,便可以实时返回一个数据结果。
此时,API初版文件组织如下

├── config.py 项目配置文件
├── env 虚拟环境
├── myapp API核心文件夹
│ ├── __init__.py 初始化应用,组件组合
│ ├── views.py 顶层:定义路由,获取前端输入数据
│ ├── services.py 中间层:处理输入数据并发送到model.py
│ ├── models.py 底层:定义数据模型,处理services请求数据并返回结果
│ ├── static 公共CSS、JS、 images等静态文件
│ └── templates 应用的Jinja2模板,实际上是html文件
├── requirements.txt应用依赖的所有Python包
└── run.py启动开发服务器

其中myapp目录下文件设计实际上是参考MVC框架。为理解MVC,先假设电脑为M-model,显示器为V-view,键盘或鼠标为C-control,当我们需要查看电脑本地某个文件,首先我们通过鼠标或键盘输入搜索请求,电脑接受请求后便返回结果,最后在显示器上我们便可看到文件内容。接下来,以一个简单例子说明各个函数的功能。

4.1 models.py

该部分处理与数据库交互部分。

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
M层-底层:处理业务模型
"""

def with_db():
    """测试函数"""
    return 'hello, I am from ./myapp/models.py'

4.2 services.py

该文件主要对用户输入的数据进行验证,验证必要的参数是否存在,将输入数据处理为适合数据模型的数据格式。

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
C层-中间层:对输入数据进行验证与处理
"""
from . import models


def service_demo():
    """测试函数"""
    return models.with_db()

4.3 views.py

主要管理路由,获取前端输入内容。

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
V层-顶层:处理展示
"""

from . import app
from . import services


@app.route('/api/v1')
def view_demo():
    """return"""
    return services.service_demo()

4.4 __init__.py

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
初始化APP
"""

import config
from flask import Flask


app = Flask(__name__)

from . import views

4.5 config.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
项目配置文件
"""

DEBUG = True # 启动Flask的Debug模式
DEV_HOST = '0.0.0.0'
DEV_PORT = 5000

4.6 run.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
应用启动程序
"""
from myapp import app

app.config.from_object('config')
app.run(host=app.config['DEV_HOST'], port=app.config['DEV_PORT'], debug=app.config['DEBUG'])

4.7 requirements.txt

pip freeze > requirements.txt

这样子便可将项目所依赖的所有第三方包均包含到requirements.txt,当到了新环境中,便可直接使用以下命令进行安装:
pip install -r requirements.txt

4.8 测试

可以利用curl命令进行测试,直观的话可以直接在浏览器输入localhost:5000/api/v1

image.png

5 蓝图

当我们的API有不同的接口时候,我们便需要将接口进行分离,Flask中提供了蓝图功能,具体的项目文件组织可以如下,具体可以移步到拓展阅读:
.
├── config.py
├── env 虚拟环境
├── myapp
│ ├── api_1_0
│ │ ├──__init__.py
│ │ ├── models.py
│ │ ├── services.py
│ │ ├── static
│ │ ├── templates
│ │ └── views.py
│ └── __init__.py
├── requirements.txt
└── run.py


参考:
[1] RESTful API 设计指南
[2] Principles of good RESTful API Design
[3] Github API v3

本文所有代码只用于技术交流,如转载请注明出处!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,874评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,102评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,676评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,911评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,937评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,935评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,860评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,660评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,113评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,363评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,506评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,238评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,861评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,486评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,674评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,513评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,426评论 2 352

推荐阅读更多精彩内容