AI for everyone .2nd week

Start an AI project

Workflow of AI project

• Key steps of an ML project

  • Collect data

  • Train model

  需要注意的是第一次模型往往不理想，此时需要反复迭代数次，直到模型足够好为止

  • Deploy model

  Get data back & maitain/update model 实际使用时，往往会遇到水土不服的情况，就需要根据数据升级模型

• Key steps of a data science projecct

  • Collect data

  • Analyze data 迭代多次分析，直到发现好的见解/建议

  • 提出假设和行动 实施了行动后需要进一步的收集新的数据，进而分析数据。迭代假设和行动

Select AI project

• Brainstorm framwork

  • 去考虑自动化一些工作，而不是自动化一个岗位

  • 驱动商业价值的主要因素有哪些

  • 目前遇到的主要痛点有哪些

• 开展AI工作的思考和建议：即使没有大数据也能开展工作

  • 大量的数据总是没有坏处的，一般而言，数据量越大模型效果越好

  • 数据会使得业务的防御壁垒更高

  例如搜索这种长尾业务，如果能够发掘不常见搜索关键词的行为数据，训练出来的模型会很强大

  • 基于小数据量依然能够使工作有进展，这取决于要解决的业务问题的宽窄

• 好的AI项目需要满足AI可行性&商业价值

  • AI可行性

    • AI工程能否达到预期的表现

    • 需要多少的学习数据

    • 工程安排时间表-包含工程师数量

  • 商业价值

    • 降本

    • 增效

    • 产生新产品or新业务

• Build VS Buy

  • ML通常既可以Buy也可以build

  • DS通常是企业自己建设

  • 有行业标准的事物，尽可能的避免建设（不要试图在火车前奔跑）

Organizing data & team for the project

• 制定一个项目验收标准

  • 项目目标是否能够以统计数字的形式来表示 - 95%识别率

  • 标准：既能通过AI调研，又能通过商业调研，不需要达到100%准确率

• 需要准备 训练集&测试集（开发集、验证集）

• 不要期望ML能做到100%准确率

  • ML本身的局限性

  • 学习数据太少

  • 混乱的学习数据（学习数据是错误的）

  • 模棱两可的数据（人为判断也会出现分歧）

• Technical tool for AI team

  • Open source ML framework

    • TensorFlow、PyTorch、Keras、MXNet、CNTK、Caffe、PaddlePaddle、Scikit-learn、R、Weka

  • Research publication

    • Arxiv

  • Cloud server

    • Amazon AWS、Microsoft AZure、google GCP

  • Edge deployment 边缘部署

  指的是把处理过程部署在收集数据的地方，以便快速的处理数据并做出决策