Machine Learning Steps
- We're going to start with the big picture.
- We're going to start with some materials that cover the entire landscape of machine learning and artificial intelligence.
- model building and validation.
- nuts and bolts of machine learning. (supervised learning, unsupervised learning, reinforcement learning )
- build your own project.
机器学习
- 主要来自两个领域人工智能和数据科学
- 机器学习的核心其实是建立数据模型
人工智能简介
- 某种意义上讲机器学习源于人工智能，人工智能是要创造出和人类一样聪明的机器
- 人工智能的不同学派
- 构建像人类一样思考的认知系统
- 机器学习：关注的是制造能够自主动作的机器，不管其是否能像人类一样思考。
人工智能的五大难题（Fundamental Conundrums of Artificial Intelligence）
- 所有智能体都只有很少的计算资源、很低的处理速度和很小的内存；有趣的是AI问题很难通过计算来解决，如何能让AI智能体提供近乎实时的性能。
- 所有的计算都是局部的，但是大多数AI问题都具有全局约束，如何才能让AI智能体仅使用局部计算来解决全局问题。
- 计算逻辑基本上是演绎逻辑，但许多AI问题本质上是溯因性或归纳性的；如何才能让AI智能体解决溯因性或归纳性问题。
- 世界是动态变化的，知识是有限的，但AI智能体必须从它已经知道的东西开始；如何才能让AI智能体解决新问题。
- 解决问题、推理和学习已经足够复杂，但解释和证明增加了这种复杂性；如何才能让AI智能体解释或证明它所做的决定。
人工智能和不确定性
- 人工智能是计算机软件中不确定性管理的技术
- AI要解决的问题是
- 在你不知道怎么办的时候，该做些什么
Watson为了能参加智力竞赛必须完成的四件基本事情
- 读懂提示
- 搜索知识库
- 确定准确的答案
- 按照答案的形式对答案进行润色
基于知识的人工智能
- watson尝试理解自然语言语句，并尝试产生一些自然语言语句，以及做出一些决定；大体上，将所有这些事情归为“推理”一类
- 基于知识的数据有3个基本过程
1、推理 Reasoning
2、学习 Learning
3、记忆 Memory - 三个过程合在一起，成为“慎思”(Deliberation)，慎思过程包含在基于知识的AI主体的总体架构中
人工智能的四个学派
横轴：optimally， like humans
纵轴：thinking，act
- Agents that think optimally（以最佳方式思考的主体）eg： machine learning，分析大量数据并确定数据的规律性模式；它们确实是在思考，而且通常以最佳凡是思考，但是它们不一定像人那样思考。
- Agents that act optimally（以最佳方式行动的主体）eg：Airplane autopilots(飞机自动驾驶仪)，它们以最佳的方式行动，
- Agents that act like humans（像人一样行动的主体）eg：improvisational robots(即兴表演机器人)，行为像人一样，跟着音乐起舞
- Agents that think like the humans（像人一样思考的主体），这是基于知识的AI所关注的。eg：semantic web(语义网)，是新一代的web技术，可让web理解不同的页面和页面上的信息，它们在思考
Sebastian Thrun's robotics 自动驾驶
- David thinks it's act and human-like
贝叶斯公式
-
条件概率(似然概率)：
条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么，
那么， P(A|B)=P(AB)/P(B)。 -
联合概率：
表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B)。 -
边缘概率(先验概率)
是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘化（marginalization）。A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。 -
全概率公式：
全概率公式为概率论中的重要公式，它将对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。
内容：如果事件B1、B2、B3…Bn 构成一个完备事件组，即它们两两互不相容，其和为全集；并且P（Bi)大于0，则对任一事件A有
P(A)=P(A|B1)P(B1) + P(A|B2)P(B2) + ... + P(A|Bn)P(Bn)。
或者：p(A)=P(AB1)+P(AB2)+...+P(ABn)，其中A与Bn的关系为交 -
贝叶斯公式：
贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A)后验概率 = P(A|B)似然概率 * P(B)先验概率 / P(A)边缘似然概率。 - 案例：吸毒者检测
