人工智能、机器学习、深度学习的关系

创建人工智慧（人工智能 ）是目标
让机器自己学会学习（机器学习 ）是手段
深度学习是模拟人的神经网络实现机器学习

怎么让machine具有人工智慧？

1. 人类设定好的天生本能（即人为机器编写的程序，操作步骤，if-else规则集）
2. 后天习得的知识智慧

很多聊天机器人看似表现得不错，其实背后是人为制定的庞大规则集。
（hand-crafted AI）

image.png

hand-crafted AI和machine learning的区别

hand-crafted AI僵化地按照人制定的规则做事，machine learning使得机器能具有根据已有经验推断新的事物（举一反三能力），并且教给它的经验越多（投喂的data越多），表现的越好。

科学研究方法之假说演绎法

从生活大量现象（苹果掉到地上）中推测出背后的理论、模型、规则、规律（存在万有引力），并通过其他实际现象去验证这个理论。
这是人类研究学习的根本过程，机器学习也是如此。

抽象描述

机器学习可以理解为，从大量实际产生的data中，推断、找出背后的function（模式、规则）的过程。

小明头痛了，我们可以用西医model，也可以用中医model去解释这个现象，model可视为理论模型的大框架。
但是即使在中医模型下，不同的医生对小明的病也有着不同的诠释（a set of function），到底哪种具体的解释（fucntion）更接近真相（the best function）？

机器学习的三大步骤

image.png

1. 定义function集 （提出各种猜想理论）
2. 评价各个function的表现 （看这个理论能不能很好解释已有的实际案例）
3. 选择最好的function（最能反应真实世界规律的function）

Learning Map

Regression

回归是一种研究自变量与因变量之间关系的数学模型，常用于预测分析。
比如预测pm2.5案例就是研究自变量时间和因变量pm2.5浓度之间的关系，推断出背后隐藏的数学规律模型（function），从而实现预测。

regression和classification的区别

回归主要是找到x和y背后的function，并通过这个function，获得从x映射到y的具体数值。
分类是把x映射到离散输出变量y，并找到映射函数f。

没有什么本质区别，区别主要在于regression输出是连续的，classification输出是离散的。

image.png

分类问题分为二分类和多分类，二分类可视为特殊的多分类。

regression和classification的核心，都是找到背后的function。但是候选function无穷无尽，所以一般先确立大方向的model （如线性模型或非线性模型），再在某个函数模型框架下调整具体的参数，找到best function。

有监督学习和无监督学习的区别

有监督学习，就是有一个老师告诉你这是猫，这是狗（label），然后你获得经验了，之后看到类似猫的物种，你就能机智地推断出这是猫。

但是我们回到远古时代，当时并没有猫和狗的概念。
标签和名字，都是用于指代和区分某一类事物。

image.png

人创造知识的过程是先分类（聚类），后命名（贴上label）。
一开始有一堆猫，人们通过观察辨析，把猫根据不同的形态特征，生活习性等分为若干品种，并把有如下特征标准的猫命名为波斯猫，把具有另某些特征的猫命名为英国短毛猫。

image.png

我们现在的学习大多是有监督学习，即根据前人总结的经验（课程、书本、交谈），有人告诉你长这样的是猫，这么做是错的。而无监督学习则通常出现于缺乏priori knowledge的知识起源期，因此十分困难。

比如学英语，如果给你一堆纯英语的文章让你自己学，没有老师教你也没有词典，可以想象一下有多困难，这就是无监督学习。
但是如果有人告诉你apple是苹果，red是红色（label），给你一本词典，学起来就容易多了，这就是有监督学习。

Structure Learning

image.png

Structure Learning中机器输出结构化的object，与回归和分类问题相比，Structure Learning其实占据真实世界的更大比重。

Supervised和Reinforcement learning的区别。

Supervised learning类似有个老师手把手教你每一步该怎么做，哪一步做错了。
Reinforcement learning是告诉机器最终的结果和评价（比如这局棋输了），但不告诉它哪里做的不好（需要machine自己反思）。

Reinforcement learning更符合人类学习的情境。真实社会中，很少有人告诉你具体怎么做，哪里做得不好需要改进，这些需要你根据外部的评价反馈进行自我反思调整。

当然，有老师教，有前人经验肯定是最好的（data、priori knowledge），一般没有data做Supervised learning的情况下，才去做Reinforcement learning。

Reinforcement learning（比如不先教AlphaGo棋谱，就让它下起）
一般人学习的过程，都是先教基本知识（Supervised learning），再于实践中反思修正（Reinforcement learning）。