计算机视觉概述

computer vision 针对视觉数据的研究
视觉传感器的增长和发展（eg 手机）

超级多的视觉数据
思科2015研究：估计到2017 互谅网上大约80%的流量都是视频
但是视觉数据很大，接下来的问题就是如何用算法开发和利用这些数据

视觉数据真的很难理解
另一个统计youtube 每一秒 就有长达5h的视频传到youtube（eg 我的一个朋友，网易实习，视频标记，分类）

计算机视觉跨学科领域（生物，物理，cs，math）。。。

cv历史背景

视觉的历史很久很久以前，水里的动物进化出了眼睛，以为澳大利亚研究者，进化出眼睛，视力功能促进了物种数量的爆炸。视觉对于智慧的动物至关重要。
照相机的历史，留住世界。

60s研究动物的视觉处理机制，用猫来研究，观察什么会引起神经皮层的反应。视觉处理起始于视觉世界的简单结构，边缘。再认识复杂的。

《vision》david marr 70s
边缘，曲线，2.5曲面----》3d模型
同样是70s，识别和表示现实世界的试题，每个对象都由简单的几何图组成

80s，重建和识别视觉空间

目标分割

2000 face detection，adaboost实时面部检测
2006 fujjika面部检测的相机

90-00 一个非常有影响力的思想方法是:基于特征的目标识别，SIFT特征
某些特征在变化中具有整体性和不变性，所以目标识别的首要任务就是在目标上确认这些关键的特征。

整体场景识别，空间金字塔特征，方向梯度直方图

2006-2012 pascal visual object challenge 目标识别的数据集

训练数据不够，出现过拟合，组件ImageNet数据集（目标检测）

imagenet大规模视觉是被竞赛，140图像，1000类别
2012 错误率显著下降。--CNN算法（重点）

图像分类问题

2015 微软残差网络 152层
1998手写数字识别，类似2012的alexnet网络

突破性进展
1 计算能力提升，GPU具有超高并行计算能力
2 data 带标签数据集Pascal imagenet

Lecture02

image classification pipeline

图像是一堆数字，每个数字三个值组成rgb

图像识别有很多挑战：illumination deformation变形，遮挡，背景干扰

数据驱动方法

之前使用硬编码规则，计算图像边缘，将形状分类号，但是这样不可推演，对于每一个物体都要重新编写一套规则
现在：使用数据驱动的训练，抓取数据集，训练机器分类图像，总结，生成一个模型，来识别新的图像

image.png

训练函数 接受输入图片和标签输出 模型
预测函数 接受模型 对图片预测

image.png

寻找最相近的图片

image.png

在训练集中找到最相似的图片，找到其标签，这个时候就可以说测试图片是什么类别

NN分类器
对于两张图片比较
什么样的比较函数
曼哈顿距离：

image.png

image.png

image.png

k赋值大，决策边缘光滑
白色区域表示没有获得k邻近的投票，没有最近的点

k-最近邻算法

image.png

曼哈顿距离 每个像素之前的距离总总和
欧氏距离（距离是确定的，无论在什么坐标系中）

image.png

与实际解决的问题有关的超参数

机器学习中，我们关心的不是尽可能拟合，而是要让我们的分类器，我们的方法，在训练集以外的未知数据上表现更好。

image.png

测试集是个我们的算法一个评估，即在没遇到的数据上算法表现将会如何

image.png

验证集，分验证集和测试集，最后一步接触到测试集，确保测试集数据得到严格的控制

image.png

交叉验证适合于小的数据集

image.png

深度学习中，大型模型不使用

image.png

knn不适合用于图像分类

image.png

维度灾难 高维空间的像素很多

image.png

image.png

线性分类

linear classification

image.png

image.png

image.png

image.png

image.png

但

但是在现在参数化的过程中，

image.png

image.png

image.png

测试的时候我们需要的是参数

image.png

b是偏置项

image.png

线性分类是一种模板匹配方法

image.png

线性分类器每个类别只能学习一个模板

image.png

• 回顾：

  
  
  image.png
  
  
  image.png

线性分类器可以解释为每个种类的学习模板，对图里的每个像素以及10个分类中的一类，矩阵w里都有一些对应的项，告诉我们那个像素，对那个分类有多少影响，也就是说矩阵w里的每一行，都对应一个分类模板，如果我们解开这些行的值（成图片的大小），那么每一行又分别对应一些权重，每个图像像素值和对应的那个类别的一些权重，将这行分解回图像的大小，我们
就可以可视化学到的每个类的模板

还有一种对线性分类器的解释是，学习像素在高维空间的一个线性决策边界，其中高伟空间就对应了图片能取到的像素密度值

如何选择w？

损失函数

image.png

image.png

image.png

image.png

image.png

定量的衡量

定量的衡量w是好是坏

image.png

image.png

image.png

给出y的预测

二元svm。两个类，要么是正例要么是负例，推广到多分类SVM（支持向量机），推广到多个类别识别

image.png

image.png

image.png

SVM函数只关注于正确的分数比

一个损坏函数的全部意义在于量化不同的错误到底有多坏

加入正则项

image.png

其他损失函数：
Softmax loss

image.png

目标是促使我们计算得到的概率分布，就是通过softmax计算的结果，去匹配上述的目标概率分布，即正确的类别应该具有几乎所有的概率

svm vs softmax？

优化函数

optimization

对于参数w的一些设置，w所带来的损失，使用迭代，改进

image.png

这就是普遍使用的方法：梯度下降

image.png

函数下降最快的地方

image.png

image.png

最后网络收敛
步长是一个超参数，在那个方向前进多少距离，这个步长也被叫做学习率
（他是你需要设定的一个重要参数）