吴恩达机器学习笔记-分类问题陈述

之前的文章中我们讨论过关于线性回归的问题，现在我们来学习一下，当预测的变量y为离散值时候的分类问题。

分类

下面给出几个分类的例子：

邮件：垃圾邮件、非垃圾邮件；
在线交易：欺诈、非欺诈；
肿瘤：良性（不是恶性）、恶性

很显然这几个例子的结果只有两个，是或者不是。那么我们可以假设结果 $y\in{0,1}$ 。这里的0我们可以当做非xx的类型，比如良性肿瘤，而1则可以当做是确认的分类，比如是恶性肿瘤。当然经常我们遇到的分类问题可能不止是或否两种结果，可能 $y\in{0,1,2,3}$ 。

接下来我们来用肿瘤是否恶性的例子来看看分类问题，比如下图：

图中的叉号就是我们的数据样本，横轴为肿瘤大小，纵轴为是否为恶性肿瘤。如果用我们之前学习的线性回归方程，则可以假设 $h_\theta(x) = \theta^Tx$ 。可以得出图中的倾斜的斜率高一点的那一条直线。为了更好的做出预测，我们可以设定当 $h_\theta(x)>=0.5$ 时，认为 $y=1$ ,当 $h_\theta(x)<0.5$ 时，认为 $y=0$ ,如此看来，假设我们在x轴正方向远处还有一点如图中所示，我们的假设函数也是满足实际情况。但如果我们的假设函数设置的如图中斜率偏低的那一条呢。很显然和数据集中的数据发生了误差。所以线性回归在分类问题中并不是最适合的方法，而且如果使用线性回归，我们得出的 $h_\theta(x)$ 是可以大于1或者小于0。而接下来要讨论的logistic分类算法的值域大小是在[0,1]之间的。

假设函数

在线性回归中，我们的假设函数公式是 $h_\theta(x) = \theta^Tx$ ，那么在分类问题中，我们定义 $h_\theta(x) = g(\theta^Tx)$ ,这里的函数g的定义为 $g(z)=\frac{1}{1-e^{-z}}$ , $z=\theta^Tx$ ,则

$h_\theta(x) = \frac{1}{1-e^{-\theta^Tx}}$
这个函数被称作S型函数（Sigmoid function）或逻辑函数（Logistic function）。函数的图像如下图所示：

横轴为z，纵轴为 $g(z)$ 。显然当z趋向于正无穷时， $g(z)$ 趋向于1，z趋向于负无穷时， $g(z)$ 趋向于0。图像在（0，0.5）点于纵轴相交。我们现在要做的依然是选择合适的参数 $\theta$ 来拟合数据。
这里我们将 $h_\theta(x)$ 的输出假设为当输入为x时，y=1时的概率。从概率上的角度来描述可以表达为 $h_\theta(x) = P(y=1|x;\theta)$ 。因此我们可以得到如下公式：
$P(y=1|x;\theta) + P(y=0|x;\theta) = 1 \\ P(y=1|x;\theta) = 1 - P(y=0|x;\theta)$

决策边界(decision boundary)

上述我们说过，可以假设当 $h_\theta(x)>=0.5$ 时，认为 $y=1$ ,当 $h_\theta(x)<0.5$ 时，认为 $y=0$ 。根据逻辑函数的图像，我们得知，当z>0时， $h_\theta(x)>=0.5$ ，则 $\theta^Tx>=0$ ,同样的 $h_\theta(x)<0.5$ 时 $\theta^Tx<0$ 。
这里可以举一个例子，假设 $h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2)$ 中的 $\theta_0,\theta_1，\theta_2$ 分别等于-3，1,1。则 $\theta = \begin{bmatrix} -3\\ 1 \\ 1 \end{bmatrix}$ ,那么y=1时，即代表 $h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2) >= 0.5$ ,即 $\theta^Tx = -3+x_1+x_2>=0$ ,相反y=0时， $\theta^Tx = -3+x_1+x_2<0$ ,那么我们可以得出这两个不等式的分界线即 $x_1+x_2=3$ 。

在这条直线的上方代表y=1的部分，下方则代表y=0的部分，而这条直线就被称作决策边界。
下面再继续看一个复杂点的例子，这里额外添加两个特征 $x_1^2，x_2^2$ 。 $h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2\theta_3x_1^2+\theta_4x_2^2)$ 。假定 $\theta = \begin{bmatrix} -1\\ 0 \\ 0 \\ 1 \\ 1 \end{bmatrix}$ ,则可得出若 $-1+x_1^2+x_2^2>=0$ ,则y=1,若 $-1+x_1^2+x_2^2<0$ ,则y=0,那么显然，这里的决策边界的图像是 $x_1^2+x_2^2 = 1$ 。

当然随着假设函数的复杂程度变化，决策边界也会各有不同。后面我们将会学习如何自动选择参数 $\theta$ ,使我们能在给定一个训练集时，根据数据自动拟合参数。

以上，为吴恩达机器学习第三周分类和逻辑回归模型部分笔记。

最后编辑于：2018.08.29 22:26:09

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 215,874评论 6赞 498
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,102评论 3赞 391
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 161,676评论 0赞 351
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,911评论 1赞 290
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,937评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,935评论 1赞 295
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,860评论 3赞 416
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,660评论 0赞 271
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,113评论 1赞 308
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,363评论 2赞 331
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,506评论 1赞 346
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,238评论 5赞 341
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,861评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,486评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,674评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,513评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,426评论 2赞 352

吴恩达机器学习笔记-分类问题陈述

分类

假设函数

决策边界(decision boundary)

推荐阅读更多精彩内容