TensorFlow游乐场

本文介绍主要TensorFlow游乐场,旨在让大家了解监督学习中全连接神经网络的工作流程。文章适合对神经网络和机器学习有初步了解的读者。文中涉及的关键概念会在后面的文章中给出

TensorFlow游乐场是一个通过网页浏览器就可以训练简单神经网络
并实现了可视化训练过程的工具。游乐场地址为http://playground.tensorflow.org/

首先我们打开游乐场,可以看到默认的配置参数。

1-1
现在我们来一一解读这些参数:
1-2

Epoch ---> 训练次数。

learning rate ---> 学习率(是一个超参数,在梯度下降算法中会用到;学习率是人为根据实际情况来设定)。

Activation ---> 激活函数(默认为非线性函数Tanh;如果对于线性分类问题,这里可以不使用激活函数)。

Regularization ---> 正则化(正则化是利用范数解决过拟合的问题,这里咱不讨论)。

Regularization rate ---> 正则率(这里不使用正则化所以无需考虑)。

Problem type ---> 问题类型(在这里我们要解决的是一个二分类问题,简单解释一下分类问题是指,给定一个新的模式,根据训练集推断它所对应的类别(如:+1,-1),是一种定性输出,也叫离散变量预测;回归问题是指,给定一个新的模式,根据训练集推断它所对应的输出值(实数)是多少,是一种定量输出,也叫连续变量预测;在这里我们属于分类问题。)。

1-3

DATA ---> 数据集类型(这里提供了四种数据集,我们默认选中第一种;被选中的数据也会显示在最右侧的OUTPUT中;在这个数据中,我们可以看到二维平面上有蓝色和黄色的小点;每一个小点代表一个样例例子;点的颜色代表样例的标签;因为只有两种颜色,所以这里是一个二分类问题;在这里我们以判断某工厂零件是否合格为例子来说明,那么黄色就代表不合格零件,蓝色就代表合格零件)。

FEATURES ---> 特征向量(为了将一个实际问题对应到空间中的点,我们需要提取特征。在这里我们可以用零件的长度和质量来大致描述;所以这里x1就代表零件长度,x2代表零件质量;特征向量是神经网络的输入)。

HIDDEN LAYERS ---> 隐藏层(在输入和输出之间的神经网络称为隐藏层;一般神经网络的隐藏层越多这个神经网络越深;这里我们默认有一个隐藏层,这个隐藏层上有4个节点)。

OUTPUT ---> 输出(显示区分平面以及训练数据)。

了解了上述概念以后,现在我们来阐述一下神经网络的训练过程。

图上每一个小格子代表神经网络中的一个神经元,每一条线代表神经元之间的连接。每一个节点和边都被涂上了或深或浅的颜色。但边的颜色和格子中的颜色含义有略微区别。每一条边代表了神经网络的一个权重(可以理解为一个参数),它可以理解为任意实数。神经网络就是利用反向传播算法对权重进行合理修改从而解决分类或者回归问题。边的颜色表现了权重的取值,当边颜色越深这个参数绝对值越大;当边越接近白色,这个参数绝对值趋于0。

每一个节点上的颜色代表了这个节点的区分平面。在这里稍微解释一下区分平面的概念。如果我们把首先我们把这个平面当成一个笛卡尔坐标系,这个平面上的每一个点就代表了(x1,x2)的一种取值。如果你觉得小图不太清楚,可以把鼠标放到输入节点x1上面,可以看到x1节点此时的区分平面就是Y轴。

x1节点区分平面

因为x1为输入层,输入层的输出值就是x1本身的值。所以当x1小于0时,这个节点输出为负,x1大于灵时节点输出为正。所以Y轴左侧都为橙色,右侧都是蓝色。同理x2的区分平面也很容易理解。
现在我们来看隐藏层的节点,这里我们只有一个隐藏层,这个隐藏层上有四个节点。先来看第一个。这里我们把隐藏层节点1简称为h1。

hidden1区分平面

可以看到这个节点的区分平面是一条在x轴之上的斜线。为什么会发生这种情况??这里就涉及到我们之前说的权重。在神经网络前向传播的过程中,后面节点的输入是之前与之相连的所有节点的加权和。我们仔细观察连线可以发现x1和h1的连线趋于白色,x2和h1是一条很明显的橙色线。把鼠标移到细线上可以看到权重的值,这里得到公式-0.12x1 + -0.73x2 = h1。所以得到了如图所示的一个区分平面。平面上方都是负值,下方都是正值。其它节点以此类推。在这里可以看到,权重对分类的影响至关重要。

最后我们来看隐藏层到输出层的输出。首先我们来看一下OUTPUT,如果最终要区分蓝色的点和橙色的点,我们的区分平面应该是一个闭合曲线。然而如果我们光靠加权和这种线性变换的话是没有办法准确圈出蓝色和橙色点的分界线。所以在隐藏层到输出层的过程我们增加了一个非线性激活函数Tanh,使得我们最后可以得到一个非线性的结果。综上神经网络解决一个分类问题大致可以分为:

1.提取特征向量作为输入,比如说本例子中零件的长度和质量。
2.定义神经网络结构。包括隐藏层数,激活函数等等。
3.通过训练利用反响传播算法不断优化权重的值,使之达到最合理水平。
4.使用训练好的神经网络来预测未知数据,这里训练好的网络就是指权重达到最优的情况。

下面我们点击开始训练按钮,下图是训练489次后的情况。观察OUTPUT,这时模型其实已经很准确的进行了分类。

result

总结

本文简单通过TensorFlow游乐场介绍了最简单的全连接神经网络训练的大致过程。文中有一些具体概念和数学公式并未详细给出。在之后的文章中我们会对相关概念进行详细解释,并利用TensorFlow来一步一步完成神经网络的搭建。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,588评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,456评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,146评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,387评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,481评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,510评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,522评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,296评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,745评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,039评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,202评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,901评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,538评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,165评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,415评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,081评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,085评论 2 352

推荐阅读更多精彩内容