1. Keras神经网络基础知识

1. 感知机

要理解神经网络,首先我们先来理解感知机。感知机是一个简单的算法,给定n维向量x (x1, x2, ..., xn)作为输入,通常称作输入特征或简单特征,输出为0或者1。
数学上我们定义以下函数:

当 wx + b > 0 时,f(x)=1
当 wx + b < 0 时,f(x)=0

这里,w是权重向量,w·x是向量wx的点积,b是偏差。事实上wx + b定义了一个边界超平面,你可以设置w和b的值来改变它的位置。如果所给的点(x)在超平面(直线)之上,则结果为正,否则结果为负。但是感知机只能表示确定答案而不能表示非确定性答案。下面有一个动图可以帮助理解感知机。

感知机将线性可分的数据集分开

数据集线性不可分的情况(不断震荡)

如果我们知道wb就能回答1或者0,寻找wb的过程就是神经网络的训练过程

2. 模型

Keras的原始构造模块是模型(model),模型有很多,其中最简单的模型被称为序贯(Sequential)模型。
Sequential模型是多个神经网络层的线性堆叠,也就是“一条路走到黑”。

  1. 可以通过向Sequential模型传递一个layer的list来构造该模型
from keras.models import Sequential
from keras.layers import Dense, Activation
model= Sequential([
Dense(32, units=784),
Activation('relu'),
Dense(10),
Activation('softmax'),
  1. 也可以通过.add()方法一个个的将layer加入模型中
model = Sequential()
model.add(Dense(32, input_shape=(784,)))
model.add(Activation('relu'))

3. 神经网络层(Layer)与多层感知机

神经网络中有许多的层,你可以向你的模型中加入各种各样的层,这里仅介绍神经网络中最简单的Dense层(全连接层)
“全连接”表示上一层的每一个神经元,都和下一层的每一个神经元是相互连接的。这里,每一层神经元就是上一节所说的感知机。可以由下面的图帮助理解。


全连接层

多层神经网络构成了多层感知机


多层神经网络

4. 激活函数

4.1 感知机训练方案中存在的问题

当没有神经网络的时候,神经元对数据的处理就是基于权重和偏移做线性变换。线性变换很简单,但是限制了对复杂任务的处理能力。没有激活函数的神经网络就是一个线性回归模型。


感知机的结果只有0和1

感知机不能表现出“一点一点”的渐进学习行为,它是突变的,它的结果只有0和1。如果我们需要得到一个0到1之间的值,感知机就不能胜任了。
于是我们需要一个更平滑的东西,一个从0到1逐渐变化不间断(连续可导)的函数。这就是激活函数。激活函数做的非线性变换可以使得神经网络处理非常复杂的任务。

4.2 激活函数——sigmoid

sigmoid函数的定义如下:


典型的sigmoid函数

z = wx + b作为sigmoid函数的输入,如果z = wx + b是非常大的正值,那么sigmoid函数趋于1,如果z = wx + b是非常大的负值,那么sigmoid函数趋于0。这和感知机具有类似的行为,但它的变化是渐进的,这正是我们想要的。

4.3 softmax——sigmoid函数的拓展

softmax把一些输入映射为0-1之间的实数,并且归一化保证和为1,因此多分类的概率之和也刚好为1。
softmax 与 k个二元分类器 的区别:
如果你在开发一个音乐分类的应用,需要对k种类型的音乐进行识别,那么是选择使用 softmax 分类器呢,还是使用 logistic 回归算法建立 k 个独立的二元分类器呢?
这一选择取决于你的类别之间是否互斥,例如,如果你有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么你可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数 k = 4 的softmax回归。(如果在你的数据集中,有的歌曲不属于以上四类的其中任何一类,那么你可以添加一个“其他类”,并将类别数 k 设为5。)
如果你的四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用4个二分类的 logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。

4. 激活函数与神经网络的关系
image
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351

推荐阅读更多精彩内容