深度学习随笔2


前言

Hello!小编又跟大家见面了,今天小编来继续跟大家聊聊深度学习中关于感知器和线性单元的相关学习,以及小编自己的思想整理!

机器学习

一、概念

机器学习是一门多领域交叉学科,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是人工智能的核心,机器学习是对能通过经验自动改进的计算机算法的研究,机器学习是用数据或以往的经验,以此优化计算机程序的性能标准,是使计算机具有智能的根本途径。

二、分类

1、神经网络学习:是模拟脑和神经科学原理为基础,以人工神经网络为函数结构模型,以数值数据为输人,以数值运算为方法,用迭代过程在系数向量中搜索,学习的目标为函数。典型的连接学习有权值修正学习、拓扑结构学习。

2、统计机器学习:是基于对数据的初步认识以及学习目的的分析,选择合适的数学模型,拟定超参数,并输入样本数据,依据一定的策略,运用合适的学习算法对模型进行训练,最后运用训练好的模型对数据进行分析预测。

3、监督学习:是输入数据中有信号,以概率函数、代数函数或人工神经网络为基函数模型,采用迭代的计算方法。

4、无监督学习:则是输入数据中无信号,采用聚类方法,学习结果为类别。

三、应用领域

1、数据分析与挖掘:“数据挖掘”和"数据分析”通常被相提并论,并在许多场合被认为是可以相互替代的术语。数据分析与挖掘技术是机器学习算法和数据存取技术的结合,利用机器学习提供的统计分析、知识发现等手段分析海量数据,同时利用数据存取机制实现数据的高效读写。

2、模式识别:它起源于工程领域,而机器学习起源于计算机科学,这两个不同学科的结合带来了模式识别领域的调整和发展,模式识别的应用领域广泛。例如— 研究生物体等!

深度学习

一、概念

深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术,它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。 它使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。

二、特点

1、强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点。

2、明确了特征学习的重要性。也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据丰富的内在信息。



感知器

一、概念

感知器是神经网络中的一种典型结构, 它的主要的特点是结构简单,对所能解决的问题 存在着收敛算法,并能从数学上严格证明,从而对神经网络研究起了重要的推动作用,可以被视为一种最简单形式的前馈式人工神经网络,是一种二元线性分类器。

二、数学描述及公式



v_i = f(\sum_{i-0}^n w_ix_i -\theta )

\eta  =\frac{1}{2}  (\sum_{i=1}^2w_i(t)x_i(t)-\theta (t)+\alpha )

y = sigm(\vec{w}\bullet \vec{x}  +b)

L(\vec{w},b )= - \sum_{\vec{x_i}\in M } y_i(\vec{w} \bullet \vec{x_i} +b)

线性单元

一、概念

当感知器存在一个问题,就是遇到线性不可分的数据时,就可能无法收敛,所以要使用一个可导的线性函数来替代阶跃函数,又其激活函数是线性的,所以一般被称为线性单元。它被证实能够使得使得神经元的平均激活均值趋近为 0,同时对噪声更具有鲁棒性由于需要计算指数,计算量较大。

二、数学描述及公式


y=h(x)=w*x+b

y=h(x)=W^TX

y = f(w^Tx)  f(z)=z

w\leftarrow w+\eta (y-\bar{y}  )x

总结

以上就是目前小编所学范围之内,自己对于知识的理解,本篇幅较短就告一段落了,小编谢谢大家的支持,回见!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。