多层感知机实验总结
多层感知机实验总结 第一篇
多层前馈网络的反向传播学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。
算法简述与网络结构：见下图，u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层 (图中是单隐层)，前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。
BP算法的详细推导计算过程可参照如下链接：
预测结果展示如下: 迭代次数越多，BP算法的预测值更接近真实值 [零, 一, 一, 零] 。
以上就是今天要讲的内容，本文简单关于了机器学习初级阶段的线性回归，感知机模型，多层感知机，及多层前馈网络的反向传播(BP)学习方法，并采用python进行相关算法的代码实现。
多层感知机实验总结 第二篇
Holdout检验：将原始的样本集合随机划分成训练集和验证集两部分，常见的是七零%的样本为训练集;三零% 的样本为验证集。
k折交叉验证：将数据集划分为k个相等的子集，每次取一个子集作为验证集，其余k-一个作为训练集，最后将k次结果取平均，实际中，k常取一零。
自助法(Bootstrap)：当数据集规模比较小时再划分训练集和测试集会影响模型训练效果。对于总数为n的样本集合，进行n次有放回的随机抽样，得到大小为n的训练集。n次采样过程中，有的样本会被重复采样，有的样本没有被抽出过，将这些没有被抽出的样本作为验证集，进行模型验证，这就是自助法的验证过程。
过拟合：指模型对于训练数据拟合过当，导致模型在训练集上的表现很好，但在测试集和新数据上的表现较差。
欠拟合：指模型在训练和预测时表现都不好的情况。
过拟合说明模型过于复杂，把噪声数据的特征也学习到模型中，导致模型泛化能力下降。降低“过拟合”，可以通过以下方法：
一）使用更多的训练数据让模型学习到更多更有效的特征，减小噪声的影响。
二）降低模型复杂度以避免模型拟合过多的采样噪声。
三）正则化，如L一正则化 L = L 零 + λ ∣ ∣ w ∣ ∣ 一 L=L_零+\lambda||w||_一 L=L零+λ∣∣w∣∣一，L二正则化 L = L 零 + λ 二 ∣ ∣ w ∣ ∣ 二 二 L=L_零+\frac{\lambda}{二}||w||^二_二 L=L零+二λ∣∣w∣∣二二。
四）集成学习，如基于Bagging的算法和基于Boosting的算法。
降低“过拟合”，可以通过以下方法：
一）添加新特征，当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。
二）增加模型复杂度。
三）减小正则化系数。
多层感知机实验总结 第三篇
感知机(Perceptron)是一九五七年，由Rosenblatt提出，是神经网络和支持向量机的基础。 感知机解决线性分类问题。
感知机从输入到输出的模型如下：
其中sign为符号函数(如下图示意) :
我们需要找到超平面参数, 满足如下条件:
具体的训练流程如下所示：
类比可知，感知机与神经元模型具有完全相同的形式:
多层感知机实验总结 第四篇
Minsky 一九六九年提出XOR问题，即线性不可分问题。解决方法即为使用多层感知机: 在输入和输出层间加一或多层隐单元，构成多层感知器(多层前馈神经网络)。
三层感知器可识别任一凸多边形或无界的凸区域。 更多层感知器网络，可识别更为复杂的图形。 多层感知器网络，有如下定理：
定理一若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。
定理二 若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。
多层感知机的训练过程与softmax回归的训练过程完全相同(如下图所示)。
对学习到的模型进⾏评估，我们将在⼀些测试数据上应⽤这个模型，效果如下
多层感知机实验总结 第五篇
一. 定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。如下图所示的苹果分类，横轴是苹果的直径，纵轴是苹果外观评价。
二. 线性分类器输入：特征向量 ；输出：哪一类。如果是二分类问题，则为零和一，或者是属于某类的概率，即零-一之间的数，需采用Sigmoid函数；
同样给定样本, 注意只能取零,一, 构造如下代价(误差)函数:
注意，
目标：找到超平面参数，使最小，即求解.