Madaline网络的学习算法 主要内容vAdaline神经元和Madaline网络的基本结构和 工作原理vMII 学习算法v用Adaline的敏感性为工具改进Madaline的学 习算法。Adaline的结构Madaline的网络结构MRII算法的基本思想v 给网络提供输入模式向量以及相 应的理想输出，训练的目标是尽可能地 找出所有隐层中每个Adaline的理想输 出，把对网络的训练转化为对每个 Adaline 的训练。MRII算法v当一个样本提供给神经网络时，网络得到一个输出 ，比较该输出与理想输出，如果相 同，说明训练 成功，进入下一个样本学习。v如果不同，在第一层上找出模拟量绝对值（置信度 ）最小的那个神经元，翻转它的输出，并逐层计算 ，得到网络的输出。MRII算法（续）v检查输出的出错个数（hamming距离），如果没有减少，则恢复原来的数据，然后选择置信度次小的神经元来尝试翻转。如果减小了，这个尝试就被接受。在这种情况下，我们假设翻转后的神经元输出就是该神经元的理想输出，更新它的权值。调权公式：MRII算法（续）v如果这个神经元的翻转只是减少了出错个数并不能得到全部 的理想输出，则重新对置信度排序，然后对它重复上面的过 程。v如果单个这样的尝试完毕后仍未得到全部理想输出，再将第 一层的神经元按两个一组尝试翻转，重复以上过程。依次三 个一组，四个一组，直到K个一组（K为第一层的神经元个数 ）。v所有这些进行完毕之后，如误差仍不满足要求，就在第二 层上重复第一层的过程一直到输出层。为什么选置信度最小的？v最小干扰原则：在当前样本得到正确结果的基础上 ，尽量减小整个网络中权值的改变，减少样本间学 习的互相干扰，提高网络学习效率。v选取加权和绝对值接近0的Adaline可以有效地减少权值的改变量。 算法实现中要注意的细节v当网络层数少于20层时，尝试很少需要进行到三个以上为一 组 。三个以上一组的翻转尝试时间开销大，成功率却非常 低 。v从最小干扰原则考虑，某层的某个神经元的信任度过高，就 意味着要求有大的权值改变量才能使其翻转，这样最好是放 弃对这些神经元的调整而宁可让尝试到下一层中进行。方法一：设置最大信任度值作为门限方法二：确定每层允许尝试翻转的神经元个数的百分比 敏感性问题：、硬件精度对权的影响、环境噪音对输入的影响敏感性要反映的是因参数的扰动而引起的输出偏差Adaline的敏感性因输入扰动和权扰动而导致输出产生的偏差：v不能仅根据对一个输入值算得的结果来衡量Adaline 的有关性能。v由于输出是个二值的开关量，没有必要细究其偏差 的具体量值Adaline的敏感性定义v输入扰动可以转换成权 扰动来考虑。v对于一个n维Adaline而 言，它共有 不同的输 入向量研究意义v指导网络设计，增强网络抗干扰能力v度量网络性能，如容错和泛化能力v研究其它网络课题的基础，如网络结构的裁剪和参 数的挑选等应 用考虑把Adaline的敏感性作为工具改进 Madaline的学习算法。 例如： 、把Adaline的敏感性作为选择翻转尝试的神 经元的依据 、把Adaline的敏感性作为裁减adaline网 络结构的依据