神经网络-周志华

神经元模型

• 神经网络中最基本的成分是神经元模型

• M-P神经元模型：

  • 神经元接受来自 n 个其他神经元传递过来的输入信号

  • 这些输入信号通过带权重的连接进行传递

  • 神经元接受的总输入量与神经元的阈值进行比较

  • 然后通过激活函数处理以产生神经元的输出

• 常用Sigmoid函数作为激活函数

  • 它把可能在较大范围内变化的输入值挤压到 (0,1) 输出值范围内，因此有时也称为 挤压函数

感知机与多层网络

• 感知机

  • 感知机由两层神经元组成

  • 感知机能容易地实现逻辑与、或、非运算

  • 学习规则：

    $$\omega_i \leftarrow \omega_i + \Delta \omega_i, \\ \Delta\omega_i = \eta (y - \hat{y})x_i \\ \eta 称为学习率$$
• 输入层

  • 接受外界输入

• 隐含层

  • 输入层与输出层之间的一层或多层神经元，被称为隐层

  • 对信号进行处理

• 输出层

  • 对信号进行处理

  • 输出最终处理结果

• 前馈神经网络： 一种层级结构的神经网络结构，每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接