【弹星者说】第一章 (第4/12页)

r>
    值的数量也会变多，前向反馈神经网络也会越来越复杂。

    每次得到新的学习数据，都要将新的输入数据与字典向量一起经过一个核函

    数的处理，分别得到字典每个维度上的核函数的值，再分别乘以每个维度的权值

    ，得到输出。

    在每次学习中，都要算出当前我们所构造的系统的输出与目标系统的输出之

    间误差，然后运用梯度下降法来减少误差，即让权值自适应的调整。

    这样经过足够次数的学习，系统会越来越复杂，但学习的结果会越来越逼近

    我们需要学习的系统。

    事实上，这是可以用自然语言描述的：一个内部越复杂的系统，它就能展现

    越多精细深微的细节，以及更真实的对现实的表现力，因为现实是具有无限细节

    和无限复杂性的。

    」

    导师无表情的微微点头。

    几缕白发跳了跳。

    「如果我们把有噪声的信号当做系统的输入，把没有噪声的原始信号当做输

    出，那幺我们学习得到的系统就能消除噪声；同样，回声消除等等其他应用也可

    以通过巧妙的设置输入输出来实现。更普遍一点的，核自适应滤波器还可以对非

    线性函数进行回归拟合，对溷沌时间序列进行预测，上述这两个是很常见的彷真

    实验。我们把思绪拉远一点，如果输入是汉语，输出是英文，如果系统的神经网

    络的结构足够科学，系统学习得足够久，成长得足够复杂，很可能这种翻译系统

    也是可以实现的。当然我要做的并不是这个，我只是随口一说。」

    导师把头埋到了两手之间，彷佛在睡觉。

    这时胡为衣看到了他脑后的白发，阳光照在上面有些刺眼。

    「我这一年做了如下的事情：设计了一个新的核函数，能卓有成效的在将低

    维数据映射到高维的时候提升对复杂系统的学习能力；加入了一个反馈结构，它

    将历史的输出经过一个精心设计的非线性函数的处理然后反馈回来，由于反馈运

    用的函数与前馈的核函数的内在联系，具有这样特殊反馈结构的系统呈现对称的

    美学意义；在自适应步长的推导上，我借用了一个源自ＭＩＴ的推导思路，其基

    本思路是将误差看做步长的函数，原文只适用于