主题:【翻译】概率随机及编程 (一) -- 东方射日
共:💬21 🌺99
你说的对,神经网络的核心不是随机算法,而应该是那个活化函数(常用的s函数或双曲正切函数)。并且传统的神经网络算法如你所说,没有用到随机算法。
以最简单的三层前馈神经网络为例,输入层在接受输入后,传导给隐藏层,传导的过程则是输出值乘以权重加上一定的偏差值。各神经元间连接的权重和偏差是通过回馈函数进行训练修正的。
这种不带随机的神经网络有一个特点,就是如果不断给出输入同样的输入,经过长时间的回馈训练,其行为会逐渐逼近线性函数,稳定地给出我们希望的输出值。类似于我们说说的条件反射。
放在日常生活中,一个熟练工人我们可以说他出错的可能性很小,但是我们不会说他绝对不会出错。
所以在游戏的人工智能中,我们在神经网络中通常会引入一些随机量,也就是人为引入些噪音。对权重和偏差随机有些变化。这样在对同样输入长期训练后仍旧会有一些出其不意的变化。可能是更好的决策,更多可能是大脑短路的自杀。
其二,隐藏层通常是非线性的活化函数对传递来的信号分析后,输出到输出层,通常会活化超过一个的输出神经元。一种方案是采用赢家通吃的办法,将活化值最大的神经作为该算法的输出。但是更常用的算法是将各个神经元的输出作为权重,采用随机函数来决定该算法的输出。
所以准确的说法,我应当将“神经网络算法是随机算法的应用”修改为“神经网络算法也应用了随机算法”
- 相关回复 上下关系5
🙂【翻译】概率随机及编程 (二) 10 东方射日 字3687 2008-12-18 21:57:39
🙂【翻译】概率随机及编程 (三) 8 东方射日 字5721 2008-12-18 22:12:21
🙂啊,算法研究要支持~ 1 弦子 字426 2008-12-18 22:41:45
🙂神经网络算法和随机算法
🙂沙发. 沉宝 字0 2008-12-18 21:53:32