主题：【原创】教育探索（六）—大脑神经网络是如何形成的 -- 夕曦

没想到陈王也有兴趣研究机器学习

我觉得卷积对应的不是生理逻辑，而是对应“聚团、聚类”的自然现象，也就是马哲里的一个基本假设“事物联系的普遍性”；而动物包括人的大脑为了能够处理这样的自然现象，因此会自发产生你所说的“天然的卷积”的类似结构

Deep Learning深度学习是在ANN人工神经网络的基础上发展起来的，更具体一点的，卷积神经网络CNN是在多层神经网络MLP的基础上发展起来的，从MLP的角度看，更加符合“事物联系的普遍性”。但是普遍性的泛滥，导致响应（关联、激活、依赖、函数。。。诸如此类的描述都可以）呈几何级数爆咋，从而难以处理。CNN即卷积就是为了解决此问题，将普遍的联系简化到一个局部的联系，以及假设各个局部的联系之间具有普适性（同一性），降低问题的复杂度，使得在有限时间内能够处理

一个不太恰当的类比，MLP就像是CRF条件随机场，将所有的状态综合到一起求取联合概率分布，模型看起来包罗万象但是却难以处理，CNN则是简化后的MRF马尔科夫随机场，通过假设事物只跟相邻（一阶或者低阶）的事物有联系，简化问题从而简化运算

至于这样的简化为什么能够work，这是科学的黑盒子，现在没人能说清楚。直观的感受就是虽然万物之间皆有联系，但是我个人今天的心情如何，和什么美国的大选、日本的地震等等的关系可能并不太大，更多可能就是受我身边的老婆、小孩儿、朋友等的情绪影响；所以只能说可能上帝造物本来就是遵循的这样类似的逻辑，即具体构建局部的local逻辑，然后各个局部互相影响后自动涌现复杂系统

扯远了一点，总之谈到卷积，就应该谈到receptive field（感受野），感受野即是会直接参与到局部决策的一个状态子空间，我们建模并在有限时间里处理这样一个有限的子空间，同时假设建立的模型在整个状态空间的各个子空间里都有效，从目前的CNN卷积神经网络实践中来看，这条路子相当好

说得乱了些，见谅