主题：【原创】教育探索（六）—大脑神经网络是如何形成的 -- 夕曦
家园 【原创】教育探索（六）—大脑神经网络是如何形成的 通过类比，我们发现电脑和大脑都具有以开关为基础的网络结构，用来实现信息存储、运算、反馈这些信息处理功能。人类大脑的高级功能，就是常说的智力或智慧，是人们认识事物并运用已有知识解决实际问题的能力，包括观察力、记忆力、想象力、分析判断能力、思维能力、应变能力等等，也都是通过这个神经网络来实现的。从神经网络来看，足够数目的突触（不能太多，太多了也有问题），连接的越好，信息处理功能就越强大，大脑就越聪明。所以高智力对应于连接更好的神经网络。
电脑和大脑的信息网络也有很大的差异。
从规模上看，构成电脑CPU的基本模块是集成电路，目前已进入巨大规模集成电路GSI时代，集成组件数达到了10的9次方以上，所构建成的开关（逻辑门电路）数目与电路组件数大致相等或小一个数量级。组成人脑神经网络的神经元的数目在10的11次方左右，但构建的开关数目（突触）则达到了大约10的15次方个。
从空间结构看，虽然今年有新闻报道出现了革命性的三维集成电路，但还只是处于研究阶段，没有进入应用。目前电脑的信息网络还是二维的平面结构。对于人脑的网络来说，是个三维立体结构。
不论是从规模还是从空间结构上看，大脑的网络结构远远比电脑的网络复杂。
从形成过程看，所有电脑的网络都是预先被设计出来，然后才开始制造的。随着知识与技术的发展，电脑网络的复杂程度越来越高，但具体到每个细节的连接还是被人脑设计的。最初的电脑，其运行程序的改变是通过改变电子线路来实现的；而现代的电脑为适应大规模生产模式，其信息网络一旦设计完成，电子线路就被固定下来，运行程序的改变只能通过调用、执行不同的软件程序来实现。不同的软件程序，都是在同一个固定的网络中运行。与通过改变线路形成的专用电路相比，会损失一定的运算速度。
对于大脑，现在我们还没有能力认识、搞清楚局部的神经网络连接结构，更不用去想象、理解整个大脑的信息网络如何设计的。
我们已经知道基因是生命延续的密码，记录并传递着遗传信息。人的生、长、病、老、死等一切生命现象都与基因有关。通过人类基因组计划发现人类基因组的30亿个DNA碱基对序列，只有很小一部分编码了不到三万个基因。这些基因储存着生命孕育、生长、凋亡过程的全部信息，通过复制、表达、修复，完成生命繁衍所有人的遗传信息。
人类的基因肯定与大脑发育、生长和功能相关。但不到三万个基因是否携带了足够的遗传信息，能够直接设计决定神经网络中高达10的15次方个突触的所有具体连接？也就是说，由不到三万个基因在一维线性序列上存储的信息是否能够决定有10的15次方个连接的三维空间结构？从常识上看由一个简单的系统决定另一个极度复杂系统的详细设计是不太可能的，或者是根本不可能的。
我们很容易得到这样的结论：人脑的神经网络是不可能被预先设计出来。或者是说：人脑的神经网络是不可能在出生时就已经构建完成了的。
人脑发育的绝大部分发生在出生以后，人脑发育最重要的部分也发生在出生以后。
人的基因组上携带的遗传密码只能给这个极度复杂的三维空间网络提供基础的框架，决定了大脑的阶段性发育，如大脑的发育是从后向前的，靠近额部的大脑最后发育完成。在这个时序框架内，人脑的神经网络可以在很大程度上自主、自由地生成、修改，最终成形并固定下来。以前人们根据大脑重量的增长，估计大脑发育要到十岁左右完成。现在依据功能磁共振成像技术（fMRI），发现大脑的发育过程要一直延续到20至25岁。
人脑的神经网络发育要很长时间才能完成，差不多占据了人生最初四分之一左右的时间。在这漫长的过程中，许多遗传因素以外的因素通过长期的、潜移默化的方式对网络结构产生重大影响。对于一个没有重大基因缺陷的人来说，基因对神经网络的发育，也就是对智力的影响不是很大。
自然的长期进化，给大脑形成了一套精妙而独特的机制，用来构建神经网络。
下图显示了突触密度随年龄增长而发生的变化。
外链图片需谨慎，可能会被源头改（图片来源：外链出处）
刚出生的正常婴儿，大脑所有的神经元细胞（1000亿以上）都已产生、分化好，并迁移到大脑适当的部位。这时的神经元细胞上还没有多少突起，相互之间只形成了很少的突触连接。据估计新生儿的突触数目不到成人的三分之一。新生儿的大脑神经网络能够处理的信息非常有限，仅仅能做出基本的神经反射，眼睛能够看清楚的距离大约只有一尺左右。
出生后，大脑直接暴露在一个全新的复杂环境中，各种信号都需要大脑进行相应的处理，这就刺激了大脑神经网络的快速发育。神经元从胞体快速地产生突起并不断延伸，相互之间通过随机的方式形成大量的突触连接，逐渐形成越来越复杂的网络。伴随着新突触的产生，同时也存在着已生成突触凋亡、消失的过程。在幼儿发育的早期，新生成突触的速度大于凋亡的速度。在两到三岁左右，突触数目达到顶峰，大约是成人的两倍以上。在这以后，突触消失的速度逐渐超过生成的速度，突触数目开始减少。一般认为，到成人阶段神经网络被髓鞘和其它细胞保护并固定下来，突触产生和凋亡都很少发生，突触数目渐趋稳定。随着年龄的增长，突触数目开始下降。
在神经网络形成过程中，连接网络的突触是随机产生的，但决定哪些突触需要保留、哪些突触又需要裁减的过程却不是随意的，而是根据大脑获取的外界环境信号决定的。如下图所示，环境信号传入大脑，引起神经元兴奋产生动作电位，传播到突触。被激活的突触释放神经递质对下一个神经元产生兴奋或抑制。同时，被激活的突触两端可释放生长因子，维持突触的生存，保留了信息处理的通路。长期没有被激活的突触，因为缺乏生长因子的作用则逐渐萎缩、凋亡，这部分信息传导通路因缺少使用，得不到足够生长因子而萎缩、消失。
外链图片需谨慎，可能会被源头改简单地说，大脑发育就是神经元先随机连接形成过量的突触网络，然后通过生物学上的“用进废退”原则，根据环境信号的反复刺激对突触网络进行修剪。这个过程类似于果树的剪枝，也有个相类似的专有名词，叫突触修饰（synaptic pruning）。Pruning的中文翻译就是剪枝的意思。
大脑神经网络的发育过程一定要与周围环境发生密切的交互作用，通过各种各样的环境信号不断地对随机生成的信息网络进行修剪、调整，最终保留最有效的信息处理网络。一个能够应对处理各种信息的神经网络，是由所处的复杂环境所塑造的。
相比基因组上的遗传因素，环境因素对人类智力的影响作用更大。环境可以改变人脑的结构（神经网络）。
人们一直在不知不觉中遵照这个原理、使用各种方法、有目的有针对地来给孩子提供各种环境信号，以构建更“聪明”的大脑，这就是我们所说的教育。
教育也可以改变人的大脑。人类所有的文化中，教育都涵盖了人脑发育的大部分或全部过程。一个高度重视、并实施恰当教育的社会，会有很多人拥有连接更好的大脑。
教育过程与大脑发育过程的重叠，但并不是说过分强调正式的教育，或者说是通常认为的知识教育，就能够构建更聪明的大脑。例如大多数中国家庭都熟悉或使用过的、让小孩子背诵唐诗宋词的方式，就是通过反复、强化的外界信号刺激，在孩子大脑中建立相关的信息网络。如果孩子太小，大脑的网络还没有能力充分理解所背诵内容，那么背诵的过程仅仅建立了信息存储的网络，还没有建立如何使用信息的网络。对多数孩子来说，长大进入社会后并不需要使用这些存储的信息和相关的神经网络。对这些孩子，背诵唐诗宋词的过程或许可以同来构建更有用、更好的网络。
教育仅是大脑发育过程中接受的外界环境信息的一部分，常常是主动地、按照固定模式提供的。和其它环境信号一样，不是所有的教育对孩子大脑的发育都是有益的，有些也是有害的。教育内容和方式还必须和大脑发育不同阶段相匹配。同一种教育，在大脑发育过程中过早地给与，常常具有更大的危害。因为这不仅挤占了大脑建立正常神经网络的机会，而且在实施过程中常常会带有强制性、欺骗性，对大脑建立正常的情绪控制网络有很大的危害，从长期看降低了大脑的执行功能。
环境可以改变人脑的结构，人脑与环境交互作用的核心是突触网络和突触修饰。从这点出发看教育，会进入一个不同的境界。在进一步讨论教育之前，我们不妨考虑几个很有意思的问题。
首先，为什么大脑不能长时间连续工作？
人脑和电脑一个很大的不同在于，电脑可以长期连续地工作，而人脑则做不到。
外链图片需谨慎，可能会被源头改（图片来源：外链出处）
神经网络的基本元件神经元是活的细胞，必须维持正常的新陈代谢才能维持信息处理功能。神经元兴奋产生、传递动作电位，激活突触释放神经递质，这些过程都需要消耗能量。生物细胞使用的是一种带有高能化学键的分子能量（ATP），由线粒体产生。突触在执行信息传递功能时，还要消耗神经递质。神经递质在细胞体合成，贮存在突触小泡内，经过运输到突触才能使用。大脑在处理信息时，神经元同时也不断地合成分子能量和神经递质等必须地分子，并将代谢废物及时运走。如果让大脑长时间地处于高强度的兴奋状态，就会发生能量与神经递质供给不足的情况，信息处理速度减慢，反应能力降低。只有经过睡眠休息，才能调整恢复到良好的状态。
有意思的是，当大脑神经网络信息处理能力开始下降的时候，最先给出的人体信号不是：“困了，需要睡觉”。而是：“饿了，要吃东西”。按照内分泌专家的说法：人体大部分想吃东西的时候，并不是身体真正需要食物的时候。大脑兴奋过度是引起吃的欲望之一。
孩子的大脑处于发育期，突触数目远多于成人，因髓鞘的发育还不完备神经元之间也缺乏足够的绝缘。与成人相比，这时的神经网络更容易产生大范围的过度兴奋。孩子越小，就越不能够有效地把这种状态明确地表达出来。父母也常常忽视、误解孩子表达的身体信号，采取不当的应对方法。
第二个问题是：胎教有用吗？
在“不能让孩子输在起跑线上”这句话的蛊惑下，很多不求甚解的家长非常热衷于提前开始教育。顾名思义，胎教也“算是”教育，所以也是很多家庭追求的热点。
外链图片需谨慎，可能会被源头改（图片来源：外链出处）
如果你用“胎教”作为关键词，在互联网上做个简单的检索，会得到铺天盖地的信息。
其中的一种说法是：“据国外神经学专家研究，胎儿从第5周之后形成神经细胞，因此父母亲希望宝宝有什么样的智力，希望能够在有利的条件下增进遗传中大脑潜力的发展，这在一定程度上是可以预先设计的，其方法很简单，那就是胎教。”支持的根据是：“近20年来，许多发达国家如美、日、法、俄等国家的产科医师在研究胎儿医学的基础上，使用B超、胎儿镜、脑电图等先进科学仪器进行检查，证实了孕24周后的胎儿有了听觉功能，并通过实验发现出生后的婴儿对宫内曾经听惯的音乐有记忆的表现。”
不论何种说法，最后总要强调：“胎教是一种优生优育的方法之一，为了使宝宝出生后有一个良好的基础。在胎儿期内，利用一定的方法，通过母体给胎儿以各种良性刺激，从而促使胎儿生理和心理上的健康成长。” 更幽默的是，还有的胎教网站强调：“许多人以为胎教就是教育胎儿,或者说让胎儿接受教育，这是一种误解。胎儿是没有思维能力的，因此胎儿是什么也学不会的。那么胎教还有什么意义呢?”原来“胎教”是给妈妈的，那么不妨用“围产期保健”在互联网上检索一下，你会发现围产期保健比“胎教”做得更好。
用神经网络发育的知识来分析“胎教”，会有进一步的认识。婴儿在出生时，大脑的重量只有成人的十分之一，突触数目不到成人的三分之一，神经网络只具有最基本的条件反射功能，不具有任何高级的认知和执行功能。很容易推断，在出生前胎儿大脑只可能具有比这更加原始的功能。
在母体的保护下，胎儿所处的环境非常单一，因此大脑的发育受遗传因素的影响比受环境因素的影响更大。遗传因素保证了胎儿能够生成足够数目的神经元并迁移到大脑适当的位置。胎儿神经网络的发育几乎都是集中在脑干部位。脑干包括了控制人体基本生命功能的神经中枢，如心跳、呼吸等。这部分的神经网络自主性强，是出生后独立生活所必须具有的功能，这部分神经网络在出生后受环境的影响也不大，所以不需要外界的环境信号，更适于在胎儿期充分发育。
如果你想了解更多胎儿大脑发育的信息，可以参考这个网站，提供了较详细的解释和相关的参考书籍外链出处。
第三个问题是：人能够克隆吗？
很多人看过好莱坞科幻大片《第六日》，故事梗概：“在不久的将来，人类科技的技术已发展到可以任意克隆任何生物，甚至包括人类本身的地步，不过克隆人类仍然被宣布为非法行为。但充满野心的科学家却死心不息继续秘密地研究复制人类的可能性，因而引出了一系列惊险的故事。。。”
外链图片需谨慎，可能会被源头改克隆人（动物）是近年来很热门的话题，追求长生不老或许是克隆人的主要目的。很多人相信随着科学技术的发展，克隆人是可以实现的。所以很多的讨论是关于伦理、法律相关的问题。也有人已经直接投资开始做起来了。
我相信克隆一个具有完全相同基因的个体是可以实现的。但是，根据前面介绍的大脑神经网络的形成过程，你可以想一想是否能够将一个大脑的神经网络完整地克隆出来？这需要复制完全相同的大脑外界环境，如何做到？我想象不出来，也没有见到有人讨论过。
不过，从一个人身上克隆出另一个基因完全相同的个体，但具有截然不同的大脑，这会是个挺有意思的科幻题材。现在玩儿“穿越”还不如玩儿“克隆”，比如将希特勒“克隆”到犹太人家里。。。
版权声明：本稿件、作品版权归夕曦所有通宝推：人在旅途,西伊,宇卿,有道理,小李药师,mezhan,桥上,陈王奋起,Rusher,一马平川,jboyin,铁手,
本帖一共被 5 帖 引用 (帖内工具实现)家园 作者续作能加上机器学习的比较拟合就更好了 最近在学习DeepLearning，有很多感触。机器学习和人的大脑神经运算相互对照，更有启迪性。
家园 别扯脑子 扯脑子，仅限于60年前的“启发”，仅限于高大上的包装。
更踏实的，是从统计出发、从“一般线性模型”出发。神经网络仅仅是个计算模型，和脑子真的没啥关系了
老是想着神经如何，会变成玄学的
比如，神经网络模型中的权值连接相当于模拟信号控制，而神经冲动则是“调频脉冲”，从根本上风马牛不相及
最初人工智能中的一些规划、问题规约、专家系统那些东西，现在都似乎不作为人工智能了，仅仅作为计算机算法。他们被总结为“基于逻辑”的人工智能。
现在普遍理解的人工智能，研究集中在特征、表征、优化，尤其是那些现在的“数据驱动”的模型，却与“逻辑”之间没有联系。
家园 对机器学习解决不多，做过一些， 感觉主要是在数据挖掘中的应用。能否请谈谈你感触的要点？
家园 我刚刚开始学习机器学习 一些看法不一定对，仅供参考。
现在的DeepLearning， 一层层卷积， 对应的生理逻辑是什么？ 我猜测是基于神经细胞内部的化学反应，是天然的卷积，但没有看到系统的文献阐述。
观察我一岁小儿子的学习，感觉人的学习也是一个不断进行卷积， 勾勒轮廓，抽象特征的过程， 白天的叶子他一点都不害怕，晚上的叶子他就有陌生感，明显是对夜间的叶子图像处理太少， 这个unsupervised 的学习得到的参数是时刻在进化的，它存在什么地方呢， 大脑？还是分布式存在于神经以及大脑各部分？
神经末梢到神经，这里面有没有类似我们做的传感器融合，也就是说有没有类似的传递函数多重叠加，考虑到不同分支权重的融合， 还是简单的算术叠加， 神经已经根据粗细自动配比了权重？
神经反应对应的是决策过程，这个决策机制是什么？我感觉有两层决策机制， 一层是纯粹的生理反应，一层是经过大脑做出的决定。 后者暂且不谈，前者是如何决策的呢？
人从婴儿长到大， 神经和大脑系统在发育， 对应着就好像电脑的硬件一直在升级。 对应的处理过程、处理方法是不是变化的？
问题太多， 一下子想不清楚，先写这点，真有点不好意思。
家园 尝试讨论陈王的几个问题 刚才发帖谈了一下卷积的具体问题，属于想到哪里说到哪里，写得太乱，整理一下思路具体讨论一下陈王提出的一些问题吧。
现在的DeepLearning， 一层层卷积， 对应的生理逻辑是什么？ 我猜测是基于神经细胞内部的化学反应，是天然的卷积，但没有看到系统的文献阐述。前一个帖子说到了个人认为卷积是对“普遍联系”的“局部具化”，这里针对“一层层”再说一点
虽然深度学习都具有类似的层级结构，但最初启发这些不同层级的来源却是不一样的。就卷积神经网络来说，主要针对的问题是二维图像问题（也有一维和三维的卷积，但最初就是针对二维来的），因此卷积神经网络的层级概念是借鉴于人脑视觉皮层，常说的有V1到V5
说点有意思的题外话，最早大规模成功的卷积神经网络，2012年的AlexNet就是5个卷积层，紧接着2014年的VGG-Net虽然有多达16-19层，但是也是被划分成5个大的层级，只是一个大层中嵌套有3个左右的小卷积层，这不禁让人遐想卷积神经网络最初是否就是对人脑视觉皮层5个区的直接仿生。此后的GoogLeNet也大致可以看成5个大层级，只是这里5个层级已经到达最后的决策（分类结果）了，而Alex和VGG里面的5层其实是特征提取，算上决策其实有6层了
观察我一岁小儿子的学习，感觉人的学习也是一个不断进行卷积， 勾勒轮廓，抽象特征的过程， 白天的叶子他一点都不害怕，晚上的叶子他就有陌生感，明显是对夜间的叶子图像处理太少，这个unsupervised的学习得到的参数是时刻在进化的，它存在什么地方呢，大脑？还是分布式存在于神经以及大脑各部分？陈王这段话信息量太大，我感觉至少包含了三个问题
首先，“一个不断进行卷积， 勾勒轮廓，抽象特征的过程”，这句话点到“一层层卷积”的关键了，其实就是逐步抽象，由像素点构成了图像边缘，边缘组合构成了交叉、平行等纹理，纹理又构成了局部图像块，然后再构成物体局部（Object Parts）和物体整体。我们有一定的理由相信，这个宇宙就是这样从一致性的基本单元逐步组建成万千世界，所以为了尽可能简单地建模描述这个万千世界，就必须将各个基本单元逐层解构出来。这里可以参考压缩感知Compressive Sensing。但这不是一个学习的过程，只是一个世界或者事物的编码与解码Encoding & Decoding过程，只是我们进行的一个基础假设，遵循这个假设来让机器或者是数学理解这个世界
第二个，“白天的叶子他一点都不害怕，晚上的叶子他就有陌生感，明显是对夜间的叶子图像处理太少，这个unsupervised的学习”，这句话有点似是而非了。按照目前我所接触到的资料，非监督学习unsupervised在深度学习中可以有，但是作用有限。直观的说边缘也好，纹理也好，这些低层次特征完全可以通过非监督学习得到，但是更高层的抽象特征，甚至是决策（分类）结果，很难通过非监督学习得到，主要仍然是非监督的优化目标比监督式的要更加难以设定。如果能够找到办法设定优化目标，那机器也同样会取得非常不俗的成绩，参见生成式对抗网络GAN。套用在孩子这里，我觉得如果完全是unsupervised，如果绝对没有父母去告诉他“这是叶子啊，和你在白天看见的叶子一样”，那孩子自己通过多看可以逐渐了解晚上有一种轮廓像叶子一样的东西，但是却很难，或者说需要非常长的时间才能理解这东西就是叶子。
又是一句题外话，在人类身上其实是有“顿悟”这样的事情的，就像一个孩子一辈子没人告诉他晚上那是叶子，也许有一天他自己也能搞明白那就是叶子。这种现象成因非常复杂，有一种猜想是当网络和模型足够复杂的时候，这种现象可能会自动涌现，这就只能等未来的研究人员去证明或者证伪了
第三个，“学习得到的参数是时刻在进化的，它存在什么地方呢，大脑？还是分布式存在于神经以及大脑各部分？”我觉得就是存在于大脑各个突触形成的某些回路中，这个后面再详说
神经末梢到神经，这里面有没有类似我们做的传感器融合，也就是说有没有类似的传递函数多重叠加，考虑到不同分支权重的融合， 还是简单的算术叠加， 神经已经根据粗细自动配比了权重？融合必然是存在的，因为人脑中的“概念”其实是全方位立体的，叠加方式这个真不知道
我是这样在理解人脑的工作方式，脑细胞作为一种特殊的细胞，其个体应该和单细胞生物例如草履虫没有本质的不同，因此作为单个的细胞，可能只有应激（1）和不应激（0）两种状态，最简单的加法、乘法运算都是不能完成的，而多个相互连接的细胞作为一个整体，就会出现像二进制编码一样的各种状态，所以融合可能就是像哈希一样从多个二进制输入得到了一组新的二进制输出
每个人自己脑袋中的哈希函数都是随着个人成长相互独立生成的，所以响应会有很大的不同，脑回路也会很不一样，可以参考一下递归神经网络RNN及长短期记忆LSTM里面的各种门，每个人的long和short的定义都不一样，所以思维方式不一样，得到的结论（编码）也有很大的区别
对于有一个固定结论的问题，比如认人认物，要“统一思想”也很简单，给这些不一样的哈希结果都打上一样的标签就行了，这一点目前不通过监督式supervised的话还真没什么路子，只有看上规模之后会怎么样
神经反应对应的是决策过程，这个决策机制是什么？我感觉有两层决策机制， 一层是纯粹的生理反应，一层是经过大脑做出的决定。 后者暂且不谈，前者是如何决策的呢？如果不谈后者大脑怎么做出决定的话，前面的生理反应还是比较容易理解的
这其实就是通过大量的训练，将一些固定的模式形成了一种固化，有点像所谓的“肌肉记忆”。长期大量的训练，形成了固定的脑回路，相当于是大脑里的高速公路，可以从因直接跳到果，把中间大量的分析推理的过程全部省略掉
其实目前深度学习也就是大致到了这一步，在训练中将大量出现的模式固化成为网络参数，然后只需要一个forward过程就快速从输入得到输出，不需要再像以往一样进行大量的比对、匹配的工作
人从婴儿长到大， 神经和大脑系统在发育， 对应着就好像电脑的硬件一直在升级。 对应的处理过程、处理方法是不是变化的？这个当然是在变化的了
在我的记忆中，人的脑细胞个数好像是定死了的，只能死亡，不能产生新的脑细胞，所以神经和大脑的发育，只是细胞之间的连接关系在增多，构成更加复杂的回路，而不是硬件本身在升级
那么可以对比一下深度学习中的两个问题
第一个问题，深度学习网络结构的泛化能力，比如前面提到的AlexNet、VGG等等，事实证明直接采用这些经典的网络结构，针对具体问题时通过fine-tuning调节权重参数，网络结构对于具体问题具有良好的泛化能力。这意味着大脑硬件不变、脑回路不变的情况下，通过针对性的训练，已有的脑回路对于新问题也具有一定的解决问题能力。我听说有些盲人，可以通过听觉、触觉等方式来做到类似于视觉的感知能力，我觉得这是一种例证
第二个问题，深度学习网络结构的改变，最近两年有大量的工作提出了深度学习网络结构的改进，最有名的应该是GoogLeNet以及ResNet，这些工作在不增加甚至减少运算量（硬件依赖）的情况下，有效提高了机器学习的效果。这意味着大脑硬件不变的前提下，通过改变脑细胞之间的连接关系，也就是重构脑回路，也能够得到人这个系统的提升。甚至还有一些工作，在研究自动学习或者是弹性改变网络结构，所以我们完全有理由相信，在神经和脑系统发育的过程中，脑回路不断进行演进，反复尝试用新的处理过程和处理方法来更快更好地得到决策结果
通宝推：唐家山,陈王奋起,家园 谈谈对卷积的个人认识 没想到陈王也有兴趣研究机器学习
我觉得卷积对应的不是生理逻辑，而是对应“聚团、聚类”的自然现象，也就是马哲里的一个基本假设“事物联系的普遍性”；而动物包括人的大脑为了能够处理这样的自然现象，因此会自发产生你所说的“天然的卷积”的类似结构
Deep Learning深度学习是在ANN人工神经网络的基础上发展起来的，更具体一点的，卷积神经网络CNN是在多层神经网络MLP的基础上发展起来的，从MLP的角度看，更加符合“事物联系的普遍性”。但是普遍性的泛滥，导致响应（关联、激活、依赖、函数。。。诸如此类的描述都可以）呈几何级数爆咋，从而难以处理。CNN即卷积就是为了解决此问题，将普遍的联系简化到一个局部的联系，以及假设各个局部的联系之间具有普适性（同一性），降低问题的复杂度，使得在有限时间内能够处理
一个不太恰当的类比，MLP就像是CRF条件随机场，将所有的状态综合到一起求取联合概率分布，模型看起来包罗万象但是却难以处理，CNN则是简化后的MRF马尔科夫随机场，通过假设事物只跟相邻（一阶或者低阶）的事物有联系，简化问题从而简化运算
至于这样的简化为什么能够work，这是科学的黑盒子，现在没人能说清楚。直观的感受就是虽然万物之间皆有联系，但是我个人今天的心情如何，和什么美国的大选、日本的地震等等的关系可能并不太大，更多可能就是受我身边的老婆、小孩儿、朋友等的情绪影响；所以只能说可能上帝造物本来就是遵循的这样类似的逻辑，即具体构建局部的local逻辑，然后各个局部互相影响后自动涌现复杂系统
扯远了一点，总之谈到卷积，就应该谈到receptive field（感受野），感受野即是会直接参与到局部决策的一个状态子空间，我们建模并在有限时间里处理这样一个有限的子空间，同时假设建立的模型在整个状态空间的各个子空间里都有效，从目前的CNN卷积神经网络实践中来看，这条路子相当好
说得乱了些，见谅
通宝推：唐家山,家园 问题太多，有点招架不住。 当然其中很多问题现在还没有答案。只能谈谈我的认识。
Deep Learning起源于计算机领域（computer science），打破了传统统计学对数据分析的垄断。传统统计学先有假设，然后根据假设构建数学模型，再去分析数据并验证调整。对大数据来说，传统统计学的模型常常过于简单，不仅解决不了问题，反而成了数据分析中的障碍。尤其是multiple comparison的概念，极大地阻碍了生物医学领域的大数据分析。
机器学习理论反其道而行，先探寻数据结构的初步规律，再以初步规律建模进一步探寻数据，不断反复，螺旋式前进。就是辩证法的“肯定、否定、否定之否定”。也是你说的卷积过程。
但是目前机器学习中的“否定、否定之否定”，还是需要人脑来进行的，也就是由人来对每个阶段机器学习的结果进行解读、分析。
我理解机器学习与人脑最大的区别包括：机器学习是数字式的，人脑是模拟分析模式。这其中应该包括你提到的“传感器融合”。
另外一个区别更重要，机器学习的“否定、否定之否定”是通过修改程序（软件）完成的，人脑是通过修改硬件（神经网络）来完成的。在我的教育理论中，这是与孩子大脑发育/教育最关键的地方。有意思的是最初的计算机就是通过修改逻辑电路来修改程序的。
家园 关于否定之否定 作为一个目前主要从事深度学习研究的从业者，同时又是一个两岁小孩儿的父亲，白天教机器，晚上教小孩儿，这真的是一种非常奇妙的体验，从个人的感受上，真的是佩服深度学习设计的精妙和完美，使得教机器和教小孩儿的体验非常之类似
目前的深度学习方面的否定之否定，当然有大量的研究人员走的是修改程序软件的路子，但个人觉得这是体现个人价值（或者粗俗点为了完成科研目标）的需要，其实深度学习具有这样的潜力，就是不修改或者很少的修改程序和软件，靠堆数据来完成机器的否定之否定（模型参数的自我调节），这和教小孩儿认东西简直是一模一样的路子
对脑科学很好奇但是没有研究，不清楚脑突触、脑回路除了存在与不存在（0和1）之外有没有其他的中间状态，我觉得基于浮点运算的深度学习就是对脑回路的一种暴力拟合。现在有一个很有意思的深度学习路线，就是位运算深度网络，深度学习三尊大神之一的Yoshua Bengio目前在专注这一方向的研究，看起来跟真实神经的运作方式会更加一致，感觉未来人工神经网络和医学脑科学的研究会相互促进，共同寻求突破
通宝推：唐家山,家园 谢谢回复 改天有时间我把我认识到的今天的机器学习贴上来。
DeepLearning导致了海量的运算，在探索如何降低运算量的过程中，大量学习了人体思维的过程， 但哪些是学习，哪些是自有数字架构的运用，一般做coding的码农是不关心的。
我因为个人对思维的本质感兴趣，所以特别关注。
通宝推：唐家山,- 复 谢谢回复
家园 我很期待你的下一篇 我是做逻辑和推理这方面科研的，可以感觉到“基于逻辑”的人工智能肯定不是人类智能。网上有观点说人类智能在本质上有可能是"多层神经网络+贝叶斯方法",外链出处，不知道他们这个观点是否为真。如果为真，那就有一个问题，从多层神经网络+贝叶斯方法中如何能得到现代公理化的演绎规则体系。人类是有知识传递系统的，虽然比较低效，但是通过一代代顶尖头脑的传递和扩充，可以得到目前的演绎和推理系统，不知道深度学习之类的方法能否通过学习的方法自行得出这些人类的知识精华，如果可以的话，人类作为纯人类的历史应该是要终结了。
家园 统计贝叶斯方法能够统领机器学习这么多年 统计贝叶斯方法能够统领机器学习这么多年，绝对不是毫无缘由的，统计学与人类决策必然存在天然联系，不仅仅在于统计学在很多时候能够给出类似的正确决策，而且人类的错误决策，例如短视、浅视、经验主义等，也可以从统计学上找到对应的问题
“多层神经网络+贝叶斯方法”的路子问题不大，但是离真正的人工智能之间的差距仍然有十万八千里，这里面的鸿沟主要是两个（或者说一个），一是量化，目前深度学习虽然体现出了“直觉、概念”等潜力，但是受限于网络和问题规模，其可利用价值不大，所有的输入、输出仍然必须量化成数字才能与机器交流，而很多我们日常接触的东西，能否量化，怎么量化，这是一个非常大的问题；二是目标，神经网络也好，贝叶斯方法也好，归根到底都是一个数学的优化问题，那么一个好的优化目标，在解决问题的过程中起到举足轻重的作用，那么规则的发展、系统的发展，以及自身的发展，这样的优化目标，以目前机器“概念”的能力还完全理解不了，表现就是机器不具备主观能动性，只会死板地完成人类指定的具体学习任务，而没有更宏观的学习目标，所以这个问题也可以说成是一个目标的量化问题
而这个量化问题，至少在目前，还没看到任何能够解决的希望
通宝推：唐家山,
- 复 谢谢回复
家园 思维的过程，人脑有working memory（缓存） 和deep memory（无意识记忆，本能）的差别。计算机上对应的是RAM与硬盘，但两者之间联系的结构、如何联系，还不是很清楚。
家园 我觉得人脑有几个不同的硬件规律分析回路 同一个输入，几个回路同时平行分析。比如炒股分析历史表，趋势线，交易量就是把同样数据，用不同方法表现出来，方便找出规律。有用没用说不定，人脑总是能分析出一点规律出来。所以用没有先天偏见的电脑找大数据规律，再用人脑能理解的方式表现出来，就是机器学习的根本思路。
家园 不是几个不同的分析回路，而是多得数不过来。 经过反复学习，通过用进废退原则，优选出最佳的回路。