主题：【原创】围绕脑科学而发生的若干玄想 -- 鸿乾
看树河友最近没有来了。但是他的帖子应该提上来：比如Google那个发现猫的工作：链接出处 这是很有趣的帖子，请大家不要错过。
他的这个帖子中说到的Autoencoder就是韩盾的工作，可以见我前面所引的韩盾的视频。
这个Autoencoder是一个很大的人工神经网络，估计要用很大的硬件资源来运行。不过，这个人工神经网络中，有一个最基本的部件，即RBM，就是限制的波尔芝曼机器。整个网络就是用这个部件堆砌起来的。这个东西，在最近几年中极大推进了机器学习的研究。看树河友讲到的这段：
为什么会如此神奇？也许是因为，我们的算法和上帝的算法一样，我们的大脑和人脑结构一样。同样的输入，自然会产生同样的结果。如果上帝的算法变了，也许人都无法形成“人脸”这个概念。
这种兴奋感，就是这种科学进展的准确描述。
那么这个RBM和我讲的元学习机有什么关系呢？我不清楚。但是隐隐感到，可能的确有什么比较重要的联系。
胡思乱想一下：
大脑虽然不会生长出记忆，但是可以生长出用于“熔断”的平台。
所谓天资好的人，就是脑子里随机生长出的可供熔断的资源比较多。什么东西一学就会。
学东西快和记忆力好可能是对矛盾。记忆力好的人可供学习的资源可能不如学东西快的人。
下面这句话，凭直觉我认为你是对的
一者三友这个开疑解惑很好。利用化肥的例子来说明，人类通过了解粪便中是哪些化学元素对作物生长起作用，进而直接通过化学合成手段来自行制造这些材料达到粪便同样的目的（这句话听起来有点怪怪的）。
那么回过头看脑神经与计算科学，人类至今走的路子基本上是类似化肥的途径，即通过了解信息处理与采集的物理过程进而自行开发了电子手段来满足模拟人类大脑的信息处理。但是不幸的是，这条路似乎目前走的绝路上，发现模拟的途径不正确，在某些方面上远远超过大脑，但是在其他方面上完全不可与大脑相比，因此出现了反思，进而重新研究脑神经，也许希望发现一个不同的途径。
好比说开发出来的化肥不能去虫害，而人类粪便可以（这个是比方），于是重新研究人类粪便的成分。现在有些误解是以为这样重新研究粪便的过程是为了一对一的去重造人类大肠，这个可能不是目的，最终应该还是要走会化工厂的路子。
一切与创造力有强烈依存关系的工作恐怕都需要人类。
当然大多数人恐怕主要工作将转化为服务于他人的性质，从直接服务到娱乐精神服务，人与人之间的需要将会成为未来职业的一个主要发展方向，比如心理医疗，大众偶像等非产出性行业。当然这些行业中也存在大量对创造力的需求，比如打造偶像，音像产业都有很强的不确定性。
Jaron Lanier on Book `Who Owns the Future?': Video - Bloomberg
www.bloomberg.com/.../jaron-lanier-on-book-who-owns-the-future-u87...
1 day ago – ... of "Who Owns the Future?" Jaron Lanier discusses his book with Pimm Fox on Bloomberg Television's "Taking Stock." (Source: Bloomberg)
Jaron Lanier's Homepage
www.jaronlanier.com/
Web resources related to. Jaron Lanier Jaron's Book, "Who Owns the Future" has been released in the UK and will hit stores May 7, 2013 in the US/Canada and ...
You Are Not a Gadget - Lots of older material can be ... - Jaron Lanier's Bio
Jaron Lanier - Wikipedia, the free encyclopedia
https://en.wikipedia.org/wiki/Jaron_Lanier
Jaron Zepel Lanier (/drn lnr/, born 3 May 1960) is an American computer scientist, best known for popularizing the term virtual reality (VR).
Early life and education (1960 ... - Atari Labs, VPL Research (1983 ...
，那就是，如何进行这样的信息处理：收到两个标量，在不做减法的情况下，如何做出判断，使得可以寻找到食物。
为什么不做减法？很简单，因为神经元不能做减法。做减法是高度科学发展的结果（这里说两句，不要以为整数减法很简单，其实，人类真正掌握也不过1万年左右），不是神经元本来具备的。我想，很可能很多秘密就在这中间。
我不知道答案。但是这个问题是非常明确了。希望有更多的人来参与这个讨论。
1.
"不要以为整数减法很简单，其实，人类真正掌握也不过1万年左右"
2.
最早有關負數方根的文獻出於公元1世紀希臘數學家海倫，他考慮的是平頂金字塔不可能問題。16世紀意大利數學家（請參看塔塔利亞和卡爾達諾）得出一元三次和四次方程式的根的表達式，並發現即使只考慮實數根，仍不可避免面對負數方根。17世紀笛卡兒稱負數方根為虛數，「子虛烏有的數」，表達對此的無奈和不忿。18世紀初棣莫弗及歐拉大力推動複數的接受。1730年，棣莫弗提出棣莫弗公式:
(\cos \theta + i \sin \theta)^{n} = \cos n \theta + i \sin n \theta，
而歐拉則在1748年提出分析學中的歐拉公式:
\cos \theta + i \sin \theta = e ^{i \theta}，
十八世紀末，複數漸漸被大多數人接受，當時卡斯帕尔·韦塞尔提出複數可看作平面上的一點。數年後，高斯再提出此觀點並大力推廣，複數的研究開始高速發展。詫異的是，早於1685年約翰·沃利斯已經在De Algebra tractatus提出此一觀點。
3. GR
周光召:引力场没有质量
how do 神经元 folks do gauge in a 没有质量的引力场?
4.Verlinde's 全息屏 model
5 脑科学
fundamentally, 脑科学 is about a common sense/science combined modeling methodology, and we are doing models, 下意识 in our daily life, or do it in a "professional way"
so, 脑科学 is really about construct/architecture of modeling, it could be very "down to earth", such as EQ, or how to be a 人精 in tg/china system, or model精 in us/west system, or in doing your work projects as a professional
this is a good 樓, thank you!
most classic 物理系統 with some kind of rest質量/惯性系=some kind of 拉格朗日函數,basically"零測度" in terms of math, AI will do more and more of it;
GR-like(not real GR)/non-linear/social systems with zero rest質量/no global 惯性系 =0.3物理+0.3math+0.3luck=非零測度
=人精+AI
遊蕩集- 维基百科，自由的百科全书 - 维基百科- Wikipedia
zh.m.wikipedia.org/wiki/遊蕩集
當一個動力系統存在一非零測度的遊蕩集時，即代表此系統為一耗散結構。這和使用始態復現定理概念的保守系統極為不同。直覺上，遊蕩集和耗散結構之間的關係是 ...
we are in a brave new world
神经元不能做减法, and all 神经元能做=系宗平均时间平均 under 电磁辐射经典热力学辐射, and when 系宗平均时间平均
comes out, 黄菜都凉了, how many 改革开放 神
经元 can experience during its basicall 30k day life?
etc, I have posted quite bit on 神经元物理
1 神经元 as 蛋白质, some kind of 原子集团
and 固体物理@原子集团 level, ever since qm and 朗道(did he say only 愛因斯坦 is "above: him in physics?) 元激發 model,固体物理/semi/computer hardware物理=piece of cake, cheap stuff, except for/short of "real macro qm" hardware
2. 神经元's 固体物理 is not too far apart from that of computer hardware, both@非相对论能量，宏观, etc
3. computer, once programmed, forever programmed
for 神经元
三岁看老? 30 岁看老?
4. if 神经元老了@x岁, who will pay it to do the work which can be done by computer?
Building High-level Features
Using Large Scale Unsupervised Learning外链出处
还有就是纽约时报的这个文章：
when I get time, I will read and comment on the following:
"Path Integral Reinforcement Learning"
http://homes.cs.washington.edu/~etheodor/papers/LearningWorkshop11.pdf
1.
相关搜索- 上载www.pudn.com 程序员联合开发网
s.pudn.com/search_uploads.asp?k=lingo
轉為繁體網頁
... 最优,并在此基础上以路边约束、动态避障和路径最短作为适应度函数,提出(322KB, .... 72. jiqixuexi.rar - 这是博弈论算法全集第三部分:机器学习,其它算法将陆续推出. ..... 它所做的工作是将积分方程化为差分方程,或将积分方程中积分化为有限求和, ...
和机器学习和计算机视觉相关的数学- godenlove007的专栏- 博客频道 ...
blog.csdn.net/godenlove007/article/details/8510392
轉為繁體網頁
2013年1月16日 – 和机器学习和计算机视觉相关的数学之一（以下转自一位MIT牛人的空间文章， ... 而在统计学中，Marginalization和积分更是密不可分——不过，以解析形式把 ..... 目录的路径不能含有中文，不能含有空格，以字母开头，路径别太长。
科学网—《李群机器学习》李凡长等- 中国科大出版社的博文
blog.sciencenet.cn/blog-502977-684746.html
轉為繁體網頁
2013年4月28日 – 从历史经验看，研究机器学习应该“以认知科学为基础、数学方法为手段、 ... 途径，并沿着这样的路径来构建机器学习的理论、技术、方法和应用体系”.
一篇演讲By 浙江大学数学系主任刘克峰- bluenight专栏- 博客频道 ...
blog.csdn.net/chl033/article/details/4888555
轉為繁體網頁
2009年11月27日 – 物理学家学习数学的方式也许值得我们借鉴，Witten他们大概从来不做 ... 虽然Feynman的路径积分还缺少严格的数学基础，该理论因其物理上的 ...
机器学习前沿热点–Deep Learning - 大枫叶_HIT - 博客频道- CSDN ...
blog.csdn.net/datoubo/article/details/8596444
轉為繁體網頁
2013年2月20日 – 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络 ... 这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。 .... 访问：1889次; 积分：113分; 排名：千里之外 ...
2.
the following papar
"Path Integral Reinforcement Learning"
http://homes.cs.washington.edu/~etheodor/papers/LearningWorkshop11.pdf
Abstract—Reinforcement learning is one of the most fundamental
frameworks of learning control, but applying it to
high dimensional control systems, e.g., humanoid robots, has
largely been impossible so far. Among the key problems are
that classical value function-based approaches run into severe
limitations in continuous state-action spaces due to issues of
function approximation of value functions, and, moreover,
that the computational complexity and time of exploring high
dimensional state-action spaces quickly exceeds practical feasibility.
As an alternative, researchers have turned to trajectorybased
reinforcement learning, which sacrifices global optimality
in favor of being applicable to high-dimensional state-action
spaces. Model-based approches, inspired by ideas of differential
dynamic programming, have demonstrated some sucess if models
are accurate, but model-free trajectory-based reinforcement
learning has been limited by problems of slow learning and the
need to tune many open parameters.
In this paper, we review some recent developments of
trajectory-based reinforcement learning using the framework of
stochastic optimal control with path integrals. The path integral
control approach transforms the optimal control problem into
an estimation problem based on Monte-Carolo evaluations of a
path integral. Based on this idea, a new reinforcement learning
algorithm can be derived, called Policy Improvement with
Path Integrals (PI2). PI2 is surprising simple and works as
a black box learning system, i.e., without the need for manual
parameter tuning. Moreover, it learns fast and efficiently in very
high dimensional problems, as we demonstrate in a variety of
robotic tasks. Interestingly, PI2 can be applied in model-free,
hybrid, and model-based scenarios. Given its solid foundation in
stochastic optimal control, path integral reinforcement learning
offers a wide range of applications of reinforcement learning
to very complex and new domains.
这里是网上找到的，THE NERVOUS SYSTEM：外链出处
蚊子是通过触须来感知气味的，因此处理这些感知信息的就是那个很小的脑。其实它们的脑还不是真正的脑，就是大一些的神经节。
Deutocerebrum: The second pair of ganglia process sensory information collected by the antennae.
这就是处理气味感知的部分。从图上看，很小。我做个大胆的估计，也就是几千个神经元。不知是否有昆虫的专家来说明一下，是否我是对的。如果我是对的，这几千个神经元组成的气味信息处理器，的确是非常高效，非常成功。进化真是神奇。现有的软件系统对这样的高效处理器，就是望尘莫及。如果能够搞清原理，完全可以大幅度提高软件系统的效能。
我猜想，这几千个神经元可能组成若干个元学习机。这样看来，一个元学习机，可能也就需要几百个神经元。下面晓兵好像有些嘲笑神经元的效能（不能做减法，只能做系综平均），那么看看这样的高效信息处理器。当然了，究竟这些神经元是怎么做的？不能做减法，但是可以区分浓度，可以区分大小。这就是问题了，这就是大问题了。
Natgeotv的电视系列，Brain Game：外链出处
看来很有意思。对我们了解脑内的活动很有启发，当然了，这个节目超级好玩。
总之，要理解一个东西，就需要对这个东西多方面玩，切开来，装回去，反复玩。对脑也如此。不过，脑比较复杂，玩起来不容易。
自从开始这个题目以来有半年多了。通过和大家的交流，也通过激励自己（要在这里讲事情，自然要驱动自己查找资料等等），得到了很多思想上的收获。说实话，我所获得的已经远远超过了当初的想象。当初仅是想来起一个楼，把心里面的东西找个地方发散一下。但是在这个过程中，各位河友的反馈和想法引起我思路激荡，促使我学习到了很多新东西，产生了若干的新的想法。这个经历，是当初完全没有想到的。这个经历，我认为堪称宝贵。在这里衷心谢谢大家。大家都能在一起很好讨论，是非常难得的缘分。
谢谢铁手和西西河。我感到铁手开了一个很好的讨论平台。如果善加应用，可以很好帮助大家，使得大家可以自由地舒心地开展各种讨论，可以做很多很有用的事情。这种一个人主持一个题目，大家自由参加，我个人认为，是很好的形式，可能比较接近研究生院里面的读书班。我曾经经历过这样的读书班，大家集中一个题目，读几本同一个方向的书，定期交流，比较发散，但是又相对集中，没有压力，但是又有足够的动力，是一种非常有效的自我启发式的教育和科研的方式。现在可以利用现代网络技术，把这种形式的讨论开到网上，就是说全球的人都可以很容易参与，的确很好。希望能够有更多的人来发挥这里面的潜力。说不定铁手可以往这个方向发展，开发出一种能够真正用于做事的网站来。好像现在并没有这样的网站吧？SourceForge之类的，太过封闭，也太小众，界面也有大问题。那些大众的社交网站，基本上不可能做事，讨论认真的话题，做实在的东西。
当然了，这样的讨论也是有要求的。至少要求参与者基本上比较一致，而不至于形成冲突。而且要求一定的量的参与者，否则就很冷清做不下去了。建立适当的管理的机制和软件功能，也是非常必要的。
本来就是来论坛上说说自己的想法，但是，进程中，的确启发了我。讨论到这里，我想，我对某些方面已经形成了比较完整的思路，感到这些思路是很可能可行的。因此，感到不应该仅仅停留在表面，说说想想而已，而应该继续把这些思路往深入的研究方向做，进入实质性的研究，即真正投入人力物力的研究，而且要以达成某种实际目的为目标。这是一个激动人心的时代，激动人心的技术方向。
因此，来征求志同道合的研究者。是否在西西河这个圈子里面有对研究脑内回路算法和具体应用有强烈兴趣，有很强的科研能力和自我驱动能力和条件的朋友？如果有刚毕业或者即将毕业的学生，愿意找这方面工作的，欢迎来联系。在中国或者国外的都好，希望专业是计算机数学物理电机等理工科。
当然，将主要在网下联系范围内寻求。为什么要在这里征求呢？因为在这里有很好的互动，自然想到这里，而且我想试试用这种网上征求的方式，说不定是一种很好的方式。也欢迎这里的河友介绍其他的朋友来联系。
有兴趣的朋友，请用站内信箱联系，然后我们再从那里出发。
本帖一共被 3 帖 引用 (帖内工具实现)