主题：【原创】机器学习的基础是什么？(0) -- 看树的老鼠
家园 不看好机器学习 或者说不看好当前的基于经典体系所架构起来的机器学习。
量子的世界可是存在无穷的自由度。。。人类的思想可以直觉得从这无穷的自由度中抽出有用的信息，可是机器又如何去模仿这直觉？显然放入这无穷的参数是不可能的。。。
- 复 不看好机器学习
家园 目前状态下的机器学习，是非常不足的 但是，我认为，人是机器，或者说人是目前最复杂的机器。而下面的发展，就是我们将逐渐发展出比目前计算机更复杂的信息机器，而且这种复杂度还会逐渐增加。
人类的思想可以直觉得从这无穷的自由度中抽出有用的信息的确，我完全同意。非常可能，量子效应其实在神经系统中得到反映，所谓的直觉，至少部分和这些有关。但是，这并不成为否定机器的理由。如果机器做得了足够的复杂度，那么机器也可能产生这种直觉。我认为，机器的复杂度，最起码来讲，应该是可以非常自然地做归纳。目前的机器学习，离开这个标准，还非常非常远。
- 复 不看好机器学习
家园 刚好看到这篇文章 http://integral-options.blogspot.com/2014/07/is-quantum-mechanics-relevant-to.html
写写读后感吧。
- 复 不看好机器学习
家园 和高兴您从物理背景提出挑战 我的物理知识比较缺乏，请问如何理解这句话？
量子的世界可是存在无穷的自由度。。。人类的思想可以直觉得从这无穷的自由度中抽出有用的信息，可是机器又如何去模仿这直觉？显然放入这无穷的参数是不可能的。。。
如果轻易讲不清楚，麻烦您推荐一些书。当然，您也许会觉得对我这种外行，不推荐几本教材是说不清楚的。。。
家园 如果不把机器学习与科学理论对立起来呢 机器学习依赖对数据的获得分析，得出一个blackbox去当作工具。
科学理论试图找到事物变化的内在原因，理解这个世界的同时作为指导制造工具。
这两种手段都达到一个目的，就是通过了解世界，来改变世界。人类通过科学手段达到了几千几万年的最高水平，并且超越了人类传统上靠经验总结摸索（比如百草纲目）所能达到的水平。
但是科学手段因为建立在事物内在逻辑关系的基础上，需要大量的工作去验证，去反证，因此进度很慢。
机器学习目前的相关性分析并不具备逻辑关系的推理总结能力，而现代计算机理论是逻辑的产物，那么相关性在概率达到很高时，是不是可以等同因果关系？
机器学习如果可以把相关性的分析与逻辑结合起来，也许就是人工智能的曙光了。
家园 正是如此：机器学习是一种处理数据的工具 处理出来的东西，还是需要人来感受，认知，分析。
看树网友的期望是，机器学习（或者说目前这个状态下的机器学习），将逐渐发展出一些能力，使得这个工具本身就具备了认知和分析的能力。自己的儿子自己爱，这很正常。但是，我的看法是目前的这种形态的机器学习，也就是一种编程机器，不可能发展出认知和分析的能力。
家园 前科学阶段与科学阶段是量变到质变，不是对立 还是先跳出来说一句吧，我希望自己不是民科，但是我保证不了我说的代表学术界主流意见。因为我很少发现有什么论文去做这么长远的预测，毕竟没有太多证据，除非你是本领域最顶尖的人物，写了也发表不了。如果谁能找到相关的论文，欢迎分享。
我就是突然意识到机器学习能够发现的理论还处于前科学阶段，差不多就处于本草纲目的时代，知其然而不知其所以然。（机器学习领域自己的研究方法当然属于科学方法）
正如人类的认知逐渐从前科学阶段过渡到科学阶段，但基于同样的人脑结构。
所以我认为科学方法和前科学方法没有本质的区别。我觉得智能的本质就是用最简洁的理论最准确的解释现象。因果、严格逻辑、融贯性这些特点，都是人类发现的简化理论、提高精度的一些原则。但他们本身也是基于同样的人脑结构自动创造出来的。就好像人类语言相对于动物的音节，其实没有本质的变化，只是复杂性提高的自然结果。
但是，我相信机器学习会逐渐演化出科学方法的。而且我感觉现在的研究正在往这个方向走。通过外加一些非常抽象的原则，如奥卡姆剃刀、因果原则，引导机器智能往这个方向走。还有一个缺失的原则，我认为是融贯性。今天有人做multi objective optimization，有点这个意思了。但是模型复杂度还是很有限。如果学习理论没有进步，在今天的方法上简单的加上更多机器，是没什么希望的。
如果真到了那个阶段，机器做科研说不定会比人更强，毕竟人脑的尺寸有限，而机器的尺寸受到的限制要小的多。人类发现模式的能力其实很有限，所以实验必须做的简单又简单，人才能得出一些结论。但是机器的能力有可能更强。如witten1推荐的那篇文章，基于那些非实验环境下生成的数据，人其实不敢做决定的，但是机器敢。鸿乾曾经谈到每个研究机构配置一个智能机器，说不定真会有这么一天。
机器学习目前的相关性分析并不具备逻辑关系的推理总结能力，而现代计算机理论是逻辑的产物，那么相关性在概率达到很高时，是不是可以等同因果关系？
是的。如果我们能在机器学出来的网络中发现概率1（注意不是correlation=1，这是witten1推荐的那篇文章明确强调的,correlation!=因果)，因果关系其实就出现了。比如之前我写过的那篇deep learning文章，有一个节点识别猫的精度到了70%，如果到了100%，我觉得就说明机器发现了一个定理。
所以，我猜测严格的逻辑不会是强加于概率逻辑（今天的机器学习对于概率的依赖很大）或者你说的相关性分析的另一个成分。很可能是我们外加了一些很抽象的原则，这些原则要求机器给出最简洁的模型（从能量损耗的角度来说，也许人脑就遵循这个原则），然后严格逻辑成为这个原则的一个必然结果。
科幻一点，也许曙光就在前头。
家园 我的看法有所不同 你列出的路线是这样的：现有的机器学习（实际上可以抽象成：算法+数据库+大量数据）再加上一些我们已经充分理解的原则（最优能量，最小依赖，等等），就有可能形成真正的智能，至少是非常有用的智能。
这是可能的。最近Google收购的那家DeepMind就是如此思路的公司。不过，我的看法是，这样的一条路子，完全可能形成一定程度的智能，至少是能很好完成某种人定的任务。但是，这条路子，很不够。
好像是某个大家说的（忘了谁说的了），科学的每一个大的进步，是在对某种事情有了很好的理解后才达成的。我很同意。回顾科学史，的确就是这样一回事。那么现在我们看，上面你列出的那条路，是否是建立在我们对人脑的工作原理有了相当充分的理解的基础上？恐怕不能如此说吧。那条路，基本上是在蒙，就是说在对原理缺乏充分了解的情况下，试试看。
我想，非常可能的路子是这样的路子：一方面，对一些非常基本的人脑中的过程有了认识，然后在这个基础上，做出模拟这个过程的软件，硬件，或者软硬件组合；另一方面，对这些最基本过程如何集合起来处理更复杂信息的原理有认识，然后再模拟这种集合。这样，恐怕才有可能走向智能。就是说，应该对智能的原理有基本理解，才能做好智能。
当然，多种路子都是可以走的。我提倡元学习机，和机械学习，就是提倡思考也研究那些非常基本的人脑中的过程。
另外，对于“相关性”和“因果性”，我的看法是这样的，两者并非完全不可跨越。例如，现有的非常简洁的物理定律，例如牛顿第一定律，我们肯定说是因果性的规律，而不是简单的相关性。但是，这仅是我们目前的认识。抽象地讲，完全可能这个定律实际上是更大范围的的某种相关性在我们这个小时空中间的投射，因此我们看起来就是非常确定的定律。但是要从相关性进而发展到因果性，人脑里面肯定有某种机制，人群中也肯定有某种机制，来促使这个发展。我们对这个机制缺乏理解。
家园 一个建议，不仅对你，也对其他网友 我开了一个系列，你也开了一个系列。我看来，都是比较有成效的，都引出了很多讨论，而且有相当多的讨论都很好很有信息量，对我来讲，很有帮助。我认为，你和我，还有其他有兴趣的朋友，应该把这方面的讨论有效地继续下去。
怎么做更好？怎么最佳利用西西河这个平台？我不知道，因为我对这里的各种规则其实不熟悉。不过我建议，你和我，还有其他有兴趣的朋友参与讨论的朋友，都应该开自己的系列，介绍自己了解的情况，而且要互相链接，这样就好搜索了。其实有很多好的讨论，都被淹没在后面，很难看到。
通宝推：益者三友,家园 西西河如果有wiki功能就好了 挑出一些相关帖子放上去，整理一下就是个不错了信息库，交流起来更方便，甚至可以直接在上面改。花呀草呀的就免了反正对于来找知识的人来说，便于查找最重要。
当然讲究点，可以做个graph，把大家所知整理进去，甚至弄出些semantic／NLP的水平，西西河走到谷歌或脸书前面那就更出彩了，走linus的路子，民间开源，爱谁谁，把象牙塔变成博采众长，中国人中人才也多，不一定就不成。
deep learning的祖师Hinton最近说计算机科学还是算新兴学科，AI那就完全是婴儿期，有许多low hanging fruit根本没人有时间去顾的过来，现在就是人才太缺，教一个PhD至少五，六年，一出师就被谷歌他们挖走。中国人中这么多人才，不通过大公司，就是民间自发组团，我看反而更有可能出成果，只要互相交流起来就成。
家园 智能，学习，学习机器，和类脑计算 下面的讨论都很好。但是一一回复，就太零散了，也比较难。干脆这里统一回复一下。
智能是什么？这个问题其实太过哲学了，我们可以不回答。但是，从另外一方面看，动物（乃至于植物）都有自己的适应外在环境，反应外在环境，做出自己的决策的能力，这个能力其实或高或低表现了动物的智能。不过我们还没有一套系统的东西来衡量这种能力。如果有，这就是回答智能是什么的钥匙了。仅局限到人，到人脑，我认为，智能也是明确的，而且越来越明确了。看树说，“我也越来越觉得智能没有任何神秘”，这其实就是说，智能越来越可以度量了，理解了的东西，可以度量的东西，当然就没有神秘可言了。
那么智能的那些部分是明确的呢？其实，就是越是高层次的智能，越明确，越是神经层次低级的智能，越不清楚。比如说，计算，曾经是最高级的智能之一，用计算尺用对数表算各种大数的乘除法来做工程计算，就非要高校毕业生不可。但是，其实计算是完全可以形式化的。一旦充分理解后，就可以做出机器来处理。也就是说，这部分智能已经被机器取代，也就不成为智能了。算微分积分也是如此。现在用软件已经可以做得非常好了。这部分智能也就不成为智能了。但是仅仅几十年前，就是高不可攀的智能。张纯如就讲过故事，40年代末期，有些中国留学生就是搞不定一些非常繁杂的微积分计算，而拿不到博士学位，留下遗憾，以至于80年代了，还想回美国母校补齐。但是那时，这些东西已经完全不是高精尖了。
因此，现在，凡是图灵机可以搞定的事情，都被推出了智能的范围。其实不过很短的时间前，还是高山般的高级智能。
这样的事情还会发生，而且正在发生。最近将可能发生什么事情？我认为，非常可能的就是学习。很可能学习将步计算的后尘，成为可以形式化的东西。而这个可以完成形式化的学习的东西，就是学习机器。像图灵机是计算的机器一样，也有一个什么机器成为学习的机器。大家可以多多努力，如果你首先搞懂了学习机器的原理，建立了相应的理论，你的名字就将如同图灵机一样，成为“你的名字机”而流传下去，
当然了，我相信，肯定不是学习的全部，而是可以形式化的学习的那一部分。
那么这个学习机器是什么呢？我不知道，虽然我非常想知道。但是，我认为，的确要从类脑计算来看。也就是说，这个机器非常可能不是图灵机，但是，可以用图灵机来做近似。但是不管怎么说，是形式化的，是可以充分理解的，是可以复制的。
家园 你受那些伪科学伪概念伪大师的误导太深 你是从那些科普电视开始想这个问题的。
而那些科普电视正是推销这种“智能”伪概念的重要推手。
那些科普电视和一些他们包装起来的“智能明星”，互为表里，互相吹捧，互相推动，结果生生造出一个“智能科学”的伪学。
这种所谓的“智能”“人工智能""机器智能”伪概念，不正是这帮伪大师在60年代开始渲染起来的，而正是通过各种科普节目，让这些伪概念普及到公众深入人心的。
如果把这批人的“伪学”和伪概念抛开，直接从50年代和以前的图灵诺依曼思想衔接，我们其实本来不需要走这段弯路。
跳出这些伪科普伪明星的套套，才能看到本质。
科学的发展道路不是一帆风顺的，有时候也会走弯路歪路，尤其是基础科学不清楚的地方。不一定是60年代的认识比50年代强，70年代的认识比60年代强，80年代的认识比70年代强。有时候这种模糊认识会走弯路歪路。