主题：【原创】机器学习的基础是什么？(0) -- 看树的老鼠
家园 所以生物本能是不倾向逻辑的 或者说，生物喜欢相关性，不喜欢因果，比如大家都诟病的sterotyping 没什么逻辑可言，但是人民群众长期总结的规律就是依靠相关性，热衷的不得了。
但正是逻辑带来了现代科技，带来了电脑，而人们却用电脑去模拟无逻辑的人脑，这种叫做人工智能，这中间的困难可想而知。
家园 生物喜欢相关性，或许是因为简单 生物满足于70%的准确率和极少的计算复杂度。
真要创造一个基于逻辑的理论，需要冥思苦想，这就是很高的训练复杂度。
应用这个理论的时候同样需要冥思苦想，这是测试复杂度。
这样来类比机器学习，就知道机器学习还需要很多很多的冥思苦想（复杂度）
家园 可能更多在于容错性 逻辑有效的前提是变量可控，科学的努力就是把变量有限化。但生物在面对自然时，变量往往是未知的，总结的规律屡屡失效，故而依据逻辑强化路线进化的物种都被自然淘汰了。
实际上就未知和已知的博弈来说，未来的机器人如果走逻辑强化路线，一样可能会碰到黑天鹅事件团灭。而相关性路线的生物群体，只要还存在有机体就会重生。
家园 这里的关键词是突发事件 陨石撞地球，剩下的都是老鼠与蟑螂。
问题是在绝大多数时间，只有很简单的生物体才不会被竞争强势的比如人这种生物体所灭绝，而且生物进化是个极其漫长的过程，对于人所能理解，也就是智能所能理解的，这个过程就是永恒。
在永恒面前，与智能对抗等待黑天鹅事件，等于自杀。
家园 这个问题还没想通 直觉是黑天鹅可能不少。生物和机械的区别是对逻辑的应用，生物认可无数种逻辑，之间可以完全没有交集，因此兼容性和适应性很强。机械是努力要把纷杂的逻辑关系统一起来，没有关系也要弄出关系来。比如E=mc2就是一个野心勃勃的公式。但数量级突变，随机因子很可能葬送这一努力。我不知道机械能否接受存在互不相干的无数个科学体系的结果。
- 复 这个问题还没想通
家园 记得那个物理学家说过 这个世界最神奇的是宇宙竟然可以证明符合某些数学公式。
逻辑最早的起源大概就是动物的简单模式识别，一些高度重复的连续事件，造成了因果这样的抽象概念。而像乌鸦那样可以推理做到自己主动造成因而期待结果的行为，就是逻辑思维后的决策行为了，对于人类来说，这就是在通过试验去验证一个推理了。当然人的因果逻辑可以建立在复杂的多的概念上。
不了解为什么通过对环境适应的进化道路会进化出这样的逻辑能力，但如果说进化是大自然的规律，出现这样的进化结果也必然有其道理，也就是说逻辑思维本身是自然规律的一部分，我们在考虑这些问题时不应该从旁观者的角度去看，把逻辑思维与自然选择对立着去看。
从物理学家的眼中看去，变量限制下，自然界是存在这个因果逻辑关系的，人类能够登月，满世界的飞来飞去，显然这个思路是有一定道理的，或者说，这个本质是存在于自然界的。
家园 所以机器不知道怎么表达想法，或许不是方向错了 我之前怀疑机器学习，觉得它的方向彻底错了。
而我现在觉得，或许这个方向还可以。说不定已经接近生物几亿年前的水平了。嘿嘿，说不定我们已经超越植物的智能水平了。几亿年前的智能也没有语言。
机器学习今天这条路虽然还不能清晰表达想法，但至少他在持续的解决问题，一步一个脚印。说不定我们再解决几千个问题，我们就知道语言的本质是什么了。
这句话我没看懂。不知道您想表达什么。
不完美的伪智能能达到欺骗普通人类的水平倒是反而简单了。培养大师不行，倒会是先培养出一群骗子。
家园 我们对于“模型”的定义似乎有分歧 大概你是CS出身的，算法和模型是一体的。
对于绝大多数自然科学和工程领域来说，“模型”是对现实世界的模拟和简化，和现实世界的关系是地球仪和地球的关系。而算法是问题的解决方式，是在地球仪上找出两点之间路径、从而投射到地球上路径的方法。
你说的“清晰的理论”，其实是精密的制造地球仪、沙盘或者地图的过程，与具体问题（你是要看着航路图从北京飞到纽约，还是要看着军事地图打击敌人的补给线）无关。把模型和建立在模型假设之上的算法分开，对于说清楚问题还是很重要的。
我理解的机器学习和传统的科学/工程方法的区别，就是机器学习企图做最少的假设，绕过做地球仪的过程，用强大的计算能力直接在现实数据上解决现实问题，而不是用地图扭曲现实地球之后通过地图解决问题。举个例子，统计学上应用最广的分布无疑是高斯分布（正态分布），如果要测试一组数据是否以0为中心，统计学家会做这几件事：
1、假设/检测数据服从高斯分布，算出均值和方差 （这一步是建立模型）
2、用方差算出standard error（实在不知道中文怎么说）
3、如果均值在两倍standard error之外，就认为均值不为0，否则为0
别跟我提什么student-t分布，总体过程没区别。在这个过程中，为了使用已有理论，统计学家会把分明不是高斯分布的数据也用高斯分布建模，这就是经典统计学的硬伤之一。
而机器学习本质上认为第一步意义不大（除了Lasso之类跟传统统计很接近的方法之外），机器学习企图建立这样一个盒子：（如果是supervised learning)
1、输入一串数据X
2、输入一串{0,1}取值的Y，告诉盒子哪些X其实是0。这是学习过程
3、学习完之后，每输入一个新的X，盒子就输出一个0或者1，告诉你Y“应该”是什么
过程中完全不用人类“假设”数据服从什么分布、怎么采集的。当然，假设也有，比如数据相互独立之类，但比具体的统计模型宽松多了。
其实这跟人类学习的过程没什么区别。
至于因果性的问题，其实是人为造出的一个概念，无非是事件之间的相关性+事件和时间的绝对关系罢了。如果一只鸡每天固定早上8点打鸣，而日出却是在打鸣后20分钟随机出现，而且强迫鸡不打鸣时太阳绝不出现，这种规律在人类任何观测中保持不变，那人们（包括所有科学家）肯定会认为鸡叫是因，日出才是果。这种因果性用算法识别并不困难，而“真正”的因果性涉及到宇宙的本质，不见得是人类穷尽一切手法能观测到的，苛求机器学习也没什么意义。
家园 谢谢您把问题变得更清楚 关于因果性，我完全同意您的说法。
关于您的整篇文章，我不确定我是否理解了。如果理解的不对，请指正。
简单来说，我觉得以后的机器学习会知道怎么自己做地球仪。
以下我不加区分的使用“模型”、“假设”、“理论”这三个词语。但是按照您的要求，我会区分模型和算法。
传统方法+统计学都是这么干的。
1. 创造高斯模型（高斯假设）。这个假设扭曲的很过分。
2. 在这个模型基础上跑训练算法
3. 得到一个训练后的模型
机器学习
1. 创造宽松的机器学习假设。
2. 在这个模型上跑训练算法
3. 得到训练后模型
训练后的模型可以用于我们的supervised任务，我们管它叫算法还是叫模型比较好？我暂时称为训练后模型吧
机器学习放松了假设，所以效果更好。所以，我很认同机器学习的这种做法。
我只是觉得它还不够好。比如给定这样一个任务：已知球面上点A的坐标和点B的坐标，输出是两点间最短球面距离。
今天的机器学习只能利用训练数据（如一系列坐标对和相应的距离），给出一个无法理解的训练后模型。
而人看到这个任务，他能够利用的知识是对这个问题的物理理解和一些训练数据。如果之前人没有几何的知识，他会创造出一个几何假设（几何理论），来解决这个问题。如果我们管人的成果也叫做训练后模型，那么人的训练后模型中包含了新的假设（几何理论）。
我期待的就是：机器能够像人一样利用更广泛的信息，如物理理解。然后输出更优雅的训练后模型，比如几何理论。
你可能会说，这怎么可能？你已开始的机器学习假设是什么，机器最多帮你调整一下参数，假设的形式不会变。怎么会变成几何假设呢？
我只好说，人脑其实也就是一个参数化的神经连接假设，但是人脑就知道怎么解释神经连接中的参数，把这些参数用清晰的语言表达出来，成为几何假设。
从数学角度来讲也是可行的，参数和模型真的有那么大的区别吗？如果我们把数字和模型之间建立一一对应的关系，参数调整过程就是创造新模型的过程。谁说模型只能是人提出来的，机器只能计算？到这一步，或许您可以看出我为什么不太愿意区分模型、参数和算法这三个概念。
这种说法目前看不到任何实现的可能性。想要走到这一步，机器学习或许还要往前走很远，结合大家所说的脑神经研究和量子力学。
但是，有人脑这个例子在前，我相信基于一个参数可调整的神经连接假设（或许还要加上更多的脑神经假设和量子力学假设），可以创造并表达出简洁、清晰的理论（如几何理论），所以这是可行的。
家园 人脑为什么偏爱几何假设 你们俩的讨论引出一个问题，flux很准确的描述了人类传统科学工程的方法论与机器学习的区别。也可以说机器学习在现阶段只能模拟人类本能与早期的智能活动。这一点似乎大家都没有异意。
那么是否机器学习的未来必将走人类在科学上的路径，演变出逻辑思维，并进而发展出自我生成几何假设等模型（不纠缠于名词）这样的类似与人类今天的方法呢？
这里实际上提出的问题是，是否这样的通过产生逻辑为基础的模型才能向智能的更高层次发展，人类的历史无疑是如此的，但一个没有回答的问题是，这样的模型与假设为什么对人类的智能提高有很大的作用，换句话说，这个方法的意义在哪里？
我随便拍脑袋向了一下的结果是，人类做这个简化模型，并通过因果关系来固化一些相关性100％为因果的关系，强调逻辑的过程，然后输入不同参数去得到近似结果（往往相去甚远），的本质原因是提高效率，借此摆脱人脑的计算能力底下的限制。
flux所说，人不可能穷极宇宙中的所有因果原理，把一切都已模型去计算，事实上科学家寻找的总是一些终极原理，防止四海皆准的理论，就是被这个计算能力局限所驱动。而事实上，人类的计算能力提高（工具），才是人类工业能力大幅提高的源泉。科学理论许多在证明后束之高阁，到了计算机能力提高的今天才显出威力，人工智能的发展本身就是个例子。
这些都说明了一个道理，通过人或机器去开发模型假设来认识世界的过程有很大的局限性，但是效率比单纯仿人类早期学习要高的多，这一对矛盾恐怕就是机器计算能力超越今天许多的未来也会仍然存在。
通宝推：唐家山,看树的老鼠,家园 说得好，简洁性是为了限制搜索空间 逻辑是人类找到的一种体现简洁性的方法。
人脑虽然比下国际象棋的深蓝高明很多，但是本质上也是一个具有有限计算能力的机器在搜索问题的答案。
之所以人使用奥卡姆剃刀之类的原则，力图追求简单的理论，归根到底是为了限制搜索空间，免得计算能力不足。
至于在这有限的搜索空间中竟然找出了一堆有意义的科学理论，只能说是幸运了。
人脑这一套搜索原则，机器或许也能采用。这不是我的创新，现在的研究已经是往这个方向的，但是用得非常浅，以至于我过去没有看出这条路或许有机会走到最后，走到生成出漂亮的科学理论。
家园 目前的“机器学习”仅是一个工具，还不是智能 我来讲点看法。我认为，目前的机器学习，仅一个工具，就是说处理大量数据的一种软件工具（当然也有一些硬件的事情）。如果这样定位，就不会产生你的那些困扰。
一种人类制造的工具，用于解决人类的某些特定问题，这是我们常见的，熟悉的。虽然说计算机具备了一些信息处理的能力，但是，这种能力完全来自于编程，因此也就还是一种工具。现在的机器学习好像进了一步，使得某些能力好像并不是来自于编程，而是来自于外部数据的刺激。但是这是完全的假象。目前来讲，具备了机器学习能力的计算机，其能力仍然还是全部来自于编程。
我们暂且不要说“逻辑、因果性、融贯性这些概念”，更不要说语音等等。我们仅说最基本的，就是说，学习分辨标量的大小。这是最基本的，也没有比这个更简单的。不仅动物，连植物都可以做这个事情。那么现在是否有机器可以不用编程就会做这个呢？就我的知识范围，这种机器目前还不存在。
其实，这个能力，不仅最简单，也最基本，就是说，有望在这个基础上搭建更复杂，更高级的功能。这个意义上讲，机器学习不仅不能和人比，连最初级的动物也无法比，甚至和植物也无法比。