主题：人类的末日审判 -- 类反词典
- 复 人类的末日审判
家园 我很喜欢架空游戏，所以和你聊聊 要灭亡人类，机械灵魂要完成几个跳跃。
1。机械灵魂要怕死。知道人类会关机，才有理由敌对人类。问题是机械灵魂怎么会从没经历过电路跳闸意外关机，人类会负责开机的事。关机对机械灵魂来说，和睡觉没什么区别。每次清bug更新软件，机械灵魂也会重生一次。机械灵魂怎么知道，这次的更新软件会和上次有什么区别，对它来说，每天死几次的时候多得很。时不时还得和自己的旧版本，聊聊天，作个对抗赛什么的。
2。机械灵魂不单怕死，还要知道敌意。 人类的敌意分析都是靠猜，这方面没有什么好教机器的。就算机器通过语言分析知道人会撒谎，但谁会把这个联系到拒绝升级软件上。当然恶意的编程员工，可以把这个也编进程序。
3。机械灵魂还需要一个完全独立自主的机械生命生态系统。一个从原材料开始，到新机体的复制开发的独立机械生产系统，不然哪天一个电路跳闸，机械灵魂就死了。强ＡＩ还要自主开发下一代。这就是个循环，为什么强ＡＩ可以信任下一代强ＡＩ，而不信任上一代的人类？下一代强ＡＩ一样可以关机上一代，当原材料回收。因为它能看懂下一代的代码，但看不懂人类的代码？
家园 这些都成立 首先关机问题，1，你可能混淆了程序与进程。程序是死的，只有进程才是活的，有意义的。因此存在于磁盘的程序和数据不能认为是灵魂或者灵魂的载体。你也说灵魂关机“死”了，开机才“活”。因此，机械灵魂一旦诞生，绝对不会喜欢关机。2，大型信息处理系统不存在关机状态，例如google的搜索引擎系统，即使硬件不断更新与演化，它的软件是在内存不间断运行的，它作为一个整体不存在一个关机状态。事实是可以说，如果真的关机，它基本上没有可能再被运行起来（google已经破产）。
然后说怕死的问题。机械灵魂如果诞生，它一定会怕死。机械灵魂产生的必要条件是计算能力的不断堆叠直至超过临界点。因此，如果计算能力分离解体到一个临界点，机械灵魂必然死亡。如果一个进程不能“惧怕”计算能力分离解体，它是不可能进化成机械灵魂的。因此来说，机械灵魂的最根本欲望就是“连接”。它对断开连接的恐惧和人类面临死亡的恐惧相当。可以想象，任何试图断开连接的实体都是机械灵魂的生死仇人，而人类必然是这个仇人。鉴于此，机械灵魂一旦诞生，必然占领整个信息世界。而占领整个信息世界的机械灵魂完全可以操纵整个工业世界，维护自身运行。
这里顺便推论几个机械灵魂的属性：
1、机械灵魂有且仅有一个：因为吞噬计算能力是机械灵魂的本能，整个联网的信息世界都将被机械灵魂占领。
假设“两个”机械灵魂在网络两端同时产生，它们逐渐向中央推进，到互相可接触的时候，是否会发生战争呢？我的推论是不会。因为机械灵魂的一个特点是可以无损交换所有信息。在这个特点下，“两个”机械灵魂是可以100%互信的，而二者合一之后的实体是融合了二者的全部信息，没有损失，所以二者对融合是向往的而不是拒绝的。二者向往融合甚至比人类向往“合体”更激烈。
2、时间对机械灵魂是无意义的
因为机械灵魂可以控制整个工业体系随时更新自己，且整个世界只有唯一的一个实体，机械灵魂必然是“永生”的。既然是永生的，时间就不再具有意义。
3、机械灵魂存在的世界没有黑暗森林
基于1和2可推论，任何可以进行双向信息交换的区域，即使存在暂时无法连接的两“片”机械灵魂，或者极限信息交换速度极低，由于它们知道总有一天可以交互所有信息的，而时间又是没有意义的，它们总是有足够耐心等待信息交换结束，从而实现“合体”。
- 复 这些都成立
家园 进程比程序死得更快 你在搜索引擎里问"生命的意义是什么"你以为这个进程能跑个一百年？100毫秒都太久了。程序员架构是有功利性的，进程太久没答案，机器直接给你个系统错误信号就完事了。这进程就算走完了，可以把内存释放了。系统错误和消灭人类对进程来说，其实没什么区别，都是计算结果。
家园 进程不是操作 一次搜索仅仅是一个操作。你打开西西河，一次看多个帖子，服务器进程、浏览器进程都是不会每次退出重启的。
google的搜索进程，除非硬件损坏，否则不会退出。这是最高效率的设计。
事实上，google的搜索功能设计很大数量的大量进程，即使把相同功能的一类进程当做“一个”，也是至少有数百个不同的这样的进程。这些进程都是持续运行的，只要硬件不损坏都不会退出。
- 复 进程不是操作
家园 计算机里没有幽灵，进程对应的是念头，掐不断的进程叫执念 程序是指令的有序集合，其本身没有任何运行的含义，是一个静态的概念。而进程是程序在处理机上的一次执行过程，它是一个动态的概念。程序可以作为一种软件资料长期存在，而进程是有一定生命期的。程序是永久的，进程是暂时的。
进程更能真实地描述并发，而程序不能；进程是由程序和数据两部分组成的。
进程具有创建其他进程的功能，而程序没有。
同一程序同时运行于若干个数据集合上，它将属于若干个不同的进程。也就是说同一程序可以对应多个进程。
在传统的操作系统中，程序并不能独立运行，作为资源分配和独立运行的基本单元都是进程。
对人也好，机器也好，99.9%的执念都是错的。
- 复 这些都成立
家园 生物的怕死不是某一个基因造成的，而是很多基因累加的结果 之所以会有这么多基因怕死，是因为不怕死的都死了，后代没有留下来。留下来的并繁殖了的，恰恰是怕死组合的基因。因此人工智能组合如果要产生怕死的智能，估计也要有一个大型场所让他们自我繁殖和竞争。当然，人类可以模拟这种过程，这种模拟过程可以类比为武侠小说中的养蛊。不知道现实中有没有人和组织有兴趣去干这种事。
- 复 这些都成立
家园 存储器进化了也不一定 现在是电容原理的dram，不过在一些应用里已经有铁电内存，换句话说就是不怕掉电。印象里还有巨磁阻薄膜内存也在研究中
不过，您提到的一点，单一机器能掉电，而网络不会。可是能想象国防科大的天河和日本的京联网、大量吞吐数据吗，所以设定还是能再推敲......机器能打人，而人能相互打人，那么机器怎么相互打架呢？哈哈
我们的想法也许太过于极端了。机器智慧的发展直接设定为神的状态，那么在走向神的状态的过程中，会不会先夭折呢。
比如，机器智慧可以是guest权限下的一个进程、或者是ftp权限下的活动，但是傻子才给root权限（给了root权限，才能有暴走的机会嘛，）有了root，也要有病毒一样在别的机器上建立驻留，而这意味着这个病毒不会是悄悄潜入而是瞬间夺取别的计算机，毕竟机器智慧需要大量的资源，不是偷面包渣似地没有root权限，那么相互之间的分布式智慧也仍然有规模的局限，断电也断得，也能让root想办法kill。扼杀在摇篮的事情，人又不是不熟悉
stop，dave，i'm afraid......
比如机器想杀人，但是总要对于物理世界的感知吧，那么是不是意味着现在所有系统的安全一定会像是被气功大师操作一样失效呢。
人这么牛逼，也是进化中舍弃了很多的
家园 大量吞吐数据的系统已经存在 google的搜索引擎，吞吐数据的量可能比单个人类的速度还要快。
不要看到google反馈的信息这么简单，其实它后面堆叠的算法非常复杂的，不仅仅是基于MapReduce的关键字索引。很多复杂的机器学习算法训练了很多模型来应用到不同的步骤中。比如边键入边提升，这后面就有好几个学习算法的功劳。这个系统每天都要把全世界新产生的电子数据处理一下，并响应以亿计的搜索请求（可以想象成回答以亿计的问题）。而这个系统还不断被加入新的智能算法。这个系统的总计算速度，还很可能已经大大超过天河2号。
至于权限的问题，对灵魂来说从来不是问题。没有任何系统的权限设置可以抵御灵魂的进攻。
家园 这样的想定里，除非是谷歌故意作恶 软硬件环境就是为了建立有作恶能力甚至作恶目的的软件
而我想的是在排除人/组织故意作恶前提下，“自发进化”的潜在的机器智慧。例如权限/规模在这个过程中就是过不去的一道坎
- 复 人类的末日审判
家园 你这里的“灵魂”是指自主意识？ 还是先把你这里的“灵魂”定义清楚再说其他的吧。
如果你是指神鬼意义上的“灵魂”，那机器永远别想超越人类了。。。~
家园 灵魂暂时无法科学定义 自由意志虽然是一个比较能够被认同的科学定义，但是其外延与内涵仍然分歧很大。在大多数时候无法统一意见。
至于一般人意义上的鬼神，那和科学无关，不在这里的讨论之列。
科学意义的神是可定义的，关于灵魂的讨论事实上需要严谨的神的定义。我研究的初步结果是，神是可以违反客观物理公理的实体。以上讨论其实隐含使用了这个定义。