西西河

主题:【原创】我的chatGPT的使用体验 -- Swell

共:💬285 🌺1767 🌵12
分页树展主题 · 全看首页 上页
/ 19
下页 末页
                • 家园 GPU股票

                  迟了,景嘉微 涨了18%。

                  • 家园 我们今天讨论的留言是这样的

                    chatGPT

                    算法是源头是阿法狗的

                    阿法狗是基于黎曼的新路线

                    黎曼机不通与图灵机核心是GPU,黎曼机被认为是将来突破类人智慧的方向。不过要出现通用机和类人智慧至少 还需要20年。

                    今天东方财富推荐文章讲,chatGPT拼的是算力,算是助推器了。

                    • 家园 不是哥德尔机?

                      黎曼机还是第一次听说

                    • 家园 请教什么是黎曼机?

                      我自己没搜到相关资料。用“黎曼机”搜到的只有本帖,用"riemman machine"也没找和计算机架构相关的资料。

                      • 家园 不好意思,功课做的不扎实

                        刚才在请教,因为记忆🈶冲突

                        点看全图

                        左边是高斯--克里斯托夫·古德曼--卡尔·赫尔曼·阿曼杜斯·施瓦茨--费耶尔·利波特--约翰·冯·诺伊曼

                        右边是黎曼,黎曼结构是阿法狗基础

                        • 家园 这张图似乎说明的是数学家学术谱系,并未回答我的问题。

                          原图出处:https://www.genealogy.math.ndsu.nodak.edu/,维基词条:https://zh.wikipedia.org/wiki/%E6%95%B8%E5%AD%B8%E8%AD%9C%E7%B3%BB%E8%A8%88%E7%95%AB

                          • 家园 葡萄不是理论计算机专业的

                            理解的可能有偏差,不用强求。我补充一下吧。

                            计算机的理论模型主要有两个,分别是图灵的图灵机和丘奇的lamda演算,两者是等价的,合称图灵-丘奇命题,定义了计算的边界,即什么是可计算的,什么是不可计算的。当然还有跟这两者等价的理论模型,如Post的post理论,乔姆斯基的0型文法等,这些只有专业人士才关心。

                            实际中的计算机架构,据我所知,也是两种,一种是广为人知的冯诺依曼架构,程序和存储是一体的。另一种是哈弗架构,程序和存储分开。还有其他一些计算机架构,流传不广,就不提了。

                            通宝推:桥上,葡萄,
                            • 家园 感觉你说冯诺依曼架构和哈弗架构的区别可能有点让人误解

                              冯诺依曼结构和哈佛结构区别是,

                              冯诺依曼结构是一种将程序指令存储器和数据存储器合并在一起的存储器结构,其数据总线和指令线是共用的,为了区分采用分时复用技术。优点是指令丰富,功能较强,但取指令和取数据不能同时进行,指令运行速度受到限制。

                              哈佛结构使用两个独立的存储器模块,分别存储指令和数据,每个存储模块都不允许指令和数据并存,使用独立的两条总线,分别作为CPU与每个存储器之间的专用通信路径。优点是:取指令和取数据可以同时进行。

                              也正是冯诺依曼结构这种特点,使得如今冯诺依曼结构在AI处理大数据时候,容易发生“"冯-诺依曼瓶颈 ",例如CPU从工作存储器中读取指令,然后向加速器发送一个复杂的功能操作。为了 "发送 "该功能,主机CPU必须读取要操作的数据并将其发送到加速器卡。现在,一个基于冯-诺依曼的加速系统至少要发生两组数据移动,如果操作CPU必须从工作存储器中获取数据,则可能要发生三组数据移动。

                              所以新的AI采用GPU/CPU协同就是一种突破这种架构的尝试,CPU发送数据位置给GPU,而GPU的EU执行单元直接在本地自己的内存上进行处理,完成后通知CPU。

                              通宝推:铁手,桥上,葡萄,唐家山,
                          • 家园 左边是数学传承到冯诺依曼结构

                            右边是数学传承到黎曼结构

                            左边是今天通用机的基础,右边是阿法狗开始的新计算机方向。右边是被寄希望突破图灵测试的方向。但是阿法狗那会 局限在一个任务一个原型机。无法实现通用机。但是,现在的Ai是可以并准备下沉到社会各个环节的。具体影响我理解可以超过传统通用机的范畴。

                            如果我这样解释 你还觉得有问题,那么有问题的是我,我能力也就到这里了,你可以不用管我说什么。

                            • 家园 您大概真的搞混了

                              图灵机虽然带个机字,但其实不是真代表一种机器,更多的是一种数学工具,和递归函数论中的lambda算子相当。都代表人类已知的可计算性的极致。类似的还有元胞自动机,忙海狸机,哥德尔机。所谓的“通用机”和“通用人工智能”其实主要都是理论上的。

                              冯诺依曼架构是工程上的,只是电子计算机的一种实现方式,和数学并没有本质上的联系(除了名字里有数学家)。

                              通宝推:唐家山,
                              • 家园 虽然过去很久了,看来还是需要补充一下

                                关于图灵机,它主要是“计算”理论上用来表示计算模型的虚拟机器,而且存在不只一种图灵机,而是存在多种(甚至无穷多种)图灵机,理论上每个计算过程(也就是程序)都可以看成一台图灵机。但有一种图灵机是其中的战斗机:通用图灵机,可以模拟任意的(良好)图灵机(包括它自己)。而通用图灵机也有好几种模型:比如标准图灵机,带不动选择的图灵机,单向无穷带图灵机,离线图灵机,多带图灵机,多维图灵机,非确定性图灵机等。所有通用图灵机理论上一样强大,而且都是最强,都可以跑一切(良好)程序。所以没有“超越”“不属于”图灵机这种说法(传说中的“超计算”除外)。图灵机模型的提出和其他计算模型(lanbda算子,算盘机,有限状态机,元胞自动机等,其实神经网络也是)一样,主要是在理论上把“计算”这个抽线概念变成可操作可证明的数学过程,主要用来进行计算理论的探索,比如定理的证明等。

                                相比其他计算模型,图灵机模型的最大有点就是直观,在图灵发表论文之前其实可计算问题已经基本用lambda算子(递归函数论)解决了,但这篇论文仍然因为其直观因而被认为“有趣”而作为原创发表了。但这同样是图灵机模型的缺点:这种直观的方式并不是数学家们习惯的方式,所以实际用起来并不是很好用。用lambda算子能很简洁证明的问题用图灵机做起来很繁琐而且不容易理解。所以有些人认为图灵的地位是被人为拔高了:他虽然参加过计算机的研制但实际上没起到重要作用,但因为图灵机模型容易为大众理解,且其个人经历比较传奇,因而在其造成的影响比其他人更大。另外计算理论在数学里其实是个相当“小”的学科,其他大牛在这方面可能只是副业,也没人想和他争什么。

                                顺便说一下关于所谓的“计算机科学”,很多人认为他并不是真正的“科学”,也就是“自然哲学”,但也不是纯粹的“技术”,而更像一种“技艺”。比如《计算机程序的构造和解释》(SICP)里提到的计算机科学的核心概念包括:抽象,递归,解释器,以及元语言抽象等。这里很少有纯理论的东西,更多的是理论和应用的有机结合。我导师当年说计算机科学里,只有能实现,最好是有大规模应用的成果才是真的好成果。另外,“计算机科学”甚至不是关于“计算机”的(至少不是主要的),就象“几何学-土地测量学”不是关于“土地”和“尺规”的。

                                下面说说冯诺依曼架构。

                                前面说的“图灵机”是属于“计算”科学的,而冯诺依曼架构则属于一种技术,勉强算得上“计算机科学”。指的是在第二台数字电子计算机EDVAC上用到的架构,也称普林斯顿架构。原来是指“存储程序计算机”,单看“存储程序计算机”这几个字完全看不出冯诺依曼架构的伟大之处,但如果和第一台电子计算机ENIAC比就很明显了。

                                其实ENIAC不是第一台电子计算机,它的专利后来被撤销了,第一台电子计算机是ABC(Atanasoff–Berry Computer)。ENIAC其实是第一台“通用”电子计算机。这里的“通用”和“通用图灵机”里的通用既有联系又有区别:说有联系是指ENIAC的拓扑结构和标准图灵机类似,而且它包含“图灵完备”所必须的三种指令(顺序,选择,无限循环);说有区别是指这个“通用”更多的是指“可编程”,ABC只能跑解方程的固定程序,而ENIAC可以根据需要跑不同的程序。而它的架构后来称为“哈佛架构”,这个名字来源于“哈佛马克I”计算机。但这台机器实际是一台机电计算机,而且它的所谓的“哈佛架构”也不是原创的,而是采用了当时“成熟”的技术,这种设计,实际上在巴贝奇设计的“分析机”里就出现了,而巴贝奇也不是首创,面是受到贾卡提花机的影响,而从实际效果来看,ENIAC的编程方式和原始提花机的“挑花结本”更为接近,不仅形似,而且神似。

                                点看全图

                                点看全图

                                所以,要在ENIAC上切换程序,需要要手工在布线接板(控制器)设置开关来完成编程工作, 和提花机上重新换“花本”是一样的:跑程序之前要几天甚至几个月的准备工作。这无疑是非常不灵活而且限制运行的程序大小。你能想象想玩超级玛丽先开机然后等几个月再来玩吗?或者把Windows的可执行代码抄一遍?或者在CPU里自带一个Windows?(较新的Intel ME芯片里确实带了一个MINIX操作系统的修改版)。

                                这样一比就看出“把程序放在存储器”里的好处来了。一是简化了控制器,不需要把程序放到时控制器里,而只要一套从存储器里取出,分析并执行指令的机构就够了;二是灵活性:想跑什么程序直接把程序读到内存里就行了,避免了手工设置程序的麻烦。那时候内存还在用水银延迟线,外存用穿孔纸带,虽然和现在比起来很慢,但无疑比手工快多了(而且自然产生了存储器分级的设计);三是大大提高了计算机的利用率,降低了使用成本,使得很多较低价值的程序也有了到计算机上跑的机会。(最初的计算机都很昂贵,是“建造”出来而不是“制造/生产”出来的,IBM的托马斯·沃森说“我想,5台主机足以满足整个世界市场”,很可能是因为那时候值得在电脑上跑的程序真的没多少)。现代计算机的普及除了成本的下降以外大部分就是冯诺依曼架构的功劳。

                                然而成也萧何、败也萧何,冯诺依曼架构的缺陷也是由存储器造成的:存储器的速度远远落后于CPU的速度,而且差距越来越大,甚至达到百倍以上。

                                这使得存储器成为了瓶颈,计算机的速度受限于存储器的速度(还有带宽和能耗),也就是“内存墙”。过去几十年对这个问题已经有了很多方案,如更大更多的缓存结构,更复杂的缓存算法,分支预测,乱序执行,超标量、超长指令字,超级流水线,编译器优化等等减弱这个问题的影响。

                                点看全图

                                外链图片需谨慎,可能会被源头改

                                点看全图

                                外链图片需谨慎,可能会被源头改

                                其实非冯诺依曼架构的机器一直存在,ENIAC也用了十年。不过大部分此类机器都是专用机,比如专门处理特定类型数据的数据流机,还有最新的量子计算机。即使冯诺依曼架构的电脑里也可能有各种辅助处理器,比如早期PC里的浮点数协处理器,任天堂游戏机里专门处理图像的PPU,电脑里的某些显卡等等。换句话说,在需要频繁切换程序的“通用”计算机领域,目前看只有且只有冯诺依曼架构能满足需求,而不怎么需要切换程序的场景,如果要求很高的处理速度且对成本不太敏感则可以考虑非冯诺依曼架构机器。甚至自己烧个FPGA只给自己用。

                                而且哈佛架构也发展出改进的哈佛架构,也采用了“存储程序”的概念,这样和冯诺依曼架构的区别就很小了,只是看程序和数据是否共用一条总线。而且现代计算机实际上大都是混合架构,拿PC举例,Intel从586开始,CPU内程序和数据就分开处理了,也就是说是哈佛架构,但从整台机器上看又是冯诺依曼架构。

                                最近又提出(近)内存计算/存算一体等概念,把运算部件尽可能靠近内存甚至直接混合在一起,但目前还主要用在专用领域。(现在装显卡和NVME硬盘都要注意PCIE插槽是不是直接连CPU,装错了会发挥不出应有的性能)。

                                最后值得一提的就是当初的“第五代计算机”也是非冯诺依曼架构,虽然当年这个计划失败了,但最近机器学习领域的进展(如ChatGPT)说明专用机也有可能象“通用机”那样普及起来。

                                通宝推:唐家山,菜根谭,
                              • 家园 存算一体机怎么样?

                                利用忆阻器在内存中直接计算,突破冯诺依曼架构,国内好像做出了神经网络芯片,不知道后来发展怎么样?

                              • 家园 还有我们正在搞的伊辛机

                                也是专用机的一种,最近开始各国都在弄了,不在图灵机的范畴内,无法实现通用。

                              • 家园 受教
分页树展主题 · 全看首页 上页
/ 19
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河