西西河

主题:辛顿,李飞飞,和AI之问 -- qq97

共:💬35 🌺176
全看分页树展 · 主题 跟帖
家园 【讨论】以语言为对象的数据统计游戏

GPT-4 的规模是 GPT-3 的 10 倍以上,是目前人类工程巅峰项目。据估计分析报道 ,它有约 1.8 万亿个参数,这些参数分布在 120 个 transformer 层上,作为对比,GPT-3 的参数为大约 1750 亿个。(GPT-3 仅有 12 个 transformer 层,层数是 GPT-4 的 1/10。)

然而这种所谓artificial intelligence,只是表象上的对人智能的模仿,我判断断基于注意力机制的Transformer模型计算模型的发展也不可延续当前发展路径。

我以前的讨论:

两个看法 https://talkcc.net/article/4861135-10522

可以再想,但把它当成游戏就好 https://talkcc.net/article/4887154

生活在中西文化新旧时代夹缝里的钱穆。我认为钱穆(此人自学成才,由经史训诂而通义理的)学术研究脉络比较清晰,与计算机AI有相通的地方

https://talkcc.net/article/4963737

题外话:

你“现在对大模型对产业能带来多大的促进作用产生疑虑”,这个思考层次是对的,但很有可能识者寥寥。不要迷信流行和权威,独立思考。

以下是我翻出来对马前卒影评的评论,同样识者寥寥。

https://talkcc.net/article/3885389

https://talkcc.net/article/3889541

https://talkcc.net/article/4920555

https://talkcc.net/article/4920560

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河