西西河

主题:【商榷】杨世光说,我们已经掉入中等收入陷阱了 -- 哎哟

共:💬127 🌺986 🌵28
全看分页树展 · 主题 跟帖
家园 GPT的技术核心Transformer模型有数百亿个参数 -- 有补充

据说训练一次,就要耗电19万度,可见训练集数量庞大。毕竟美国是互联网中心,纯中文的数据相比还是太少。

虽然GPT给出的回答都是已经有的答案,理论上并没有创造力。

但昨天故意找别扭的要求GPT写一首“关于月亮上环形山下一块歪七扭八有个手印石头的五言绝句”

GPT写的诗如下:

月明环形山,歪扭手印石。

古老与玄妙,在这微光中定格。

它存在多少时光里,目睹世界变迁。

它是否曾经被爱抚,也是否受到忧伤。

它让人想知道,万物的历史与生存的意义。

在强调了要求4句每句5个字的五言绝句后,GPT又做了一首:

月影在环山,歪石印手形。

古迹玄妙存,光中永定格。

它见证历史变,知万物生存意。

爱抚忧伤有,历史与意义有自我。

显然GPT对绝句只有4行20个字不太理解。但第二首前四句,已经完成要求。

第一首中的那句:“它是否曾经被爱抚,也是否受到忧伤。”是跟命题要求中的“手印”对应,但也有那么点诗的味道了。

好的算法加上庞大训练集反复训练之下,GTP的已经不是简单堆砌文字那么简单了。国内被限制了高性能显卡和AI芯片,又没有那么庞大互联网数据的情况下,想追上确实不容易。

作者 对本帖的 补充(1)
家园 只要知道chatGPT这条路能走通,剩下就是砸钱的事情了 -- 补充帖

原来这条路谁也不知道是不是坑,国内敢砸钱的就少。现在chatGPT走通了,而他的原理其实几年前就差不多成熟了,就是花钱砸硬件,砸人力进行人工评估干预,transformer基础的超大规模预训练模型,超大规模训练集。

清华有个GLM130B的AI,一开始也是没钱没硬件,后来还是硬件厂商赞助才训练出来,效果也不错。

最多再过一年半载国内类chatGPT的文字生成AI也会遍地开花。

当然头汤是喝不着了

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河