首页 > 国内 > 正文

GPT4震撼发布!最大变革在一切数据Token化

2023-03-16 18:26:19来源:第一财经  

315日凌晨,OpenAI正式发布了大家期待已久的GPT-4,很快就在中外科技圈刷屏了。


(相关资料图)

这款新的AI大模型确实拿出了一些新东西,不但理解能力、可靠性、输入处理长度上都有显著提高,还有一个重大进化——拥有了多模态的能力,简单说就是不仅能看懂文字,也能看懂图片了。

在OpenAI的技术分享和视频演示中,展示了GPT-4在各种标准下的性能提升,比如实事求是回答问题的可能性提高了40%;律师模拟考试成绩从ChatGPT的后10%,直接冲进了前10%,超过了大多数人;看图表完成数据分析、找到搞笑图片中的笑点也不在话下。

不少媒体可能受发布会演示的影响,注意力都集中在这些直观的指标上,不停渲染GPT-4的各种能力多强。

在我看来,这些都是AI技术调优下正常的性能提升,真正值得关注的,是实现图片和文字同时处理的多模态能力,这个能力的底层预示着的其实是「一切数据Token化」的新变革。

为什么这么说呢?

首先,如果你了解AI技术的进步趋势,就会明白今天的这些性能提升是必然的事情。

虽然OpenAI以竞争和安全为由,没有公布GPT-4的任何技术细节,只发布了份手机测评一样的《技术报告》(GPT-4 Technical Report)。

但从模型性能提升的情况看,理解能力、可靠性这几个关键指标的提高,主要是来自于AI模型算法架构和数据集的改进,简单说就是AI的工程调优。

我跟大家谈过AI大模型的「伸缩法则」,当时就提到了OpenAI和谷歌的Deep mind关于AI参数和数据关系的研究,简单说AI大模型中参数规模也不是越大越好,必须和数据匹配才行。第二天,谈Bing上线ChatGPT的时候(点击跳转阅读),继续和大家聊了,目前训练AI大模型的数据用到了1.4 万亿token,数据瓶颈摆在眼前,谷歌和OpenAI都在做算法架构上的优化。

了解这些,你就会明白为什么发布会前盛传,GPT-4参数超过100万亿的说法不靠谱,也就能理解性能提升是很正常的事情。

接着,我们就来聊聊为什么多模态技术底层是「一切数据Token化」的变革。

这里先要区分一下,「数据Token化」的概念其实很早就已经出现,最初是作为互联网上数据加密的一种思路,后来还被Web3领域借鉴过去,演化成通过Web3存储数据的方法。

不过我们今天要说的TokenAI大模型的数据单位,「一切数据Token化」指的是AI大模型加持下,文字、图片、声音所有数据都能被统一处理的新变革。

2022年6月,我在大数据专题和大家聊过互联网产业兴盛之后,人类社会中80%以上的数据都是图片、音频、视频等等非结构化的数据,这些数据不像文字、字符一样能被计算机处理,如何挖掘这些数据背后的价值成为大数据变革的一大方向。

当时我预测AI会是这轮变革中重要的颠覆力量,如今OpenAI用实际行动证明了这个趋势正在到来。

AI大模型能使用多种类型的数据训练,其实已经是非常常见的事了。

OpenAI自己的AI绘画软件Dall-E就是基于GPT-3,用图片数据训练出来的,他们之前还做过分享,一张图片最长会被转化为1024个Token,打个不准确的比方,相当于所有图片都会拉成一个长条,AI是通过这些长条上的数据掌握经验的。

谷歌去年5月在这方面做的更为极致,他们将图片、文字、机器坐标等数据全部Token化,AI经过训练后分类掌握各种经验,然后根据实际情况,匹配对应Token中的经验,一下就拥有了完成600多种任务的能力。

GPT-4这次实现的多模态进化则是再前进了一步,以前图片数据训练出的AI也就是用于生成图片,或者识别某些具体的物品,这次体现出对图片信息更强的理解能力,提供了图片数据处理的新方案,这背后潜在的价值难以估量。

由此我们也会看到,AI的数据需求同样还会继续爆发,在文字数据之后,各种图片数据的标注需求将是新的热点。

我可以这样说,未来所有的数据都会Token化,衡量数据质量的标准将不再是清晰、完整这些为人服务的指标,而是能拿来训练AI的数据才是好数据。

可以说,数据Token化,就相当于石油精炼成汽油的过程,会使得人工智能这个发动机得到广泛运用,最终无所不在。未来各个领域的人工智能水平,甚至能用Token化的数据量大小来做评估。

(文章来源:第一财经)

关键词:

责任编辑:hnmd003

精彩推送