第07版:科技时代

火爆出圈 ChatGPT有何“秘密”?

《 人民政协报 》 ( 2023年02月16日   第 07 版)

文/吴文峻

ChatGPT是由OpenAI开发的一款人工智能聊天机器人程序,于2022年11月推出。它可以通过自然文本对话方式和人类进行聊天交流,能够用于处理各种语言任务,例如:回答提问、撰写文案、翻译及编写代码等。由于ChatGPT展现了非常类似人类的语言理解和对话交互能力,一经发布,就引发了全球网民的广泛关注和试用。在短短两个月的时间里,其用户就达到一亿,爆红速度远远超过历史上互联网用户扩张速度。由此可以说,ChatGPT当之无愧成为岁末年初现象级的人工智能成果,对互联网的产业生态产生重大影响。

凝聚最新人工智能研究成果

实现关键技术集成与迭代优化

ChatGPT有何特殊之处?先来回顾一下它的开发历程。

ChatGPT是OpenAI综合集成了最新人工智能的技术成果而开发完成的,其核心技术主要包括:基于GPT-3.5架构的大型语言模型、基于提示的模型微调和人机交互式强化学习等。

大规模预训练语言模型是最近5年来自然语言处理与深度学习领域方面最受关注的技术之一。它的作用简单来说就是你用自然语言和他对话,他转换成机器听得懂的语言做处理,处理完再把结果转换成人类语言交给你。

但传统的自然语言处理往往参数规模不太多,只具备面向特定任务的预测或分类功能。2017年,Google提出了Transformer的神经网络架构,并用它来构造语言模型,为大规模语言模型的诞生奠定了基础。随后的4年间,OpenAI公司研发了GPT(Generative Pre-trained Transformer)系列的三个预训练语言模型,受到业界的广泛关注。

2018年6月,OpenAI推出GPT-1,使用了5GB的预训练数据,参数量达到1.17亿;2019年2月,发布GPT-2,使用了40GB的预训练数据,参数量达到15亿;2020年5月,继续推出GPT-3,使用了45TB的预训练数据(3000亿语料),参数量达到1750亿;2022年11月,推出ChatGPT,也被称为GPT-3.5。

这些预训练语言模型就像一个巨大的语言库,为各种语言能力的涌现提供了基础。就像一个人博闻强记、见多识广,就具有很强的语言表达、抽象归纳、联想类比等能力。已经有研究表明,GPT-3模型可以展现137项语言能力,而且有些能力只有在模型规模超过一定的阈值,才能涌现出来。

GPT系列的模型训练一般包括两阶段:第一个阶段,利用语言模型进行预训练,从海量文本中提取词义、词法、句法结构、甚至常识知识等信息,都沉淀到模型参数当中;第二个阶段,通过微调模式,以很少的样例让模型的潜力得以定向释放,解决各类下游任务。

起初,对于预训练模型的微调,需要再收集新的标注数据,并对模型参数进行重新训练调整。所以当模型体量不断增大时,重新调整的代价也在不断上涨,同时多样性的下游任务也使得预训练和微调阶段的设计变得烦琐。为此,新技术引入了提示词的微调方法,通过针对具体任务的句子示例或引导,使得模型以轻巧的方式完成微调。

如今,提示词的设计和收集成为大模型领域的热点,甚至被称为生成式人工智能的“魔法咒语”。只有构造出精巧的提示实例,才能解锁大模型潜藏的特定语言能力,使其具备在合适的对话情境下,生成恰当的回答。

ChatGPT的第三个关键技术,是采用了人类反馈的强化学习技术,通过用户和智能体的交互,获取奖励而提升能力的方法。

其实这项技术也是Google发明的,2016年的DeepMind公司推出的AlphaGo围棋AI,就采用了强化学习来提升下棋策略。

2022年2月,OpenAI发布了InstructGPT模型,这是ChatGPT的前身。该模型试图让人类对GPT回答进行评价排名,并基于这种反馈排名训练奖励函数,从而引导GPT能输出更符合人类偏好的结果。

InstructGPT模型在加入这一技术后,遵循人类指令方面比原先的GPT-3做得更好,能够产生更像人类自然对话的结果。同时它还能把人类对话中需要避免的社会偏见,所遵循的价值取向等吸取进去,以防止出现GPT发表类似仇恨言论等问题。

需要指出的是,这些关键的技术很多都不是OpenAI的原创,但是作为新型的科技企业,它非常好地实现了这些技术集成与迭代优化,取得了重大突破。

开启通用化人工智能途径

加速互联网生态智能化进程

作为人工智能发展的标志性成果,ChatGPT对当下的人工智能产业,乃至互联网生态具有重要影响。

一是开启了从“专用”人工智能走向“通用”人工智能的通道。

ChatGPT出色的对话表现,证明预训练大模型可以具备一定的通用化自然语言处理能力,昭示着人工智能正在从面向特定领域、特定任务专用型AI走向通用型多任务AI。目前已经有不少研究试图沿用ChatGPT的预训练-提示这种模式,来构造计算机视觉、博弈决策等领域的人工智能技术。未来或许在这些领域也将出现以大模型作为基座、大量小模型作为应用的通用化人工智能生态。

二是对互联网的人机交互产生颠覆性的影响。

ChatGPT也会对搜索为主的互联网人机交互模式产生重要而深远的影响。

当前互联网后台的服务程序通常以结构化的界面方式与人交互,在信息搜索中,只能提供大致相关的网页内容,供人们浏览和检索。而ChatGPT的自然交互对话交互将逐步替代这种搜索服务模式,代之以更加自然的、拟人化精准服务,并且对其他类型的互联网服务也会产生深远影响,加速整个互联网生态向智能化方向转变。

完善人工智能治理

防止ChatGPT滥用

ChatGPT让人类与机器人的对话更加“自然”,催生了自然语言交互时代的到来。但是由于其自身的不足,也存在被人们误用和滥用的风险,会给人工智能伦理规范和治理带来全新挑战。

一方面,ChatGPT作为一类生成技术,容易输出与事实逻辑不一致的错误内容。而且ChatGPT由于模型更新代价大,目前还无法及时更新当前的资讯内容。在实际应用场景中,如果只依赖ChatGPT的回答,不进行事实检查,就会导致许多谬误。另一方面,ChatGPT这个智能工具很容易用在伪造信息、内容作弊等,如何有效应对这些挑战,使其发挥积极作用,仍然值得关注和研究。

我国在相关方面已有较好技术积累

鉴于预训练语言模型的重大意义,国内华为、阿里巴巴、百度及众多院校等科研机构纷纷加入研发赛道。

2021年,华为与鹏城实验室合作推出千亿参数的盘古大模型,北京智源人工智能研究院推出了1.75万亿参数的悟道2.0,百度与鹏城实验室合作推出2600亿参数的文心大模型等。这些模型目前虽然还无法达到ChatGPT的对话水平,但是与GPT系列的其他模型相比,在很多语言任务也能达到或超过其表现。

由此可见,我国在自然语言大模型方面已经有较好的技术积累,预计将会很快推出达到ChatGPT性能的新模型。特别是结合中国特色的应用场景,汇聚优质的海量中文语料和知识资源,培育面向我国互联网用户交互的预训练大模型,支撑各类智能应用的广泛落地,从而形成全新的智能应用生态和产业链。

(作者系北京航空航天大学人工智能研究院教授)

2023-02-16 吴文峻 1 1 人民政协报 content_38202.html 1 火爆出圈 ChatGPT有何“秘密”? 38,202 /enpproperty-->