互联网巨头AI（67页）

大型语言模型研究的发展有三条技术路线：Bert 模式、ug环球官网GPT 模式、混合模式。其中国内大多采用混合模式， 多数主流大型语言模型走的是 GPT 技术路线，直到 2022 年底在 GPT-3.5 的基础上产生了 ChatGPT。到 2019 年 后，Bert 路线基本没有标志性的新模型更新，而 GPT 技术路线则趋于繁荣。从 Bert 往 GPT 演化的过程中，模 型越来越大，所实现的性能也越来越通用。各类大语言模型路线各有侧重，GPT 模式在生成类任务表现最优。 大型语言模型按照从数据到知识来划分，数据可分为通用数据和领域数据，知识分为语言知识和世界知识。从 任务类型来划分，大型语言模型可以分为单一任务和多任务、理解类和生成类；Bert 模式有两阶段（双向语言 模型预训练+任务 Fine-tuning），适用于理解类以及某个场景的具体任务，表现得“专而轻”。GPT 模式是由两阶 段到一阶段（单向语言模型预训练+zero-shot prompt），比较适合生成类任务、多任务，表现得“重而通”。T5 模式则将两者的方法结合，包含有两阶段（单向语言模型预训练+Fine-tuning）。

根据当前研究结论，如果模型 规模不特别大，面向单一领域的理解类任务，适合用 T5 模式，而 GPT 模式在做生成类任务时的效果最好。综 合来看，当前几乎所有参数规模超过千亿的大型语言模型都采取 GPT 模式。如今，LLM 正在对人工智能社区产生重大影响，ChatGPT 和 GPT-4 的出现引发了重新思考人工智能通用智 能（AGI）的可能性。OpenAI 已经发表了一篇名为“Planning for AGI and beyond”的技术文章，讨论了实现 AGI 的短期和长期计划，而最近的一篇论文则认为 GPT-4 可能被视为一个早期版本的 AGI 系统。LLM 的快速进步 正在彻底改变人工智能的研究领域。在自然语言处理领域，LLM 可以在某种程度上充当通用语言任务求解器， 研究范式已经转向使用 LLM。在信息检索领域，传统的搜索引擎正在被 AI 聊天机器人（即 ChatGPT）挑战， 而 New Bing 则是基于 LLM 增强搜索结果的初始尝试。在计算机视觉领域，研究人员试图开发类似于 ChatGPT 的视觉语言模型，以更好地服务于多模态对话，而 GPT-4 通过集成视觉信息已经支持多模态输入。这股新的技 术浪潮有可能会导致基于 LLM 的真实世界。例如，Microsoft 365 正在被 LLM（如 Copilot）赋能以自动化办公 工作，而 OpenAI 支持在 ChatGPT 中使用插件来实现特殊功能。