chatgpt以及llm（大语言模型）的思考 -金沙娱场城app

一、chatgpt简介

chatgpt本质是一个对话模型，它可以回答日常问题、挑战不正确的前提，甚至会拒绝不适当的请求，在去除偏见和安全性上不同于以往的语言模型。chatgpt从闲聊、回答日常问题，到文本改写、诗歌小说生成、视频脚本生成，以及编写和调试代码均展示了其令人惊叹的能力。在openai公布博文和试用接口后，chatgpt很快以令人惊叹的对话能力“引爆”网络，本文主要从技术角度，梳理chatgpt背后涉及的技术工作llm，来阐述其如此强大的原因；同时思考其对我们目前的实际工作和方法论的改变，包括可复用和可借鉴之处。chatgpt其关键能力来自三个方面：强大的基座大模型能力（instructgpt），高质量的真实数据（干净且丰富），强化学习算法（ppo算法）。

为何三段式的训练方法就可以让chatgpt如此强大？其实，以上的训练过程蕴含了上文我们提到的关键点，而这些关键点正是chatgpt成功的原因：

• 强大的基座模型能力（instructgpt）；
• 大参数语言模型（gpt3.5）；
• 高质量的真实数据（精标的多轮对话数据和比较排序数据）；
• 性能稳定的强化学习算法（ppo算法）

二、instructgpt及其相关工作

我们需要注意的是，chatgpt的成功，是在前期大量工作基础上实现的，非凭空产生的“惊雷”。chatgpt是instructgpt的兄弟模型(sibling model)，后者经过训练以遵循prompt中的指令，提供详细的响应。instructgpt是openai在2022年3月在training language models to follow instructions with human feedback文献中提出的工作，整体流程和以上的chatgpt流程基本相同，除了在数据收集和基座模型（gpt3 vs gpt 3.5），以及第三步初始化ppo模型时略有不同。此篇可以视为rlhf（基于人类反馈的强化学习，使用人工结果打分来调整模型） 1.0的收官之作。一方面，从金沙娱场城app官网来看，这篇文章之后暂时没有发布rlhf的新研究，另一方面这篇文章也佐证了instruction tuning的有效性。

在instuctgpt的工作中，与chatgpt类似，给定instruction，需要人工写回答。首先训练一个instructgpt的早期版本，使用完全人工标注的数据，数据分为3类：instruction answer，instruction 多个examples和用户在使用api过程中提出的需求。从第二类数据的标注，推测chatgpt可能用检索来提供多个in context learning的示例，供人工标注。剩余步骤与以上chatgpt相同。尤其需要重视但往往容易被忽视的，即openai对于数据质量和数据泛化性的把控，这也是openai的一大优势：

1）寻找高质量标注者：寻找在识别和回应敏感提示的能力筛选测试中，表现良好的labeler；

2）使用集外标注者保证泛化性：即用未经历以上1）步骤的更广大群体的标注者对训练数据进行验证，保证训练数据与更广泛群体的偏好一致。

gpt3只是个语言模型，它被用来预测下一个单词，丝毫没有考虑用户想要的答案；当使用代表用户喜好的三类人工标注为微调数据后，1.3b参数的instructgpt在多场景下的效果超越175b的gpt3。

instructgpt当中提到很关键的一点， 当我们要解决的安全和对齐问题是复杂和主观，而它的好坏无法完全被自动指标衡量的时候，此时需要用人类的偏好来作为奖励信号来微调我们的模型。

三、instuctgpt的前序工作:gpt与强化学习的结合

再往前回溯，其实在2019年gpt2出世后，openai就有尝试结合gpt-2和强化学习。在neurips 2020的learning to summarize with human feedback工作中，openai在摘要生成中，利用了从人类反馈中的强化学习来训练。可以从这篇工作的整体流程图中，看出三步走的核心思想： 收集反馈数据 -> 训练奖励模型 -> ppo强化学习。

rlhf第一阶段，针对多个候选摘要，人工排序（这里就体现出openai的钞能力，按标注时间计费，标注过快的会被开除）；第二阶段，训练排序模型（依旧使用gpt模型)；第三阶段，利用ppo算法学习policy（在摘要任务上微调过的gpt）。文中模型可以产生比10倍更大模型容量更好的摘要效果。但文中也同样指出，模型的成功部分归功于增大了奖励模型的规模，而这需要很大量级的计算资源，训练6.7b的强化学习模型需要320 gpu-days的成本。另一篇2020年初的工作，是openai的fine-tuning gpt-2 from human preferences工作，同样首先利用预训练模型，训练reward模型；进而使用ppo策略进行强化学习，整体步骤初见chatgpt的雏形。

而rlhf（reinforcement learning from human feedback ）的思想，是在更早的2017年6月的openai deep reinforcement learning from human preferences工作提出，核心思想是利用人类的反馈，判断最接近视频行为目标的片段，通过训练来找到最能解释人类判断的奖励函数，然后使用rl来学习如何实现这个目标。

可以说，chatgpt是站在instructgpt以及以上理论的肩膀上完成的一项出色的工作，它们将llm（large language model）/ptm(pretrain language model)与rl（reinforcement learning)出色结合，证明这条方向可行，同时也是未来还将持续发展的nlp甚至通用智能体的方向。

四、与chatgpt同类型其他工作

其实近两年，利用llm rl以及对强化学习和nlp训练的研究，各大巨头在这个领域做了非常多扎实的工作，而这些成果和chatgpt一样都有可圈可点之处。这里以openai的webgpt和meta的cicero为例。

• webgpt是2021年底openai的工作，其核心思想是使用gpt3模型强大的生成能力，学习人类使用搜索引擎的一系列行为，通过训练奖励模型来预测人类的偏好，使webgpt可以自己搜索网页来回答开放域的问题，而产生的答案尽可能满足人类的喜好。
• cicero是meta ai 2022年底发布的可以以人类水平玩文字策略游戏的ai系统， 其同样可以与人类互动，可以使用战略推理和自然语言与人类在游戏玩法中进行互动和竞争。cicero的核心是由一个对话引擎和一个战略推理引擎共同驱动的，而战略推理引擎集中使用了rl，对话引擎与gpt3类似。

关于chatgpt（gpt3.5）的发展summary，附上一个非常好的资料推荐，并附上其梳理的流程：

五、chatgpt落地与思考

1. chatgpt对于文字模态的aigc应用具有重要意义，可以依附于对话形态的产品和载体大有空间，包括但不限于内容创作、客服机器人、虚拟人、机器翻译、游戏、社交、教育、家庭陪护等领域，或许都将是 chatgpt 能快速落地的方向。其中有些方向会涉及到交互的全面改革，比如机器翻译不再是传统的文本输入->实时翻译，而是随时以助手问答的形式出现，甚至给出一个大概笼统的中文意思，让机器给出对应英文，包括对于我们目前所做的写作产品，可能也会涉及创作模式的改变和革新。 有些方向会全面提升产品质量，比如已存在的客服机器人、虚拟人等。
2. nlp与cv相结合：chatgpt作为文字形态的基础模型，自然可以与其他多模态结合；比如最近同为火热的stable diffusion模型，利用chatgpt生成较佳的prompt，对于aigc内容和日趋火热的艺术创作，提供强大的文字形态的动力。
3. 另一个讨论较多的方向，是chatgpt对于搜索引擎的代替性；chatgpt可以作为搜索引擎的有效补充，但至于是否能代替搜索引擎（不少人关注的地方），抛开推理成本不谈，目前只从效果上来说为时尚早。 对于网络有答案的query，抽取就完全能满足，百度最近就有这样的功能。网络上没有明确答案，即使检索了相关材料（chatgpt应该还没有这样的功能），也没人能保证生成结果的可信度，目前可能还不太成熟。
4. chatgpt本身的升级：与webgpt的结合，对信息进行实时更新，并且对于事实真假进行判断；很明显可以看到，现在的chatgpt没有实时更新和事实判断能力，而如果结合webgpt的自动搜索能力，让chatgpt学会自己去海量知识库中探索和学习，将会极大提升使用方向，我们预测这可能会是gpt-4的一项能力。 还有其他更多方向，包括chatgpt与最近数理逻辑工作的结合等。

六、llm（large language model）的发展与趋势

通过海量数据训练得到的超大参数模型蕴含了海量知识，以gpt3（175b）开端，再到lamda（137b）、gopher（280b）、flan-t5（540b）等，业界对于llm的探索和应用，以及如何挖掘其学到的知识，引导它们适配不同子任务达到最先进结果（state-of-the-art result，sota），一直是近两年一项极具价值及热门的工作。对于llm的探索，从起初探索贴近预训练任务的方式构造下游任务，包括各类prompt engineering方式，减少微调数据量；再到用非梯度更新的方式，使大模型无需微调情况下，拥有小样本、零样本解决问题的能力，包括上下文学习（in-context learning）、上下文学习的矫正（calibration）等；利用llm解决更难的数理推理问题，通过一系列逻辑链(cot，chain of thought )，深入挖掘大模型的知识和推理能力；进一步，更加看重行动驱动（action-driven）、意图驱动与大模型的结合，使大模型从意图出发对齐人类需求；以上探索，力求在数量繁多的自然语言任务中达到初步的“质变”效果，尝试通向真正的agi。

llm的引入会使行业内公司划分出不同层级（此处很同意谢剑的观点)：

level1：llm基础设施公司；类比为一个拥有比较强通用能力的人；level1的公司会比较少，可能只有1-2家（比如 openai、google）

level2：基于llm结合场景进行商业化应用的公司(以应用为主，没有全体微调) ；类比通用能力的人去一些场景打工挣钱；level2的公司侧重于基于llm做出较多应用，包括从头创新做应用、已有的业务场景中升级功能。

level3：基于llm 领域场景数据，微调形成具备更强领域能力和一定门槛的产品，通过商业化和数据积累，持续形成业务数据-模型闭环；类比一个领域专家。level3的公司有很强的专业性和数据积累，比如类似专项面向写作的jasper.ai等。

七、机遇与调整并存的llm

llm的出现使得机遇与挑战并存，机遇在于技术革新势必会带来新赛道的机遇，挑战在于革新也会使越来越多old school方式被抛弃，跟不上节奏落伍的风险将会加大。

1）从技术演进角度来说，llm可能使nlp形成“大一统”之势。如果说bert让大部分中间任务基本消亡，nlp传统技艺逐渐被替代，那么llm则会让很多nlp子领域不再具备独立研究价值，它们均会被纳入llm技术体系；这对于相关长期从事某些子领域的研究者和从业者是一件可怕的事，累积了一定时间的子领域专家经验/技巧trick，一夜即被“暴力”的llm击败，对相关业务和从业者挑战巨大；但另一个角度来说，当nlp整体能力到达一定阶段时，“大一统”是必然结果，之前划分较多子领域是因为没有强能力模型而需要分而治之，积极利用llm拓展自身业务的可能性是机遇所在。

2）从llm应用角度来说，llm-as-a-service 会越来越普遍，openai 提供的 llmaas 服务已经具备较高的速度，并开始逐步探索行之有效的盈利模式，这也是下游产品的机遇。截止2021年7月，全球有300多个app在使用gpt3技术，结合gpt3demo网站的数据，其收录了158个基于gpt-3的应用；llm使得业界能力下限提升，行业门槛下降，业务优势会聚焦在垂直领域的数据积累资源。但llmaas的盈利模式并不成熟，尚待检验，合理的模式应该需要涉及用户分层，而非全量用户的铺展，这些均增添了较多不确定性，此为应用层面的挑战。

3）从推理成本来说，配合llm的模型压缩、前向加速等手段均可以降低推理成本，虽然下游产品推理的服务成本尚高，但其实作为百亿模型，完成大量高智能任务具备初步可行性，此为机遇；但在降本增效的大环境下，真正将llm投入生产的挑战性极大，对于llm短期在生产环境下最实际的用途主要聚焦在线下，主要围绕数据扩增、减少标注成本和数据生产。

4） 从训练投入成本来说，作为最限制llm发展的因素，它也在不断进步，除去本身模硬件升级、模型蒸馏、加速训练技术之外，llm的稀疏化也会持续发展，sparsegpt应该是其中有代表性的工作之一，此为机遇；当然这样的进步相比高额的投入并不够，所以在第三节中提到的对于llm的投入，是和相关组织的技术战略相关的。在lm基建层面，目标成为何level的公司，会影响相关的投入，但llm绝对是具备高战略价值的投入。

5） 从国内产研角度来说，这一点其实是比较让人忧虑的；因为llm过于高昂的成本和苛刻的使用条件，这两年国内对于llm的研究成果较少（累积参数的大模型有，但实际有影响的成果不多），与国外差距在增大。表1可以看到，gpt3后已经更新了5~6代，而国内甚至还没有真正意义上可以匹敌gpt3的基建模型，甚至60亿~130亿的 instructgpt能力已经超过国内大部分的所谓大模型（当然openai领先太多，其也超出google的一般大模型）。

当llm逐渐成为垄断能力，当openai、google、deepmind逐渐闭源时，基建模型又会成为“卡脖子”的能力，chatgpt只是这一阶段的开始。 所以笔者认为对于llm的态度，仅从个人来说，国内大厂战略上务必重视它，积极应对挑战，不用过分悲观，寻求并抓住llm带来的机遇；基于以上方法利用好可用的llm，可控成本下优化自身业务，同时紧跟业界研究方向，“借好”llm带来的新东风。

最后附上相关大语言模型进化表：

申明：本文参考了较多网络资料，属于资料整合类，如有侵权请联系作者添加引用或者删除。