复旦教授谈中美大模型差距：国内独角兽如果不走错，咬咬牙能撑到gpt-金沙娱场城app

原标题：复旦教授谈中美大模型差距：国内独角兽如果不走错，咬咬牙能撑到gpt-4水平

搜狐科技《思想大爆炸——对话科学家》栏目第69期，对话复旦大学计算科学技术学院教授张奇。

嘉宾简介：张奇，复旦大学计算机科学技术学院教授、博士生导师，复旦眸思（mousi）大模型负责人，moss大模型核心人员，兼任中国中文信息学会理事。发表论文150余篇，获得美国授权专利4项，著有《自然语言处理导论》、《大规模语言模型：从理论到实践》。

划重点：

1、claude3在榜单上超过gpt-4意义不大，从实际体验来看，现在达到gpt-4依然很难，大幅度超越的可能性很小。

2、gpt-4是统计机器学习在文本理解上的一个巅峰，再往上难度可能很大，大模型技术增长曲线已经处于放缓的状态。

3、agi最核心的是推理能力，但现在大模型推理能力还很弱。如果大模型不能构建出来推理能力，那靠大模型这条路线，agi就不可能实现。

4、国内没有足够大的资源持续投入，大模型差距肯定在扩大。如果有技术信仰，又能搞到资金，就应该去follow openai，没有钱去试，那永远不可能追得上。

5、我们follow openai的工作，所要花的钱可能并不会比openai少，总体没有10亿-20亿美金，这事儿没啥希望。

出品 | 搜狐科技

作者 | 梁昌均

质疑openai，学习openai，成为openai，甚至超越openai。不久前，赶超openai的梦想，被一家名为anthropic的公司“实现”了。

这家被谷歌、亚马逊等投资的公司最新推出的大模型claude 3，评测性能碾压gpt-4，成为openai的最强竞对。这似乎又让国内大模型燃起了希望——openai并不是无法超越的神话。

不过，复旦大学计算科学技术学院教授张奇对此保持着冷静。作为国内高校率先推出对话式大语言模型moss的核心研发人员，张奇对国内外大模型进展，时刻保持着关注。

他认为，榜单参考意义不大，从其团队评测和实际体验来看，gpt-4仍然领先，想要达到gpt-4还是很难，大幅度超越的可能性就更小。

早前，openai剧透文生视频模型sora，逼真的视频效果再次惊艳科技圈。周鸿祎甚至直言，sora将agi的实现从10年缩短到1年。

“它生成视频的长度、精度及效果比较惊艳，而且加了世界模拟，使大家有无限的遐想。”但张奇认为，sora还无法通过视频学习到物理世界的知识，四条腿的蚂蚁就是例证。

张奇表示，大模型现在最弱的就是推理能力，这是agi（通用人工智能）最核心的能力，但在统计机器学习的范畴下，其很难提升。

“如果大模型不具备推理能力，那它就是一个知识的压缩器和检索器，agi就不可能实现。从这种角度上来看，我个人觉得agi还远着呢。”张奇说。

无论是chatgpt，还是sora，都是暴力美学的胜利，其背后则是scaling law（规模定律）在发挥作用，甚至不少观点视其为大模型时代的“摩尔定律”。

张奇认为，scaling law带来的是知识记忆和多任务混合能力的提升，但最核心的还是要具备推理能力，只扩大参数没有太大意义。

同时，他认为，大模型的技术增长曲线放缓会非常快，且现在已经处于放缓的状态。“gpt-4应该是统计机器学习在文本理解上的一个巅峰，再往上难度可能很大。”

目前，业内都普遍预计openai会在年内发布gpt-5。张奇判断称，gpt-5在技术线路上不会有大的改变，会加上视频理解，是否会有视频生成要看sora何时正式发布，惊艳程度则要看它如何找一些特定应用场景来展示。

随着openai不断掏出新的武器，国内外的差距也一直是争议焦点。目前，国内大模型市场派居多，这种情况下，我们是否还要追赶 openai？

张奇表示，要想全面追赶openai，难度很大，如果没有更多的资源持续投入，那肯定差距会扩大。“如果有技术信仰，又能搞到资金，就应该去follow openai，如果不去试，那永远不可能追得上。”

金沙江创投主管合伙人朱啸虎此前认为，跟着openai后面走，能少花一个数量级的钱。对此，张奇并不认同。

“我们follow openai的工作，所要花的钱可能并不会比openai少。”他认为，这件事并没有捷径，很多基础的钱逃不掉，技术试错成本很高。

据张奇团队预测，完全复现gpt-4，至少需要20亿人民币，稍微走些弯路，可能就需要40亿以上，然后还需要用户推广等商业资金，因此需要百亿资金或10亿-20亿美金，才有可能做成。不过，张奇坚信，国内一定会有一家公司做成，追上openai。

当然，张奇也表示，如果拿不到这么多的投资，那就选择场景，做产品落地。“但怎么达到用户长期稳定的使用，或者是否可以大幅度提升效率，这样的场景是不是有？大家也都比较焦虑这件事情。”

大模型似乎陷入了技术和商业的两难当中，是一往无前，还是掉头转向，可能会是接下来很多公司需要做出的抉择。

以下是访谈节选（经编辑整理优化）

gpt-4仍很难超越，gpt-5会有视频理解

搜狐科技：不久前发布的claude3性能号称碾压gpt-4，您怎么看？

张奇：我们自己的数据集评测下来，初步结果，感觉它并没有超过gpt-4。伯克利大学做的lmsys评测，应该也没有超过gpt-4。榜单的意义可能越来越低，尤其是公开的测试数据，参考意义基本为零，更多还是要看真实的使用体验。我认为现在达到gpt-4可能依然很难，大幅度超越的可能性很小。

搜狐科技：claude3在多模态上说超过gpt-4，目前业内对大模型多模态怎么看的，尤其是sora出来以后？

张奇：多模态主要就是多模态的生成和理解。大语言模型一定要具备多模态的理解能力，不仅仅是图片，还包含video。生成能力有很多评价维度，也没有好的评价准则和手段，要看用户自己的体验、对指令的服从等。openai的视频生成技术，至少现在可能没有人敢说可以达到它的效果。

搜狐科技：sora很惊艳，也引发了争议，一方认为这意味着agi实现大大缩短，但杨立昆等人不以为然，您怎么看它对agi的意义？

张奇：文本生成视频，openai今年一定会做，这没有超出预期，但生成视频的长度和精度以及效果比较惊艳，而且它加了世界模拟这样一个词语，使得大家有无限的遐想。如果它看视频就能学会物理世界的知识，那当然对推动agi有很大帮助。但从目前的技术路线和角度来看，我个人觉得它根本就没有学世界知识，还是相关性，并没有学到因果。

搜狐科技：很多人都预测openai今年一定会发gpt-5，您预计它会在哪些方面提升？还能带来惊艳的效果吗？

张奇：gpt-5技术路线不会有大的改变，它一定会加上视频理解，生成视频不确定。sora迟迟不往外发布，我觉得是效果太差的原因。视频生成的稳定性、一致性、连贯性等问题，可能用统计学习的方法很难避免。其它部分可能就是做些升级，惊艳程度就看它怎么找一些特定应用场景来展示。

技术增长曲线已在放缓，大模型推理能力还很弱

搜狐科技：chatgp刚出来很惊艳，现在感觉技术增长曲线是不是在放缓，您怎么判断的呢？

张奇：我觉得gpt-4应该是统计机器学习在文本理解上的一个巅峰，再往上我觉得难度可能很大。当然可以再投入更大的资源，把60分、70分的部分提到90分，但这不改变本质。技术曲线肯定会放缓非常快，现在已经处于放缓的状态。

搜狐科技：chatgpt和sora背后都是scaling law在发挥作用，很多人认为这是大模型性能提升的核心，您怎么看？

张奇：很多人提的scaling law更多是说所谓的涌现，以及模型足够大了之后，这东西就是agi了，这我不是很认可。它能提升知识的记忆能力，但能灵活运用吗？能融汇贯通吗？我觉得最核心的在于它是否具备真正的逻辑推理能力，仅仅是知识记忆能力，或者只扩大参数，没有太大意义。

搜狐科技：大模型被视为agi的一条路径，离agi还有多远也有很多讨论，从agi角度来看，目前大模型最缺什么？

张奇：agi如果缩小定义来看，就是要去完成人的智力工作，那我觉得最核心的就是要具备语言知识学习和推理的能力。学习对模型来说难度非常大，很多常识知识，它答不上来，也学不会。

人用的最多的就是演绎推理和归纳推理，但现在大模型推理能力还很弱，它能不能扩展，程度有多大，还要去做研究。如果大模型不能构建出来推理能力，达到非常好的泛化能力，它就是一个知识的压缩器和检索器。那我觉得靠大模型这条路线，agi就不可能实现。从这种角度上来看，我个人觉得agi还远着呢。

搜狐科技：为什么现在大模型还学不会推理？openai也做不到？

张奇：这条路径不一定是对的，transformer、大规模无监督训练，都仅仅体现的是相关性，很难学习到因果性。这种神经网络架构，依然还是统计机器学习的范畴。

我觉得再往后发展，应该完全脱离统计机器学习的架构。但是脱离之后难度在于哪儿呢？因果性怎么体现，怎么建模，没有好的数学方法和工具。这可能需要非常有creative idea的人做，现有的商业逻辑也支撑不了这件事情。

复现gpt-4至少要20亿，能搞到钱就应follow openai

搜狐科技：sora出来以后，gpt-5可能也要发，很多人觉得我们跟openai的差距更大了，您觉得呢？

张奇：gpt-4出来，大家都说一年后要追上，sora出来后，国内基本没人说跟了。openai在发gpt-3.5的时候就已经烧了40亿美金，sora可能没有五亿人民币或一亿美金做不到。openai有很多条线，agent、gpt-5、gpts等，每条线可能一年都是上亿美金的消耗。全面追赶，我觉得难度很大，如果没有这么大的资源持续投入，那差距肯定会扩大。

搜狐科技：很多公司曾表态要赶超openai，但现在想的更多是怎么去赚钱，市场派成了主导，怎么看这种转变？

张奇：大厂前面为了复现gpt-4，可能十几个亿扔下去了，还没有达到这个水平，然后还要去进行产品化，体现在使用人数跟b端买单的token数。但如果投入和回报严重偏差，那往后更多投入肯定心里会打鼓。

所以现在更多考虑说，基于gpt-3.5到gpt-4的中间状态，进行转化。如果有正向回报，那肯定愿意投。但怎么达到用户长期稳定的使用，或者是否可以大幅度提升效率，这样的场景是不是有？我觉得大家也都比较焦虑这件事情。

搜狐科技：在差距扩大、市场导向的情况下，我们到底还要不要去follow openai？

张奇：如果有技术信仰，又能搞到资金，就应该去follow。如果没有钱去试，那永远不可能追得上openai。国内应该有投资机构站出来，大规模地去投，他们可能会从商业逻辑上考虑，但还是应该有人应该坚定地投下去。

搜狐科技：朱啸虎此前说我们跟着后面走，能少花很多钱，您也是这么看？

张奇：我觉得我们follow openai的工作，所要花的钱可能并不会比openai少。按我们的估算，完全复现gpt-4，不走弯路，可能至少要20亿人民币；稍微走点弯路，可能要往40亿去烧，还得再准备用户推广等商业部分，所以没有百亿或者10亿-20亿美金，这事儿基本没啥希望。

如果能够拿到这么大的资源，就去复现gpt-4，但真正意义上达到gpt-4，可能并没有捷径，很多基础的钱逃不掉，有人愿意投资当然是最好的。如果拿不到，那就选择场景，做产品落地。

搜狐科技：很多公司曾说要做中国的openai，我们还有技术信仰能赶超吗？

张奇：我觉得并不是说国内没有这样的技术信仰，国外也就仅此一家，google都不敢投。openai在2020年前的投资大部分都是捐赠，没有考虑回报，但国内很难找到这样的投资商，并且这么大规模。国内能不能有这样的环境，让科学家们可以坚持20年，就认准自己的事情去做，国内这方面长期缺乏。

现在国内至少有五家都是独角兽规模，如果不走错，咬咬牙应该能支撑看到gpt-4这些情况。但稍微走错一点，可能公司就没了。这个风险很大，试错成本很高，国内的人才差距也很大。但我相信中国肯定会有一家能成，大概率是这五家中的一家。