当前位置:金沙娱场城app-老版金沙app下载客户手机端|资讯|人工智能|openai

2023年人工智能研究公司openai盈亏分析报告(附下载) -金沙娱场城app

作者:aigc学派发布时间:2023-08-29

原标题:2023年人工智能研究公司openai盈亏分析报告(附下载)

今天分享的是人工智能系列深度研究报告:《2023年人工智能研究公司openai盈亏分析报告》。(报告出品方:深度行业分析)

精选报告来源公众:人工智能学派

报告共计:24页

【报告内容摘要如下】

算力与精度的关系

算力与精度的关系:根据yufanliu等人的论文研究,模型精度每下降10%,算力可能减半。模型的大小由其参数量及其精度决定,精度通常为fp64、fp32、fp16、bf16、tf32、int8、in4等,精度下降使得算力承载扩大的同时,也会导致性能在一定程度上下降。根据yufanliu等人的研究,其模型测试精确度降低到原来的90%左右时,模型被修剪后剩余flops的数量约占原始网络中flops总数的50%。因此,可以通过使用更低的精度来减少gpu需求,具体关系大约为精度每下降10%,所需算力减少到原来的二分之一。

单张a100芯片每日吞吐量测算

单张a100卡的每日吞吐量测算:根据英伟达金沙娱场城app官网数据,nvidiadgxa100640gb的服务器,包含8个nvidiaa10080gbtensorcoregpu,dgxa100具有高达640gb的总gpu显存,可将大规模训练作业的性能提升高达3倍,并将mig实例的大小增加一倍,从而从容应对颇为复杂的大任务,以及简单轻松的小任务。据微软官方介绍,每个nda100v4series虚拟机有8块a100芯片,对于davinci3模型(gpt-3.5)使用英伟达80g显存的nda100芯片,若需要大约3个虚拟机,共需要约24块芯片。考虑到高并发和低并发的情况,davinci3模型在低并发情况下平均每秒可以处理0.28个请求;而在高并发状态下,平均每秒钟可以处理0.34个请求,此时,一张卡每天的吞吐量大约为1224次(0.34*60secs*60mins*24hrs/24gpucards)。但在实际使用时,若芯片全部打满容易出现崩掉的情况,因此需要考虑芯片的使用效率。

精度和算力的换算

不同模型得分及精度转换:根据timdettmers等人的论文,团队使用大模型gpt-4当裁判,对不同模型的回答进行打分,以gpt-3.5的成绩作为100%,最终gpt-4自己的得分是114.5%。michalkosinski的研究表明,gpt-3可以解决70%的心智理论任务,而gpt-3.5解决了93%的任务,以gpt-3.5的成绩作为100,gpt-3的分数约为75(70/93*100)。如果使用分数对精度进行衡量,则gpt-4精度相当于gpt-3.5的1.145倍,gpt-3精度相当于gpt-3.5的0.75倍。

【内容看点】

  1. 算力的逻辑:“10%的精度 vs 50%的算力”
  2. open ai的总体盈亏分析
  3. open ai“单用户”盈亏分析
  4. 如何提高gpt-4付费率

(本“人工智能学派”已获上百家出品方授权。本文仅供参考,不代表我们的任何立场。如需使用相关信息,请参阅报告原文,内容金沙娱场城app的版权归原撰写/出品方所有。)

报告共计:24页

受篇幅限制,仅列举部分内容。

海量精选报告来源公众号“人工智能学派”

18小时前

19小时前

2小时前

16小时前

2小时前

18小时前

18小时前

18小时前

20小时前

19小时前


金沙娱场城app copyright © 2024 金沙娱场城app-老版金沙app下载客户手机端  北京智识时代科技有限公司  金沙娱场城app的版权所有 

网站地图