今天分享的是人工智能系列深度研究报告:《人工智能报告:2023人工智能研究公司openai盈亏分析报告》。
(报告出品方:深度行业分析研究)
报告共计:24页
海量/完整电子版/报告下载方式:公众号《人工智能学派》
算力与精度的关系
算力与精度的关系:根据yufanliu等人的论文研究,模型精度每下降10%,算力可能减半。模型的大小由其参数量及其精度决定,精度通常为fp64、fp32、fp16、bf16、tf32、int8、in4等,精度下降使得算力承载扩大的同时,也会导致性能在一定程度上下降。根据yufanliu等人的研究,其模型测试精确度降低到原来的90%左右时,模型被修剪后剩余flops的数量约占原始网络中flops总数的50%。因此,可以通过使用更低的精度来减少gpu需求,具体关系大约为精度每下降10%,所需算力减少到原来的二分之一。
单张a100芯片每日吞吐量测算
单张a100卡的每日吞吐量测算:根据英伟达金沙娱场城app官网数据,nvidiadgxa100640gb的服务器,包含8个nvidiaa10080gbtensorcoregpu,dgxa100具有高达640gb的总gpu显存,可将大规模训练作业的性能提升高达3倍,并将mig实例的大小增加一倍,从而从容应对颇为复杂的大任务,以及简单轻松的小任务。据微软官方介绍,每个nda100v4series虚拟机有8块a100芯片,对于davinci3模型(gpt-3.5)使用英伟达80g显存的nda100芯片,若需要大约3个虚拟机,共需要约24块芯片。考虑到高并发和低并发的情况,davinci3模型在低并发情况下平均每秒可以处理0.28个请求;而在高并发状态下,平均每秒钟可以处理0.34个请求,此时,一张卡每天的吞吐量大约为1224次(0.34*60secs*60mins*24hrs/24gpucards)。但在实际使用时,若芯片全部打满容易出现崩掉的情况,因此需要考虑芯片的使用效率。
精度和算力的换算
不同模型得分及精度转换:根据timdettmers等人的论文,团队使用大模型gpt-4当裁判,对不同模型的回答进行打分,以gpt-3.5的成绩作为100%,最终gpt-4自己的得分是114.5%。michalkosinski的研究表明,gpt-3可以解决70%的心智理论任务,而gpt-3.5解决了93%的任务,以gpt-3.5的成绩作为100,gpt-3的分数约为75(70/93*100)。如果使用分数对精度进行衡量,则gpt-4精度相当于gpt-3.5的1.145倍,gpt-3精度相当于gpt-3.5的0.75倍。
gpt模型不同精度模型下的算力需求
在2500万dau的假设条件下,若每个用户10次的使用次数,gpt-3.5所需gpu数量大约为27.2万a100。如果2024年bingchat的dau达2500万,每个用户提10次问题,若按照芯片75%的使用效率进行测算,gpt-3.5所需gpu数量大约为27.2万(2500*10turns/1224turns/0.75gpuutilizationrate)。若根据精度下降10%,算力除以2的逻辑,可以推算出gpt-4在2500万日活及10次平均使用次数下条件下所需算力大约为66.4万(27.2gpu/(2^log0.9(114.5/100))。
在同样的假设条件下,若newbing之后使用压缩6倍的模型(得分76.2分),所需算力约为4.5万gpu。如果微软对模型进行压缩,压缩后的模型使用4块芯片,其算力需求约为4.5万。同样地,在相同假设前提下,gpt-3所需的算力约为4.1万(27.2gpu/(2^log0.9(75/100)。根据机器之心,gpt-4的推理成本是davinci模型(gpt-3.5为davinci3)的3倍,与我们测算结果相似。
openai为什么用户放缓:扭亏是个关键
根据similarweb的数据,截至2023年7月12日,chatgpt网页端日访问量基本持平。2022年11月30日发布以来,chatgpt用户数量持续上涨。据官方数据显示,chatgpt上线2个月活跃用户突破一亿人次。而根据similarweb网页访问数据,截至2023年7月12日,chatgpt网页日访问量已基本持平,维持在五千多万。
据data.ai数据显示,chatgptios端加速扩张,每日活跃用户量呈增长趋势。2023年5月18日,openai正式发布chatgptios版本。根据appannie的数据,截至2023年6月19日,openaichatgptios端美国地区前30日平均日活跃用户94.6万人。
openai总体营收分析:12%的付费率或为盈亏线
在gpt-3.5精度没有下降的情况下,假设在8次平均使用次数条件下,如果日活月活比例达到30%,月活付费率突破14%,对于未压缩情况下的gpt-3.5或能实现盈亏平衡。在每用户平均使用8次的条件下,openai全年整体算力成本约为65.5亿美元,此时处于亏损状态。而若日活月活比例为30%,付费率突破14%时,年收入可能达到67.2亿美元/年,或将实现盈亏平衡。
在gpt-3.5精度下降的情况下,如果日活月活比例达到35%,月活付费率突破12%,对于压缩后的gpt-3.5或能实现盈亏平衡。如果gpt-3.5的精度下降约5%,成本大约下降25%,在6000万dau,每用户平均8次请求次数的条件下,openai整体算力成本约为47.4亿美元。如果日活月活比例达到35%,月活付费率突破12%,对于压缩后的gpt-3.5或能实现盈亏平衡。
报告共计:24页
海量/完整电子版/报告下载方式:公众号《人工智能学派》
2024-08-26
2024-08-26
2024-08-26
2024-08-26
2024-08-26
2024-08-26
2024-08-26
2024-08-26
2024-08-26
2024-08-26
金沙娱场城app copyright © 2024 金沙娱场城app-老版金沙app下载客户手机端 北京智识时代科技有限公司 金沙娱场城app的版权所有