- 2023-02-24
- 阅读()
- 来源:互联数据
最近,全世界都在热议ChatGPT。这款史上用户增速最快的消费级应用,只用了两个多月,就火到了几乎无人不知的程度。何为人工智能ChatGPT?大家应该都是有所了解的。而人工智能的推进,离不开ChatGPT服务器的支持。那么,何为ChatGPT服务器呢,简单来说,就是提供服务的机器,两者结合在一起,就组成了人工智能服务器,那么,ChatGPT人工智能服务器是什么?ChatGPT的服务器到底有多烧钱?
一、ChatGPT人工智能服务器是什么?
ChatGPT服务器采用特殊的Ai产品阵列,对于功能的实现有很大的帮助。它的优势主要呈现在语音识别、图像处理、视频成像、语义识别等领域,特别是在数据中心计算领域取得了卓越的成就人工智能服务器提供的数据计算是多方面的,包括档案、市场细分、类型划分等,通过特定的分析,为企业提供精准的发展方向,更有针对性的发展和改进。
ChatGPT之所以能拥有如此强大的能力,是因为将大量的数据、强大的计算能力和新颖的处理技术相结合,其核心并且不可或缺的就是算力与算法。ChatGPT的支撑使用了数千台GPU服务器,网传每次问答的成本是0.8美元。由此可见,生成式AI对算力的需求是超乎想象的,这为算力及基础设施相关赛道创造了巨大的发展空间。
资料显示,ChatGPT 是基于 GPT-3.5 优化的一个模型,GPT-3.5 是 GPT-3.0 的微调版本。OpenAI的GPT-3.0模型存储知识的能力来源于1750亿参数,单次训练费用约460万美元,GPT-3.5 在微软 AzureAI 超算基础设施上进行训练,总算力消耗约 3640PF-days(即假如每秒计算一千万亿次,需要计算 3640 天)。
二、ChatGPT的服务器到底有多烧钱?
ChatGPT服务器和传统的服务器一样,在我们搜索、聊天、浏览网页时,提供数据和信息服务。当然,这只是它的基础功能,为了满足市场和不同应用场景的需求,人工智能服务器最多可支持n多个处理器,抵得上几十台个人电脑的运作能力,实力超群,不仅如此,它的扩展性强,可根据企业的真实需求,提供精准的解决方案,帮助他们实现数据和资源的诉求,升级企业地位和形象。
而GPT-3训练一次的成本约为140万美元,对于一些更大的LLM模型,训练成本介于200万美元至1200万美元之间。这一成本于全球科技大企业而言并不便宜,但尚在可接受范围内。今年1月平均每天约有1300万独立访客使用ChatGPT,对应芯片需求为3万多片英伟达A100GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。
1)计算假设:
英伟达A100:根据OneFlow报道,目前,NVIDIAA100是AWS最具成本效益的GPU选择。
英伟达DGXA100服务器:单机搭载8片A100GPU,AI算力性能约为5PetaFLOP/s,单机最大功率约为6.5kw,售价约为19.9万美元/台。
标准机柜:19英寸、42U。单个DGXA100服务器尺寸约为6U,则标准机柜可放下约7个DGXA100服务器。则,单个标准机柜的成本为140万美元、56个A100GPU、算力性能为35PetaFLOP/s、最大功率45.5kw。
2)芯片需求量:
每日咨询量:根据Similarweb数据,截至2023年1月底,chat.openai.com网站(即ChatGPT官网)在2023/1/27-2023/2/3这一周吸引的每日访客数量高达2500万。假设以目前的稳定状态,每日每用户提问约10个问题,则每日约有2.5亿次咨询量。
A100运行小时:假设每个问题平均30字,单个字在A100GPU上约消耗350ms,则一天共需消耗729,167个A100GPU运行小时。
A100需求量:对应每天需要729,167/24=30,382片英伟达A100GPU同时计算,才可满足当前ChatGPT的访问量。
3)运行成本:
初始算力投入:以前述英伟达DGXA100为基础,需要30,382/8=3,798台服务器,对应3,798/7=542个机柜。则,为满足ChatGPT当前千万级用户的咨询量,初始算力投入成本约为542*140=7.59亿美元。
每月电费:用电量而言,542*45.5kw*24h=591,864kwh/日。参考HashrateIndex统计,我们假设美国平均工业电价约为0.08美元/kwh。则,每日电费约为2,369,640*0.08=4.7万美元/日。
ChatGPT服务器以突出的优势,被众多企业所认可,当下,已经代替部分的人工,被运用于金融、教育、制造、交通等多个行业,在未来的发展中,将更加全面的分布于各个行业,通过自身的优势,为企业降低成本、节省能耗,提高效率,真正的消除计算瓶颈期,为人工智能的性能提升提供坚实的基础,让人工智能拥有更强的商业价值,为人类带来便捷,成就更高品质的科技效益。