算力服务:大模型时代的新商业模式

大模型训练对算力的需求促使算力正在成为一种新的商业模式。虽然当前大模型"炼丹"热潮可能会过去,但算力服务商需要未雨绸缪,为市场需求的变化做好准备。

近期,有研究人员利用全球40年的天气数据,用200张GPU卡进行了为期约2个月的预训练,最终训练出了参数量达亿级的气象大模型。按照每小时7.8元的GPU使用成本计算,这个垂直领域大模型的训练成本可能超过200万元。如果是训练通用大模型,成本可能会增加百倍。

目前中国已有超过百个10亿参数规模的大模型。然而,行业蜂拥而上开发大模型却面临高端GPU短缺的困境。算力成本高企,缺乏算力和资金成为摆在行业面前最直接的问题。

高端GPU的短缺问题在短期内难以解决。大模型的爆发导致市场对算力需求快速增长,但供给量增速远远跟不上。虽然长远来看算力供给一定会从卖方市场进入买方市场,但这个过程需要多长时间仍是未知数。

面对这一局面,业内普遍认为,随着大模型市场的竞争加剧,市场也会从狂热逐渐回归理性,企业也会根据预期的变化来控制成本、调整策略。

为应对算力短缺,企业采取了多种方法:

1. 使用更高质量的数据进行训练,提升训练效率。

2. 提升基础架构能力,实现大规模GPU集群的稳定运行。

3. 优化算力卡资源调度,提高资源利用率。

4. 改进网络性能,提高大规模分布式训练的效率。

5. 从云计算架构转向超算架构,降低成本。

6. 使用国产平台进行大模型训练和推理,替代英伟达GPU。

算力已经在市场需求和技术迭代中,逐渐形成了一种新的服务模式。算力服务以多样化算力为基础,以算力网络为链接,以有效供给算力为目标。它不仅包括算力,还统一封装了存储、网络等资源,以服务形式(如API)完成算力交付。

在算力产业链中,上游企业主要供应基础算力资源,中游企业负责算力生产和供给,下游企业则依靠算力服务提供增值服务。这种模式相比企业自建算力环境,在成本和技术上都更具优势。

随着大模型高性能计算需求的常态化,算力服务正快速形成独特的产业链和商业模式。虽然当前高端GPU短缺、算力成本高企等问题仍然存在,但长远来看,算力作为一种服务的趋势已经确立。算力服务商需要随时准备,在市场需求变化时能够及时调整策略。