但人们也清醒地意识到，花在基础模型训练上的资本支出同样也是“有史以来贬值速度最快的资产”，而 GPU 基础设施支出也面临着类似的风险。总之，如今的 GPU 争夺完全是一场富人和大厂才有资格参与的战争。

  本文的“太长不看”版：别买 H100。随着预留计算转租、开放模型微调和新型基础设施厂商的衰落，GPU 资源已经从供应短缺（对应 8 美元 / 小时）转变为供过于求（2 美元 / 小时）。所以，去租，别买。对于常规市场而言，在目前供应过剩的情况下，大家已能用接近成本的价格租到 GPU 资源，所以投资购置新 H100 已经失去意义。

  ChatGPT 于 2022 年 11 月发布，当时配套的 GPU 是 A100 系列。H100 于 2023 年 3 月上市，给投资者和创始人们的宣传线 倍。

  也就是说，只要能够迅速出手在 H100 身上砸下资金，买家就能建立起规模更大、质量更高的模型，甚至有望超过 OpenAI 率先实现通用AI——一切的前提，就是要有钱！

  市场价格一路飙升，H100 最初的租赁价格约为每小时 4.70 美元，但很快涨到了 8 美元以上。对于绝望的创始人们来说，为了尽早让自己的模型开始训练，他们必想办法说服投资者参与一轮又一轮的亿级美元融资。

  而在 GPU“农场”这边，钱就像印的一样飘然而至。毕竟如果能说服初始人们以每小时 4.70 美元甚至更高的价格租用你的 H100 SXMGPU，甚至开放付费预约通道，那么整个投资回报周期将不到一年半。也就是说，每块 GPU 每年将带来超过 10 万美元的自由流动现金。

  这里我们只依据各种市场行情报价，尝试讨论经济成本和租赁投资回报率。机会成本或者商业经济价值不在讨论范围之内。

  数据中心内每张 H100 SXM GPU 的平均安装、维护和经营成本为 5 万美元或更高（其中大部分为资本支出），这还不算电力和冷却系统的经营成本。后文将提供更多细节核算信息。另外，我们假设 GPU 本身的常规使用的寿命为 5 年。

  然而如果按每小时 2.85 美元计算，则内部收益率将仅仅略高于 10%。也就是说，如果我们当下购买一台全新 H100 服务器，而市场租赁价格又不到每小时 2.85 美元（毕竟谁也不敢说肯定能租出高于市场平均的价位），那这买卖还勉强能做。如果更低，不如直接去买股票，回报率要比建设 H100 基础设施更好。

  与从头开始训练（对于 7B 参数及以上模型，至少需要 16 个节点甚至更多）相比，微调对于算力资源的要求要低很多（通常为 4 个或者更少节点，大多只需要单个节点）。这种全行业式的转变，实际上消除了很大一部分小型集群需求。

  2023 年，在文本和图像领域出现了很多的中小型基础模型。然而如今，除非大家有绝对的信心可以超越 Llama 3，或者引入了一些全新的元素（例如新架构、百分之一级别的推理成本、上百种语言支持等），否则根本就不会再从头开始开发新的基础模型。一般而言，大规模的公司（Facebook 等）定期发布的中小型开放模型，已经让小公司没理由再训练自己的基础模型（除非在技术或者数据层面有着强大的差异化优势），甚至不再需要向更大的模型扩展。最近投资者的倾向也反映了这一点，新基础模型创建者能轻松的获得的资金急剧下降。绝大多数小规模组织已经转向微调（也有不少公司被迫退出市场）。

  对于集群所有者，特别是各类基础模型初创公司和风险投资公司来说，他们在 2023 年最初的“圈地运动”中签下了大量长期租约。随着负载类型转向微调，加上 H100 的交货周期太过漫长（峰值时超过 6 个月），其中不少很可能已经预付了款项，最终造成了承租硬件“到手即过时”的局面。或者，哪怕是按时拿到了硬件来训练自己模型的企业也已经意识到，下一个迭代模型最好采用微调方式开发，而不再自主构建。

  这部分供应大多是通过算力经销商完成的，例如：together.ai、sfcompute、runpod、vast.ai 等。在大多数情况下，集群所有者掌握着一套小型或者中型集群（通常拥有 8 到 64 个节点），但资源利用率却很低。这对已经花出去的集群采购资金来说，肯定不是笔好买卖。所以为了尽可能多地收回成本，他们宁愿削弱市场价位来增加供应，而这必然会让各大主要供应商的日子也不好过。

  所以到这时候，没人会愿意继续为 H100 的 Infiniband 及 / 或英伟达提出的其他溢价买单。

  H100 的训练溢价已经被纳入官方硬件价格。例如，英伟达自己就发布了 L40S，一种更具价格竞争力的推理替代硬件。

  性能是三分之一，价格是五分之一，唯一短板就是不适用于多节点训练。英伟达自己就在削弱 H100 在这部分细分市场的定价权。

  唯一的问题，就在于它们的驱动程序在训练过程中存在一点小问题，而且还没有完全经过大规模多节点集群训练的验证。但前文已经提到，这样一些问题只会影响到不足 50 支研发团队。H100 的市场定位本来就一直在向推理及单个 / 小型集群微调场景发展，而 AMD 和英特尔在这一领域的表现并不差。

  随着以太坊转向权益证明再加上 ASIC 主导了比特币采矿竞赛，密码货币市场已逐渐陷入沉寂。

  于是乎，密码货币采矿领域的 GPU 使用率一直呈下降趋势，在某些情况下甚至无利可图。在此之后，大量 GPU 被投放到了公有云平台之上。

  虽然受到硬件限制（例如 PCIe 带宽不足、网络传输不稳定等），绝大多数 GPU 无法被用于训练甚至是推理类工作负载，但转售的硬件已经充斥市场，并被重新收归 AI 工作负载所用。所以在多数情况下，只要大家的预期参数规模低于 10B，就可完全用极低的价格获取这些 GPU 并获得不错的性能表现。如果再做逐步优化（例如使用各种技巧），还可以让 405B 级别的模型在这类小型硬件集群之上运行，且成本要远低于 H100 节点。

  如果受种种坏因影响而导致当前定价低于 2.25 美元，那么一旦您的经营成本优化不够彻底，很有可能会面临无利可图的风险。而如果定价过高（超过 3 美元），则可能没办法吸引到足够的买家来消化容量。继续观望？那更不行，在有限的 GPU 寿命周期之内，我们一定要想办法收回当初按 4 美元 / 小时合同约定的高昂成本。

  不好不坏：相较于采购或签订长期租约的大规模模型创建者，中型模型创建者获得的转租价值仍有机会抵消溢价

  这不是在安慰大家，部分将未使用计算资源转租出去的模型创建者慢慢的开始获取回报。融资市场已为此类集群及其模型训练定价并支付了费用，额外“提取的价值”将可用于支撑当前及下一轮融资。

  大多数此类采购都是抢在算力经销商涌现之前完成的，所以其成本已经被计入了价格。如果非要说有什么不同，那就是他们能从过剩的 H100 算力中再压榨一部分收入，而其他人则享受到了更低的租赁价格，这对双方都有好处。

  考虑到开放权重模型已经来到 GPT4 的水平，H100 价格下降或将成为开放权重 AI 普及的放大器。对于业余爱好者、AI 研发人员以及业内工程师来说，运行、微调和修改这些开放模型的成本将越来越低。特别是如果后续发布的 GPT5++ 没什么重大飞跃，则意味着开放权重模型和闭源模型之间的边界将愈发模糊。

  目前的情况是，人们都在制造铲子，但却拿不出多少能够真正为用户服务的应用程序（对应收入和商业经济价值）。而如果 AI 推理和微调的成本低到前所未有的水平，则将最终掀起 AI 应用的浪潮，真正让生成式 AI 走进千家万户。

  除非你能找到打折的 H100、打折的电力供应或者拥有极其强大的自主 AI 运营管理能力，又或者自有 GPU 对于你的业务非常非常重要。再就是，你掌握着数十亿美元，而且确实需要一套超大规模的集群。如果单论投资，那不妨考虑别的领域，甚至直接买股票都有更好的大盘回报。