借一步网
作者:
在
在2022年11月30日,基于A100 GPU系列训练的GPT-3.5与ChatGPT一夜之间吸引了全世界对AI的关注,开启了AI竞赛的序幕。2023年3月21日,随着H100的发布,AI的热潮再度升温。许多创业者希望利用新推出的H100 GPU,构建更大、更强的模型,以超越OpenAI的成就。而市场的反应则是,H100的需求瞬间井喷,租赁价格一度飙升至8美元/小时。
然而,随着市场的变化,H100的价格也经历了大幅波动。2024年初,多家供应商的租赁价格降至约2.85美元/小时,甚至在2024年8月,部分算力转售商提供的价格已降到1-2美元/小时。这种变化引发了对H100市场的反思:在数十亿美元投入到AI基础设施后的未来,究竟是繁荣还是泡沫?
在评估H100的经济效益时,需考虑到其设置、维护和运营成本。综合来看,H100 SXM GPU的平均成本在50000美元以上,而其使用寿命一般为5年。通过分析不同的租赁模式,我们发现:
随着开放权重模型的兴起,微调现有模型的需求增加,尤其是GPT-4级别的开放模型(如LLaMA3)逐渐进入市场。这种趋势使得许多小型和中型基础模型创建者意识到,微调比从零开始训练更加经济和高效。这不仅导致了对H100的需求下降,还引发了算力供应的过剩。
从整体来看,未来H100市场将继续分层,大型集群依然会维持溢价,尤其是对于真正需要高性能计算的客户。而在推理任务上,基于以太网的实例逐渐成为主流,其价格则会显著降低。
在当前市场环境下,投资新的H100硬件可能面临巨大的亏损风险。除非拥有折扣的H100、低廉的电力成本,或对AI有迫切需求,否则建议考虑其他GPU选项或投资股票市场以获得更优的回报。
参考来源:
本文旨在为AI产业的投资者提供全面的市场分析,帮助其在变化莫测的市场环境中做出明智的决策。
要发表评论,您必须先登录。
在2022年11月30日,基于A100 GPU系列训练的GPT-3.5与ChatGPT一夜之间吸引了全世界对AI的关注,开启了AI竞赛的序幕。2023年3月21日,随着H100的发布,AI的热潮再度升温。许多创业者希望利用新推出的H100 GPU,构建更大、更强的模型,以超越OpenAI的成就。而市场的反应则是,H100的需求瞬间井喷,租赁价格一度飙升至8美元/小时。
然而,随着市场的变化,H100的价格也经历了大幅波动。2024年初,多家供应商的租赁价格降至约2.85美元/小时,甚至在2024年8月,部分算力转售商提供的价格已降到1-2美元/小时。这种变化引发了对H100市场的反思:在数十亿美元投入到AI基础设施后的未来,究竟是繁荣还是泡沫?
在评估H100的经济效益时,需考虑到其设置、维护和运营成本。综合来看,H100 SXM GPU的平均成本在50000美元以上,而其使用寿命一般为5年。通过分析不同的租赁模式,我们发现:
随着开放权重模型的兴起,微调现有模型的需求增加,尤其是GPT-4级别的开放模型(如LLaMA3)逐渐进入市场。这种趋势使得许多小型和中型基础模型创建者意识到,微调比从零开始训练更加经济和高效。这不仅导致了对H100的需求下降,还引发了算力供应的过剩。
从整体来看,未来H100市场将继续分层,大型集群依然会维持溢价,尤其是对于真正需要高性能计算的客户。而在推理任务上,基于以太网的实例逐渐成为主流,其价格则会显著降低。
在当前市场环境下,投资新的H100硬件可能面临巨大的亏损风险。除非拥有折扣的H100、低廉的电力成本,或对AI有迫切需求,否则建议考虑其他GPU选项或投资股票市场以获得更优的回报。
参考来源:
本文旨在为AI产业的投资者提供全面的市场分析,帮助其在变化莫测的市场环境中做出明智的决策。