借一步网

分类： GPU

  • GPU泡沫破灭前夜：深度剖析H100市场现状与未来

    💻 AI竞赛的历史轨迹

    在2022年11月30日，基于A100 GPU系列训练的GPT-3.5与ChatGPT一夜之间吸引了全世界对AI的关注，开启了AI竞赛的序幕。2023年3月21日，随着H100的发布，AI的热潮再度升温。许多创业者希望利用新推出的H100 GPU，构建更大、更强的模型，以超越OpenAI的成就。而市场的反应则是，H100的需求瞬间井喷，租赁价格一度飙升至8美元/小时。

    📉 价格回落的背后

    然而，随着市场的变化，H100的价格也经历了大幅波动。2024年初，多家供应商的租赁价格降至约2.85美元/小时，甚至在2024年8月，部分算力转售商提供的价格已降到1-2美元/小时。这种变化引发了对H100市场的反思：在数十亿美元投入到AI基础设施后的未来，究竟是繁荣还是泡沫？

    📊 H100的投资回报率（ROI）

    在评估H100的经济效益时，需考虑到其设置、维护和运营成本。综合来看，H100 SXM GPU的平均成本在50000美元以上，而其使用寿命一般为5年。通过分析不同的租赁模式，我们发现：

    • 短期按需租赁：在按需工作负载下，租赁价格低于2.85美元/小时的情况下，投资回报率（IRR）将低于股市的内部收益率，甚至在价格降至1.65美元/小时以下时，可能面临亏损。
    • 长期租赁：许多基础设施提供商选择锁定价格，以应对未来的市场波动。然而，如果他们在未来3年内以3美元或4美元/小时的价格签订合同，将可能面临合同绑定而导致的资源浪费。

    🔄 市场趋势：开放权重模型的崛起

    随着开放权重模型的兴起，微调现有模型的需求增加，尤其是GPT-4级别的开放模型（如LLaMA3）逐渐进入市场。这种趋势使得许多小型和中型基础模型创建者意识到，微调比从零开始训练更加经济和高效。这不仅导致了对H100的需求下降，还引发了算力供应的过剩。

    💡 未来展望：H100价格的层次分化

    从整体来看，未来H100市场将继续分层，大型集群依然会维持溢价，尤其是对于真正需要高性能计算的客户。而在推理任务上，基于以太网的实例逐渐成为主流，其价格则会显著降低。

    📉 结论：不要轻易购买全新的H100

    在当前市场环境下，投资新的H100硬件可能面临巨大的亏损风险。除非拥有折扣的H100、低廉的电力成本，或对AI有迫切需求，否则建议考虑其他GPU选项或投资股票市场以获得更优的回报。

    参考来源：

    1. Tech Power Up数据库
    2. 华尔街日报
    3. NVIDIA投资者PPT
    4. Semi Analysis对H100集群的深入研究

    本文旨在为AI产业的投资者提供全面的市场分析，帮助其在变化莫测的市场环境中做出明智的决策。

  • 英特尔代工厂：芯片制造传奇的新篇章？🎲

    英特尔，曾经芯片制造领域的绝对霸主，近年来却在努力保住自己的王冠。面对来自英伟达和台积电等强劲对手的激烈竞争，英特尔一直在努力重振旗鼓。他们的最新举措是什么？将代工厂业务剥离为一个独立的实体，并可能向外部寻求资金。这是大胆的重振霸主地位的举措，还是为了维持现状的绝望尝试？让我们深入了解细节。

    📈 代工厂需要提振

    英特尔的代工厂业务，负责为其他公司制造芯片，一直是财务上的负担。过去两年，他们每年投入了高达 250 亿美元，但回报却不如预期。这种新的结构，拥有自己的董事会，并有可能获得外部资金，清楚地表明英特尔正在寻求新的视角和急需的现金注入。

    💸 寻求外部帮助

    外部资金的想法对英特尔来说是一个重大转变，这家公司以自力更生而闻名。此举表明，该公司愿意接受新的合作伙伴关系，并探索创新的融资方式。这也引发了人们对英特尔对其自身能力的信心，即能否为代工厂业务的雄心勃勃的增长计划提供资金的疑问。

    📉 英特尔的崎岖道路

    英特尔的股价今年遭受重创，下跌了近 60%。该公司在其核心 PC 和数据中心业务中失去了市场份额，人工智能的兴起进一步加剧了问题。英伟达凭借其强大的 AI 工作负载芯片，已成为一个强大的竞争对手。英特尔最近的裁员和削减成本措施证明了他们面临的挑战。

    🇺🇸 专注于美国制造

    尽管面临挑战，英特尔仍致力于其在美国的制造雄心。该公司已从芯片与科学法案获得 30 亿美元的拨款，以支持其“安全飞地”计划，该计划是与国防部的合作项目。这项投资突出了美国政府减少对外国芯片制造商（特别是台积电，全球最大的芯片代工企业）的依赖的愿望。

    🤝 与亚马逊的战略联盟

    英特尔还与亚马逊网络服务 (AWS) 达成协议，为人工智能生产定制芯片。这种合作关系扩展了这两家公司之间的长期合作关系，并可能为英特尔在不断增长的 AI 服务器芯片市场中提供立足点。虽然英特尔拥有像 Gaudi 3 这样的 AI 芯片，但英伟达目前主导着这个领域。亚马逊对其自身 AI 芯片（包括 Trainium）的投资进一步强调了对 AI 领域中专用芯片日益增长的需求。

    🤔 对未来的赌注

    英特尔决定重组其代工厂业务并寻求外部资金是一个冒险的举动。如果他们能够吸引合适的投资者并驾驭复杂的芯片制造领域，这将是一场可能带来丰厚回报的赌博。然而，如果他们未能兑现承诺，这也有可能适得其反。只有时间才能证明英特尔故事的这个新篇章将通向辉煌的复兴，还是进一步的衰落。

    📚 参考资料

    1. 英特尔将代工厂业务转变为子公司，考虑外部融资。 (2024 年 9 月 16 日). CNBC. https://www.cnbc.com/2024/09/16/intel-turns-foundry-business-into-subsidiary-weighs-outside-funding.html

  • 中国的“英伟达梦”：追赶之路荆棘丛生

    🤔 中国梦想着拥有自己的英伟达，但这条路充满了挑战。

    🔥 中国科技巨头们正在加紧步伐，试图打造出能够与英伟达抗衡的AI芯片。这不仅是出于对美国技术的依赖，更是为了在人工智能领域占据一席之地。然而，这条追赶之路却困难重重，就像攀登珠穆朗玛峰，每一步都充满了艰辛。

    🏔️ 首先，美国对中国实施的出口管制就像一座座高山，阻挡着中国芯片产业的攀登之路。英伟达最先进的芯片被禁止出口到中国，而中国国内芯片制造商SMIC的技术水平也落后于台积电（TSMC）好几代。这使得中国企业难以获得最先进的芯片制造技术，就像登山者缺少了最先进的登山装备一样，难以克服高海拔的挑战。

    🚧 其次，中国芯片产业缺乏技术人才，就像登山者缺少经验丰富的向导一样，难以找到最佳的攀登路线。虽然中国涌现了一些像华为、阿里巴巴、百度这样的科技巨头，以及像Biren Technology和Enflame这样的初创公司，但他们与英伟达相比，在技术上仍然存在差距。

    💪 华为是目前中国芯片领域的领头羊，其Ascend系列数据中心处理器已经取得了一定的进展。但华为也面临着与其他中国企业相同的挑战，那就是缺乏英伟达那样的软件生态系统。就像登山者需要熟悉各种登山技巧和装备一样，中国芯片产业也需要构建一个完善的软件生态系统，才能让开发者更容易地使用国产芯片。

    💰 资金也是中国芯片产业面临的一大挑战。Biren Technology和Enflame等初创公司正在寻求上市融资，以获得更多资金来发展。但与华为相比，这些初创公司缺乏资金实力，就像登山者缺少充足的资金支持一样，难以克服高昂的登山成本。

    💡 中国芯片产业的追赶之路就像一场马拉松，需要长期坚持不懈的努力。虽然短期内难以追赶上英伟达，但中国企业正在不断努力，相信未来会取得更大的突破。

    📚 参考资料：

    1. China looks for domestic Nvidia rival — but that’s proving challenging (https://www.cnbc.com/2024/09/19/china-looks-for-domestic-nvidia-rival-but-thats-proving-challenging.html)

    🎉 中国芯片产业的未来充满了希望，让我们拭目以待！

  • 平均帧率稳定，但是掉帧的问题

    解决方案：

    • 显示器帧率配置了动态帧率？可以尝试关闭；
    • 低延迟模式打开没？可以在Nvidia显卡控制台打开reflex尝试下；gsync也可以关闭试一下；
    • 大小核心架构的CPU？可以用process lasso 来设置相关进程只使用大核心；
    • 内存频率设置太高？降低到默认频率试试；
    • 鼠标的回报速率是不是太高？可以设置到600fps；
    • 风扇是不是太脏了？散热问题？
    • 核心显卡到驱动是不是没有更新？有独立显卡时，别忘记更新核心显卡的驱动；
人生梦想 - 关注前沿的计算机技术 acejoy.com 🐾 步子哥の博客