HBM供应限制推高GPU租赁价格约两成,AI硬件市场生变
专家要点:
推理 > GPU 租赁价格上涨约 20%:由HBM供应限制驱动。新型云服务商没有选择压缩利润率,而是通过1–3年的更短合同将硬件成本上涨直接转嫁给租户。
> HBM4瓶颈限制NVIDIA Vera:NVIDIA的Vera GPU面临生产限制——HBM4问题将产量限制在10万–20万颗,而其理论产能为40万–60万颗。
> 低延迟ASIC抢占份额:智能体AI将工作负载拆分为通用推理和超快速推理两类。低延迟硬件目前占据5%–10%的市场份额,长期预计将达到约40%。
> Etched达到约6万token/秒:通过剥离通用计算电路,Etched将transformer利用率提升到约90%。它已筹集到10亿美元新资本,部署在Jane Street和JPMorgan。
> Groq商业策略:为缓存提示词和批量API提供50%折扣。LPX服务基准定价为每百万输入token 0.05–0.09美元,原生集成Rubin。
> Groq LPU 在Kimi模型上的跑分:Kimi 1.5达到约1000 token/秒,Kimi K2达到400–450 token/秒,多LPU的Kimi 3达到约250 token/秒。
> 云跑分细分(Kimi K2.5):Together AI达到450 token/秒(延迟1.37秒),Fireworks AI在速度上领先,延迟低于1秒(354 token/秒),标准新型云服务商落后,为338 token/秒(延迟1.86秒)。
$NBIS $NVDA $MU $CBRS
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖