~/AI Infra 雷达
AI Infra · 每日要闻 · 第 1 期 · 2026-10-18(星期日)08:00

Meta 开源 816B 模型,vLLM 首日适配

Meta 开源 816B 多模态 MoE 模型 Muse Spark Open,vLLM 第一时间给出 Day 0 支持。同期 vLLM 披露 Kimi K3 在 AMD MI355X 上吞吐追平 HGX B300,谷歌发布 Gemini 4 并推出 API 限时半价。

12 件事7 个信源9 条一手约 5 分钟读完

今日看点

  1. vLLM 首日支持开源模型 Muse Spark OpenvLLM Blog
  2. AMD MI355X跑Kimi K3吞吐追平HGX B300vLLM Blog
  3. Gemini 4正式发布,API限时半价量子位

本期版面

01 算力与芯片

19:36SemiAnalysis算力与芯片AI 评分 78

SemiAnalysis:专利与路线图显示 ASML 正在开发混合键合设备

ASML 尚未官方宣布,但 SemiAnalysis 指出其专利文件、一篇新闻报道及其自身路线图均表明公司正在开发混合键合(hybrid bonding)设备。

推荐理由:混合键合是 HBM 与先进封装的关键工艺,ASML 入局将影响 AI 芯片的封装产能与技术路线。

02 推理与训练

19:39vLLM Blog一手推理与训练AI 评分 88

vLLM 首日支持开源模型 Muse Spark Open

Muse Spark Open 为 816B 参数的多模态 MoE 模型,支持 1M 上下文。vLLM 提供 Day 0 支持,涵盖 DSpark 投机解码、NVIDIA 与 AMD 平台部署、初步 TPU 支持以及 LoRA RL。

推荐理由:开源前沿大 MoE 的首日推理支持细节(投机解码、跨硬件)直接影响部署选型与推理成本。
19:32vLLM Blog一手推理与训练AI 评分 86

AMD MI355X跑Kimi K3吞吐追平HGX B300

vLLM博客披露Kimi K3在AMD Instinct MI355X上的优化过程与瓶颈分析,称在AgentX基准上单GPU吞吐已追平NVIDIA HGX B300。

推荐理由:AMD与NVIDIA旗舰GPU的推理吞吐正面对比数据,直接影响算力采购的性价比评估。
19:32vLLM Blog一手推理与训练AI 评分 82

vLLM用CuTe DSL加速Kimi K3在GB300解码

vLLM博客介绍借助agent辅助的CuTe DSL优化加速Kimi K3在NVIDIA GB300上的解码,并通过受限改动、正确性测试与可复现基准保障改动安全落地。

推荐理由:GB300上的解码算子优化实战与工程方法论,对推理引擎开发者有直接借鉴价值。
19:36NVIDIA Developer一手推理与训练AI 评分 80

NVIDIA 介绍在 GB300 NVL72 上规模化运行 Muse Spark Open

Meta 推出的 Muse Spark Open 是面向编码优化的 816B MoE 模型,激活参数 42B,上下文窗口 100 万 token;NVIDIA 开发者博客介绍如何在 GB300 NVL72 上扩展其智能体编码工作流。

推荐理由:给出大型开源 MoE 模型在 GB300 NVL72 上的实际部署路径,对推理集群选型与规划有直接参考价值。
19:32vLLM Blog一手推理与训练AI 评分 78

vLLM首日支持501B模型Beam,解码延迟降2.71倍

vLLM在发布当天即支持Reflection的Beam-1.0(总参数501B、激活23B),通过agent驱动的优化将解码延迟降低2.71倍,并集成了带自适应验证的DFlash2投机解码。

推荐理由:500B级MoE新模型实现day 0可服务且大幅降延迟,展示推理引擎与模型发布协同的新节奏。

03 集群与网络

19:28PyTorch Blog一手集群与网络AI 评分 74

PyTorch 为 TorchTitan 引入 Zephon 确定性数据加载

PyTorch 官方博客介绍为 TorchTitan 引入 Zephon,实现弹性确定性的数据加载。文章指出模型训练所见的数据是影响模型表现最有力的杠杆之一。

推荐理由:TorchTitan 是 PyTorch 大模型训练框架,数据加载的确定性与弹性直接影响大规模训练的可复现性和效率。

04 模型发布

19:36PyTorch Blog一手模型发布AI 评分 88

Meta 开放 Muse Spark Open 模型权重

Meta 宣布开放 Muse Spark Open 的模型权重,称其为迄今最强的美国开放权重模型。模型现已在 Hugging Face 上线,采用 Muse Model License。

推荐理由:顶级开源权重模型发布,直接影响自托管推理部署选项与开源生态的成本格局。
19:28量子位模型发布AI 评分 87

Gemini 4正式发布,API限时半价

谷歌正式发布Gemini 4模型,并推出API限时半价优惠。来源称此举助谷歌重回第一梯队,但未提供具体价格数字。

推荐理由:旗舰模型发布叠加API半价,将直接冲击推理服务定价与调用成本竞争格局。
19:36NVIDIA Blog一手模型发布AI 评分 82

NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 边缘模型

NVIDIA 发布开放的 1200 亿参数模型 Nemotron 3.5 Super VL,称其为常驻智能体提供最快任务完成速度与最高准确率;同时推出两款边缘模型:Nemotron 3.5 Bolt 74B-A9B(24GB)针对本地智能体负载平衡每 GB 显存的智能与速度,另有 Nemotron 3.5 Bolt E4B(4GB)。

推荐理由:开源模型家族从云端扩展到边缘,为端侧智能体推理提供了具体的参数量与显存选型参考。
19:32Hugging Face Blog一手模型发布AI 评分 80

Reflection开源501B参数模型Beam

Hugging Face发文欢迎Reflection发布Beam:一个501B参数量的开源模型,定位为可拥有、可定制、可扩展。

推荐理由:501B级开源模型进入自托管生态,对应部署它的推理集群显存与算力需求将显著上升。
19:28量子位模型发布AI 评分 80

DeepSeek发布V4.1-Flash并开放自研搜索API

DeepSeek 发布新版本模型 V4.1-Flash-1017,宣传主打超级性价比,并同步开放自研搜索 API。稿件未披露具体性能与定价数据。

推荐理由:DeepSeek 历次发布都以低价高性能冲击推理与 API 市场,新模型及搜索 API 的后续定价值得 Infra 和 API 从业者紧盯。

学习选题

精读 vLLM 博客关于 Kimi K3 在 AMD MI355X 的优化与瓶颈分析(搭配 CuTe DSL 解码加速那篇),对照 vLLM 源码理解投机解码与算子级优化如何把异构平台吞吐拉平。
日报合订本