AI 每日热点 · 2026-11-19
🔬 AI 新工艺
1. 按路由流式加载专家,让大 MoE 在有限内存中运行
实验将 SSD 上被路由选中的专家读入有界槽位池,映射专家编号后复用 grouped_mm,并预取后续层,避免每个 token 搬运整层专家。在 32GB M5、特定量化权重和关闭推测解码等条件下,Qwen3.8-Flash-Next 短文本解码约 13.9 token/s;接口仍在 Transformers PR 中讨论,不能视作稳定版能力。
https://huggingface.co/blog/moe-expert-streaming
2. 微调耗时预测应把评估、检查点和共享集群开销算进去
Dharma-AI 用派发前即可获得的配置与模型信息训练 CatBoost,将评估量、检查点和每卡负载纳入端到端耗时预测,排队时间不计入。在 272 次 H200 SFT 任务的五折交叉验证中,平均绝对误差为 1.71 小时,FLOP 基线为 12.41 小时;跨硬件迁移需重新校准,超过 60 小时的长任务样本较少。
https://huggingface.co/blog/Dharma-AI/predicting-fine-tuning-time
🛠️ 工具及技巧
1. Hugging Face 语言模型推理改用 OpenRouter,迁移需检查自带密钥
Inference Providers 按价格、速度和可靠性路由,失败时可切换提供方,并可在设置中禁用提供方。语言模型改由 Hugging Face 账户计费,不再支持自带提供方 API key;图像、视频和音频生成仍走原路径。
https://huggingface.co/blog/openrouter
⭐ 开源亮点
(今日无此类内容)
📰 行业动态
1. Anthropic 将 IPO 发行价定为每股 83 美元,预计 11 月 19 日以 ANT 开始交易
🚀 重磅发布
1. Gemini 4 Neon 开始向付费 API、企业及 Pro/Ultra 用户推出
2. Reson8 以 Apache 2.0 发布 Rumble-2-Flash,0.5B 参数支持 40 多种语言识别
- 各大应用商店搜索"开发助手"下载

