Google DeepMind 发布 Gemma 4 12B 无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本的 12B 多模态模型,性能接近 26B MoE 模型,可在 16GB VRAM 或统一内存上本地运行。
推荐理由:Gemma 4 12B 去掉视觉与音频编码器,16GB 内存即可本地跑,可看轻量多模态模型的新做法。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本的 12B 多模态模型,性能接近 26B MoE 模型,可在 16GB VRAM 或统一内存上本地运行。
推荐理由:Gemma 4 12B 去掉视觉与音频编码器,16GB 内存即可本地跑,可看轻量多模态模型的新做法。
作者让编程智能体调用两个 Hugging Face Space 搭建了一个展示巴黎地标的 3D 高斯泼溅画廊:ideogram4 负责由提示词生成图像,VAST-AI/TripoSplat 负责将单张图像重建成 .ply 格式的 3D 高斯泼溅。
推荐理由:作者以一条可复现的智能体流水线,展示如何用 agents.md 串联两个 Space 完成图像与 3D 生成。
Hugging Face 宣布 OpenEnv 转为由 Meta-PyTorch、Reflection、Unsloth、Modal、Prime Intellect、Nvidia、Mercor、Fleet AI、Microsoft 等组成的委员会协调,项目地址移至 huggingface/OpenEnv。
推荐理由:原文交代了 OpenEnv 转向委员会治理并明确自身为协议层而非奖励框架,读者可据此判断开放智能体 RL 的协作边界。
Hugging Face 在 TRL 中提交 PR,用增量权重同步替代异步强化学习中的全量权重传输:两次 RL 优化步之间约 99% 的 bf16 权重字节完全一致,只把变化的元素编码成稀疏 safetensors 文件上传到 HF Bucket,再让 vLLM 拉取。
推荐理由:Hugging Face 把异步强化学习的权重同步从全量广播改成稀疏增量,并给出可下载运行的实现,读者可以据此判断跨机房训练的门槛变化。
Google DeepMind 发布 AlphaEvolve 一年进展报告,这款由 Gemini 驱动的编码智能体已从数学和计算机科学的开放问题探索,扩展到 Google 内部基础设施与外部商业场景。
推荐理由:汇总 AlphaEvolve 一年来的落地场景与量化收益,可据此判断算法智能体在科研与基础设施中的真实渗透程度。
IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM,包含 3B、8B、30B 三个规模,基于约 15T token 训练,采用五阶段预训练流程并将上下文窗口扩展至 512K token,全部以 Apache 2.0 许可开源。
推荐理由:原文披露了 Granite 4.1 从预训练到多阶段 RL 的完整训练配方,以及 8B 稠密模型追平上一代 32B-A9B MoE 的对比结果。
NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型,在文本、图像基础上加入原生音频与视频理解,覆盖文档分析、语音识别、长音视频理解、GUI 智能体和通用多模态推理五类任务。
推荐理由:原文给出了架构细节、多模态基准成绩与吞吐数据,读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体场景的可用性。
Hugging Face 发布 Sentence Transformers v5.4,可在同一套 API 下编码和比较文本、图像、音频与视频,用于视觉文档检索、跨模态搜索和多模态 RAG。
推荐理由:官方博客给出 Sentence Transformers v5.4 多模态嵌入与重排序的完整代码用法和模型清单,可直接照抄跑通流程。
Overworld 发布新一代实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广泛消费级硬件的 360p 档位。
推荐理由:Waypoint-1.5 用 720p/360p 双档位和消费级硬件本地运行把实时世界模型从演示推向可用。
Google DeepMind 发布 Gemma 4 开源模型家族,包含 E2B、E4B、26B MoE 和 31B Dense 四个规格,采用 Apache 2.0 许可。
推荐理由:Gemma 4 给出四种规格、Apache 2.0 许可与 Arena 排名,可据此判断开源模型在本地与端侧的可用边界。
Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族,采用 Apache 2.0 许可,支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸,最大上下文窗口 256K,其中 12B Unified 去掉独立视觉与音频编码器,直接把原始图像块和音频波形投影到 LLM 嵌入空间。
推荐理由:Gemma 4 五档模型覆盖端侧到 MoE,附各推理引擎与微调工具链的接入方式,可据此判断本地部署路径。
TII 的 Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早期融合 Transformer,用自然语言提示做开放词表定位与分割,图像与文本从第一层起共享参数。
推荐理由:原文用 SA-Co 与自建 PBench 的分数拆解了早期融合单骨干相对模块化流水线的收益与短板。
Gradio 发布 gradio.Server,扩展 FastAPI,在原路由基础上叠加 Gradio 的 API 引擎,提供排队、SSE 流式、并发控制和 gradio_client 兼容。
推荐理由:Gradio 新 Server 模式把排队、并发与 ZeroGPU 能力开放给任意前端框架,读者可据此评估自建前端的后端选型。
IBM 发布 Granite 4.0 3B Vision,一款面向企业文档理解的紧凑型视觉语言模型,以 LoRA 适配器形式挂载在 Granite 4.0 Micro 之上,在 Hugging Face 以 Apache 2.0 许可开放。
推荐理由:IBM 以 LoRA 适配器形式发布 3B 文档视觉模型,并给出图表与表格抽取的对比基准,便于判断小模型在企业文档场景的可用性。
NVIDIA 发布一套在单张 GPU 上不到一天完成领域嵌入模型微调的流程,基于 Llama-Nemotron-Embed-1B-v2,无需人工标注。流程用 nemotron-3-nano-30b-a3b 从领域文档生成合成问答数据、挖掘难负样本并做多跳展开,再用对比学习微调,实测 nDCG@10 与 Recall@10 均提升约 10%。
推荐理由:NVIDIA 给出了从合成数据、难负样本挖掘到 ONNX/TensorRT 部署的完整嵌入模型微调配方,附真实评测数字。
Hugging Face 发布 2026 春季开源 AI 生态分析,基于平台数据复盘过去一年竞争格局、地理分布、技术趋势与新兴社区。2025 年平台用户增至 1300 万,公开模型超 200 万个,公开数据集超 50 万个;中国模型占过去一年下载量的 41%,行业开发占比从 2022 年前的约 70% 降至 2025 年的约 37%。
推荐理由:Hugging Face 官方以平台数据复盘开源 AI 一年变化,可用于判断开源生态的重心与集中度。
Hugging Face 的 LeRobot 发布 v0.5.0,自 v0.4.0 以来合并 200 多个 PR、新增 50 多位贡献者,是其迄今规模最大的版本。
推荐理由:LeRobot v0.5.0 一次性补齐人形机器人、自回归 VLA 策略与流式数据录制,读者可据此判断开源机器人栈的推进速度。
Hugging Face 发布 Modular Diffusers,用可复用 block 组合扩散流水线,作为 DiffusionPipeline 的灵活替代方案,支持添加、删除和替换 block,并可用 .init_pipeline() 把 block 转为可运行流水线。
推荐理由:原文给出可组合模块的 API 写法与自定义 block 示例,读者可据此判断现有扩散流水线能否改造成模块化流程。
Hugging Face 宣布 GGML 及其创建的 llama.cpp 加入 HF,Georgi Gerganov 团队的目标是让未来 AI 保持开放,并为 ggml 与 llama.cpp 社区提供规模化和支持。
推荐理由:GGML 团队加入 HF 后,llama.cpp 的维护自主权与长期资源安排是本地推理生态的关键变化。
Gradio 6 为 gr.HTML 加入自定义模板、作用域 CSS 和 JavaScript 交互能力,前端、后端与状态管理可以全部写进单个 Python 文件,无需构建步骤,几秒内部署到 HF Space。
推荐理由:Gradio 6 的 gr.HTML 打通了单文件前后端与状态同步,读者可据此判断 LLM 一句话生成完整 Web 应用的工作流是否可行。