Google 发布 Gemma 3:多模态、多语言、长上下文开源模型
Google 发布 Gemma 3 开源权重模型家族,提供 1B、4B、12B、27B 四种规格及预训练与指令微调版本。4B、12B、27B 支持图像与文本输入、140 多种语言和 128k token 上下文,1B 版本仅支持英文文本和 32k 上下文。
推荐理由:Google 开源 Gemma 3 覆盖 1B 到 27B 四种规格,可据此判断小参数模型在多模态与长上下文上的实际边界。
Google 与 DeepMind 的 AI 动态:Gemini 系列、Veo 视频模型、研究成果与产品生态的持续追踪。
Google 发布 Gemma 3 开源权重模型家族,提供 1B、4B、12B、27B 四种规格及预训练与指令微调版本。4B、12B、27B 支持图像与文本输入、140 多种语言和 128k token 上下文,1B 版本仅支持英文文本和 32k 上下文。
推荐理由:Google 开源 Gemma 3 覆盖 1B 到 27B 四种规格,可据此判断小参数模型在多模态与长上下文上的实际边界。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种规模,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 只有 3B 版本。
推荐理由:Google 发布 PaliGemma 2 视觉语言模型,相比前代只提供 3B,补上了 10B、28B 与三种输入分辨率,可用于判断自己的微调选型空间。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本添加水印,并用分类器检测。
推荐理由:SynthID Text 集成进 Transformers 后,给出了水印配置、生成与检测的完整接入方式及已知局限。
Google 发布 Gemma 2 系列开源大语言模型,包含 9B 和 27B 两个尺寸的基础版与指令微调版,共 4 个开放权重模型,上下文长度 8K token。
推荐理由:详细拆解 Gemma 2 的滑动窗口注意力、软上限与蒸馏等改动,可作为理解这代开源模型训练思路的参考。
Google 发布视觉语言模型系列 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像和文本并输出文本。
推荐理由:梳理了 PaliGemma 的架构、三种权重类型与分辨率选择建议,方便判断是否适合自身微调任务。
Google 发布开源代码模型系列 CodeGemma,基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练,包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本,上下文长度均为 8K。
推荐理由:原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式,便于评估其在代码补全场景的定位。
Google 发布开源 LLM 家族 Gemma,包含 2B 和 7B 两个尺寸,各有基础版与指令微调版共 4 个模型,基于 Gemini 打造,上下文长度 8K tokens,可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由:Google 开源 Gemma 2B 与 7B 双尺寸模型,本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。
Hugging Face 将 Perceiver IO 加入 Transformers,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由:原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例,读者可据此判断跨模态统一架构的可用性。