Google 发布 Gemma 2 开源大模型,9B 与 27B 双尺寸
Google 发布 Gemma 2 系列开源大语言模型,包含 9B 和 27B 两个尺寸的基础版与指令微调版,共 4 个开放权重模型,上下文长度 8K token。
推荐理由:详细拆解 Gemma 2 的滑动窗口注意力、软上限与蒸馏等改动,可作为理解这代开源模型训练思路的参考。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
Google 发布 Gemma 2 系列开源大语言模型,包含 9B 和 27B 两个尺寸的基础版与指令微调版,共 4 个开放权重模型,上下文长度 8K token。
推荐理由:详细拆解 Gemma 2 的滑动窗口注意力、软上限与蒸馏等改动,可作为理解这代开源模型训练思路的参考。
TII 发布 Falcon 2 系列模型,包括 11B 基础 LLM 和 11B 视觉语言模型(VLM),后者在 LLM 之上接入预训练 CLIP ViT-L/14 视觉编码器并支持图像问答。
推荐理由:官方给出 11B LLM 与 VLM 的训练细节和基准对比,可据此判断小尺寸开源多模态模型的性能位置。
Google 发布视觉语言模型系列 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像和文本并输出文本。
推荐理由:梳理了 PaliGemma 的架构、三种权重类型与分辨率选择建议,方便判断是否适合自身微调任务。
Hugging Face 发布 Transformers Agents 2.0,在原有 agent 类型外新增可基于历史观测迭代的 agent,并将代码与常用属性设计得清晰、模块化,同时加入 agent 分享功能。
推荐理由:官方给出新 Agent 框架的模块设计与 GAIA 榜单实测,读者可据此比较不同 LLM 引擎的 agent 表现。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个用完全可许可且透明的管线自对齐训练的代码大语言模型。它用 StarCoder2-15B 自行生成数千条指令-响应对再微调自身,不使用人工标注或大型闭源模型的蒸馏数据,在 HumanEval 上取得 72.6 分,超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由:原文公开了完全透明的自对齐数据管线,读者可据此了解不依赖 GPT-4 蒸馏也能训练代码指令模型。
Meta 发布 Llama 3,包含 8B 和 70B 两种参数规模,各有 base 与 instruct 微调版本,并同步推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2,共 5 个开放权重模型上线 Hugging Face。
推荐理由:梳理 Llama 3 四款模型的规格、tokenizer 变化与 Hugging Face 生态集成方式,便于评估其部署与微调成本。
Hugging Face 发布 Idefics2,一个 8B 参数、Apache 2.0 开源许可的多模态模型,可接收任意文本与图像序列并生成文本回复。它在视觉问答基准上表现处于同等规模领先水平,可与 LLaVa-NeXT-34B、MM1-30B-chat 等更大模型竞争,并已集成进 Transformers。
推荐理由:8B 开源多模态模型在视觉问答基准上对标更大模型,并附指令微调数据集,可据此判断社区多模态微调的起点。
Google 发布开源代码模型系列 CodeGemma,基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练,包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本,上下文长度均为 8K。
推荐理由:原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式,便于评估其在代码补全场景的定位。
Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集,包含超 3000 万个文件和 250 亿 token,目标是复现 Phi-1.5 的训练数据。
推荐理由:Hugging Face 公开了复现 Phi 合成预训练数据的完整流程、数据集与 1B 模型,读者可据此理解大规模合成数据的提示词设计与工程细节。
BigCode 发布透明训练的开放代码大模型 StarCoder2,含 3B、7B、15B 三个参数版本,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由:BigCode 同时放出 3B/7B/15B 三档代码模型与 67.5TB 数据集,可据此判断开源代码模型的当前水位。
Google 发布开源 LLM 家族 Gemma,包含 2B 和 7B 两个尺寸,各有基础版与指令微调版共 4 个模型,基于 Gemini 打造,上下文长度 8K tokens,可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由:Google 开源 Gemma 2B 与 7B 双尺寸模型,本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face 博客以金融新闻投资者情绪识别为例,展示用开源 Mixtral-8x7B-Instruct-v0.1 生成合成数据、再用 AutoTrain 蒸馏出约 0.13B 参数的 RoBERTa 分类模型的流程。
推荐理由:以金融情绪识别为例,给出用开源 LLM 生成合成数据再蒸馏小模型的可复用流程与成本对比。
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API。
推荐理由:TGI 1.4.0 起提供 OpenAI 兼容的 Messages API,读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Segmind 发布 SegMoE 框架,可从零构建混合专家(MoE)扩散模型,并已集成 diffusers,同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码(Apache 2.0)。
推荐理由:原文给出了从配置到生产的完整流程和显存占用数据,读者可以据此判断是否用 MoE 方式拼装扩散模型。
Hugging Face 公开了一套用开源模型做 Constitutional AI 的端到端配方,覆盖自我批判、修订、SFT 与 DPO 全流程,并发布了 Anthropic constitution 与 Grok 风格两个版本的 CAI 数据集,以及基于 Mistral-7B 的 DPO/SFT 模型。
推荐理由:Hugging Face 公开了一套在开源模型上做 Constitutional AI 的完整配方,包括数据集、模型与集群推理工具,便于复现细粒度对齐。
Hugging Face 在 LangChain 中集成 ChatHuggingFace 封装,让开源模型可构建 ReAct 智能体,并对比了多个开源模型与 GPT-3.5、GPT-4 的表现。
推荐理由:对比多个开源模型在 ReAct 智能体上的评测结果,并给出 LangChain 接入代码示例。
Hugging Face 博客发布教程,介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本,改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由:教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤,包含模型映射与预加载等工程细节,可复用性强。
Hugging Face 博客介绍社区工具 Unsloth,声称 LLM 微调速度提升 2 倍、显存占用降低 40% 且相对标准 QLoRA 精度 0% 下降。
推荐理由:原文给出了 Unsloth 与 TRL 的接入代码和 59 次基准数据,读者可据此判断自己微调任务的加速与显存收益。
Hugging Face 发布 SDXL LoRA 高级训练脚本,把 Pivotal Tuning 与 Prodigy 优化器等社区 SOTA 做法整合进 diffusers,并提供 Colab 与带 UI 的训练 Space。
推荐理由:整理 SDXL Dreambooth LoRA 微调的社区最佳实践,包括 Pivotal Tuning、Prodigy 优化器与数据集构建等可复用方法。
Mistral 发布 Mixtral 8x7B,采用 MoE 架构,含 base 与 Instruct 版本,支持 32k token 上下文,HumanEval 得分 40.2%,在多数基准上追平或超过 GPT-3.5,并以 Apache 2.0 许可开放。
推荐理由:Mistral 开源 MoE 模型登顶开放权重榜,文中量化数据可帮助读者判断本地部署门槛。