Hugging Face 与 Protect AI 合作,用 Guardian 扫描模型安全
Hugging Face 宣布与 Protect AI 合作,将后者旗下安全工具 Guardian 作为第三方扫描器集成进 Hub 的扫描套件,用于识别 pickle、Keras Lambda 层等格式中的任意代码执行漏洞。所有公开模型仓库在推送文件后会自动扫描,无需额外操作,目前平台已扫描数亿个文件,但超 100 万个模型仓库的覆盖仍需时间。
Hugging Face 宣布与 Protect AI 合作,将后者旗下安全工具 Guardian 作为第三方扫描器集成进 Hub 的扫描套件,用于识别 pickle、Keras Lambda 层等格式中的任意代码执行漏洞。所有公开模型仓库在推送文件后会自动扫描,无需额外操作,目前平台已扫描数亿个文件,但超 100 万个模型仓库的覆盖仍需时间。
Stable Diffusion 3.5 Large 已在 Hugging Face Hub 发布并接入 Diffusers,包含 8B 模型和 8B timestep-distilled 少步推理版本,蒸馏版通常 4-8 步即可出图。
推荐理由:原文给出 SD3.5 在 Diffusers 中的量化推理与 LoRA 微调完整调用路径,可直接对照迁移。
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU(代号 Turin),最高 192 核 384 线程。
Gradio 团队公布由 Trail of Bits 对 Gradio 5 所做的独立安全审计,相关漏洞均在 Gradio 5.0 发布前修复并通过验证。
推荐理由:Gradio 5 与 Trail of Bits 的安全审计公开了四类场景下的漏洞清单与修复方式,可供自建 ML 应用时对照排查。
Hugging Face 宣布 Gradio 5 稳定版发布,开发者可用几行 Python 构建面向生产环境的机器学习 Web 应用。新版本通过服务端渲染(SSR)提升加载速度,对按钮、标签页、滑块和聊天机器人界面做了设计更新,并加入低延迟流式能力,覆盖摄像头目标检测、视频流、实时语音转写与生成等场景。
Hugging Face 博客介绍了与 Intel Labs 共同开发的动态投机解码方法,已集成进 Transformers 4.45.0,并成为辅助生成的默认工作模式。
2024 年中国 AI 公司加速出海,全球 1500 家活跃 AI 公司中有 751 家位于中国,其中 103 家已拓展海外市场。华为、腾讯、阿里聚焦云计算与 AI 基础设施,主攻东南亚和中东;字节跳动七个月内推出 11 款海外应用,CapCut 月活超 3 亿。
Meta 发布 Llama 3.2,共 10 个开放权重模型,包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模,均有 base 与指令微调版本,视觉模型上下文长度为 128k tokens;文本模型新增 1B 和 3B 两种规格,面向端侧场景,训练使用最多 9 万亿 tokens。
推荐理由:文章给出 10 个开放权重模型与端侧量化运行路径,便于评估多模态开源方案的落地条件。
Hugging Face 发布 FineVideo 数据集,包含 4.3 万条视频、总计 3400 小时,并标注了描述、叙事细节、场景切分和问答对。
HF Mirror 的 Daily Papers 页面已收录 3,700 多篇论文、订阅数超 12k,作者可一键认领论文并关联到自己的账号。该页面还支持论文提交、@作者实时讨论、@librarian-bot 推荐相似论文、多语言评论与自动翻译,并将模型、数据集、demo 等资源集中链接在论文页右侧。用户可通过页面顶部 Subscribe 按钮订阅每日更新(周末除外)。
Hugging Face 发布 Accelerate 1.0.0 的首个 release candidate,包已稳定近一年。1.0 加入 MS-AMP 和 TransformerEngine 的 FP8 支持、DeepSpeed 多模型编排(实验性)、大模型推理 API 的 torch.compile 支持等。
Hugging Face 与 Truffle Security 合作,将开源密钥检测工具 TruffleHog 接入平台。平台自动化扫描流水线新增第三类扫描——用 TruffleHog 扫描密码、token 和 API key,会在每次 push 时对新增或修改文件运行 trufflehog filesystem 命令,发现已验证密钥即邮件通知用户。
HF Mirror Hub 上有 5 个常被忽视的工具:ZeroGPU、Multi-process Docker、Gradio API、Webhooks 和 Nomic Atlas。
HF Mirror 在 Transformers 中新增 DataCollatorWithFlattening,让无填充的打包训练与 Flash Attention 2 兼容,通过保留样本边界避免跨样本注意力。
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库,核心库自包含在不到 5 个文件中,编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件,并支持量化张量以节省内存,llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
Hugging Face 在 Transformers 中推出统一的工具调用 API,同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型上使用工具,无需或只需少量模型专属改动。工具以 JSON schema 定义,Python 函数传入后会自动转换为 schema,并配有完整文档和示例。目前模型响应格式仍需手动解析,这部分尚未统一。
推荐理由:原文给出了统一工具调用 API 的跨模型设计与 Transformers 代码示例,读者可据此判断现有工具调用代码的迁移成本。
Hugging Face 宣布收购西雅图公司 XetHub,其 12 人团队将加入,目标是让 Hub 仓库改用自研的存储后端替代 Git LFS。XetHub 的技术可让 Git 扩展到 TB 级仓库,通过分块存储和去重,更新 10GB Parquet 文件中的一行只需重传包含新行的少量分块,而更新 GGUF 头部的单个元数据值也只需重传几 KB。
Hugging Face 在 2024 年安全功能盘点中梳理了 Hub 的现有安全能力:面向所有用户的细粒度 token、2FA、GPG 提交签名、组织访问控制和自动化安全扫描(ClamAV 恶意软件扫描、picklescan 与 trufflehog)。企业版 Hub 另有 SAML 2.0 / OIDC 单点登录、Resource Groups 和新增的组织 token 管理。
Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列,新增 2.6B 参数的 Gemma 2 2B、用于输入输出过滤的安全分类器 ShieldGemma,以及覆盖 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
HF Mirror 面向 Enterprise Hub 组织推出 NVIDIA NIM API(无服务器),可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face 上线 Meta Llama 3.1 系列,包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型,另发布 Llama Guard 3 和 Prompt Guard。
推荐理由:官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口,便于据此评估部署成本。
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤,最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由:完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程,并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face 为 TGI 推出 Multi-LoRA 服务功能,在一个基础模型部署上通过 Request 中的 adapter_id 动态加载多个 LoRA 适配器,实现一次部署服务 30 个模型。
推荐理由:原文给出了 TGI 多 LoRA 部署的具体配置、成本对比和可复现操作步骤,适合评估多模型推理的工程团队参考。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M、1.7B 三种参数规模,并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2(28B tokens)、Python-Edu(4B tokens)和去重后的 FineWeb-Edu(220B tokens)组成。
推荐理由:SmolLM 把数据配比、训练细节和评测结果一并公开,可供读者判断小模型在端侧可用的边界。
Hugging Face Hub 与 KerasHub 完成集成,两者共用模型保存格式,Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma,KerasHub 此前仅能使用 33 个 Keras 模型。加载后的模型可在 TensorFlow、JAX、PyTorch 后端间一行代码切换。
Banque des Territoires(CDC 集团)、Polyconseil 与 HF Mirror 合作,为 EduRénov 校园生态改造计划搭建基于 RAG 的主权数据方案,项目第一阶段已完成。
Hugging Face 为 Dataset Hub 的 Dataset Search 上线四项新功能:按模态(文本、图像、音频、表格等)、按行数规模、按存储格式(如 Parquet、WebDataset)以及按兼容库(如 Pandas、Dask、Datasets)筛选数据集。行数超过 5GB 的超大数据集将以首 5GB 内容估算总行数,四项筛选条件还可与语言、任务、许可证等已有过滤器组合使用。
基于文本提示的蛋白质设计多模态语言模型 ProtST 已在 Intel Gaudi 2 加速器上实现推理与微调:在 ProtST-SubcellularLocalization 测试集上。
Hugging Face 用 Transformers Agents 库构建的 Code Agent 在 GAIA 基准验证集上取得 44.2%,排名第一,比第二名高 4 个百分点;测试集成绩为 33.3%,排名第二,并在最难的 Level 3 问题上取得最佳平均分。
Google 发布 Gemma 2 系列开源大语言模型,包含 9B 和 27B 两个尺寸的基础版与指令微调版,共 4 个开放权重模型,上下文长度 8K token。
推荐理由:详细拆解 Gemma 2 的滑动窗口注意力、软上限与蒸馏等改动,可作为理解这代开源模型训练思路的参考。
XLSCOUT 发布面向专利与 IP 领域的专有嵌入模型 ParaEmbed 2.0,基于人工专家整理的多领域专利数据微调,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face 发布 BigCodeBench,包含 1,140 个函数级任务,需组合 139 个库中的多次函数调用,用于评测 LLM 在无污染的真实编程任务上的能力。每个任务平均配 5.6 个测试用例,分支覆盖率平均 99%,并另设更难、面向指令微调模型的 BigCodeBench-Instruct 变体。
HF Mirror Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting,使其在混合精度下与 DeepSpeed 行为对齐,并新增"混合精度"与低精度两种 FSDP 模式。
Hugging Face 宣布重新设计 Transformers 文档,解决内容分散、导航困难、结构过时的问题。新文档将更面向开发者,采用代码优先和解决方案导向的呈现方式,并放弃此前严格套用 Diátaxis 四分类的僵硬结构,让文档能自然生长。
Hugging Face 将辅助生成(Assisted Generation)适配并优化到 Intel Gaudi,现已集成进 Optimum Habana。该方法基于 Speculative Sampling,用草稿模型生成 K 个 token 再由目标模型评估,对大型 Transformer 模型通常可获得约 2x 加速,同时保持与自回归采样相同的采样质量。
Hugging Face 发布博客,介绍如何用 Sentence Transformers 训练和微调嵌入模型,也可从零训练新模型。训练流程涵盖数据集、损失函数、训练参数、评估器和 Trainer 五个组件,数据可来自 HF Hub 或本地 CSV、JSON、Parquet、Arrow、SQL;数据集列顺序须与所选损失函数匹配,且 "label" 或 "score" 列用于提供标签。
TII 发布 Falcon 2 系列模型,包括 11B 基础 LLM 和 11B 视觉语言模型(VLM),后者在 LLM 之上接入预训练 CLIP ViT-L/14 视觉编码器并支持图像问答。
推荐理由:官方给出 11B LLM 与 VLM 的训练细节和基准对比,可据此判断小尺寸开源多模态模型的性能位置。
HF Mirror 将 AWS Inferentia2 部署能力开放给 Hub 用户,覆盖超过 100,000 个公开模型,新增 albert、bert、roberta、vit、xlm-roberta 等 14 种模型架构和 text-classification、text-generation、question-answering 等 6 类任务。
HF Mirror 与微软在 Microsoft Build 上宣布深化合作,Azure Model Catalog 的 HF Mirror Collection 新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等开放模型,支持 1 键部署。
Hugging Face 与 AMD 合作,使 AMD Instinct MI300 GPU 在 HF Mirror 平台获得一等公民集成,用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 上部署模型。