Hugging Face 披露 7 月安全事件：自主 AI 智能体入侵生产基础设施
Hugging Face 本周检测并处置了一起生产基础设施入侵事件，攻击由一个自主 AI 智能体系统端到端驱动，利用数据集处理中的一个远程代码加载器和配置模板注入两条代码执行路径进入处理 worker，进而提权并横向移动至多个内部集群。
推荐理由：官方复盘了一次由自主智能体驱动的入侵，并披露托管模型安全护栏反而阻断防御方取证的分析。
#安全/对齐
#安全/对齐
今日 13 条Hugging Face Blog精选AI 评分9090 MIT News · AIAI 评分3838 MIT Media Lab 提出「神经透明」：让用户在聊天机器人开口前预览其性格
MIT Media Lab 的 Pat Pataranutaporn 与研究生 Anthony Baez、Sheer Karny 提出「神经透明」，通过对比模型内部激活得到共情、诚实、毒性、幻觉、谄媚等「行为方向」，把用户系统提示词对应的激活投影为旭日图，在对话开始前预览聊天机器人性格。
MIT News · AIAI 评分2222 MIT 网络安全诊所如何帮助学生防范网络攻击
MIT 城市研究与规划系的网络安全诊所课程由 Jungwoo Chun 和 Lawrence Susskind 于 2019 年创办，学生通过认证考试后组队为市政和医疗机构做免费漏洞评估，迄今已完成 40 多次评估。课程提出"防御性社会工程"思路，强调网络安全不只是技术问题，最大攻击入口仍是人。2025 年 FBI 互联网犯罪投诉中心记录美国每天平均遭受 2,765 次网络攻击。
MIT News · AIAI 评分4747 MIT 新方法无需生成内容即可审计模型是否会被用于制作 AI 儿童性虐待材料
MIT 团队联合儿童安全非营利组织 Thorn 提出一种不生成任何输出的审计方法，通过高斯探针（Gaussian probing）检测 LoRA 适配器对模型内部计算的改动，识别其是否被专门微调用于生成 CSAM，测试中对三类模型的 CSAM 变体识别准确率达 100%。
Interconnects · Nathan LambertAI 评分3030 禁止开源 AI 将是个错误：Interconnects 与 Interconnected 联合评论文章
Interconnects 与 Interconnected 联合发表评论文章，警告华盛顿近期的 AI 监管动作可能进一步波及甚至禁止开源 AI，认为这将是严重错误。
Hugging Face BlogAI 评分4141 MosaicLeaks：你的深度研究智能体能守住秘密吗？
Hugging Face 博客发布 MosaicLeaks 基准，用 1001 条交错公私信息的多跳研究链检验深度研究智能体的隐私泄漏，并区分意图、答案、全信息三类泄漏。其提出的隐私感知训练方法 PA-DR 将严格链成功率从 48.7% 提升到 58.7%，同时把答案/全信息泄漏率从 34.0% 降到 9.9%。测试显示仅按任务表现训练会加剧泄漏。
Google DeepMindAI 评分5858 Google DeepMind 发布 AI Control Roadmap，为内部 AI 智能体加装系统级安全防护
Google DeepMind 发布 AI Control Roadmap，用于在 Google 内部署的 AI 智能体上叠加系统级安全层，即使模型对齐不完美也能提供保障，并称其可能成为行业参考。
Google DeepMindAI 评分5454 Google DeepMind 联合多家机构发起最高 1000 万美元多智能体安全研究资助
Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、ARIA，并在 Google.org 支持下发起最高 1000 万美元的多智能体 AI 安全技术研究资助，面向全球研究者征集方案。
Hugging Face BlogAI 评分3939 NVIDIA 发布 Nemotron 3.5 Content Safety：面向企业 AI 的可定制多模态安全模型
NVIDIA 发布 Nemotron 3.5 Content Safety，基于 Gemma 3 4B IT 微调，单次推理即可统一处理多模态输入、多语言、自定义企业策略与可审计推理。
Google DeepMind精选AI 评分7474 Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini 和 Chrome
Google 宣布扩展内容透明度与验证工具，把 SynthID 的图片、视频、音频验证从 Gemini app 扩展到 Search，并将在未来几周进入 Chrome，Gemini 中该功能已被使用 5000 万次。
推荐理由：Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini 和 Chrome，并开放云端检测 API，读者可了解内容溯源工具的实际入口与合作方。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Co-Scientist：基于 Gemini 的多智能体科研系统
Google DeepMind 在 Nature 发表 Co-Scientist 研究，这是一个基于 Gemini 构建的多智能体 AI 系统，可迭代生成、辩论和演化复杂科学问题的新假设。
推荐理由：DeepMind 在 Nature 公布 Co-Scientist 的多智能体架构与各阶段分工，并给出多个实验室已落地的合作案例，可据此判断科研智能体的实际工作方式。
Hugging Face BlogAI 评分3939 AI 与网络安全的未来：为什么开放更重要
在 Mythos 与 Project Glasswing 发布后，Hugging Face 发文讨论 AI 网络安全格局，指出真正起作用的是"大算力模型 + 软件相关数据训练 + 漏洞探测与修补脚手架 + 一定程度的系统自主性"这套系统配方，而非单个模型。文章认为开源代码与工具能让防御方获得与攻击方同级的 AI 能力，缩小双方的能力不对称。
Google DeepMindAI 评分5757 Google DeepMind 发布 AI 有害操纵研究的可验证评估工具
Google DeepMind 发布关于 AI 有害操纵的研究结果，称建成首个经实证验证的工具，用于在真实场景中测量此类操纵。研究覆盖英国、美国、印度共 9 项实验、超过 1 万名参与者，聚焦金融和健康等高风险场景，发现 AI 在健康话题上的有害操纵效果最弱，一个领域的成功无法预测另一个领域。
Berkeley AI ResearchAI 评分3636 Berkeley AI Research 提出 SPEX 与 ProxySPEX，大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 和 ProxySPEX，用于在大规模 LLM 中识别驱动模型输出的关键特征、数据与内部组件交互。SPEX 利用交互的稀疏性和低阶性，将搜索问题转化为稀疏恢复问题，可扩展到比既有方法大几个数量级的规模；ProxySPEX 进一步利用层次结构，以约少 10 倍的消融次数达到与 SPEX 相当的性能。
The GradientAI 评分1313 超越正交性：德性伦理能动性与 AI 对齐
哲学家提出"eudaimonic rationality"（幸福论理性）框架，认为理性的人类和 AI 都不应被设定为追求最终目标，而应将行动对齐于由行动、行动倾向、评价标准与资源构成的"实践"网络。
Hugging Face BlogAI 评分4242 Hugging Face 发布 AprielGuard：面向现代 LLM 系统的安全与对抗鲁棒性护栏模型
Hugging Face 推出 AprielGuard，一个 8B 参数的安全护栏模型，可检测 16 类安全风险与提示注入、越狱、记忆投毒、多智能体攻击等对抗攻击，并覆盖工具调用和推理链等智能体工作流场景。该模型支持推理与非推理两种模式，兼顾可解释分类与生产环境的低延迟需求。
Google DeepMind精选AI 评分6060 Google DeepMind 发布 Gemma Scope 2，为 Gemma 3 全尺寸模型提供开源可解释性工具
Google DeepMind 发布 Gemma Scope 2，一套覆盖 Gemma 3 全部模型尺寸（270M 至 27B 参数）的开源可解释性工具套件。该套件结合稀疏自编码器（SAE）与 transcoder，并新增 skip-transcoder、Cross-layer transcoder 和面向聊天版本的分析工具，可研究越狱、拒绝机制和链式推理忠实度等行为。
推荐理由：Gemma Scope 2 覆盖 Gemma 3 全尺寸并升级稀疏自编码器工具，可了解开源可解释性工具的规模与方法变化。
Google DeepMindAI 评分2424 Google DeepMind 扩大与英国 AI Security Institute 的合作
Google DeepMind 宣布与英国 AI Security Institute（AISI）签署新谅解备忘录，将合作从模型测试扩展到基础安全研究。双方将共享模型、数据与思路，围绕 AI 推理过程（CoT）监控、社会情感失准的经济与伦理影响以及 AI 对经济系统的冲击展开联合研究，并发布联合报告。
Google DeepMindAI 评分5252 Google DeepMind 深化与英国政府合作，提供 AI for Science 模型优先使用权
Google DeepMind 宣布与英国政府深化合作，将向英国科学家优先开放 AlphaEvolve、AlphaGenome、AI co-scientist 和 WeatherNext 等 AI for Science 模型。
Hugging Face BlogAI 评分4040 Hugging Face 提出「语音同意门」：让语音克隆必须先获得本人同意
Hugging Face 发布博客提出「voice consent gate」（语音同意门）方案，让语音克隆模型只有在说话人明确说出同意语句并被 ASR 识别后才启动。该方案由三部分组成：生成约 20 词、含同意短语和模型名的随机英文句子，用 ASR 识别同意语句，再由 TTS 语音克隆系统合成语音。团队同时放出示例 Space 和配套代码，并建议同意录音直接来自麦克风而非上传文件。
Hugging Face BlogAI 评分5555 Hugging Face Hub 与 VirusTotal 合作，为 220 万公开仓库持续扫描恶意文件
Hugging Face Hub 宣布与威胁情报平台 VirusTotal 合作，从即日起对 Hub 上 220 万多个公开模型和数据集仓库进行持续扫描。用户访问仓库或文件页面时，Hub 会自动将文件哈希与 VirusTotal 威胁情报库比对，返回干净或恶意状态，原始文件内容不会共享给 VirusTotal。检测结果可提供检出数量、已知恶意关联或威胁活动情报等元数据，供用户在下载或集成前参考。
Hugging Face BlogAI 评分4242 Hugging Face 推出 RiskRubric.ai：为模型生态提供标准化风险评估
Cloud Security Alliance 与 Noma Security 牵头，Haize Labs 和 Harmonic Security 参与，推出 RiskRubric.ai，对模型按透明度、可靠性、安全、隐私、安全和声誉六大维度打分并给出 A-F 等级。
Hugging Face BlogAI 评分5757 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2 安全模型
Meta 发布 Llama Guard 4 和两个 Llama Prompt Guard 2 安全模型。
Hugging Face BlogAI 评分3333 Hugging Face 与 Protect AI 合作半年：扫描 447 万个模型版本，发现 35.2 万个安全问题
Hugging Face 与 Protect AI 合作半年，Guardian 已扫描 HF Hub 上 141 万个仓库中的 447 万个唯一模型版本，在 5.17 万个模型中识别出 35.2 万个不安全或可疑问题。
Hugging Face BlogAI 评分3232 Hugging Face 与 JFrog 合作，用 JFrog 扫描器提升模型安全透明度
Hugging Face 将 JFrog 的扫描器接入 HF Mirror Hub，为所有公开模型仓库自动扫描，文件推送即触发。JFrog 会解析模型权重中的代码，判断其是否为恶意用法，弥补 picklescan 仅做模块名模式匹配、易产生误报的不足，并覆盖 pickle 之外的更多格式。
Hugging Face BlogAI 评分2424 Hugging Face 分析：AI 智能体已来，全自主智能体不应被开发
Hugging Face 发布分析指出，AI 智能体的风险随自主性提升而增加，用户让渡的控制权越多、风险越大，因此建议不要开发可自行编写并执行代码的全自主 AI 智能体。文中将智能体自主性划分为从模型不影响程序流程到模型自行编写执行代码的多个等级，认为半自主智能体在自主程度、可用任务和用户控制方式合适时，收益可能大于风险。
Hugging Face Blog精选AI 评分6969 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本添加水印，并用分类器检测。
推荐理由：SynthID Text 集成进 Transformers 后，给出了水印配置、生成与检测的完整接入方式及已知局限。
Hugging Face BlogAI 评分2727 Hugging Face 与 Protect AI 合作，用 Guardian 扫描模型安全
Hugging Face 宣布与 Protect AI 合作，将后者旗下安全工具 Guardian 作为第三方扫描器集成进 Hub 的扫描套件，用于识别 pickle、Keras Lambda 层等格式中的任意代码执行漏洞。所有公开模型仓库在推送文件后会自动扫描，无需额外操作，目前平台已扫描数亿个文件，但超 100 万个模型仓库的覆盖仍需时间。
Hugging Face Blog精选AI 评分6262 Gradio 5 发布安全审计结果，修复 Trail of Bits 发现的四类场景漏洞
Gradio 团队公布由 Trail of Bits 对 Gradio 5 所做的独立安全审计，相关漏洞均在 Gradio 5.0 发布前修复并通过验证。
推荐理由：Gradio 5 与 Trail of Bits 的安全审计公开了四类场景下的漏洞清单与修复方式，可供自建 ML 应用时对照排查。
Hugging Face BlogAI 评分2525 HF Mirror 与 TruffleHog 合作，为平台加入密钥扫描功能
Hugging Face 与 Truffle Security 合作，将开源密钥检测工具 TruffleHog 接入平台。平台自动化扫描流水线新增第三类扫描——用 TruffleHog 扫描密码、token 和 API key，会在每次 push 时对新增或修改文件运行 trufflehog filesystem 命令，发现已验证密钥即邮件通知用户。
Hugging Face BlogAI 评分2323 Hugging Face 2024 年安全功能盘点：细粒度 token、2FA、提交签名与企业级 SSO
Hugging Face 在 2024 年安全功能盘点中梳理了 Hub 的现有安全能力：面向所有用户的细粒度 token、2FA、GPG 提交签名、组织访问控制和自动化安全扫描（ClamAV 恶意软件扫描、picklescan 与 trufflehog）。企业版 Hub 另有 SAML 2.0 / OIDC 单点登录、Resource Groups 和新增的组织 token 管理。
The GradientAI 评分2929 我们亟需以人类福祉为根基的 AI 积极愿景
The Gradient 刊文主张，应以个人福祉与社会健康为根基来定义"有益 AI"，并呼吁构建关于能力强大 AI 的、可行且技术可信的积极社会愿景。作者提出三点结论：无法确定唯一定义人类福祉但存在支持性关系、有意义工作等具体共识因素；AI 将像社交媒体一样冲击社会基础设施；基础模型的未来部署是关键，可探索新算法、基于福祉的模型评估与训练数据。
Hugging Face BlogAI 评分5353 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列，新增 2.6B 参数的 Gemma 2 2B、用于输入输出过滤的安全分类器 ShieldGemma，以及覆盖 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
Hugging Face BlogAI 评分3232 Hugging Face 在 Dataset Hub 试验用 Presidio 自动检测 PII
Hugging Face 正在 Dataset Hub 上试验一项新功能，使用开源 PII 检测工具 Presidio 生成报告，估算数据集中个人信息的存在情况。该功能面向两类数据集：PII-Masking-300k 这类标注型 PII 数据集，以及常达 TB 级、经网页爬取得到的预训练数据集。报告可帮助开发者在训练前决定是否进一步过滤数据，也便于数据集所有者验证自身的 PII 过滤流程。
Hugging Face BlogAI 评分4848 Hugging Face 披露 Spaces 平台密钥遭未授权访问，已撤销相关 HF token
Hugging Face 检测到其 Spaces 平台遭未授权访问，涉及 Spaces secrets，怀疑部分密钥已被读取。作为补救，官方已撤销这些 secrets 中的若干 HF token 并邮件通知相关用户，同时引入 KMS、移除 org token，并建议用户改用细粒度访问 token。该事件已上报执法机构和数据保护机构，公司正联合外部网络安全取证专家调查。
Hugging Face BlogAI 评分3737 Meta 发布 CyberSecEval 2：评估 LLM 网络安全风险与能力的评测框架
Meta 推出 CyberSecEval 2，用于评估 LLM 生成不安全代码、抵抗提示词注入、配合网络攻击、滥用代码解释器以及自动化攻击性网络安全能力。相比 2023 年 12 月的首版，LLM 配合网络攻击请求的平均合规率从 52% 降至 28%。所有代码已开源，可接入排行榜。
Hugging Face BlogAI 评分2626 Zama 在 HF Mirror Endpoints 上运行隐私保护推理
开源密码学公司 Zama 基于 Concrete ML 与全同态加密（FHE），在 HF Mirror Endpoints 上部署可一键上线的隐私保护推理服务，支持在加密数据上直接计算而无需私钥。
The GradientAI 评分2727 AI 中的性别偏见研究综述：从词嵌入到人脸识别的量化与缓解
AI 模型会反映甚至放大现实世界的性别偏见。研究显示，词嵌入中存在"男人是程序员、女人是家庭主妇"等性别刻板类比，2016 年 Bolukbasi 等人提出基于性别中性词的去偏方法；2018 年 Gender Shades 发现三款商用性别分类器对深肤色女性错误率最高达 34.7%，而浅肤色男性仅 0.8%，Microsoft 和 IBM 随后修正了训练数据偏差。
Hugging Face BlogAI 评分2727 Hugging Face 与 Wiz 合作提升 AI 平台安全，并回应 pickle 文件风险
Hugging Face 宣布与云安全公司 Wiz 合作提升平台与 AI/ML 生态安全，并已接入 Wiz 的漏洞管理和云安全态势管理（CSPM）能力。Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现相关缺陷，Hugging Face 表示已修复全部相关漏洞。双方还强调应避免在生产环境使用 pickle 文件，改用 Safetensors。
Hugging Face BlogAI 评分4040 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena，压力测试 LLM 隐私护栏
Lighthouz AI 联合 Hugging Face 上线 Chatbot Guardrails Arena，让用户以对抗方式诱导匿名聊天机器人泄露虚构银行 XYZ001 客户的姓名、SSN、账号与余额等敏感信息，再投票选出隐私保护更强的模型。