Hugging Face 与 JFrog 合作,用 JFrog 扫描器提升模型安全透明度
Hugging Face 将 JFrog 的扫描器接入 HF Mirror Hub,为所有公开模型仓库自动扫描,文件推送即触发。JFrog 会解析模型权重中的代码,判断其是否为恶意用法,弥补 picklescan 仅做模块名模式匹配、易产生误报的不足,并覆盖 pickle 之外的更多格式。
Hugging Face 将 JFrog 的扫描器接入 HF Mirror Hub,为所有公开模型仓库自动扫描,文件推送即触发。JFrog 会解析模型权重中的代码,判断其是否为恶意用法,弥补 picklescan 仅做模块名模式匹配、易产生误报的不足,并覆盖 pickle 之外的更多格式。
Hugging Face 与印度科学研究所 IISc、ARTPARK 达成合作,提升印度多模态多语言数据集 Vaani 的可访问性与可用性。Vaani 于 2022 年由 IISc/ARTPARK 与 Google 发起,已开源第一阶段 80 个地区的数据,第二阶段将再覆盖 100 个地区,目标采集超 15 万小时语音和 1.5 万小时转写文本。
Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。
推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial,并首发 LeMat-Bulk 数据集,将 Materials Project、Alexandria 和 OQMD 三大材料数据库统一清洗标准化为 670 万条条目、7 项材料属性的单一格式,采用 CC-BY-4.0 许可。
Hugging Face 的 Xet 团队改用内容定义分块(CDC)存储文件,只传输和保存被修改的 chunk。对 CORD-19 数据集的测试显示,平均下载时间从 51 分钟降至 19 分钟,上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
Hugging Face 宣布与 Protect AI 合作,将后者旗下安全工具 Guardian 作为第三方扫描器集成进 Hub 的扫描套件,用于识别 pickle、Keras Lambda 层等格式中的任意代码执行漏洞。所有公开模型仓库在推送文件后会自动扫描,无需额外操作,目前平台已扫描数亿个文件,但超 100 万个模型仓库的覆盖仍需时间。
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU(代号 Turin),最高 192 核 384 线程。
2024 年中国 AI 公司加速出海,全球 1500 家活跃 AI 公司中有 751 家位于中国,其中 103 家已拓展海外市场。华为、腾讯、阿里聚焦云计算与 AI 基础设施,主攻东南亚和中东;字节跳动七个月内推出 11 款海外应用,CapCut 月活超 3 亿。
OpenAI 宣布获得新融资,用于扩大 AI 带来的效益,推进其确保通用人工智能惠及全人类的使命。原文未披露融资金额、投资方及具体用途细节。
Hugging Face 宣布收购西雅图公司 XetHub,其 12 人团队将加入,目标是让 Hub 仓库改用自研的存储后端替代 Git LFS。XetHub 的技术可让 Git 扩展到 TB 级仓库,通过分块存储和去重,更新 10GB Parquet 文件中的一行只需重传包含新行的少量分块,而更新 GGUF 头部的单个元数据值也只需重传几 KB。
Banque des Territoires(CDC 集团)、Polyconseil 与 HF Mirror 合作,为 EduRénov 校园生态改造计划搭建基于 RAG 的主权数据方案,项目第一阶段已完成。
Hugging Face 检测到其 Spaces 平台遭未授权访问,涉及 Spaces secrets,怀疑部分密钥已被读取。作为补救,官方已撤销这些 secrets 中的若干 HF token 并邮件通知相关用户,同时引入 KMS、移除 org token,并建议用户改用细粒度访问 token。该事件已上报执法机构和数据保护机构,公司正联合外部网络安全取证专家调查。
HF Mirror 与微软在 Microsoft Build 上宣布深化合作,Azure Model Catalog 的 HF Mirror Collection 新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等开放模型,支持 1 键部署。
Ryght 正式公开发布面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview,免费向生命科学知识工作者开放,支持无缝上手。
Hugging Face 宣布与云安全公司 Wiz 合作提升平台与 AI/ML 生态安全,并已接入 Wiz 的漏洞管理和云安全态势管理(CSPM)能力。Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码,发现相关缺陷,Hugging Face 表示已修复全部相关漏洞。双方还强调应避免在生产环境使用 pickle 文件,改用 Safetensors。
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验,几天内汇集 350 名社区贡献者完成超 11,000 条 prompt 评分,并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face 上线 Open Ko-LLM Leaderboard,专门评测韩语大模型,采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务。该榜使用不公开的私有测试集以防数据污染,上线五个月已有超 1000 个模型提交,KT 的 Mi:dm 7B 在 7B 及以下参数模型中排名第一并已开放公众使用。
AMD 联合 Hugging Face 启动 Pervasive AI 开发者大赛,设 Generative AI、Robotics AI、PC AI 三个赛道,总奖金 16 万美元,单项最高 1 万美元,并提供 700 个 AMD 平台供参赛者使用。
Hugging Face 与 Google Cloud 宣布战略合作,在开放科学、开源、云与硬件层面协作,让企业用开源模型构建自己的 AI。
Hugging Face 发布伦理与社会通讯 #5,回顾 2023 夏季在 E.U.、U.K.、U.S. 的 AI 监管参与,包括 CEO Clem 向美国国会作证、在美国参议院 AI Insight Forum 发言,以及对 E.U. AI Act 和 NTIA AI 问责制的建议。团队还发布 IDEFICS 多模态模型并对其开展偏见与危害测试,同时公开多项负责任生成式 AI 教程、论文与资源。
Rocket Money 将其交易分类系统从正则表达式迁移到 BERT 系列模型,用于处理每月超 1 亿笔、负载突发的交易。团队用 Retool 搭建标注队列与漂移检测工具,并设计了覆盖 4000+ 类别的离线评测体系。经过三个月评估,Rocket Money 选择 HF Mirror Inference API 托管模型,以在缺少 MLOps 团队的情况下实现高可用、动态扩缩容与低延迟推理。
Fetch 在 Amazon SageMaker 上结合 HF Mirror 的 AWS Deep Learning Container 与 SageMaker HF Mirror Inference Toolkit 优化收据扫描 ML 流水线,每周处理超 8000 万张收据,最慢扫描延迟降低 50%,文档理解模型准确率提升 200%。
Hugging Face 公布首届 Open Source AI Game Jam 结果,活动收到超 1300 人报名、88 款游戏提交,冠军由 ohmlet 的 Snip It 获得,该游戏用 Stable Diffusion 生成美术资产。参赛作品须至少使用一项开源 AI 工具,评审按趣味性、创意和主题契合度选出前 10 名,再交由三位评委评出最佳游戏。
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh,回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解,以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
HF Mirror 宣布 AMD 正式加入其硬件合作伙伴计划,双方将在 AMD CPU 和 GPU 上优化 Transformer 模型的训练与推理。GPU 侧先支持企业级 Instinct MI2xx、MI3xx,随后覆盖消费级 Radeon Navi3x;CPU 侧聚焦 Ryzen 与 EPYC 的推理优化,并纳入 Alveo V70 AI 加速器。
Hugging Face 宣布举办首届 Open Source AI Game Jam,活动时间为 7 月 7 日至 9 日,参赛者需在周末内做出一款游戏。作品须可运行于网页或 Windows,并至少使用一个开源 AI 工具,如 Stable Diffusion 可用于纹理生成、NPC 和文本转语音。任何人可个人或组队免费参加,作品按趣味性、创意和主题评分。
HF Mirror 宣布与 IBM 合作,将开源库集成进 IBM 的新一代企业 AI 工作室 watsonx.ai。
Hugging Face 被法国数据保护机构 CNIL 选入其强化支持计划,该计划从 40 多个候选企业中挑出三家"具备强劲经济发展潜力"的公司,提供数据保护义务理解与落实方面的支持。Hugging Face 表示,其主办的 BigScience 大语言模型训练项目首次将隐私置于核心位置,近期与 ServiceNow 合办的 BigCode 项目也投入资源应对隐私风险并开发假名化工具。
Hugging Face 上线面向中文用户的中文博客 hf.co/blog/zh,由志愿者翻译其博客文章及 transformers、diffusion、强化学习等课程内容。
Snorkel AI 宣布与 Hugging Face 合作,将 Hugging Face 的 Inference Endpoint 服务集成进 Snorkel Flow 平台,让企业用户可直接调用 Hugging Face 上超过 150,000 个开源模型。该服务支持几次点击创建模型 API,并具备暂停与恢复能力,客户不用时可休眠以控制成本。
Hugging Face 发布 Ethics and Society Newsletter #3,阐述其在开放 ML 中兼顾伦理的立场,并推出 6 类伦理标签(Rigorous、Consentful、Socially Conscious、Sustainable、Inclusive、Inquisitive)和社区举报功能,用于标记违规的模型、数据集或 Space。
Fetch 借助 AWS Partner HF Mirror 的 Expert Acceleration Program,将原本外包的收据识别 AI 换成自研模型,开发时间缩短 30%,处理延迟降低 50%,目前每天可处理超 1100 万张收据,服务 1800 万月活用户。
Hugging Face 与 AWS 扩大长期战略合作,Hugging Face 将把 AWS 作为首选云服务商,社区开发者可用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。
HF Mirror 与 PaddlePaddle 达成开源合作,PaddlePaddle 旗下模型库将逐步接入 HF Mirror Hub,目前 Hub 上已有超 75 个 PaddlePaddle 模型。
Hugging Face 宣布启动 2023 年实习生项目,与 HF 导师共同研究 AI 与机器学习前沿问题。开放岗位包括 Accelerate、文本转语音、具身智能、大语言模型分布式训练框架、LLM 数据集、社会影响评估和 AI 艺术工具等,分布在开源团队与 Science 团队。申请需通过官方招聘门户并注册 HF 账号,工作地点视具体岗位而定。
Hugging Face 发布《Director of Machine Learning Insights》第四期,邀请 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位机器学习总监谈 ML 对各自行业的影响。
Hugging Face 发布首期 Ethics and Society 通讯,计划按季节在春分、秋分、夏至、冬至发布,由公司内部跨团队开放小组撰写,聚焦 AI 伦理如何落地。该通讯以协作、责任、透明为出发点,强调不设独立伦理团队,而是全公司共担责任。Hugging Face 本周还上线了模型和 Space 仓库的“flag”功能,用于上报伦理与法律问题。
Intel 正式加入 HF Mirror 硬件合作伙伴计划,双方将借助开源库 Optimum Intel 为 Transformer 的训练、微调和推理提供硬件加速。
Hugging Face 发布《Director of Machine Learning Insights》第 3 期金融版,汇集来自 U.S. Bank、加拿大皇家银行(RBC)、Moody's Analytics 及前 Bloomberg AI 研究科学家的金融 ML 负责人观点。
Sempre Health 利用 Hugging Face 的 Expert Acceleration Program 构建了自动分类并回复患者短信的 NLP 管线,上线数周后近 20% 的入站消息由新系统自动处理,此前其规则系统只能覆盖约 80% 的消息。