GPU 管理:为什么闲置 GPU 是新的停飞客机
Hugging Face 发文指出,AI 的下一道真实约束是利用率而非智能,闲置 GPU 如同停飞客机——成本按日历小时计提,产出只按算力小时累积。
Hugging Face 发文指出,AI 的下一道真实约束是利用率而非智能,闲置 GPU 如同停飞客机——成本按日历小时计提,产出只按算力小时累积。
微软在 Build 2026 宣布 Foundry Managed Compute 与 Hugging Face 模型集合,精选开源权重模型每周刷新、一键部署,权重预置于 Azure。
Hugging Face 发布 Agentic Resource Discovery(ARD)草案规范,用于让智能体在运行时搜索和发现工具、Skill 与智能体,而非预先安装配置。
推荐理由:原文给出 ARD 规范的组成与 Hugging Face 的参考实现,读者可了解智能体运行时发现能力的标准路径
Hugging Face 宣布 OpenEnv 转为由 Meta-PyTorch、Reflection、Unsloth、Modal、Prime Intellect、Nvidia、Mercor、Fleet AI、Microsoft 等组成的委员会协调,项目地址移至 huggingface/OpenEnv。
推荐理由:原文交代了 OpenEnv 转向委员会治理并明确自身为协议层而非奖励框架,读者可据此判断开放智能体 RL 的协作边界。
微软发布 Differential Transformer V2(DIFF V2),在保持 KV head 数量不变的前提下将 query head 翻倍,解码速度与标准 Transformer 相当,且无需自定义 attention kernel。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道,并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
Microsoft Build 大会上,Satya Nadella 宣布扩大与 Hugging Face 的合作,Azure AI Foundry 现已提供 1 万余个 Hugging Face 模型,可几次点击部署用于文本、音频和图像应用。
Hugging Face 博客给出将现有模型微调到 1.58bit(三值权重 -1、0、1)的方法,用 Llama3 8B 从 10B token 微调后发布在 HF1BitLLM 组织下。
Hugging Face 发布 Docmatix,一个规模达 240 倍于以往数据集的文档视觉问答(DocVQA)数据集,包含 240 万张图像和 950 万对 Q/A,源自 130 万份 PDF。
微软 6 月发布的 Florence-2 是 0.2B 和 0.7B 的基础视觉语言模型,支持 captioning、目标检测、OCR 等任务,但已发布模型不具备视觉问答能力。
HF Mirror 与微软在 Microsoft Build 上宣布深化合作,Azure Model Catalog 的 HF Mirror Collection 新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等开放模型,支持 1 键部署。
Hugging Face 宣布与云安全公司 Wiz 合作提升平台与 AI/ML 生态安全,并已接入 Wiz 的漏洞管理和云安全态势管理(CSPM)能力。Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码,发现相关缺陷,Hugging Face 表示已修复全部相关漏洞。双方还强调应避免在生产环境使用 pickle 文件,改用 Safetensors。
Hugging Face 发布面向非技术读者的 Transformers 入门指南,从零解释开源 Python 库 Transformers、模型与数据集托管平台 Hub 和部署 ML 应用的 Spaces,并演示在 Space 上运行微软 Phi-2 LLM。
Hugging Face 联合 Intel 展示在搭载 Core Ultra 7 155H(Meteor Lake)的中端笔记本上本地运行微软 Phi-2:通过 Optimum Intel 集成 Intel OpenVINO 对 2.7B 参数模型权重做 4-bit 量化,再借助 CPU、iGPU 与 NPU 推理,实现更低延迟、离线可用和更佳隐私。
HF Mirror 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速,覆盖 90 多个模型架构,包括上传量最高的 11 种架构如 BERT、GPT2、DistilBERT、RoBERTa、T5 等。以 whisper-tiny 为例,使用 ONNX Runtime 加速后平均单次推理延迟相比 PyTorch 最高提升 74.30%。
Hugging Face 发布 LLM Inference Container(DLC),可在 Amazon SageMaker 上部署开源大模型,底层由 Text Generation Inference(TGI)驱动,支持张量并行、动态批处理和 bitsandbytes 量化等能力。
Hugging Face 与微软合作,把 Hugging Face Hub 上的开源模型接入 Azure Machine Learning,推出原生的 Hugging Face Hub 模型目录,包含 Hub 上数千个热门 Transformers 模型。
Hugging Face 博客介绍如何用 Transformers 库(需 >= 4.27.2)进行图分类,目前库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face 发布教程,介绍如何用 diffusers 训练 ControlNet。整个流程分三步:确定条件类型、构建含 ground truth image。
Hugging Face 宣布 SpeechT5 正式集成进 Transformers,官方权重已发布在 HF Mirror Hub,并提供语音合成、音色转换和语音识别三个在线 demo。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可在 11 GB 显存的 2080 Ti 上训练 Stable Diffusion,微调权重文件仅约 3 MB,比 UNet 原模型小约一千倍。
推荐理由:以 11 GB 显存训 Stable Diffusion 的完整命令与推理代码为例,展示 LoRA 把微调权重压到 3 MB 的可行路径。
Hugging Face 的 Optimum 库通过与 ONNX Runtime 集成进行训练,可将众多热门 Hugging Face 模型的训练时间提升 35% 以上。
VQ-Diffusion 是中国科学技术大学与微软提出的条件隐空间扩散模型,其加噪与去噪过程在由离散向量构成的量化隐空间上进行,有别于主流连续扩散模型。模型采用冻结的 VQ-VAE(VQGAN 变体)将图像编码为离散 token,并用编码器-解码器 Transformer 一次性预测去噪后隐变量的分布。
Hugging Face 发文详解 176B 参数多语言模型 BLOOM 的训练工程,该模型使用 Megatron-DeepSpeed 在 384 张 80GB A100 上训练约 3.5 个月,消耗约 1M 计算小时。
微软提出 TAPEX(Table Pre-training via Execution),通过系统采样可执行 SQL 查询及其执行结果合成预训练语料,让模型学习充当神经 SQL 执行器(以 BART 为例),从而绕开对真实表格数据的依赖。
前 Google 伦理 AI 团队创始人 Margaret Mitchell 已加入 Hugging Face,负责制定伦理 AI 研究协议、包容性招聘与文化建设。
微软与 NVIDIA 发布 Megatron-Turing NLG 530B,被称为全球最大最强的生成式语言模型,训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型的价值,认为基准提升有限却带来高昂成本、复杂度与碳足迹,并建议改用预训练模型、更小模型(如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%)和微调来落地机器学习。
Hugging Face 与 Amazon 合作推出 Hugging Face Inference DLC 和 SageMaker Inference Toolkit,可部署在 SageMaker 中训练的模型,也可直接从 Model Hub 的 10,000+ 公开模型中选取并部署。
Hugging Face 的 transformers v4.2.0 起通过 Trainer 新增的 --sharded_ddp 和 --deepspeed 参数,实验性支持 FairScale 和 DeepSpeed 的 ZeRO 功能。