用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中低依赖部署。
#教程/实践
#教程/实践
今日 2 条Hugging Face BlogAI 评分2626
Hugging Face BlogAI 评分5858 如何将 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 博客给出将现有模型微调到 1.58bit（三值权重 -1、0、1）的方法，用 Llama3 8B 从 10B token 微调后发布在 HF1BitLLM 组织下。
OpenAI NewsAI 评分66 OpenAI 分享数百次成功部署的经验：如何让 AI 真正投入工作
OpenAI 基于数百次成功部署经验，总结出让 AI 真正投入实际工作的方法。内容源自其发布的《Put AI to Work: Lessons from Hundreds of Successful Deployments》。
Hugging Face BlogAI 评分3636 Hugging Face LeRobot 用视频编码压缩机器人数据集
Hugging Face 的 LeRobot 提出 LeRobotDataset 格式，用视频编码替代逐帧 PNG 存储机器人视觉数据，数据集平均缩小到原体积的 14%，最好情况下仅 0.2%，同时保持完整训练能力。解码单帧耗时与 PNG 相当，连续多帧解码仅为 PNG 读取耗时的 25%-50%。该格式轻量、易分享并原生集成 Hugging Face Hub，还配套了可视化工具。
Hugging Face BlogAI 评分4141 HF Mirror Hub 上 5 个被低估的工具：ZeroGPU、Multi-process Docker、Gradio API、Webhooks 与 Nomic Atlas
HF Mirror Hub 上有 5 个常被忽视的工具：ZeroGPU、Multi-process Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分3838 HF Mirror 用 Flash Attention 2 实现无填充打包，训练吞吐提升最高 2 倍
HF Mirror 在 Transformers 中新增 DataCollatorWithFlattening，让无填充的打包训练与 Flash Attention 2 兼容，通过保留样本边界避免跨样本注意力。
Hugging Face BlogAI 评分1818 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 发布教程，演示如何用 Text Generation Inference（TGI）和 Deep Learning Containers，在 Google Cloud A3 节点（8 块 H100 GPU）上通过 Vertex AI 部署 FP8 量化的 Meta Llama 3.1 405B Instruct。
Hugging Face BlogAI 评分3434 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库，核心库自包含在不到 5 个文件中，编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件，并支持量化张量以节省内存，llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
Hugging Face BlogAI 评分3232 Hugging Face 与 Albumentations AI 推出文档图像 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage 数据增强流程，可同时修改图像和文本标注，将文本增广结果回填图像并做 inpaint。该流程支持随机插入、删除、交换和停用词替换，用于在数据有限时微调 VLM。
Hugging Face BlogAI 评分4444 用 Quanto 和 Diffusers 打造显存高效的 Diffusion Transformer
Hugging Face 展示了如何借助 Diffusers 中的 Quanto 量化工具降低 Transformer 扩散管线显存占用：SD3 以 FP16 推理需 18.765 GB 显存，将文本编码器与扩散骨干量化到 FP8 后，批次 1 下显存从 12.086 GB 降至 5.363 GB。Quanto 是构建在 PyTorch 上的量化工具包，属于 HF Mirror Optimum。
Hugging Face Blog精选AI 评分6565 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤，最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由：完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程，并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face BlogAI 评分2727 如何用 distilabel 构建 Argilla 2.0 聊天机器人
Hugging Face 团队展示如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人：先从 GitHub 文档生成合成数据集并微调领域专用嵌入模型，再用向量数据库存储和检索文档，最后将 Gradio 应用部署到 HF Spaces，并把交互记录存入 Argilla 持续评估改进。
Hugging Face BlogAI 评分5858 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。
Hugging Face BlogAI 评分3737 Hugging Face TRL 库新增 VLM 直接偏好优化（DPO）支持
Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），可基于 chosen/rejected 答案对训练模型。教程以 Idefics2-8b 为例，并使用包含超 83,000 行标注的 openbmb/RLAIF-V-Dataset 数据集。TRL 的 DPO 实现还支持 Llava 1.5 和 PaliGemma 等模型。
Hugging Face BlogAI 评分1414 ProtST 蛋白质语言模型在 Intel Gaudi 2 上加速推理与微调
基于文本提示的蛋白质设计多模态语言模型 ProtST 已在 Intel Gaudi 2 加速器上实现推理与微调：在 ProtST-SubcellularLocalization 测试集上。
Hugging Face BlogAI 评分4040 微调微软 Florence-2 视觉语言模型：在 DocVQA 上从 0 提升到 57.0
微软 6 月发布的 Florence-2 是 0.2B 和 0.7B 的基础视觉语言模型，支持 captioning、目标检测、OCR 等任务，但已发布模型不具备视觉问答能力。
Hugging Face BlogAI 评分1616 Prezi 借助 Hugging Face Expert Support Program 加速多模态 ML 路线图
在线演示工具 Prezi 加入 Hugging Face Expert Support Program，借助专家指导把更小、更高效的开源模型集成进其 ML 工作流。
Hugging Face BlogAI 评分3131 HF Mirror Accelerate 如何打通 DeepSpeed 与 FSDP：混合精度差异与 0.30.0 新模式
HF Mirror Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐，并新增"混合精度"与低精度两种 FSDP 模式。
Hugging Face BlogAI 评分4343 Hugging Face TRL 推出 RLOO Trainer，把强化学习带回 RLHF
Hugging Face 在 TRL 中推出 RLOO Trainer，一种作为 PPO 替代方案的在线 RLHF 训练算法。RLOO 显存占用比 PPO 少约 50-70%，1B 模型上速度是 PPO 的 2 倍，6.9B 模型上最高 3 倍，且只需加载策略、参考策略和奖励模型 3 份模型。其回复胜率（由 GPT4 评判）与 PPO 相当，并持续优于 DPO 等离线方法。
Hugging Face BlogAI 评分2222 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，解决内容分散、导航困难、结构过时的问题。新文档将更面向开发者，采用代码优先和解决方案导向的呈现方式，并放弃此前严格套用 Diátaxis 四分类的僵硬结构，让文档能自然生长。
Hugging Face BlogAI 评分2323 Hugging Face 为 Intel Gaudi 优化辅助生成，加速文本生成
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可获得约 2x 加速，同时保持与自回归采样相同的采样质量。
Hugging Face BlogAI 评分4141 Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理
Hugging Face 发布 TGI Benchmarking 工具，用于在吞吐量之外对 Text Generation Inference 部署做性能剖析，展示不同批大小下的延迟与吞吐权衡。该工具随 TGI 安装，需在服务器端运行，作者提供了可直接复制的 HF Space，内含 TGI docker 镜像与 jupyter lab，并通过 CLI 执行评测。
Hugging Face BlogAI 评分5050 用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Sentence Transformers 训练和微调嵌入模型，也可从零训练新模型。训练流程涵盖数据集、损失函数、训练参数、评估器和 Trainer 五个组件，数据可来自 HF Hub 或本地 CSV、JSON、Parquet、Arrow、SQL；数据集列顺序须与所选损失函数匹配，且 "label" 或 "score" 列用于提供标签。
Hugging Face BlogAI 评分2626 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA（Open Platform for Enterprise AI）的企业级 RAG 方案，使用 LangChain 的 rag-redis 模板、BAAI/bge-base-en-v1.5 嵌入模型与 Redis 向量数据库，嵌入模型跑在 Intel Granite Rapids CPU 上、LLM 跑在 Gaudi 2 加速器上。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 自定义处理器实现 Whisper ASR、说话人分离与投机解码
Hugging Face 发布自定义推理处理器方案，可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离（diarization）与投机解码，并通过单一 API 端点对外提供服务。
Hugging Face BlogAI 评分3939 Hugging Face 与 Dottxt 用结构化生成提升 Prompt 一致性
Hugging Face 排行榜与评测团队发现，MMLU 等任务的评测结果对 prompt 格式极为敏感，同一模型在不同格式下准确率可相差约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%。为此他们与 Dottxt 合作，用 Outlines 库通过正则表达式或上下文无关文法约束模型输出结构，希望从输出端而非输入端减少 prompt 格式带来的方差。
Hugging Face BlogAI 评分3737 Gradio 的 reload 模式如何快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码改动。
Hugging Face BlogAI 评分2626 Zama 在 HF Mirror Endpoints 上运行隐私保护推理
开源密码学公司 Zama 基于 Concrete ML 与全同态加密（FHE），在 HF Mirror Endpoints 上部署可一键上线的隐私保护推理服务，支持在加密数据上直接计算而无需私钥。
Hugging Face BlogAI 评分3535 Hugging Face 详解视觉语言模型：开源模型全景、评测榜单与 trl 微调实践
Hugging Face 发布视觉语言模型入门指南，梳理其图像编码器、嵌入投影器与文本解码器的核心结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型及各自分辨率与能力差异。文章还介绍 Vision Arena、Open VLM Leaderboard 与 MMMU、MMBench 等评测基准，并演示如何用当日发布的新版 trl 进行推理与微调。
Hugging Face BlogAI 评分2222 用 HF Mirror Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 是基于 Meta Llama-2-7b 微调、专为 DuckDB SQL 设计的 LLM，可生成包括 SELECT 在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分3030 在 Intel Xeon 上用 Optimum Intel 将 SetFit 推理加速 7.8 倍
Hugging Face 与 Intel Labs 联合开发的 SetFit 框架，通过 Optimum Intel 对模型主体做静态训练后量化（PTQ），在 Intel Xeon CPU 上实现最高 7.8 倍的推理加速。
The GradientAI 评分4040 Mamba 解析：挑战 Transformer 的状态空间模型
Mamba 是一种基于状态空间模型（SSM）的架构，首次在长序列（如 100 万 token）上达到与 Transformer 相近的性能和缩放规律，推理速度最高可快 5 倍。它通过移除注意力机制的二次瓶颈，实现序列长度的线性缩放，Mamba-3B 在语言建模上超越同规模 Transformer，并匹敌两倍规模的 Transformer。
Hugging Face BlogAI 评分4242 Hugging Face 推出二值与标量嵌入量化，检索速度提升 32 倍、存储降低 32 倍
Hugging Face 提出嵌入量化方案：二值量化把 float32 嵌入压成 1-bit，内存与磁盘占用降低 32 倍、检索速度最高提升 32 倍，配合 float32 查询重打分的 rescore 步骤可保留约 96% 的检索性能，不做重打分则约 92.5%。标量（int8）量化可将嵌入维度精度降至 8 位。团队还演示了 4100 万条 Wikipedia 文本的真实检索场景。
Hugging Face BlogAI 评分2525 Hugging Face Transformers 零基础入门指南：在 Space 上运行 Phi-2
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零解释开源 Python 库 Transformers、模型与数据集托管平台 Hub 和部署 ML 应用的 Spaces，并演示在 Space 上运行微软 Phi-2 LLM。
Hugging Face BlogAI 评分4646 在 Intel Meteor Lake 笔记本上跑 Phi-2：用 OpenVINO 做 4-bit 量化
Hugging Face 联合 Intel 展示在搭载 Core Ultra 7 155H（Meteor Lake）的中端笔记本上本地运行微软 Phi-2：通过 Optimum Intel 集成 Intel OpenVINO 对 2.7B 参数模型权重做 4-bit 量化，再借助 CPU、iGPU 与 NPU 推理，实现更低延迟、离线可用和更佳隐私。
Hugging Face BlogAI 评分5151 GaLore 如何用消费级硬件训练大模型
Hugging Face 介绍 GaLore 的显存优化训练方法，可将优化器状态显存降低 82.5% 以上，在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
Hugging Face BlogAI 评分3333 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布博客，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型，并将其集成进现有 RAG 流水线。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2（7b、13b、70b）文本生成，并支持 DeepSpeed 分布式推理与 LangChain 集成。
Hugging Face BlogAI 评分3232 Hugging Face 详解 AI 水印：工具、技术与局限性
Hugging Face 发布 AI 水印入门指南，介绍在生成时嵌入和生成后添加两类水印方法，前者需访问模型但更稳健，后者可用于闭源模型。文中还介绍了 Glaze、Photoguard、Nightshade、Fawkes 等图像防护与投毒工具，以及按 C2PA 标准嵌入元数据的 Truepic。
The GradientAI 评分3535 为什么你的模型不管用？机器学习常见陷阱与 REFORMS 清单
机器学习模型常在真实数据上失败，根源多在使用训练和测试的数据本身：Covid 胸部影像数据集里的体位、图像边界标记与时间戳等隐藏变量，以及坦克识别中靠天气背景产生的虚假相关，都会让模型看着准却毫无实用价值。作者还提到 MNIST、CIFAR 等基准存在约百分之几的标注错误，并建议用新推出的 REFORMS 清单来规避这类基于机器学习的科学问题。