Arm CPU 上用 Stable Audio Open 实现实时 AI 音效生成
Arm 工程师 Michael Gamble 用 Stability AI 的 Stable Audio Open 模型，在 Arm CPU 上构建了完全本地运行的个人音效生成工具，无需 GPU 和云端推理，几秒内即可根据文字提示生成 .wav 文件并直接送入 Ableton Live。
#端侧
#端侧
今日 1 条Hugging Face BlogAI 评分2727
Hugging Face BlogAI 评分3838 Dell Enterprise Hub 更新：一站式本地部署 AI 模型与应用
Dell Enterprise Hub 发布新版本，提供 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型的即用容器，针对 NVIDIA H100/H200、AMD MI300X、Intel Gaudi 3 的 Dell 服务器完成测试与优化，Llama 4 在 Meta 公开发布后 1 小时内即上线。
Hugging Face Blog精选AI 评分6161 Falcon-H1 发布六款开源混合注意力 SSM 模型
Falcon-H1 系列发布 6 个开源模型，覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B，均含 base 与 instruct 版本，采用 Apache 2.0 宽松许可。
推荐理由：Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer，可据此判断端侧与长上下文场景的取舍。
Hugging Face BlogAI 评分5252 Falcon-Edge 发布 1B 与 3B 三值语言模型，支持微调
Falcon-LLM 团队发布 Falcon-Edge 系列 1.58bit 语言模型，基于 BitNet 架构，提供 1B 和 3B 两种规模，各有 base 与指令微调版本，用约 1.5 Tera Tokens 内部数据预训练。
Hugging Face BlogAI 评分4141 如何在手机上用 React Native 本地运行 LLM：Hugging Face 的 EdgeLLM 指南
Hugging Face 发布教程，教你用 React Native 和 llama.rn（llama.cpp 的绑定）构建本地运行 LLM 的移动应用，通过加载 GGUF 文件从 HF Mirror 下载模型，全程离线保护隐私。
Hugging Face Blog精选AI 评分6767 Hugging Face 发布 SmolVLM2：256M 到 2.2B 的视频理解模型
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三种参数规模，并同步支持 Transformers 与 MLX。
推荐理由：Hugging Face 发布三档小参数视频理解模型，并给出 iPhone、VLC 等端侧落地方式，可对照其内存与性能取舍。
Hugging Face BlogAI 评分5858 Hugging Face 发布 SmolVLM-256M 与 500M 两款小型视觉语言模型
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M，共四个 checkpoint，包括两个基础模型和两个指令微调模型，可直接加载到 transformers、MLX 和 ONNX，并提供 transformers 与 WebGPU 演示。
Hugging Face BlogAI 评分4949 IBM 联合普林斯顿、CMU、UIUC 发布混合 Mamba2 模型 Bamba-9B
IBM 联合普林斯顿、CMU、UIUC 发布推理高效的混合 Mamba2 模型 Bamba-9B，基于 2.2T tokens 完全开放数据训练，在 vLLM 中吞吐量提升 2.5 倍、延迟加速 2 倍。
Hugging Face BlogAI 评分4848 Hugging Face 发布 SmolVLM：2B 参数的开源视觉语言模型
Hugging Face 发布 SmolVLM，一个 2B 参数、面向低内存占用的开源视觉语言模型，模型权重、数据集、训练配方和工具均以 Apache 2.0 许可开放。
Hugging Face Blog精选AI 评分6868 Transformers.js v3 发布：支持 WebGPU、新模型与量化格式
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称推理速度最高比 WASM 快 100 倍，只需在加载模型时设置 device: 'webgpu'。
推荐理由：官方发布浏览器端推理库大版本，WebGPU 与量化格式的变化直接影响前端模型部署方式。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：支持视觉与端侧运行
Meta 发布 Llama 3.2，共 10 个开放权重模型，包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模，均有 base 与指令微调版本，视觉模型上下文长度为 128k tokens；文本模型新增 1B 和 3B 两种规格，面向端侧场景，训练使用最多 9 万亿 tokens。
推荐理由：文章给出 10 个开放权重模型与端侧量化运行路径，便于评估多模态开源方案的落地条件。
Hugging Face BlogAI 评分2626 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中低依赖部署。
Hugging Face BlogAI 评分3636 Hugging Face LeRobot 用视频编码压缩机器人数据集
Hugging Face 的 LeRobot 提出 LeRobotDataset 格式，用视频编码替代逐帧 PNG 存储机器人视觉数据，数据集平均缩小到原体积的 14%，最好情况下仅 0.2%，同时保持完整训练能力。解码单帧耗时与 PNG 相当，连续多帧解码仅为 PNG 读取耗时的 25%-50%。该格式轻量、易分享并原生集成 Hugging Face Hub，还配套了可视化工具。
Hugging Face BlogAI 评分3434 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库，核心库自包含在不到 5 个文件中，编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件，并支持量化张量以节省内存，llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
Hugging Face Blog精选AI 评分6565 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤，最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由：完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程，并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 SmolLM 系列小模型并开源 SmolLM-Corpus
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M、1.7B 三种参数规模，并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2（28B tokens）、Python-Edu（4B tokens）和去重后的 FineWeb-Edu（220B tokens）组成。
推荐理由：SmolLM 把数据配比、训练细节和评测结果一并公开，可供读者判断小模型在端侧可用的边界。
Hugging Face BlogAI 评分4646 在 Intel Meteor Lake 笔记本上跑 Phi-2：用 OpenVINO 做 4-bit 量化
Hugging Face 联合 Intel 展示在搭载 Core Ultra 7 155H（Meteor Lake）的中端笔记本上本地运行微软 Phi-2：通过 Optimum Intel 集成 Intel OpenVINO 对 2.7B 参数模型权重做 4-bit 量化，再借助 CPU、iGPU 与 NPU 推理，实现更低延迟、离线可用和更佳隐私。
Hugging Face BlogAI 评分5858 Hugging Face 发布 swift-transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers，一个在 Swift 中实现类 transformers API 的包，同时开源 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face Blog精选AI 评分6262 Stable Diffusion XL 登陆 Mac：Core ML 混合位量化实现 71% 体积压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图，目前仅支持原始注意力实现，refiner 阶段尚未移植。
推荐理由：原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方，可据此判断本地出图的速度与体积取舍。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face BlogAI 评分4747 Hugging Face 发布 Swift 🧨Diffusers 1.1：Mac 原生 Stable Diffusion 应用提速至多两倍
Hugging Face 在 Mac App Store 上线 🧨Diffusers for Mac 1.1，将社区贡献的 SoTA 文生图模型转换为 Core ML，可同时调用 CPU、GPU 和 Neural Engine，部分 Mac 上生成速度最高提升至两倍。
Hugging Face Blog精选AI 评分6969 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助苹果工程师提供的转换脚本和基于 Diffusers 的推理代码，Stable Diffusion 现在可以在 Apple Silicon 上用 Core ML 运行，Hugging Face 已代为转换权重并上传到 Hub，提供 v1.4、v1.5、v2 base、v2.1 base 四个 checkpoint。
推荐理由：借助苹果工程师的转换脚本，读者可以了解在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的权重下载与推理命令。