Falcon-H1 发布六款开源混合注意力 SSM 模型
Falcon-H1 系列发布 6 个开源模型，覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B，均含 base 与 instruct 版本，采用 Apache 2.0 宽松许可。
推荐理由：Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer，可据此判断端侧与长上下文场景的取舍。
端侧 AI
全部主题跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
最新精选
第 21–29 条 · 共 29 条Hugging Face Blog精选AI 评分6161
Hugging Face Blog精选AI 评分6767 Hugging Face 发布 SmolVLM2：256M 到 2.2B 的视频理解模型
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三种参数规模，并同步支持 Transformers 与 MLX。
推荐理由：Hugging Face 发布三档小参数视频理解模型，并给出 iPhone、VLC 等端侧落地方式，可对照其内存与性能取舍。
Hugging Face Blog精选AI 评分6868 Transformers.js v3 发布：支持 WebGPU、新模型与量化格式
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称推理速度最高比 WASM 快 100 倍，只需在加载模型时设置 device: 'webgpu'。
推荐理由：官方发布浏览器端推理库大版本，WebGPU 与量化格式的变化直接影响前端模型部署方式。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：支持视觉与端侧运行
Meta 发布 Llama 3.2，共 10 个开放权重模型，包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模，均有 base 与指令微调版本，视觉模型上下文长度为 128k tokens；文本模型新增 1B 和 3B 两种规格，面向端侧场景，训练使用最多 9 万亿 tokens。
推荐理由：文章给出 10 个开放权重模型与端侧量化运行路径，便于评估多模态开源方案的落地条件。
Hugging Face Blog精选AI 评分6565 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤，最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由：完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程，并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 SmolLM 系列小模型并开源 SmolLM-Corpus
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M、1.7B 三种参数规模，并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2（28B tokens）、Python-Edu（4B tokens）和去重后的 FineWeb-Edu（220B tokens）组成。
推荐理由：SmolLM 把数据配比、训练细节和评测结果一并公开，可供读者判断小模型在端侧可用的边界。
Hugging Face Blog精选AI 评分6262 Stable Diffusion XL 登陆 Mac：Core ML 混合位量化实现 71% 体积压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图，目前仅支持原始注意力实现，refiner 阶段尚未移植。
推荐理由：原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方，可据此判断本地出图的速度与体积取舍。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face Blog精选AI 评分6969 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助苹果工程师提供的转换脚本和基于 Diffusers 的推理代码，Stable Diffusion 现在可以在 Apple Silicon 上用 Core ML 运行，Hugging Face 已代为转换权重并上传到 Hub，提供 v1.4、v1.5、v2 base、v2.1 base 四个 checkpoint。
推荐理由：借助苹果工程师的转换脚本，读者可以了解在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的权重下载与推理命令。