Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库，核心库自包含在不到 5 个文件中，编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件，并支持量化张量以节省内存，llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
#端侧
#端侧
今日 6 条Hugging Face BlogAI 评分3434
Hugging Face Blog精选AI 评分6565 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤，最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由：完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程，并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 SmolLM 系列小模型并开源 SmolLM-Corpus
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M、1.7B 三种参数规模，并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2（28B tokens）、Python-Edu（4B tokens）和去重后的 FineWeb-Edu（220B tokens）组成。
推荐理由：SmolLM 把数据配比、训练细节和评测结果一并公开，可供读者判断小模型在端侧可用的边界。
Hugging Face BlogAI 评分4646 在 Intel Meteor Lake 笔记本上跑 Phi-2：用 OpenVINO 做 4-bit 量化
Hugging Face 联合 Intel 展示在搭载 Core Ultra 7 155H（Meteor Lake）的中端笔记本上本地运行微软 Phi-2：通过 Optimum Intel 集成 Intel OpenVINO 对 2.7B 参数模型权重做 4-bit 量化，再借助 CPU、iGPU 与 NPU 推理，实现更低延迟、离线可用和更佳隐私。
The GradientAI 评分3636 Car-GPT：LLM 能否最终让自动驾驶汽车成为现实？
文章探讨 LLM 能否成为自动驾驶的"意外答案"，类比 1928 年青霉素的偶然发现。文中先回顾 2010 年代模块化自动驾驶方案（感知、定位、规划、控制四模块），再到端到端学习，并解释 tokenization、Transformer 与 next-word prediction 等 LLM 基础，最后讨论把图像和 LiDAR 点云等传感器数据接入模型的方法。
The GradientAI 评分2323 The Gradient 长文：神经算法推理如何用神经网络捕捉经典计算
The Gradient 刊文讨论神经算法推理，即用深度神经网络捕捉最短路、排序等经典算法。MIT 论文《What Can Neural Networks Reason About?》提出算法对齐概念，证明架构与算法结构对齐得越好，学习执行算法所需的样本复杂度越低；文中以 GNN 对齐 Bellman-Ford 最短路算法为例说明。
Hugging Face BlogAI 评分5858 Hugging Face 发布 swift-transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers，一个在 Swift 中实现类 transformers API 的包，同时开源 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face Blog精选AI 评分6262 Stable Diffusion XL 登陆 Mac：Core ML 混合位量化实现 71% 体积压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图，目前仅支持原始注意力实现，refiner 阶段尚未移植。
推荐理由：原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方，可据此判断本地出图的速度与体积取舍。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face BlogAI 评分4747 Hugging Face 发布 Swift 🧨Diffusers 1.1：Mac 原生 Stable Diffusion 应用提速至多两倍
Hugging Face 在 Mac App Store 上线 🧨Diffusers for Mac 1.1，将社区贡献的 SoTA 文生图模型转换为 Core ML，可同时调用 CPU、GPU 和 Neural Engine，部分 Mac 上生成速度最高提升至两倍。
Hugging Face Blog精选AI 评分6969 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助苹果工程师提供的转换脚本和基于 Diffusers 的推理代码，Stable Diffusion 现在可以在 Apple Silicon 上用 Core ML 运行，Hugging Face 已代为转换权重并上传到 Hub，提供 v1.4、v1.5、v2 base、v2.1 base 四个 checkpoint。
推荐理由：借助苹果工程师的转换脚本，读者可以了解在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的权重下载与推理命令。