把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
AnyLanguageModel 是一个 Swift 包，作为 Apple Foundation Models 框架的 drop-in 替代，只需把 import FoundationModels 换成 import AnyLanguageModel 即可保持相同 API。
推荐理由：AnyLanguageModel 用 Apple Foundation Models 的统一 API 接入本地与云端模型，读者可据此评估跨后端切换的成本。
Hugging Face 发布 huggingface_hub v1.0，这是该库历经五年、35 个以上版本后的首个大版本，包含破坏性变更。
推荐理由：梳理 huggingface_hub v1.0 的破坏性变更与迁移路径，可据此评估现有 ML 依赖链的升级成本。
Hugging Face 介绍其为 OpenAI gpt-oss 系列模型升级 transformers 的相关技术，包括可从 Hub 下载的零构建 Kernels、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存与连续批处理等。
推荐理由：Hugging Face 公开 gpt-oss 适配 transformers 的升级细节，读者可据此判断量化、并行与缓存优化如何落地。
Google 发布 EmbeddingGemma，一个面向端侧场景的多语言嵌入模型，308M 参数、2K 上下文窗口，支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力，量化后内存占用低于 200 MB，作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。
推荐理由：读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。
Hugging Face 介绍在 ZeroGPU Spaces 上用 PyTorch 提前编译（AoT）加速模型推理的方法，Flux、Wan、LTX 等模型可获得 1.3× 至 1.8× 的提速。
推荐理由：Hugging Face 官方给出在 ZeroGPU Spaces 上启用 AoT 编译的完整步骤与避坑细节，并验证了 1.3–1.8 倍的生成加速，对需要优化 GPU demo 的开发者有直接参考价值。
Hugging Face 发布 Python 库 ScreenEnv，可在 Docker 容器中创建隔离的 Ubuntu 桌面环境，用于测试和部署能看、能点击、能与真实应用交互的 GUI（Computer Use）智能体。
推荐理由：Hugging Face 把桌面智能体的沙箱环境做成了可直接 pip 安装的库，读者可据此判断 GUI Agent 的搭建与部署成本变化。
DeepSeek-V3 的更新版 DeepSeek-V3-0324 本周出现在 Hugging Face Hub 上，架构与原始 V3 相同，许可证由自定义模型许可改为 MIT。
推荐理由：梳理了 DeepSeek-V3 更新版在数学与代码基准上的提升幅度，并给出本地部署与量化方案。
Hugging Face 的 Xet 团队把内容定义分块（CDC）从理论推向生产，用于 Hub 上文件的上传与下载，部分场景提速 2-3 倍。方案在分块去重后聚合为最大 64MB 的块，使内容寻址存储条目减少 1000 倍，并用占全部 chunk 0.1% 的 key chunks 全局索引做查询。
推荐理由：原文给出块级聚合与 key chunks 的设计取舍，以及 gemma-2-9b-it-GGUF 仓库上传体积与耗时对比，可判断大文件传输的优化空间。
Hugging Face 在 Hub 模型页和 JS/Python 客户端 SDK 中接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理供应商。
推荐理由：平台把四家无服务器推理供应商接入模型页与 SDK，读者可据此比较不同供应商的调用方式与计费路径。
Hugging Face 博客给出用 PyTorch 的 torch.cuda.memory 记录并可视化 GPU 显存占用的完整方法，把 profile.pkl 拖入 pytorch.org/memory_viz 即可看到显存随时间变化的图形。
推荐理由：用 PyTorch 自带的内存快照工具逐步拆解训练显存构成，并给出可套用的估算公式。
Hugging Face 上线 Meta Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口，便于据此评估部署成本。
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤，最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由：完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程，并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face 为 TGI 推出 Multi-LoRA 服务功能，在一个基础模型部署上通过 Request 中的 adapter_id 动态加载多个 LoRA 适配器，实现一次部署服务 30 个模型。
推荐理由：原文给出了 TGI 多 LoRA 部署的具体配置、成本对比和可复现操作步骤，适合评估多模型推理的工程团队参考。
Google 发布开源 LLM 家族 Gemma，包含 2B 和 7B 两个尺寸，各有基础版与指令微调版共 4 个模型，基于 Gemini 打造，上下文长度 8K tokens，可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由：Google 开源 Gemma 2B 与 7B 双尺寸模型，本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API。
推荐理由：TGI 1.4.0 起提供 OpenAI 兼容的 Messages API，读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Hugging Face 博客发布教程，介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本，改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由：教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤，包含模型映射与预加载等工程细节，可复用性强。
Hugging Face 博客介绍如何用推测解码（assisted generation）为 Whisper 推理提速约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出可复用的推测解码配置与实测数据，读者能据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face 发布 Optimum-NVIDIA 推理库，在 NVIDIA 平台上只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可获得最高 28 倍吞吐提升和 1200 token/秒的速度。
推荐理由：原文给出单行代码替换的接入方式和首 token 延迟、吞吐的对比数据，读者可据此判断自身部署的提速空间。
Hugging Face 博客介绍了 HugCoder 的构建流程，用 top 10 公开仓库代码微调 StarCoder，使其补全自家代码库。
推荐理由：完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比，可迁移到自有代码库。
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行，4-bit 量化精度损失可忽略，小批量推理速度与 fp16 基线相当。
推荐理由：原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据，可作为本地部署选型参考。