如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
#图像生成
#图像生成
今日 1 条Hugging Face Blog精选AI 评分6363
Hugging Face BlogAI 评分1010 Hugging Face 宣布首届开源 AI Game Jam：7 月 7-9 日举办
Hugging Face 宣布举办首届 Open Source AI Game Jam，活动时间为 7 月 7 日至 9 日，参赛者需在周末内做出一款游戏。作品须可运行于网页或 Windows，并至少使用一个开源 AI 工具，如 Stable Diffusion 可用于纹理生成、NPC 和文本转语音。任何人可个人或组队免费参加，作品按趣味性、创意和主题评分。
Hugging Face BlogAI 评分3838 Hugging Face 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 探索用指令微调让 Stable Diffusion 按指令处理输入图像，方法基于 InstructPix2Pix 的训练策略，并结合 FLAN 的指令模板思路构建数据集。
Hugging Face BlogAI 评分3333 深入解析文本到视频模型：从 GAN 到扩散模型的发展与挑战
文本到视频模型正沿文本到图像的技术路径演进：早期用 GAN 与 VAE 自回归生成帧，第二代转向 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 架构，当前第三代则以扩散模型为主。
Hugging Face BlogAI 评分4848 如何在免费版 Google Colab 上用 🧨 diffusers 运行 IF 文生图模型
DeepFloyd 的像素级文生图模型 IF 可在免费版 Google Colab 上通过 🧨 diffusers 运行，T5-XXL 文本编码器经 bitsandbytes 8bit 量化后仅需约 8GB 显存即可加载。IF 直接在像素空间去噪并以 T5-XXL 替代 CLIP 作为文本编码器，擅长生成人脸、手部等高频细节，也是首个能可靠生成图像文字的開源图像生成模型。
Hugging Face BlogAI 评分4040 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示如何用 Optimum Intel 与 OpenVINO 在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理。
Hugging Face BlogAI 评分2020 用 diffusers 训练你自己的 ControlNet
Hugging Face 发布教程，介绍如何用 diffusers 训练 ControlNet。整个流程分三步：确定条件类型、构建含 ground truth image。
Hugging Face Blog精选AI 评分7878 Diffusers 集成 ControlNet：StableDiffusionControlNetPipeline 使用教程
Hugging Face 博客介绍 Diffusers 中的 StableDiffusionControlNetPipeline，并演示用 Canny、OpenPose 等条件控制 Stable Diffusion 生成图像。
推荐理由：官方教程给出 ControlNet 在 Diffusers 中的完整用法，并配可运行代码与显存推理耗时对比，便于复现其各类条件控制。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Diffusers 库伦理准则
Hugging Face 为 Diffusers 库发布了一套伦理框架，用于指导维护者处理社区贡献时的技术决策。该准则明确了透明、一致性、简洁、无障碍、可复现与责任等价值观，并列举了社区讨论区、"Not For All Eyes"标签、Stable Diffusion 偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。
Hugging Face BlogAI 评分4747 Hugging Face 发布 Swift 🧨Diffusers 1.1：Mac 原生 Stable Diffusion 应用提速至多两倍
Hugging Face 在 Mac App Store 上线 🧨Diffusers for Mac 1.1，将社区贡献的 SoTA 文生图模型转换为 Core ML，可同时调用 CPU、GPU 和 Neural Engine，部分 Mac 上生成速度最高提升至两倍。
Hugging Face BlogAI 评分2727 HF Mirror 计算机视觉现状：8 大任务、3000+ 模型与 100+ 数据集
HF Mirror 回顾其计算机视觉生态：已支持图像分类、图像分割、零样本目标检测、视频分类、深度估计等 8 个核心视觉任务，Hub 上相关模型超过 3000 个、数据集超过 100 个，且每个任务至少有 10 个模型 checkpoint 可供使用。
Hugging Face BlogAI 评分3434 2D 资产生成：用 Stable Diffusion 做游戏开发 #4
在 AI for Game Development 系列第 4 天，Hugging Face 展示如何把 Stable Diffusion 的 Image2Image 作为工具嵌入传统 2D 美术流程，用来生成农场游戏图标。
Hugging Face Blog精选AI 评分8282 用 LoRA 高效微调 Stable Diffusion：diffusers 支持与实测流程
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持，可在 11 GB 显存的 2080 Ti 上训练 Stable Diffusion，微调权重文件仅约 3 MB，比 UNet 原模型小约一千倍。
推荐理由：以 11 GB 显存训 Stable Diffusion 的完整命令与推理代码为例，展示 LoRA 把微调权重压到 3 MB 的可行路径。
Hugging Face BlogAI 评分1717 3D 资产生成：AI 游戏开发实战（第 3 天）
在“AI for Game Development”系列第 3 天，作者指出 text-to-3D 目前还无法真正用于游戏开发：DreamFusion、Point-E、CLIP-NeRF 等方案多基于视角合成，产出的 mesh 不能直接用于游戏，需要大量人工后处理。作者因此在本作中直接用不同颜色的方块代表农作物，并认为未来突破点在于 NeRF-to-mesh 与 mesh 生成的改进。
Hugging Face BlogAI 评分3636 用 Mask2Former 和 OneFormer 实现通用图像分割
Mask2Former 和 OneFormer 两个 SOTA 图像分割神经网络现已加入开源库 🤗 transformers。OneFormer 只需在 panoptic 版本数据集上训练一次，即可在实例、语义和全景分割三项任务上取得 SOTA，并已支持 Swin Transformer 或 DiNAT 作为 backbone，但额外的文本编码器带来更高延迟。
Hugging Face BlogAI 评分3030 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
基于 🤗 Transformers 和 Datasets 可搭建图像相似度检索系统，用 ViT 模型（nateraw/vit-base-beans）提取图像嵌入向量，再以余弦相似度找出与查询图最接近的候选图。
Hugging Face BlogAI 评分2424 AI 游戏开发：5 天用 Stable Diffusion 和 Unity 做出一款农场游戏（Part 1）
Hugging Face 博客推出「AI for Game Development」系列，演示 5 天内用 AI 工具做出完整农场游戏，第一部分讲美术风格。
Hugging Face BlogAI 评分4343 用 CLIPSeg 实现零样本图像分割
Hugging Face 发布指南，介绍如何通过 transformers 使用 CLIPSeg 零样本图像分割模型。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器，能生成粗略分割掩码，可用于机器人感知与图像修复；其输入为 352 x 352 像素，输出分辨率较低，需要更精细结果时可在 Segments.ai 上微调优化。
Hugging Face Blog精选AI 评分6969 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助苹果工程师提供的转换脚本和基于 Diffusers 的推理代码，Stable Diffusion 现在可以在 Apple Silicon 上用 Core ML 运行，Hugging Face 已代为转换权重并上传到 Hub，提供 v1.4、v1.5、v2 base、v2.1 base 四个 checkpoint。
推荐理由：借助苹果工程师的转换脚本，读者可以了解在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的权重下载与推理命令。
Hugging Face BlogAI 评分3232 VQ-Diffusion：面向离散隐空间的扩散模型与 Diffusers 使用指南
VQ-Diffusion 是中国科学技术大学与微软提出的条件隐空间扩散模型，其加噪与去噪过程在由离散向量构成的量化隐空间上进行，有别于主流连续扩散模型。模型采用冻结的 VQ-VAE（VQGAN 变体）将图像编码为离散 token，并用编码器-解码器 Transformer 一次性预测去噪后隐变量的分布。
Hugging Face BlogAI 评分3535 Hugging Face 扩散模型课程 11 月 28 日上线，11 月 30 日举办直播社区活动
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日免费发布，讲解扩散模型的理论与应用。
Hugging Face BlogAI 评分4444 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的调参经验
Hugging Face 的 Diffusers 提供了 Dreambooth 训练脚本，用于给 Stable Diffusion 注入新概念。实验发现人脸训练需要更多步数，batch size 为 2、LR 为 1e-6 时 800-1200 步效果较好，且 prior preservation 能有效避免人脸过拟合。
Hugging Face BlogAI 评分5050 Stable Diffusion 现已支持 JAX / Flax，可在 TPU 上快速推理
Hugging Face Diffusers 从 0.5.1 版本起支持 Flax，Stable Diffusion 由此可在 Google TPU 上进行推理，每个 TPU 服务器有 8 个加速器并行工作，可同时生成 8 张图像。
Hugging Face BlogAI 评分4848 rinna 推出 Japanese Stable Diffusion，基于 Stable Diffusion 微调的日语文生图模型
rinna 发布 Japanese Stable Diffusion，通过在约 1 亿张日语标注图像上微调 Stable Diffusion，实现了对日语提示词的直接支持，可生成日式风格图像并理解「salary man」等日语特有词汇和拟声词。
Hugging Face BlogAI 评分3030 Hugging Face AutoTrain 新增图像分类任务，支持零代码训练
Hugging Face 的 AutoTrain 新增图像分类任务，用户无需编写代码，只需上传数据并选择候选模型数量即可开始训练。示例中 AutoTrain 启动 5 个模型进行对比，表现不佳的模型被自动停止以节省资源，最佳模型达到 84% 准确率，使用 5 个候选模型且图片少于 500 张时可免费训练。训练完成的模型可发布到 Hub 并通过内置推理组件试用。
Hugging Face BlogAI 评分5252 diffusers 0.3 发布：新增图生图、Inpainting、Textual Inversion 与 Mac 支持
Hugging Face 发布 diffusers 0.3，新增图生图（Image to Image）pipeline、实验性 Inpainting pipeline 和 Textual Inversion，用户可用 3-5 张样本让 Stable Diffusion 学习新概念并分享。
Hugging Face Blog精选AI 评分6868 用 Diffusers 运行 Stable Diffusion 并自定义推理 pipeline
Hugging Face 官方博客介绍如何用 Diffusers 库运行 Stable Diffusion，该模型由 CompVis、Stability AI 和 LAION 基于 LAION-5B 子集训练，文章默认使用 v1-4 版本。
推荐理由：原文来自 Diffusers 官方团队，给出 Stable Diffusion 的推理代码、关键参数含义与自定义 pipeline 的完整写法，可对照复用。
Hugging Face BlogAI 评分3131 在 Graphcore IPU 上用 Hugging Face Optimum 微调 Vision Transformer 实战
Hugging Face 发布博客，演示如何用 Hugging Face Optimum 库在 Graphcore IPU 上微调预训练 Vision Transformer（ViT）模型，并提供配套 notebook，以 ChestX-ray14 胸部 X 光数据集为例逐步讲解。
Hugging Face BlogAI 评分2222 如何在 HF Mirror 中用 TF Serving 部署 TensorFlow 视觉模型
Hugging Face 介绍了用 TensorFlow Serving（TF Serving）在本地部署 Vision Transformer（ViT）图像分类模型的方法，可将其以 REST 或 gRPC 端点对外暴露。
Hugging Face BlogAI 评分3939 Hugging Face 图解 Diffusion Model（DDPM）PyTorch 逐步实现
Hugging Face 发布 DDPM 注释教程，基于 Phil Wang 的 PyTorch 实现逐步复现（Ho et al., 2020）的去噪扩散概率模型。文章讲解前向加噪与反向去噪两个过程、T=1000 时间步、正弦位置嵌入和 U-Net 的 ResNet 块，并给出可运行代码。扩散模型思想最早可追溯至 Sohl-Dickstein 等人 2015 年的工作。
Hugging Face BlogAI 评分2424 如何用自定义数据集微调 SegFormer 语义分割模型
Hugging Face 发布指南，演示如何用 transformers 微调 SegFormer 语义分割模型，目标是做一台能识别路况的披萨配送机器人。
Hugging Face BlogAI 评分4141 用 🤗 Transformers 微调 ViT 做图像分类
Hugging Face 发布教程，演示如何用 🤗 datasets 加载 beans 图像分类数据集、再用 ViTImageProcessor 和 🤗 transformers 微调预训练 ViT 模型。