跳到正文

教程实践

拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。

最新精选

第 41–52 条 · 共 52 条
5月15日周一
5月11日周四
  1. Hugging Face Blog62

    Hugging Face 提出辅助生成,用小型助手模型降低自回归文本生成延迟

    Hugging Face 发布辅助生成(Assisted Generation)解码方法,用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token,再由主模型一次前向验证,正确候选被保留,首个不一致处由主模型重新生成。

    推荐理由:Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据,读者可据此判断自回归解码能否借小模型降延迟。

4月5日周三
3月3日周五
1月26日周四
12月9日周五
  1. Hugging Face Blog66

    图解大语言模型的 RLHF 训练流程

    Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。

    推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。

12月1日周四
  1. Hugging Face Blog69

    如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion

    借助苹果工程师提供的转换脚本和基于 Diffusers 的推理代码,Stable Diffusion 现在可以在 Apple Silicon 上用 Core ML 运行,Hugging Face 已代为转换权重并上传到 Hub,提供 v1.4、v1.5、v2 base、v2.1 base 四个 checkpoint。

    推荐理由:借助苹果工程师的转换脚本,读者可以了解在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的权重下载与推理命令。

11月8日周二
9月27日周二
8月22日周一
  1. Hugging Face Blog68

    用 Diffusers 运行 Stable Diffusion 并自定义推理 pipeline

    Hugging Face 官方博客介绍如何用 Diffusers 库运行 Stable Diffusion,该模型由 CompVis、Stability AI 和 LAION 基于 LAION-5B 子集训练,文章默认使用 v1-4 版本。

    推荐理由:原文来自 Diffusers 官方团队,给出 Stable Diffusion 的推理代码、关键参数含义与自定义 pipeline 的完整写法,可对照复用。

8月17日周三
  1. Hugging Face Blog71

    Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 与 accelerate

    Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate,声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降,显存占用减半,例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。

    推荐理由:Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers,读者可了解大模型量化省显存的条件与代价。

3月1日周日
  1. Hugging Face Blog62

    如何用 Transformers 生成文本:语言生成的不同解码方法

    Hugging Face 博客介绍了自回归语言生成的几种主流解码方法,包括贪心搜索、beam search、采样、Top-K 与 Top-p(nucleus)采样,并给出在 transformers 库中用 GPT2 实现每种方法的代码示例。

    推荐理由:系统梳理贪心、beam search 与多种采样策略的取舍,并给出可直接运行的 transformers 代码示例。