如何用 Transformers 生成文本:语言生成的不同解码方法
Hugging Face 博客介绍了自回归语言生成的几种主流解码方法,包括贪心搜索、beam search、采样、Top-K 与 Top-p(nucleus)采样,并给出在 transformers 库中用 GPT2 实现每种方法的代码示例。
推荐理由:系统梳理贪心、beam search 与多种采样策略的取舍,并给出可直接运行的 transformers 代码示例。
Hugging Face 博客介绍了自回归语言生成的几种主流解码方法,包括贪心搜索、beam search、采样、Top-K 与 Top-p(nucleus)采样,并给出在 transformers 库中用 GPT2 实现每种方法的代码示例。
推荐理由:系统梳理贪心、beam search 与多种采样策略的取舍,并给出可直接运行的 transformers 代码示例。
Hugging Face 演示了用改进后的 transformers 和 tokenizers 库从零训练语言模型:构建 84M 参数(6 层、768 隐藏维度、12 个注意力头,与 DistilBERT 层数头数相同)的 EsperBERTo,在 3 GB 世界语语料上预训练,并微调词性标注任务。