跳到正文

#OpenAI

今日 3 条
11月20日周三
10月31日周四
10月17日周四
10月2日周三
9月30日周一
9月23日周一
9月10日周二
8月26日周一
8月8日周四
7月16日周二
5月1日周三
4月19日周五
4月18日周四
  1. Hugging Face Blog78

    Meta 发布 Llama 3 开源大模型,8B 与 70B 双规格上线 Hugging Face

    Meta 发布 Llama 3,包含 8B 和 70B 两种参数规模,各有 base 与 instruct 微调版本,并同步推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2,共 5 个开放权重模型上线 Hugging Face。

    推荐理由:梳理 Llama 3 四款模型的规格、tokenizer 变化与 Hugging Face 生态集成方式,便于评估其部署与微调成本。

2月8日周四
12月20日周三
10月24日周二
10月3日周二
  1. Hugging Face Blog62

    Hugging Face 为 tokenizer 引入 chat_template 属性

    Hugging Face 的 tokenizer 新增 chat_template 属性,用 Jinja 模板保存模型训练时使用的对话格式,并把对话历史转换为正确格式的字符串,以避免因格式不匹配导致的静默性能下降。

    推荐理由:原文说明格式错配会静默拖垮模型表现,并给出把格式信息随 tokenizer 保存和加载的具体做法。

8月1日周二
1月24日周二
12月21日周三
  1. Hugging Face Blog43

    用 CLIPSeg 实现零样本图像分割

    Hugging Face 发布指南,介绍如何通过 transformers 使用 CLIPSeg 零样本图像分割模型。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器,能生成粗略分割掩码,可用于机器人感知与图像修复;其输入为 352 x 352 像素,输出分辨率较低,需要更精细结果时可在 Segments.ai 上微调优化。

12月9日周五
  1. Hugging Face Blog66

    图解大语言模型的 RLHF 训练流程

    Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。

    推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。

11月3日周四
6月7日周二
  1. Hugging Face Blog39

    Hugging Face 图解 Diffusion Model(DDPM)PyTorch 逐步实现

    Hugging Face 发布 DDPM 注释教程,基于 Phil Wang 的 PyTorch 实现逐步复现(Ho et al., 2020)的去噪扩散概率模型。文章讲解前向加噪与反向去噪两个过程、T=1000 时间步、正弦位置嵌入和 U-Net 的 ResNet 块,并给出可运行代码。扩散模型思想最早可追溯至 Sohl-Dickstein 等人 2015 年的工作。

10月13日周三