跳到正文

全部动态

今日 2 条
9月30日周一
9月20日周五
9月18日周三
9月10日周二
8月27日周二
  1. Hugging Face Blog36

    Hugging Face LeRobot 用视频编码压缩机器人数据集

    Hugging Face 的 LeRobot 提出 LeRobotDataset 格式,用视频编码替代逐帧 PNG 存储机器人视觉数据,数据集平均缩小到原体积的 14%,最好情况下仅 0.2%,同时保持完整训练能力。解码单帧耗时与 PNG 相当,连续多帧解码仅为 PNG 读取耗时的 25%-50%。该格式轻量、易分享并原生集成 Hugging Face Hub,还配套了可视化工具。

8月22日周四
8月21日周三
8月19日周一
8月13日周二
  1. Hugging Face Blog34

    Hugging Face 发布 ggml 入门指南:面向 Transformer 推理的 C/C++ 机器学习库

    ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库,核心库自包含在不到 5 个文件中,编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件,并支持量化张量以节省内存,llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。

8月6日周二
7月30日周二
7月22日周一
7月16日周二
7月10日周三
7月3日周三
6月24日周一
6月19日周三
6月13日周四
6月12日周三
  1. Hugging Face Blog43

    Hugging Face TRL 推出 RLOO Trainer,把强化学习带回 RLHF

    Hugging Face 在 TRL 中推出 RLOO Trainer,一种作为 PPO 替代方案的在线 RLHF 训练算法。RLOO 显存占用比 PPO 少约 50-70%,1B 模型上速度是 PPO 的 2 倍,6.9B 模型上最高 3 倍,且只需加载策略、参考策略和奖励模型 3 份模型。其回复胜率(由 GPT4 评判)与 PPO 相当,并持续优于 DPO 等离线方法。

6月7日周五
6月4日周二
5月29日周三
5月28日周二
  1. Hugging Face Blog50

    用 Sentence Transformers 训练和微调嵌入模型

    Hugging Face 发布博客,介绍如何用 Sentence Transformers 训练和微调嵌入模型,也可从零训练新模型。训练流程涵盖数据集、损失函数、训练参数、评估器和 Trainer 五个组件,数据可来自 HF Hub 或本地 CSV、JSON、Parquet、Arrow、SQL;数据集列顺序须与所选损失函数匹配,且 "label" 或 "score" 列用于提供标签。

5月9日周四
5月1日周三
4月30日周二
  1. Hugging Face Blog39

    Hugging Face 与 Dottxt 用结构化生成提升 Prompt 一致性

    Hugging Face 排行榜与评测团队发现,MMLU 等任务的评测结果对 prompt 格式极为敏感,同一模型在不同格式下准确率可相差约 10 分,Qwen1.5-7B 甚至从 51.2% 跌至 22.9%。为此他们与 Dottxt 合作,用 Outlines 库通过正则表达式或上下文无关文法约束模型输出结构,希望从输出端而非输入端减少 prompt 格式带来的方差。

4月16日周二
4月11日周四
  1. Hugging Face Blog35

    Hugging Face 详解视觉语言模型:开源模型全景、评测榜单与 trl 微调实践

    Hugging Face 发布视觉语言模型入门指南,梳理其图像编码器、嵌入投影器与文本解码器的核心结构,并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型及各自分辨率与能力差异。文章还介绍 Vision Arena、Open VLM Leaderboard 与 MMMU、MMBench 等评测基准,并演示如何用当日发布的新版 trl 进行推理与微调。

4月4日周四
4月3日周三
3月28日周四
  1. The Gradient40

    Mamba 解析:挑战 Transformer 的状态空间模型

    Mamba 是一种基于状态空间模型(SSM)的架构,首次在长序列(如 100 万 token)上达到与 Transformer 相近的性能和缩放规律,推理速度最高可快 5 倍。它通过移除注意力机制的二次瓶颈,实现序列长度的线性缩放,Mamba-3B 在语言建模上超越同规模 Transformer,并匹敌两倍规模的 Transformer。

3月22日周五
  1. Hugging Face Blog42

    Hugging Face 推出二值与标量嵌入量化,检索速度提升 32 倍、存储降低 32 倍

    Hugging Face 提出嵌入量化方案:二值量化把 float32 嵌入压成 1-bit,内存与磁盘占用降低 32 倍、检索速度最高提升 32 倍,配合 float32 查询重打分的 rescore 步骤可保留约 96% 的检索性能,不做重打分则约 92.5%。标量(int8)量化可将嵌入维度精度降至 8 位。团队还演示了 4100 万条 Wikipedia 文本的真实检索场景。

3月20日周三
3月15日周五
2月29日周四
2月26日周一
2月25日周日
  1. The Gradient35

    为什么你的模型不管用?机器学习常见陷阱与 REFORMS 清单

    机器学习模型常在真实数据上失败,根源多在使用训练和测试的数据本身:Covid 胸部影像数据集里的体位、图像边界标记与时间戳等隐藏变量,以及坦克识别中靠天气背景产生的虚假相关,都会让模型看着准却毫无实用价值。作者还提到 MNIST、CIFAR 等基准存在约百分之几的标注错误,并建议用新推出的 REFORMS 清单来规避这类基于机器学习的科学问题。