跳到正文

#开源/仓库

今日 0 条
2月12日周三
  1. Hugging Face Blog60

    Hugging Face 在 Hub 上线 Xet 内容定义分块,上传下载提速 2-3 倍

    Hugging Face 的 Xet 团队把内容定义分块(CDC)从理论推向生产,用于 Hub 上文件的上传与下载,部分场景提速 2-3 倍。方案在分块去重后聚合为最大 64MB 的块,使内容寻址存储条目减少 1000 倍,并用占全部 chunk 0.1% 的 key chunks 全局索引做查询。

    推荐理由:原文给出块级聚合与 key chunks 的设计取舍,以及 gemma-2-9b-it-GGUF 仓库上传体积与耗时对比,可判断大文件传输的优化空间。

2月4日周二
  1. Hugging Face Blog64

    Hugging Face 开源 DeepResearch 框架,GAIA 验证集达 55.15%

    Hugging Face 用 24 小时复现 OpenAI Deep Research,并开源了所需的智能体框架。该框架基于 smolagents 的 CodeAgent,让智能体用代码而非 JSON 表达动作,在 GAIA 验证集上取得 55.15% 的成绩,高于此前开源框架 Magentic-One 的约 46%;同一设置改用 JSON 写动作后平均降至 33%。

    推荐理由:原文给出了复现 OpenAI Deep Research 的开放框架与 GAIA 上的对比数字,可据此了解代码式智能体相较 JSON 方式的差异。

1月15日周三
12月19日周四
  1. Hugging Face Blog75

    Answer.AI 与 LightOn 发布 ModernBERT:取代 BERT 的编码器模型系列

    Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个规模,作为任何 BERT 类模型的即插即用替代。

    推荐理由:从架构到训练的完整技术拆解,并附论文、预训练 checkpoint 与微调路径,便于判断能否替换现有 BERT 类编码器。

12月18日周三
10月28日周一
  1. Hugging Face Blog22

    Hugging Face 专家支持案例:用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用

    Digital Green 与 CGIAR、Hugging Face 专家支持计划合作开发农业问答机器人 Farmer.chat,基于 RAG 和 GPT-4o 规划智能体回答农户提问,知识库涵盖近 46000 篇农业研究论文。过去一年该机器人已服务超 2 万名农户、处理逾 34 万次查询。为评估回答质量,团队搭建了 LLM-as-a-Judge 评测体系。

10月23日周三
10月22日周二
  1. Hugging Face Blog44

    dottxt 与 Hugging Face 发布 outlines-core 0.1.0:Rust 重写的结构化生成核心库

    dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0,这是 outlines 结构化生成核心算法的 Rust 移植版,Python 绑定已开源并集成进 outlines。该版本带来约 2 倍的索引编译速度提升,并消除了 Numba JIT 首次运行的延迟,同时凭借 Rust 的内存安全与轻量化设计支持 Python 之外的更多语言绑定。

10月21日周一
10月16日周三
10月5日周六
  1. Hugging Face Blog27

    HF Mirror 如何改进 Parquet 文件去重

    Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 文件测试去重效果:追加 10,000 行可去重 99.1%,仅需额外 20MB 存储;而修改第 10000 行仅去重 89%,需额外 230MB。团队提出用相对偏移替代绝对偏移、按行组做内容定义分块两项改进思路,并与 Apache Arrow 探讨落地可能。

9月30日周一
9月18日周三
8月27日周二
  1. Hugging Face Blog36

    Hugging Face LeRobot 用视频编码压缩机器人数据集

    Hugging Face 的 LeRobot 提出 LeRobotDataset 格式,用视频编码替代逐帧 PNG 存储机器人视觉数据,数据集平均缩小到原体积的 14%,最好情况下仅 0.2%,同时保持完整训练能力。解码单帧耗时与 PNG 相当,连续多帧解码仅为 PNG 读取耗时的 25%-50%。该格式轻量、易分享并原生集成 Hugging Face Hub,还配套了可视化工具。

8月12日周一
8月6日周二
7月16日周二
6月20日周四
6月12日周三
  1. Hugging Face Blog43

    Hugging Face TRL 推出 RLOO Trainer,把强化学习带回 RLHF

    Hugging Face 在 TRL 中推出 RLOO Trainer,一种作为 PPO 替代方案的在线 RLHF 训练算法。RLOO 显存占用比 PPO 少约 50-70%,1B 模型上速度是 PPO 的 2 倍,6.9B 模型上最高 3 倍,且只需加载策略、参考策略和奖励模型 3 份模型。其回复胜率(由 GPT4 评判)与 PPO 相当,并持续优于 DPO 等离线方法。

6月5日周三
4月22日周一
4月16日周二
4月4日周四
3月25日周一
3月22日周五
  1. Hugging Face Blog42

    Hugging Face 推出二值与标量嵌入量化,检索速度提升 32 倍、存储降低 32 倍

    Hugging Face 提出嵌入量化方案:二值量化把 float32 嵌入压成 1-bit,内存与磁盘占用降低 32 倍、检索速度最高提升 32 倍,配合 float32 查询重打分的 rescore 步骤可保留约 96% 的检索性能,不做重打分则约 92.5%。标量(int8)量化可将嵌入维度精度降至 8 位。团队还演示了 4100 万条 Wikipedia 文本的真实检索场景。

3月15日周五
2月23日周五
2月19日周一
2月2日周五
1月31日周三
1月26日周五
1月19日周五
1月18日周四
1月12日周五
1月10日周三
1月4日周四
12月11日周一
12月6日周三
  1. Hugging Face Blog35

    Hugging Face 与 Intel Labs 推出 SetFitABSA:用 SetFit 实现少样本方面级情感分析

    Intel Labs 与 Hugging Face 推出 SetFitABSA,一个基于 SetFit 库的少样本方面级情感分析(ABSA)框架,无需提示词即可训练领域专用模型,在少样本场景下甚至优于 Llama2 和 T5 等生成模型。它通过 spaCy 抽取名词类方面候选,再用两个 SetFit 模型分别完成方面/非方面分类与情感极性判定,训练只需少量标注样本。