跳到正文

#评测/基准

今日 0 条
10月13日周二
10月12日周一
10月8日周四
  1. 钛媒体38

    谁在给大模型出题、卖题、判卷?聊聊AI数据行业的野蛮生长

    Scale AI后训练与评测研究者何允中、Agents' Last Exam项目研究者孙一铀拆解AI数据行业:数据公司交付物正从人工标注、专家rubric评分细则转向含任务、工具与验证机制的强化学习环境。ALE覆盖55个非体力类职业,何允中称rubric数据需求已趋饱和,孙一铀则认为专家主观判断类rubric仍远远不够。

10月7日周三
  1. 钛媒体46

    OpenRouter 榜单分析:美版硅基流动的流水单,三张榜与正在贬值的信用

    OpenRouter 是私人 API 聚合商,靠充值手续费盈利,2026 年 8 月被 Stripe 以超 70 亿美元收购。其周榜只是滚动 7 天窗口,同一模型隔两天数字可差 5.1 万亿 Token,且美国用户占 47.17%、中文不足 5%,中国信通院许珊称其调用量仅占全球约 2%。中国模型在该榜连续二十二周领先,但 9 月当周冠军由免费匿名模型太空兔以 33.5 万亿 Token 拿下。

10月5日周一
9月29日周二
9月21日周一
7月15日周三
6月26日周一
  1. Hugging Face Blog22

    Hugging Face 伦理与社会通讯第4期:文本到图像模型中的偏见

    文本到图像(TTI)生成模型正大量上传至 Hugging Face Hub,其偏见来源多样。Hugging Face 梳理了训练数据(如 LAION-5B、MS-COCO、VQA v2.0)、预训练数据过滤、推理(CLIP 的年龄、性别、种族偏见)、模型潜在空间及事后过滤等偏见来源,并列举了 Stable Bias 等检测工具与红队评估方法。