Meta 发布 CyberSecEval 2：评估 LLM 网络安全风险与能力的评测框架
Meta 推出 CyberSecEval 2，用于评估 LLM 生成不安全代码、抵抗提示词注入、配合网络攻击、滥用代码解释器以及自动化攻击性网络安全能力。相比 2023 年 12 月的首版，LLM 配合网络攻击请求的平均合规率从 52% 降至 28%。所有代码已开源，可接入排行榜。
全部AI 动态
全部动态
今日 5 条Hugging Face BlogAI 评分3737
Hugging Face BlogAI 评分3131 Hugging Face 推出 Open Arabic LLM Leaderboard 阿拉伯语大模型评测榜
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专为评估和对比阿拉伯语 LLM 性能而设，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分1818 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布面向希伯来语的开放 LLM 排行榜，用于评测和提升希伯来语语言模型。榜上包含四个基准：希伯来语问答（HeQ 测试子集）、情感准确率、Winograd Schema Challenge 希伯来语翻译版和英希互译，均采用 few-shot 提示格式。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：完全透明可许可的自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个用完全可许可且透明的管线自对齐训练的代码大语言模型。它用 StarCoder2-15B 自行生成数千条指令-响应对再微调自身，不使用人工标注或大型闭源模型的蒸馏数据，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：原文公开了完全透明的自对齐数据管线，读者可据此了解不依赖 GPT-4 蒸馏也能训练代码指令模型。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Open Chain of Thought Leaderboard，按 CoT 准确率增益评测 LLM
Hugging Face 发布 Open Chain of Thought Leaderboard，不评测模型绝对准确率，而是衡量启用与不启用 chain-of-thought 提示后的准确率差值 Δ。榜单覆盖 LogiQA、LSAT 及 AGIEval 中的推理任务，均以多选题形式呈现，CoT 生成采用模块化提示链，已实现 Classic 与 Reflect 两种策略。
Hugging Face BlogAI 评分4444 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 157 项任务
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari、BabyAI、Meta-World、MuJoCo 四个领域的 157 项任务上达到专家平均性能的 65.8%。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Open Medical-LLM Leaderboard，评测医疗场景大语言模型
Open Life Science AI 在 Hugging Face 发布 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标。
Hugging Face BlogAI 评分4444 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，通过按发布时间标注 LeetCode、AtCoder、CodeForces 题目，支持按时间窗口滚动评估以检测和防止数据污染。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件和 250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了复现 Phi 合成预训练数据的完整流程、数据集与 1B 模型，读者可据此理解大规模合成数据的提示词设计与工程细节。
Hugging Face BlogAI 评分4242 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 开源 WebSight 数据集，用于训练 AI 模型将网页截图转换为 HTML 代码。该数据集已从 2024 年 1 月的 v0.1 版 823,000 对样本迭代至 v0.2 版，采用真实图片截图并换用 Tailwind CSS，规模扩展至 200 万对样本。
The GradientAI 评分6969 文本嵌入能否完整编码原文？Jack Morris 介绍 vec2text 反演方法
Cornell Tech 博士生 Jack Morris 在 The Gradient 撰文介绍其论文 Text Embeddings Reveal As Much as Text（EMNLP 2023）中提出的 vec2text 方法。
Hugging Face BlogAI 评分3030 UCLA 推出 ConTextual：评估多模态模型在文本丰富场景中的图文联合推理能力
UCLA 研究者发布 ConTextual，一个含 506 条指令的上下文敏感文本丰富视觉推理数据集，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并附排行榜与验证集。首轮评测 13 个模型，GPT-4V 表现最佳，但在时间相关任务上不及人类；开源模型仅在抽象与自然场景达到可接受水平。
Hugging Face BlogAI 评分3535 Hugging Face 与 Haize Labs 推出红队抵抗排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，用人类越狱提示词测试前沿模型的安全鲁棒性，得分是判定为 Safe 的提示词百分比。
Hugging Face BlogAI 评分2828 Hugging Face 上线 NPHardEval 排行榜：用复杂度类评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类量化评估 LLM 推理能力。
Hugging Face BlogAI 评分3232 Hugging Face 推出幻觉排行榜，开放评估大语言模型幻觉问题
Hugging Face 发布 Hallucinations Leaderboard，用 NQ Open、TriviaQA、TruthfulQA、XSum、CNN/DM、RACE、SQuADv2、FEVER 等基准评估 LLM 的幻觉表现，分数归一化到 [0,1]。
Hugging Face BlogAI 评分3737 Hugging Face 推出 AI Secure LLM Safety 排行榜
Hugging Face 发布 LLM Safety Leaderboard，基于其排行榜模板，聚焦大语言模型的安全评测。该榜单依托 DecodingTrust 平台，覆盖毒性、刻板印象偏见、对抗鲁棒性、隐私、机器伦理与公平性等八项可信度维度，并为每个维度提供红队测试算法。
The GradientAI 评分2424 深度学习如何推动单细胞测序：观察细胞多样性的显微镜
单细胞测序（sc-seq）技术能在单个细胞层面测序 DNA 与 RNA，用于研究细胞异质性；2013 年 Nature 将其中的单细胞 RNA 测序选为年度方法。自 2016 年起持续收录相关软件的 scRNA-tools 数据库，到 2021 年已包含超过 1000 个工具，其中许多方法借助深度学习技术，这也是文章关注的重点。
Hugging Face BlogAI 评分3535 Hugging Face 与 Intel Labs 推出 SetFitABSA：用 SetFit 实现少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个基于 SetFit 库的少样本方面级情感分析（ABSA）框架，无需提示词即可训练领域专用模型，在少样本场景下甚至优于 Llama2 和 T5 等生成模型。它通过 spaCy 抽取名词类方面候选，再用两个 SetFit 模型分别完成方面/非方面分类与情感极性判定，训练只需少量标注样本。
Hugging Face BlogAI 评分4848 Hugging Face 研究：大语言模型能像人类一样标注数据吗？
Hugging Face 用 327 条提示词（含 25 条编程类）对 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 四个开源指令模型做盲测，由 Scale AI 标注者按 1-8 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 居首，Dolly-12B 以 802 垫底。
Hugging Face BlogAI 评分3232 VQ-Diffusion：面向离散隐空间的扩散模型与 Diffusers 使用指南
VQ-Diffusion 是中国科学技术大学与微软提出的条件隐空间扩散模型，其加噪与去噪过程在由离散向量构成的量化隐空间上进行，有别于主流连续扩散模型。模型采用冻结的 VQ-VAE（VQGAN 变体）将图像编码为离散 token，并用编码器-解码器 Transformer 一次性预测去噪后隐变量的分布。
Hugging Face BlogAI 评分4343 Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB（Massive Text Embedding Benchmark），覆盖 8 类任务、56 个数据集、最多 112 种语言，目前排行榜已汇总超 2000 条结果。
Hugging Face Blog精选AI 评分6262 Hugging Face 联合 Intel Labs 与 UKP Lab 发布 SetFit 小样本微调框架
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit，一个用于 Sentence Transformers 小样本微调的框架，无需提示词或 verbaliser。
推荐理由：SetFit 用 Sentence Transformers 的对比训练替代提示词，在 RAFT 上以小模型接近大模型表现，读者可据此了解小样本分类的低成本路径。
Hugging Face BlogAI 评分2727 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX（Table Pre-training via Execution），通过系统采样可执行 SQL 查询及其执行结果合成预训练语料，让模型学习充当神经 SQL 执行器（以 BART 为例），从而绕开对真实表格数据的依赖。
Hugging Face Blog精选AI 评分6161 Hugging Face 将 Perceiver IO 加入 Transformers，支持任意模态
Hugging Face 将 Perceiver IO 加入 Transformers，这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型，随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由：原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例，读者可据此判断跨模态统一架构的可用性。
Hugging Face BlogAI 评分4040 Hugging Face 用 10 亿句对训练句嵌入模型
Hugging Face 在社区周活动中用 10 亿句对训练出 SOTA 句嵌入模型，训练跑在 7 块 TPU v3-8 上。方法采用批内负样本的对比学习目标，配合大批次、难负样本和跨数据集批次提升质量。模型与数据集已在模型卡中开源。
Hugging Face BlogAI 评分5959 Hugging Face 提出 DeDLOC 协同训练方法，40 名志愿者预训练出孟加拉语模型 sahajBERT
Hugging Face 博客介绍分布式协同训练方法 DeDLOC，可自适应参与者的网络与硬件条件，并已用 40 名志愿者预训练出孟加拉语模型 sahajBERT。