Diffusers 中的开源视频生成模型现状
Hugging Face 发布 Diffusers 开源视频生成模型现状综述,梳理了 CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 等模型,并对比 Meta MovieGen、OpenAI Sora、Google Veo 2 等闭源方案。
Hugging Face 发布 Diffusers 开源视频生成模型现状综述,梳理了 CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 等模型,并对比 Meta MovieGen、OpenAI Sora、Google Veo 2 等闭源方案。
Artificial Analysis 发布 Big Bench Audio 评测数据集,将 Big Bench Hard 的 1000 道题改编为音频形式,用于评估音频语言模型的推理能力。
Hugging Face 的 Xet 团队改用内容定义分块(CDC)存储文件,只传输和保存被修改的 chunk。对 CORD-19 数据集的测试显示,平均下载时间从 51 分钟降至 19 分钟,上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
OpenAI 面向营销团队推广 AI 应用,帮助其将 AI 投入实际工作。原文未披露具体模型、功能或价格等细节。
OpenAI 发布视频,展示 o1 推理模型如何帮助编程、战略与研究等领域的复杂问题求解。
OpenAI 宣布获得新融资,用于扩大 AI 带来的效益,推进其确保通用人工智能惠及全人类的使命。原文未披露融资金额、投资方及具体用途细节。
OpenAI 发布文章,介绍如何用 AI 自动化并扩展财务运营。
Hugging Face 发布 FineVideo 数据集,包含 4.3 万条视频、总计 3400 小时,并标注了描述、叙事细节、场景切分和问答对。
OpenAI 基于数百次成功部署经验,总结出让 AI 真正投入实际工作的方法。内容源自其发布的《Put AI to Work: Lessons from Hundreds of Successful Deployments》。
OpenAI 发布公告,将举办一场聚焦 GPT-4o 微调的线上研讨会(webinar)。活动主题为 Fine-Tuning GPT-4o,面向希望了解如何微调该模型的开发者。
OpenAI 发布视频,展示员工如何使用 ChatGPT Enterprise 高效分析数据并挖掘洞察,给出多个实际应用示例。
Hugging Face 团队展示如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集并微调领域专用嵌入模型,再用向量数据库存储和检索文档,最后将 Gradio 应用部署到 HF Spaces,并把交互记录存入 Argilla 持续评估改进。
Hugging Face 发布自定义推理处理器方案,可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离(diarization)与投机解码,并通过单一 API 端点对外提供服务。
大语言模型的下一 token 预测能力能否迁移到价格与交易序列预测,成为量化交易的新方向。Hudson River Trading 在 2023 年 NeurIPS 上估算,3000 只可交易股票、每日 10 个数据点、每年 252 个交易日可产生 1770 亿市场数据 token,与 GPT-3 的 5000 亿训练 token 量级相近。
Open Life Science AI 在 Hugging Face 发布 Open Medical-LLM Leaderboard,用统一平台评测大语言模型在医疗任务上的表现,以准确率为主要指标。
Meta 发布 Llama 3,包含 8B 和 70B 两种参数规模,各有 base 与 instruct 微调版本,并同步推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2,共 5 个开放权重模型上线 Hugging Face。
推荐理由:梳理 Llama 3 四款模型的规格、tokenizer 变化与 Hugging Face 生态集成方式,便于评估其部署与微调成本。
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API。
推荐理由:TGI 1.4.0 起提供 OpenAI 兼容的 Messages API,读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Hugging Face 博客介绍如何用推测解码(assisted generation)为 Whisper 推理提速约 2 倍,同时数学上保证输出与单独使用主模型完全一致。
推荐理由:给出可复用的推测解码配置与实测数据,读者能据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences,在情感、描述性等风格任务上匹配了其学习曲线。
The Gradient 刊文《The Artificiality of Alignment》指出,当前所谓"对齐"研究更像在解决"造一个有人愿意付费的产品"这一老问题,而非人类灭绝级别的宏大挑战。文章批评公众讨论把猜测性未来风险与当下真实危害混为一谈,并称 OpenAI 将构建超级智能列为主要目标之一,而收入生成始终是其治理、产品与技术决策的底层目标。
Hugging Face 的 tokenizer 新增 chat_template 属性,用 Jinja 模板保存模型训练时使用的对话格式,并把对话历史转换为正确格式的字符串,以避免因格式不匹配导致的静默性能下降。
推荐理由:原文说明格式错配会静默拖垮模型表现,并给出把格式信息随 tokenizer 保存和加载的具体做法。
这是一份把生成式 AI 接入 PS1 风格 3D 工作流的实操指南,用 OpenAI 开源扩散模型 Shap-E 从文本生成模型,再在 Blender 3.1+ 中用 Decimate 修改器降面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开,最后导出 FBX 导入 Unity。
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术,包括 RLHF、IFT、SFT、CoT 与红队测试,并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。
Hugging Face 发布指南,介绍如何通过 transformers 使用 CLIPSeg 零样本图像分割模型。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器,能生成粗略分割掩码,可用于机器人感知与图像修复;其输入为 352 x 352 像素,输出分辨率较低,需要更精细结果时可在 Segments.ai 上微调优化。
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 微调 OpenAI 的 Whisper 做多语言 ASR。
Hugging Face 发布 DDPM 注释教程,基于 Phil Wang 的 PyTorch 实现逐步复现(Ho et al., 2020)的去噪扩散概率模型。文章讲解前向加噪与反向去噪两个过程、T=1000 时间步、正弦位置嵌入和 U-Net 的 ResNet 块,并给出可运行代码。扩散模型思想最早可追溯至 Sohl-Dickstein 等人 2015 年的工作。
一个跨 12 个时区的团队用 RSICD 遥感数据集微调了 OpenAI 的 CLIP 模型,并辅以 UCM、Sydney 数据集,共约 1 万张来自 Google Earth、百度地图等来源的卫星图像,每张最多配 5 条描述。