BLOOM 训练背后的技术：Megatron-DeepSpeed 工程实践解析
Hugging Face 发文详解 176B 参数多语言模型 BLOOM 的训练工程，该模型使用 Megatron-DeepSpeed 在 384 张 80GB A100 上训练约 3.5 个月，消耗约 1M 计算小时。
#开源生态
#开源生态
今日 2 条Hugging Face BlogAI 评分5656
Hugging Face BlogAI 评分2424 用 Sentence Transformers 构建歌单生成器
基于 Sentence Transformers 和 Gradio 构建的歌单生成器，先对歌曲歌词按段落切分并生成嵌入向量，再对用户输入的文本提示词做语义搜索，返回最相关的歌曲。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 176B 参数多语言开源模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，支持 46 种自然语言和 13 种编程语言，论文称其为首个完全透明训练的多语言 LLM。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言，并公开训练中间检查点与优化器状态，可供研究者比较开放与封闭模型。
Hugging Face BlogAI 评分1919 Hugging Face 入门教程：用 Embeddings 搭建 FAQ 语义搜索
Hugging Face 发布 Embeddings 入门教程，演示如何用 Sentence Transformers 库和 HF Mirror Inference API 搭建 FAQ 语义搜索引擎。
Hugging Face BlogAI 评分2222 用 HF Mirror Optimum 将 Transformers 模型转换为 ONNX
Hugging Face 博客介绍了三种把 Transformers 模型转成 ONNX 的方式：底层 torch.onnx、中层的 transformers.onnx，以及 Optimum 的 ORTModelForXxx 类。
Hugging Face BlogAI 评分3333 Intel 加入 HF Mirror 硬件合作伙伴计划，用 Optimum Intel 加速 Transformer
Intel 正式加入 HF Mirror 硬件合作伙伴计划，双方将借助开源库 Optimum Intel 为 Transformer 的训练、微调和推理提供硬件加速。
Hugging Face BlogAI 评分2424 Graphcore 与 HF Mirror 推出新一批 IPU 就绪的 Transformer 模型
Graphcore 与 HF Mirror 扩展了开源优化库 HF Mirror Optimum 中的模型，新增 10 款专为 Graphcore IPU 优化的 Transformer 模型，覆盖 NLP、语音和计算机视觉。模型包括 GPT-2、RoBERTa、DeBERTa、BART、T5、LXMERT、ViT、HuBERT 和 Wav2Vec2，均附带 IPU 配置文件及预训练和微调权重。
Hugging Face BlogAI 评分3939 Hugging Face Hub 推出 Pull Requests 与 Discussions
Hugging Face Hub 上线 Pull Requests 与 Discussions，所有模型、数据集和 Spaces 仓库即日起可在 Community 标签页使用，任何社区成员都能创建和参与。
Hugging Face BlogAI 评分2323 Hugging Face 宣布 HF Mirror Fellowship 研究员计划
Hugging Face 推出 HF Mirror Fellowship 计划，面向开源机器学习生态贡献者，由 Hugging Face 团队成员或现任 Fellow 提名，无截止日期、持续招募。
Hugging Face Blog精选AI 评分6868 Gradio 3.0 发布：前端全面重写并推出 Blocks
Gradio 3.0 发布，对前端做了全面重新设计并改用 Svelte 等现代技术，页面体积更小、加载更快，同时更新了 Dataframe 组件并新增 Gallery 和 TabbedInterface。
推荐理由：Gradio 3.0 用 Svelte 重写前端并推出 Blocks，读者可了解这套 Python 演示工具在布局与数据流控制上的能力变化。
Hugging Face BlogAI 评分33 Hugging Face 首届学生大使计划开放申请
Hugging Face 开放首届 Student Ambassador Program 申请，截止 6 月 13 日，项目 6 月 30 日启动、12 月 31 日结束。入选学生可参加 Hugging Face 团队的工作坊、提前了解最新项目与功能，并获得周边和官方大使认证。申请者需为在读高校学生、上过至少一门机器学习或数据科学课程，且使用过 Hugging Face Hub 或其库。
Hugging Face BlogAI 评分4747 Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持，加速 ONNX Runtime 推理
Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持，可借助 ONNX Runtime 加速模型推理。
Hugging Face Blog精选AI 评分7272 Hugging Face 完成 1 亿美元 C 轮融资
Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资，Sequoia、Coatue 等参与投资。平台目前已托管 10 万个预训练模型和 1 万个数据集，超过 1 万家公司使用其构建机器学习应用。公司表示将把资金投入研究、开源、产品以及负责任的 AI 民主化，并继续推进 BigScience 项目训练全球最大的开源多语言模型。
推荐理由：HF Mirror 完成 1 亿美元 C 轮融资并披露平台模型与数据集规模，可了解开源机器学习平台当时的商业化进展。
Hugging Face BlogAI 评分4646 fastai 正式接入 Hugging Face Hub，一行 Python 即可上传模型
fastai 与 Hugging Face Hub 完成集成，开发者现在可以用一行 Python 把 fastai Learner 分享和上传到 Hub。上传需预装 fastai>=2.4、fastcore>=1.3.27 和 toml，安装 huggingface_hub["fastai"] 即可；加载模型同样只需 from_pretrained_fastai 一个函数。
Hugging Face BlogAI 评分4040 Hugging Face 深度强化学习课程：从零入门 Deep RL 基础
Hugging Face 推出深度强化学习免费课程《Deep Reinforcement Learning Class》，第一章讲解 Deep RL 基础，涵盖 RL 框架、奖励假设、马尔可夫性质、观测与动作空间、探索/利用权衡及基于策略与基于价值两类方法。
Hugging Face BlogAI 评分2626 用 PyTorch FSDP 和 Accelerate 加速大模型训练
Hugging Face 介绍了如何用 Accelerate 库无需改动代码即可调用 PyTorch FullyShardedDataParallel（FSDP）训练大模型。
Hugging Face BlogAI 评分2525 Hugging Face 推出 HF Mirror 教育计划，目标 2023 年底教会 500 万人机器学习
Hugging Face 发布面向教育领域的 HF Mirror 计划，目标是在 2023 年底前让 500 万人学会机器学习。该计划提供 NLP、深度强化学习、交互式 demo 构建等免费课程，以及可免费创建课堂的 Hub 工具和已翻译成 8 种语言的教学工具包。
Hugging Face BlogAI 评分1616 Hugging Face 工程师 Lewis Tunstall 谈 transformers 与大规模模型评估
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了自己 2019 年与 Leandro von Werra 合著《NLP with Transformers》的经历，并分享了在 transformers 库中的工作：提供将 PyTorch 模型导出为 ONNX 格式的功能，用户只需一行代码即可完成转换，从而优化推理延迟与吞吐量。他还谈到大规模模型评估等话题。
Hugging Face BlogAI 评分2626 Habana Labs 与 Hugging Face 合作加速 Transformer 模型训练
Habana Labs 与 Hugging Face 宣布合作，将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成，开发者只需几行代码即可在 Habana 处理器上加速 Transformer 训练。
Hugging Face BlogAI 评分2020 Hugging Face 为何在 Transformers 中放弃 DRY 原则
Hugging Face 的 Transformers 库有意不遵循 DRY 原则，转而采用"单模型文件"策略：模型前向传播所需的全部代码只放在一个 model file 中，注意力机制代码因此被复制 50 多次。官方给出的理由包括该库由开源社区共建、建模代码本身就是产品（库已被 fork 超过 10,000 次），以及机器学习领域演进极快、模型发布后基本保持静态，集中抽象反而容易过时。
Hugging Face BlogAI 评分3434 Hugging Face 在 transformers 库和 Hub 中集成 Decision Transformer
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hub，并发布 Gym 环境下 Walker2d、Hopper、Halfcheetah 等连续控制任务的 9 个预训练 checkpoint。
Hugging Face BlogAI 评分2222 Hugging Face 宣布启动 🤗 AI 研究驻留计划
Hugging Face 宣布推出为期 9 个月的 AI Research Residency Program，参与者将与 Science Team 研究员共同选定研究课题、开发新的机器学习方法并推动成果公开发表。申请于 2022 年 4 月 3 日截止，项目为全职、可远程，欢迎有研究经验和编程能力的多元背景申请者。
Hugging Face BlogAI 评分5454 用 Transformers 的约束 beam search 引导文本生成
Hugging Face 发布博客，介绍 🤗 Transformers 中新的约束 beam search（constrained beam search）功能，可在生成阶段强制输出包含指定词语或短语。
Hugging Face BlogAI 评分2222 BERT 101：State Of The Art NLP 模型解析
BERT（Bidirectional Encoder Representations from Transformers）是 Google AI Language 研究人员于 2018 年开发的 NLP 模型，可同时处理情感分析、命名实体识别等 11+ 种常见语言任务。
Hugging Face BlogAI 评分4141 用 🤗 Transformers 微调 ViT 做图像分类
Hugging Face 发布教程，演示如何用 🤗 datasets 加载 beans 图像分类数据集、再用 ViTImageProcessor 和 🤗 transformers 微调预训练 ViT 模型。
Hugging Face BlogAI 评分3838 如何在 🤗 Transformers 中用 Wav2Vec2 对超长音频做语音识别
Hugging Face 介绍了利用 Wav2Vec2 的 CTC 结构在 Transformers 中对任意长音频做语音识别的方法，通过在 pipeline 中设置 chunk_length_s 和 stride_length_s 实现带步长的重叠分块推理，避免长文件直接推理时显存溢出，同时保留 chunk 边界的上下文。
Hugging Face BlogAI 评分2626 Stable-Baselines3 集成至 Hugging Face Hub
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hub，模型可直接上传和加载。
Hugging Face BlogAI 评分3333 用 HuggingFace Transformers 和 Amazon SageMaker 部署 GPT-J 6B 进行推理
HuggingFace 博客介绍如何用 Amazon SageMaker 和 HuggingFace Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 做实时推理，可在 NVIDIA T4 GPU 实例（约 500 美元/月）上运行。
Hugging Face BlogAI 评分5959 Gradio 加入 Hugging Face
Gradio 联合创始人宣布，Hugging Face 已收购机器学习初创公司 Gradio。他回顾 2019 年在斯坦福读书时因难以与不会 Python 的医生协作者分享医学计算机视觉模型而创建 Gradio，此后扩展到文本、语音和视频领域，目前已有超过 30 万个 demo 使用该库构建。
Hugging Face Blog精选AI 评分6161 Hugging Face 将 Perceiver IO 加入 Transformers，支持任意模态
Hugging Face 将 Perceiver IO 加入 Transformers，这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型，随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由：原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例，读者可据此判断跨模态统一架构的可用性。
Hugging Face BlogAI 评分2727 Hugging Face 推出首个 ML-Agents 环境 Snowball Fight ☃️
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1，玩家可在该 Unity ML-Agents 游戏中向深度强化学习智能体投掷雪球，环境已托管于 Hugging Face Spaces 并可在线试玩。训练环境已开源发布在 Hugging Face Hub，后续将推出技术教程及采用 MA-POCA 算法的 2vs2 协作版本。
Hugging Face BlogAI 评分2525 用 Optimum 在 Graphcore IPU 上快速上手 Transformer 模型
HF Mirror 与 Graphcore 合作推出 Optimum，可通过 PopTorch 在 Graphcore IPU 上加速 Transformer 模型，BERT 是首个 IPU 优化的模型。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 XLSR-Wav2Vec2 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 Wav2Vec2-XLS-R-300M 微调为低资源 ASR 模型，并在仅约 4 小时验证训练数据的 Common Voice 土耳其语数据集上采用 CTC 训练。
Hugging Face BlogAI 评分2020 HuggingFace 课程第二部分 11 月 15 日发布，同步举办社区活动
HuggingFace 课程第二部分将于 11 月 15 日发布，聚焦 token 分类、语言建模、翻译、摘要和问答等 NLP 任务，并深入讲解 Datasets 与 Tokenizers。配套社区活动含两天讲座与团队微调项目，AWS 通过 Amazon SageMaker 提供免费算力，完成 demo 可获结业证书。
Hugging Face BlogAI 评分1717 机器学习即代码的时代已经到来
Hugging Face 发文称，机器学习正走向「软件吞噬机器学习」：DevOps 的版本管理、测试、自动化与部署实践应被数据科学团队直接采纳，MLOps 让模型更快进入生产环境。
Hugging Face BlogAI 评分2828 用遥感（卫星）图像和描述微调 CLIP
一个跨 12 个时区的团队用 RSICD 遥感数据集微调了 OpenAI 的 CLIP 模型，并辅以 UCM、Sydney 数据集，共约 1 万张来自 Google Earth、百度地图等来源的卫星图像，每张最多配 5 条描述。
Hugging Face BlogAI 评分2525 用 Gradio 在 Hugging Face Spaces 展示你的机器学习项目
Hugging Face 博客介绍如何用 Gradio 在 Spaces 中托管模型演示：通过 gr.Interface.load() 调用 Inference API 加载 Hub 上的模型，几行代码即可运行，支持 image-to-text、speech-to-text、text-to-speech 等类型。
Hugging Face BlogAI 评分2222 用 Streamlit 在 HF Mirror Spaces 上托管模型与数据集
HF Mirror 发布博客介绍如何用 Streamlit 在 HF Mirror Spaces 中托管模型和数据集，并以复刻 "Write with Transformer" 为例演示用 GPT-2、XLNet 构建文本生成 Demo。
Hugging Face BlogAI 评分3333 Hugging Face 与 Graphcore 合作，为 IPU 优化 Transformer 模型
Hugging Face 在 2021 AI Hardware Summit 上宣布启动硬件合作伙伴计划，Graphcore 作为创始成员参与，开发者可借助新开源库 Optimum 在 IPU 上部署经认证的硬件优化 Transformer 模型。首批 IPU 优化模型将于今年晚些时候上线 Optimum，覆盖视觉、语音、翻译与文本生成等场景。
Hugging Face BlogAI 评分5252 Hugging Face 发布 Optimum：面向规模化 Transformer 的优化工具包
Hugging Face 发布开源库 Optimum，目标是提供 Transformer 生产性能的优化工具包，让工程师能在特定硬件上高效训练和运行模型。