Sempre Health 如何借助 Hugging Face Expert Acceleration Program 加速 ML 路线图
Sempre Health 利用 Hugging Face 的 Expert Acceleration Program 构建了自动分类并回复患者短信的 NLP 管线,上线数周后近 20% 的入站消息由新系统自动处理,此前其规则系统只能覆盖约 80% 的消息。
Sempre Health 利用 Hugging Face 的 Expert Acceleration Program 构建了自动分类并回复患者短信的 NLP 管线,上线数周后近 20% 的入站消息由新系统自动处理,此前其规则系统只能覆盖约 80% 的消息。
Hugging Face 深度强化学习课程更新第二部分,讲解基于价值的方法,并区分蒙特卡洛与时序差分学习。该单元还将在 Frozen-Lake-v1 和自动驾驶出租车两个环境中,从零实现并训练第一个 Q-Learning 智能体,为后续 Deep Q-Learning 打基础。
Hugging Face 推出 HF Mirror Fellowship 计划,面向开源机器学习生态贡献者,由 Hugging Face 团队成员或现任 Fellow 提名,无截止日期、持续招募。
Hugging Face 推出"Machine Learning Experts"访谈系列,首期嘉宾为研究科学家 Sasha Luccioni,她负责研究机器学习模型与数据集的伦理和社会影响。
Gradio 3.0 发布,对前端做了全面重新设计并改用 Svelte 等现代技术,页面体积更小、加载更快,同时更新了 Dataframe 组件并新增 Gallery 和 TabbedInterface。
推荐理由:Gradio 3.0 用 Svelte 重写前端并推出 Blocks,读者可了解这套 Python 演示工具在布局与数据流控制上的能力变化。
Hugging Face 开放首届 Student Ambassador Program 申请,截止 6 月 13 日,项目 6 月 30 日启动、12 月 31 日结束。入选学生可参加 Hugging Face 团队的工作坊、提前了解最新项目与功能,并获得周边和官方大使认证。申请者需为在读高校学生、上过至少一门机器学习或数据科学课程,且使用过 Hugging Face Hub 或其库。
Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持,可借助 ONNX Runtime 加速模型推理。
Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资,Sequoia、Coatue 等参与投资。平台目前已托管 10 万个预训练模型和 1 万个数据集,超过 1 万家公司使用其构建机器学习应用。公司表示将把资金投入研究、开源、产品以及负责任的 AI 民主化,并继续推进 BigScience 项目训练全球最大的开源多语言模型。
推荐理由:HF Mirror 完成 1 亿美元 C 轮融资并披露平台模型与数据集规模,可了解开源机器学习平台当时的商业化进展。
fastai 与 Hugging Face Hub 完成集成,开发者现在可以用一行 Python 把 fastai Learner 分享和上传到 Hub。上传需预装 fastai>=2.4、fastcore>=1.3.27 和 toml,安装 huggingface_hub["fastai"] 即可;加载模型同样只需 from_pretrained_fastai 一个函数。
Hugging Face 推出深度强化学习免费课程《Deep Reinforcement Learning Class》,第一章讲解 Deep RL 基础,涵盖 RL 框架、奖励假设、马尔可夫性质、观测与动作空间、探索/利用权衡及基于策略与基于价值两类方法。
Hugging Face 介绍了如何用 Accelerate 库无需改动代码即可调用 PyTorch FullyShardedDataParallel(FSDP)训练大模型。
HuggingFace AutoTrain 与数据标注平台 Kili 结合,可搭建文本分类的主动学习流水线:先标注数据再迭代重训模型。示例用 Google Play 上约 4 万条 Medium 用户评论,按订阅、内容、界面、用户体验 4 类在多分类项目中标注,再用 AutoTrain 训练模型并做情感分析。
Habana Labs 与 Hugging Face 合作,用 Habana Gaudi 加速 Transformer 训练,训练性价比相比最新 GPU 版 Amazon EC2 实例最高提升 40%。
Hugging Face 发布教程,演示如何用其生态工具搭建机器学习客服系统,自动筛选最不满意的客户消息并优先回复。
Hugging Face 发布面向教育领域的 HF Mirror 计划,目标是在 2023 年底前让 500 万人学会机器学习。该计划提供 NLP、深度强化学习、交互式 demo 构建等免费课程,以及可免费创建课堂的 Hub 工具和已翻译成 8 种语言的教学工具包。
Hugging Face Hub 为 huggingface_hub 库新增 emissions_threshold 参数,可按训练排放量筛选模型,例如筛出排放不超过 100 克的 191 个模型、排放超过 500 克的 10 个模型。Transformers 则通过 codecarbon 集成,在 Trainer 训练时自动记录排放数据,生成 emissions.csv 供写入模型卡。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了自己 2019 年与 Leandro von Werra 合著《NLP with Transformers》的经历,并分享了在 transformers 库中的工作:提供将 PyTorch 模型导出为 ONNX 格式的功能,用户只需一行代码即可完成转换,从而优化推理延迟与吞吐量。他还谈到大规模模型评估等话题。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成,开发者只需几行代码即可在 Habana 处理器上加速 Transformer 训练。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单模型文件"策略:模型前向传播所需的全部代码只放在一个 model file 中,注意力机制代码因此被复制 50 多次。官方给出的理由包括该库由开源社区共建、建模代码本身就是产品(库已被 fork 超过 10,000 次),以及机器学习领域演进极快、模型发布后基本保持静态,集中抽象反而容易过时。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hub,并发布 Gym 环境下 Walker2d、Hopper、Halfcheetah 等连续控制任务的 9 个预训练 checkpoint。
前 Google 伦理 AI 团队创始人 Margaret Mitchell 已加入 Hugging Face,负责制定伦理 AI 研究协议、包容性招聘与文化建设。
Hugging Face 宣布推出为期 9 个月的 AI Research Residency Program,参与者将与 Science Team 研究员共同选定研究课题、开发新的机器学习方法并推动成果公开发表。申请于 2022 年 4 月 3 日截止,项目为全职、可远程,欢迎有研究经验和编程能力的多元背景申请者。
Hugging Face 发布指南,演示如何用 transformers 微调 SegFormer 语义分割模型,目标是做一台能识别路况的披萨配送机器人。
Hugging Face 的 datasets 库新增图像 feature type,并支持为数据集添加 faiss 索引,从而对图像做相似度检索。文章以英国图书馆数字化书籍插画数据集为例,用 imagefolder loader 直接加载图像数据,并结合 sentence_transformers 与 faiss 构建图像搜索应用。
HF Mirror 发布端到端教程,演示如何用 HF Mirror Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face 发布博客,介绍 🤗 Transformers 中新的约束 beam search(constrained beam search)功能,可在生成阶段强制输出包含指定词语或短语。
BERT(Bidirectional Encoder Representations from Transformers)是 Google AI Language 研究人员于 2018 年开发的 NLP 模型,可同时处理情感分析、命名实体识别等 11+ 种常见语言任务。
Hugging Face 发布教程,演示如何用 🤗 datasets 加载 beans 图像分类数据集、再用 ViTImageProcessor 和 🤗 transformers 微调预训练 ViT 模型。
Hugging Face Hub 上已有超过 215 个公开的情感分析模型,配合 Python 的 transformers pipeline 只需 5 行代码即可完成正负面情绪预测。文章介绍了用预训练模型处理推文、产品评论等数据,并给出用自有数据微调模型的两种方法,涵盖 Twitter-roberta-base-sentiment 等推荐模型。
Hugging Face 介绍了利用 Wav2Vec2 的 CTC 结构在 Transformers 中对任意长音频做语音识别的方法,通过在 pipeline 中设置 chunk_length_s 和 stride_length_s 实现带步长的重叠分块推理,避免长文件直接推理时显存溢出,同时保留 chunk 边界的上下文。
Hugging Face 为 huggingface_hub 库新增 ModelSearchArguments、DatasetSearchArguments 和 ModelFilter,让用户直接在 Python 或 Jupyter 中按 pipeline 任务、数据集、框架等条件搜索 Hub 上的模型和数据集。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hub,模型可直接上传和加载。
HF Mirror 公布 Infinity 推理方案在 Intel Ice Lake 版 Amazon EC2 C6i 实例上的实测结果:用 Infinity Multiverse 优化 DistilBERT 后,延迟与吞吐较 cascade-lake 实例最高提升 34%,较原生 Transformers 最高提升 800%。
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode,可将 n-gram 语言模型与已微调的 Wav2Vec2 检查点结合做语音解码。
HuggingFace 博客介绍如何用 Amazon SageMaker 和 HuggingFace Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 做实时推理,可在 NVIDIA T4 GPU 实例(约 500 美元/月)上运行。
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可以组合成主动学习流水线:用 Prodigy 人工标注数据,再用 AutoNLP 训练模型。在 Kaggle 的 BBC News Classification 数据集上,AutoNLP 训练 15 个多分类模型后最佳模型准确率达 98.67%,价格低至每个模型 $10。
Gradio 联合创始人宣布,Hugging Face 已收购机器学习初创公司 Gradio。他回顾 2019 年在斯坦福读书时因难以与不会 Python 的医生协作者分享医学计算机视觉模型而创建 Gradio,此后扩展到文本、语音和视频领域,目前已有超过 30 万个 demo 使用该库构建。
Hugging Face 将 Perceiver IO 加入 Transformers,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由:原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例,读者可据此判断跨模态统一架构的可用性。
Hugging Face 发布教程,介绍如何从零训练 1.5B 参数的 GPT-2 large 模型 CodeParrot,用于自动补全 Python 代码。团队从 GitHub 数据中过滤出 180 GB、2000 万个 Python 文件,去重清洗后得到 50GB 数据集 codeparrot-clean,并基于 GPT-2 分词器在代码上重新训练。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1,玩家可在该 Unity ML-Agents 游戏中向深度强化学习智能体投掷雪球,环境已托管于 Hugging Face Spaces 并可在线试玩。训练环境已开源发布在 Hugging Face Hub,后续将推出技术教程及采用 MA-POCA 算法的 2vs2 协作版本。