Hugging Face 机器学习专家访谈：Sasha Luccioni 谈 AI 碳足迹与环境影响
Hugging Face 推出"Machine Learning Experts"访谈系列，首期嘉宾为研究科学家 Sasha Luccioni，她负责研究机器学习模型与数据集的伦理和社会影响。
#数据/训练
#数据/训练
今日 10 条Hugging Face BlogAI 评分1313
Hugging Face BlogAI 评分1010 Hugging Face 对话 Salesforce、Amplitude 等 SaaS 公司 ML 总监：机器学习洞察系列第二期
Hugging Face 博客发布 Director of Machine Learning Insights 系列第二期 SaaS 特辑，邀请 Salesforce 的 Omar Rahman、Amplitude 的曹晓丹（Danica Xiao）等多位机器学习总监分享观点。
Hugging Face BlogAI 评分2626 用 PyTorch FSDP 和 Accelerate 加速大模型训练
Hugging Face 介绍了如何用 Accelerate 库无需改动代码即可调用 PyTorch FullyShardedDataParallel（FSDP）训练大模型。
Hugging Face BlogAI 评分2929 用 Kili 与 HuggingFace AutoTrain 构建意见分类主动学习流水线
HuggingFace AutoTrain 与数据标注平台 Kili 结合，可搭建文本分类的主动学习流水线：先标注数据再迭代重训模型。示例用 Google Play 上约 4 万条 Medium 用户评论，按订阅、内容、界面、用户体验 4 类在多分类项目中标注，再用 AutoTrain 训练模型并做情感分析。
Hugging Face BlogAI 评分3636 在 Habana Gaudi 上快速上手 Transformers 微调
Habana Labs 与 Hugging Face 合作，用 Habana Gaudi 加速 Transformer 训练，训练性价比相比最新 GPU 版 Amazon EC2 实例最高提升 40%。
Hugging Face BlogAI 评分3030 用机器学习打造超级客户服务：Hugging Face 实战教程
Hugging Face 发布教程，演示如何用其生态工具搭建机器学习客服系统，自动筛选最不满意的客户消息并优先回复。
Hugging Face BlogAI 评分3232 Hugging Face Hub 如何用 Transformers 追踪并筛选模型的 CO2 排放
Hugging Face Hub 为 huggingface_hub 库新增 emissions_threshold 参数，可按训练排放量筛选模型，例如筛出排放不超过 100 克的 191 个模型、排放超过 500 克的 10 个模型。Transformers 则通过 codecarbon 集成，在 Trainer 训练时自动记录排放数据，生成 emissions.csv 供写入模型卡。
Hugging Face BlogAI 评分2626 Habana Labs 与 Hugging Face 合作加速 Transformer 模型训练
Habana Labs 与 Hugging Face 宣布合作，将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成，开发者只需几行代码即可在 Habana 处理器上加速 Transformer 训练。
Hugging Face BlogAI 评分2020 Hugging Face 为何在 Transformers 中放弃 DRY 原则
Hugging Face 的 Transformers 库有意不遵循 DRY 原则，转而采用"单模型文件"策略：模型前向传播所需的全部代码只放在一个 model file 中，注意力机制代码因此被复制 50 多次。官方给出的理由包括该库由开源社区共建、建模代码本身就是产品（库已被 fork 超过 10,000 次），以及机器学习领域演进极快、模型发布后基本保持静态，集中抽象反而容易过时。
Hugging Face BlogAI 评分2727 用 Python 上手情感分析：Hugging Face 预训练模型与微调指南
Hugging Face Hub 上已有超过 215 个公开的情感分析模型，配合 Python 的 transformers pipeline 只需 5 行代码即可完成正负面情绪预测。文章介绍了用预训练模型处理推文、产品评论等数据，并给出用自有数据微调模型的两种方法，涵盖 Twitter-roberta-base-sentiment 等推荐模型。
Hugging Face BlogAI 评分3838 如何用 AutoNLP 和 Prodigy 搭建主动学习流水线
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可以组合成主动学习流水线：用 Prodigy 人工标注数据，再用 AutoNLP 训练模型。在 Kaggle 的 BBC News Classification 数据集上，AutoNLP 训练 15 个多分类模型后最佳模型准确率达 98.67%，价格低至每个模型 $10。
Hugging Face BlogAI 评分3737 Hugging Face 从零训练 GPT-2 模型 CodeParrot，自动补全 Python 代码
Hugging Face 发布教程，介绍如何从零训练 1.5B 参数的 GPT-2 large 模型 CodeParrot，用于自动补全 Python 代码。团队从 GitHub 数据中过滤出 180 GB、2000 万个 Python 文件，去重清洗后得到 50GB 数据集 codeparrot-clean，并基于 GPT-2 分词器在代码上重新训练。
Hugging Face BlogAI 评分3232 Hugging Face 推出 Data Measurements Tool：交互式数据集分析工具
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 搭配 Streamlit 构建，可在线构建、测量和对比数据集。
Hugging Face BlogAI 评分2121 用 Intel 技术加速 PyTorch 分布式微调
在 Intel Xeon Scalable 处理器（Ice Lake 架构）集群上运行 PyTorch 分布式微调，可将 BERT 模型在 MRPC 数据集上的训练任务从单机扩展到 2 台、4 台服务器并测量加速比。
Hugging Face BlogAI 评分2727 大语言模型：一条新的摩尔定律？
微软与 NVIDIA 发布 Megatron-Turing NLG 530B，被称为全球最大最强的生成式语言模型，训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型的价值，认为基准提升有限却带来高昂成本、复杂度与碳足迹，并建议改用预训练模型、更小模型（如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%）和微调来落地机器学习。
Hugging Face BlogAI 评分2020 HuggingFace 课程第二部分 11 月 15 日发布，同步举办社区活动
HuggingFace 课程第二部分将于 11 月 15 日发布，聚焦 token 分类、语言建模、翻译、摘要和问答等 NLP 任务，并深入讲解 Datasets 与 Tokenizers。配套社区活动含两天讲座与团队微调项目，AWS 通过 Amazon SageMaker 提供免费算力，完成 demo 可获结业证书。
Hugging Face BlogAI 评分4040 Hugging Face 用 10 亿句对训练句嵌入模型
Hugging Face 在社区周活动中用 10 亿句对训练出 SOTA 句嵌入模型，训练跑在 7 块 TPU v3-8 上。方法采用批内负样本的对比学习目标，配合大批次、难负样本和跨数据集批次提升质量。模型与数据集已在模型卡中开源。
Hugging Face BlogAI 评分2828 用遥感（卫星）图像和描述微调 CLIP
一个跨 12 个时区的团队用 RSICD 遥感数据集微调了 OpenAI 的 CLIP 模型，并辅以 UCM、Sydney 数据集，共约 1 万张来自 Google Earth、百度地图等来源的卫星图像，每张最多配 5 条描述。
Hugging Face BlogAI 评分5959 Hugging Face 提出 DeDLOC 协同训练方法，40 名志愿者预训练出孟加拉语模型 sahajBERT
Hugging Face 博客介绍分布式协同训练方法 DeDLOC，可自适应参与者的网络与硬件条件，并已用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
Hugging Face BlogAI 评分3535 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经 🤗 Transformers 优化的深度学习容器，并可通过 SageMaker Python SDK 中的 HuggingFace estimator 一行代码启动训练。
Hugging Face BlogAI 评分3232 构建花哨神经网络的简单注意事项：Hugging Face 工程师的调试心得
Hugging Face 工程师分享了构建与调试神经网络的三个心得：先放下机器学习、专注观察数据本身（标签平衡、噪声来源、预处理方式）；再回到入门心态跑通逻辑回归、fastText 等简单 baseline 以评估任务难度；最后别怕拆开那些五行代码模板，通过在小批量（如 16 条）上过拟合验证实现是否正确。
Hugging Face BlogAI 评分5757 HF Mirror 支持用 PyTorch/XLA 在 Cloud TPU 上训练 Transformer
HF Mirror 与 PyTorch/XLA 团队合作，将 Cloud TPU 训练支持集成进 HF Mirror 库，用户可在保持原有 Trainer 接口不变的情况下把模型跑在 Cloud TPU 上。
Hugging Face BlogAI 评分2626 如何用预训练语言模型 checkpoint 热启动 Encoder-Decoder 模型
Hugging Face 发布教程，详解如何用 BERT、GPT2 等预训练 encoder 或 decoder checkpoint 热启动 encoder-decoder 模型，跳过昂贵的预训练。
Hugging Face BlogAI 评分4545 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 演示了用改进后的 transformers 和 tokenizers 库从零训练语言模型：构建 84M 参数（6 层、768 隐藏维度、12 个注意力头，与 DistilBERT 层数头数相同）的 EsperBERTo，在 3 GB 世界语语料上预训练，并微调词性标注任务。