BigCode 发布 StarCoder:面向代码的开源 LLM,HumanEval 达 40.8%
BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。
推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。