站長(zhǎng)之家（ChinaZ.com）5月9日 消息:企業(yè)工作流公司 ServiceNow 和 ML 工具開(kāi)發(fā)商 Hugging Face 開(kāi)發(fā)了一種用于編碼的開(kāi)源大型語(yǔ)言生成 AI 模型——StarCoder LLM。
這是一個(gè)150億參數(shù)的模型，旨在為開(kāi)放式人工智能研究社區(qū)負(fù)責(zé)任地生成代碼。StarCoder 是 ServiceNow 和 Hugging Face 研究人員采用StarCoderBase模型的結(jié)果，該模型根據(jù)來(lái)自 GitHub 的許可數(shù)據(jù)進(jìn)行訓(xùn)練，涵蓋80多種編程語(yǔ)言，并在350億個(gè) Python token上對(duì)其進(jìn)行微調(diào)。
【資料圖】
據(jù)稱，StarCoder LLM模型優(yōu)于現(xiàn)有的開(kāi)放代碼生成模型以及封閉模型，例如 OpenAI 的 code-cushman-001，這是為早期版本的GitHub Copilot提供支持的原始Codex模型。
根據(jù) ServiceNow 和 Hugging Face 的說(shuō)法，該模型擁有超過(guò)8，000個(gè)token的上下文長(zhǎng)度，這意味著它可以處理大量輸入，從而“啟用各種有趣的應(yīng)用程序”。
Hugging Face 研究人員在一篇博文中解釋說(shuō):“例如，通過(guò)用一系列對(duì)話提示 StarCoder 模型，我們讓它們充當(dāng)技術(shù)助手。此外，還可用于自動(dòng)完成代碼、通過(guò)指令修改代碼以及用自然語(yǔ)言解釋代碼片段。”
StarCoder 與幾個(gè)類似的模型進(jìn)行了比較，包括 Google 的PaLM和LaMDA以及 Meta 的LLaMA。使用包括 HumanEval 在內(nèi)的多個(gè)基準(zhǔn)對(duì)模型進(jìn)行了評(píng)估。
盡管體積小得多，但研究人員發(fā)現(xiàn) StarCoder 和底層的 StarCoderBase 都優(yōu)于其競(jìng)爭(zhēng)對(duì)手。
該團(tuán)隊(duì)還觀察到，通過(guò)強(qiáng)制模型生成實(shí)際的編碼解決方案，它提高了性能得分。據(jù)其背后的研究團(tuán)隊(duì)稱，StarCoder 還在多語(yǔ)言基準(zhǔn)測(cè)試 MultiPL-E 上進(jìn)行了測(cè)試，并取得了同樣令人印象深刻的結(jié)果。
StarCoder 在 Hugging Face 宣布其已開(kāi)發(fā)開(kāi)源版本的 ChatGPT“ Hugging Chat”之后發(fā)布的。
StarCoder LLM網(wǎng)址:https://huggingface.co/bigcode/starcoder
存儲(chǔ)庫(kù):bigcode/Megatron-LM
項(xiàng)目網(wǎng)站:bigcode-project.org
Hugging Chat網(wǎng)址:https://huggingface.co/chat/
（舉報(bào)）
