大佬出走后首个发布！Stability官宣代码模型Stable Code Instruct 3B

大佬出走后，第一个模型来了！

就在今天，Stability AI官宣了新的代码模型Stable Code Instruct 3B。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Stability是非常重要的，首席执行官离职对Stable Diffusion造成了一些困扰，投资公司出了点故障，自己的工资也可能有问题了。

然而，楼外风雨飘摇，实验室里岿然不动，研究该做做，讨论该发发，模型该调调，大模型各领域的战争是一个没落下。

不仅仅是铺开摊子搞全面战争，每项研究也都在不断前进，比如今天的Stable Code Instruct 3B就是在之前的Stable Code 3B的基础上做了指令调优。

图片

论文地址：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/stable_code_techreport_release.pdf

通过自然语言提示，Stable Code Instruct 3B可以处理各种任务，例如代码生成、数学和其他与软件开发相关的查询。

图片

同阶无敌，越级强杀

Stable Code Instruct 3B在同等参数量的模型中，做到了当前的SOTA，甚至优于比自己大两倍多的CodeLlama 7B Instruct等模型，并且在软件工程相关任务中的表现与StarChat 15B相当。

图片

从上图可以看出，与Codellama 7B Instruct和DeepSeek-Coder Instruct 1.3B等领先模型相比，Stable Code Instruct 3B在一系列编码任务中性能优异。

测试表明，Stable Code Instruct 3B在代码完成准确性、对自然语言指令的理解、以及跨不同编程语言的多功能性方面，都能够打平甚至超越竞争对手。

图片

Stable Code Instruct 3B根据Stack Overflow 2025开发者调查的结果，将训练专注于 Python、J*ascript、J*a、C、C++和Go等编程语言。

上图使用Multi-PL基准测试，比较了三个模型以各种编程语言生成输出的强度。可以发现Stable Code Instruct 3B在所有语言中都明显优于CodeLlama，并且参数量还少了一半多。

除了上述的热门编程语言，Stable Code Instruct 3B还包括对其他语言（如SQL、PHP和Rust）的训练，并且即使在没有经过训练的的语言（如Lua）中，也能提供强大的测试性能。

Stable Code Instruct 3B不仅精通代码生成，还精通FIM（代码中间填充）任务、数据库查询、代码翻译、解释和创建。

通过指令调优，模型能够理解细微的指令并采取行动，促进了除了简单代码完成之外的广泛编码任务，比如数学理解、逻辑推理和处理软件开发的复杂技术。

图片

模型下载：https://huggingface.co/stabilityai/stable-code-instruct-3b

Stable Code Instruct 3B现在可以通过Stability AI会员资格，用于商业目的。对于非商业用途，可以在Hugging Face上下载模型重量和代码。

技术细节

图片

模型架构

Stable Code建立在Stable LM 3B之上，是一个decoder-only Transformer结构，设计类似于LLaMA。下表是一些关键的结构信息：

图片

与LLaMA的主要区别包括：

位置嵌入：在头部嵌入的前25%使用旋转位置嵌入，以提高后续的吞吐量。

正则化：使用带学习偏差项的LayerNorm，而非RMSNorm。

Machine Translation

聚合多个来源的AI翻译

49 查看详情

偏置项：删除了前馈网络和多头自注意力层中所有的偏置项，除了KQV的。

使用与Stable LM 3B模型相同的分词器（BPE），大小为50,257；另外还参照了StarCoder的特殊标记，包括用于指示文件名称、存储库的星数、中间填充（FIM）等。

对于长上下文训练，使用特殊标记来指示两个串联文件何时属于同一存储库。

训练过程

训练数据

预训练数据集收集了各种可公开访问的大规模数据源，包括代码存储库、技术文档（如readthedocs）、以数学为重点的文本，和大量Web数据集。

初始预训练阶段的主要目标是学习丰富的内部表示，以显著提高模型在数学理解、逻辑推理、和处理软件开发相关复杂技术文本方面的能力。

此外，训练数据还包含通用文本数据集，以便为模型提供更广泛的语言知识和上下文，最终使模型能够以对话方式处理更广泛的查询和任务。

下表展示了预训练语料库的数据源、类别和采样权重等，其中代码和自然语言数据的比例为80:20。

图片

另外，研究人员还引入了一个小型合成数据集，数据由CodeAlpacadataset的种子提示合成生成，包含174,000个提示。

并且参照WizardLM的方式，逐步增加给定种子提示的复杂性，又额外获得了100,000个提示。

作者认为，在预训练阶段早期引入这些合成数据有助于模型更好地响应自然语言文本。

长上下文数据集

由于存储库中多个文件通常相互依赖，因此上下文长度对于编码模型很重要。

研究人员估计了软件存储库中token的中位数和平均数分别为12k和18k，因此选择16,384作为上下文长度。

接下来就是创建一个长上下文数据集，研究人员在存储库中获取了一些热门语言编写的文件并将它们组合在一起，在每个文件之间插入一个特殊的标记，以保持分离，同时保留内容流。

为了规避因文件的固定顺序而可能产生的任何潜在偏差，作者采用了一种随机策略。对于每个存储库，生成两个不同的连接文件顺序。

图片

分阶段训练

Stable Code使用32个Amazon P4d实例进行训练，包含256个NVIDIA A100（40GB HBM2）GPU，并使用ZeRO进行分布式优化。

图片

这里采用了一种分阶段的训练方法，如上图所示。

训练按照标准的自回归序列建模预测下一个标记。使用Stable LM 3B的checkpoint初始化模型，第一阶段训练的上下文长度为4096，然后进行持续的预训练。

训练以BFloat16混合精度执行，all-reduce时采用FP32。AdamW 优化器设置为：β1=0.9，β2=0.95，ε=1e−6，λ（权重衰减）=0.1。从学习率=3.2e-4开始，设置最小学习率为3.2e-5，使用余弦衰减。

图片

自然语言模型训练的核心假设之一是从左到右的因果顺序，不过对于代码来说，这种假设并不总是成立（例如，函数调用和函数声明对于许多函数来说可以是任意顺序的）。

为了解决这个问题，研究人员使用了FIM（中间填充）。将文档随机拆分为三个段：前缀、中间段和后缀，然后将中间段移动到文档的末尾。重新排列后，遵循相同的自回归训练过程。

指令微调

在预训练之后，作者通过微调阶段进一步提高模型的对话技能，该阶段包括监督微调（SFT）和直接偏好优化（DPO）。

首先使用在Hugging Face上公开可用的数据集进行SFT微调：包括OpenHermes，Code Feedback，CodeAlpaca。

在执行精确匹配重复数据删除后，三个数据集总共提供了大约500000个训练样本。

使用余弦学习速率调度器控制训练过程，并将全局批处理大小设置为512，将输入打包到长度不超过4096的序列中。

在SFT之后，开始DPO阶段，利用来自UltraFeedback的数据，策划了一个包含大约7,000个样本的数据集。此外，为了提高模型的安全性，作者还纳入了Helpful and Harmless RLFH数据集。

研究人员采用RMSProp作为优化算法，DPO训练的初始阶段将学习率提高到5e-7的峰值。

性能测试

下面比较模型在代码完成任务上的性能，使用Multi-PL基准来评估模型。

Stable Code Base

下表显示了在Multi-PL上，大小为3B参数及以下的不同代码模型的性能。

图片

尽管Stable Code的参数量分别不到Code Llama和StarCoder 15B的40%和20%，但模型在各种编程语言中的平均性能与它们持平。

Stable Code Instruct

下表在Multi-PL基准测试中，评估了几个模型的instruct微调版本。

图片

SQL Performance

代码语言模型的一个重要应用是数据库查询任务。在这个领域，将Stable Code Instruct的性能与其他流行的指令调优模型，和专门为SQL训练的模型进行比较。这里使用Defog AI创建的基准。

图片

推理性能

下表给出了在消费级设备和相应的系统环境中运行Stable Code时的吞吐量和功耗。

图片

结果表明，当采用较低的精度时，吞吐量增加了近两倍。但需要注意的是，实施较低精度的量化可能会导致模型性能有所下降（可能很大）。

参考资料：https://www.php.cn/link/8cb3522da182ff9ea5925bbd8975b203

以上就是大佬出走后首个发布！Stability官宣代码模型Stable Code Instruct 3B的详细内容，更多请关注其它相关文章！

# 代码  # 通州抖音seo服务  # 岳阳seo推广培训机构  # 丰田  # 是一个  # 中国科学院  # 软件工程  # 编程语言  # 下表  # 自然语言  # 走后  # 大佬  # 模型  # 精度  # 排列  # overflow  # deepseek  # hugging face  # llama  # follow  # stab  # 首个  # 广告运营商seo优化  # 网站设计优化推荐软件  # 荆州营销线上推广  # 亭湖区seo优化品牌  # 如何学好seo文章内容  # 宜昌公司网站关键词优化  # 永州网站关键词排名  # 网站排名优化资讯 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 脑机接口产业联盟发布十大脑机接口关键技术  AI大模型紫东太初已被注册商标 中科院已注册紫东太初大模型商标  喜马拉雅在国际会议挑战赛中突破语音重叠难题斩获第一 加速AI创新  13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组  飒智智能机器人核心技术与应用论坛暨一体化控制器发布会成功举办  杭州举办第19届亚运会，主题为「亚运元宇宙」的发布仪式举行  GPT-4使用混合大模型？研究证明MoE+指令调优确实让大模型性能超群  常见的五个人工智能误解  网易易盾 AI Lab 论文入选 ICASSP 2025！黑科技让语音识别越“听”越准  关于开展“与AI共创未来”——2025年全国青少年人工智能创新实践活动的通知  直击上影节 | 光线传媒董事长王长田谈新技术：未来VR放映效果可能媲美影院  J*a与人工智能结合：构建智能云服务  鸿蒙4即将支持大规模AI模型  谷歌 Gmail“帮我写电子邮件”AI 功能开始向安卓和苹果设备推广  类GPT模型训练提速26.5%，清华朱军等人用INT4算法加速神经网络训练  支持跨语言、人声狗吠互换，仅利用最近邻的简单语音转换模型有多神奇  科普：什么是AI大模型  人工智能改变网络安全和用户体验的三种方式  微软新出热乎论文：Transformer扩展到10亿token  机器人技能大比拼  前特斯拉总监、OpenAI大牛Karpathy：我被自动驾驶分了心，AI智能体才是未来！  Goodnotes 6推出，带来多项全新AI功能，让电子笔记更智能  陈根：ChatGPT和人类合作开发机器人  360发布数字安全和人工智能的强大结合：360安全大模型  掌阅科技对话式AI应用“阅爱聊”开启内测  视觉中国宣布推出AI灵感绘图、画面扩展功能  下一个前沿：量子机器学习和人工智能的未来  微软和谷歌面临的人工智能困境：需要投入大量资金才能获得盈利  华为4G5G通信物联网收费标准公布，多年研发成果，十年花费近万亿  人工智能在项目管理中的作用  第二届光合组织AI解决方案大赛赛果揭晓  特斯拉首发人形机器人“擎天柱”亮相世界人工智能大会  Transformer六周年：当年连NeurIPS Oral都没拿到，8位作者已创办数家AI独角兽  7条线路感受智慧美好生活，“2025 世界人工智能大会民营企业社会开放日”主题活动启动  宇宙探索下一阶段，机器代替人类，AI会在太空探索中取代人类吗？  Meta Quest订阅服务每月7.99美元畅玩两款VR游戏应用  人工智能和你聊天 成本有多高  图像生成过程中遭「截胡」：稳定扩散的失败案例受四大因素影响  人工智能写作检测工具不靠谱，美国宪法竟被认为是机器人写的  自研4D激光雷达L1 + GPT大语言模型 宇树Unitree Go2四足机器人有啥黑科技？  “三夏”农忙保障用电，无人机高空巡视高压线  人工智能在交通领域的革新：智能解决方案彻底改变交通方式  新华社联合北大发布AI大模型评测：安全可靠成重点，360智脑表现优异  调查显示：实际上没有那么多人在用 ChatGPT  刊·见 | 捕捉人工智能领域最新动态？收藏Applied Artificial Intelligence  美图第二届影像节发布七款AI影像创作工具  全新小艺搭载AI大模型，有效提升学生和职场人士的工作效率  探索AI前沿理念 2025全球人工智能技术大会在杭州开幕  25个AI智能体源码现已公开，灵感来自斯坦福的「虚拟小镇」和《西部世界》  以计算机视觉技术为基础的库存管理如何改革零售行业