• 6
  • +1

Stability AI进军编程领域,发布工具StableCode

2023-08-11 09:56
浙江
来源:澎湃新闻·澎湃号·湃客
字号

撰文:Sean Michael Kerner

来源:VentureBeat

Stability AI 因其 Stable Diffusion 文本到图像生成模型而闻名,但这并不是这家生成式人工智能初创公司有兴趣开发的全部。Stability AI 正在涉足代码生成领域。

8 月 8 日,Stability AI 宣布首次公开发布 StableCode,这是其新的开放式大型语言模型(LLM),旨在帮助用户生成编程语言代码。StableCode 有三个不同级别:适用于一般用例的基础模型、指令模型和可支持多达 16000 个 token 的长上下文窗口模型。

图源:Stability AI (Stability AI 与其他具有类似参数数量和训练过的 token 数量的模型的比较。Stability AI 使用流行的 HumanEval 基准,采用标准的 pass@1 和 pass@10 指标。)‌

StableCode 模型得益于来自开源 BigCode‌ 项目的初始编程语言数据集,以及 Stability AI 提供的额外过滤和微调。最初,StableCode 将支持 Python、Go、Java、JavaScript、C、Markdown 和 C++ 编程语言的开发。

Stability AI 研究主管 Christian Laforte 在接受 VentureBeat 独家采访时说:“我们希望利用这种模型做与 Stable Diffusion 类似的事情,而后者旨在帮助世界上的每个人成为艺术家。”“我们想用 StableCode 模式做同样的事情:基本上让任何有好想法的人都能写出一个程序来解决这个问题。”

StableCode:建立在 BigCode 和大创意之上

任何 LLM 的训练都依赖于数据,而对于 StableCode 来说,这些数据来自 BigCode 项目。使用 BigCode 作为 LLM 生成式人工智能代码工具的基础并不是一个新想法。HuggingFace 和 ServiceNow 早在今年 5 月就推出了开放式 StarCoder LLM‌,其基础就是 BigCode。

Stability AI 首席研究科学家 Nathan Cooper 在接受 VentureBeat 独家采访时解释说,StableCode 的训练涉及对 BigCode 数据的大量过滤和清理。

“我们很喜欢 BigCode,他们在数据治理、模型治理和模型训练方面做了很多了不起的工作,“Cooper 说。”我们采用了他们的数据集,并应用了额外的质量过滤器,还构建了大上下文窗口版本的模型,然后在我们的集群上进行了训练。”

Cooper 说,除了 BigCode 核心模型之外,Stability AI 还执行了许多训练步骤。这些步骤包括对特定编程语言的连续训练。根据官网描述,StableCode 在其高性能计算集群上,用 5600 亿代码 token 对模型进行了训练。

“它采用了一种与自然语言‌领域非常相似的方法,即首先对通用模型进行预训练,然后在一组特殊的任务上对其进行微调,在这种情况下就是对语言进行微调。”Cooper 说。

StableCode 更长的 token 长度将改变代码生成的游戏规则

除了 BigCode 基础之外,StableCode 的长上下文版本还能为用户带来带来显着的好处。

StableCode 的长上下文窗口版本具有 16,000 个 token 的上下文窗口,Stability AI 称这比其他任何模型都要大。Cooper 解释说,较长的上下文窗口可以使用更专业、更复杂的代码生成提示。这也意味着用户可以让 StableCode 查看包含多个文件的中等规模代码库,以帮助理解和生成新代码。

Cooper 说:“你可以使用这个较长的上下文窗口,让模型更多地了解你的代码库,以及其他文件中定义了哪些功能。”“这样,当它提出代码建议时,就能更符合你的代码库和需求。”

利用 RoPE 更好地生成代码

与所有现代人工智能生成模型一样,StableCode 也是基于 transformer 神经网络。

StableCode 没有使用 ALiBi(Attention with Linear Biases)方法来定位 transformer 模型中的输出(StarCoder 在其开放式生成式人工智能编码模型中使用了这种方法),而是使用了一种称为 RoPE 的方法。

Cooper 说,transformer 模型中的 ALiBi 方法倾向于更多地权衡当前的 token,而不是过去的 token。在他看来,这对代码来说并不是一种理想的方法,因为与自然语言不同,代码并没有一个具有开头、中间和结尾的固定叙事结构。代码功能可以为应用流程中的任何一点进行定义。

“我认为,代码本身并不适合这种权衡现在比过去更重要的想法,所以我们使用……RoPE,[它] 不存在这种偏见。”

目前,StableCode 还处于早期阶段,首次发布的目标是了解开发人员将如何接受和使用该模型。

Cooper 说:“我们将与社区进行互动和合作,看看他们会提出哪些很酷的方向,并探索生成式开发者空间。”

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    0
    收藏
    我要举报
    评论(6)
    发表
    热评论
    说到点子上了
    2022-04-01 ∙ 浙江
    回复
    举报
      任何领域的发达都是建立在坚实可靠的基础之上!底子厚在自然崛起之时显得更为有力、更为轻松!不仅是在足球领域,想想我们生活中衣食住行的所用之处,核心是不是还在“他们”拳掌之中……☕️☕️
      2022-04-01 ∙ 天津
      6
      回复
      举报
        中国男足表示:“惭愧”是什么意思?
        2022-03-31 ∙ 上海
        15
        回复
        举报
          日本有四十万男子足球职业球员,个人不勤奋、不努力,会有出头之日吗?
          2022-03-31 ∙ 未知
          5
          回复
          举报
            90年代初期,国足最不怵的两个队,一个是沙特,一个是日本,现在呢?
            2022-03-31 ∙ 北京
            1
            回复
            举报
            • G4贴地飞行男足:我谁也不怵!大概率输球,还怵什么!
              • 2022-03-31 ∙ 湖南
                回复
                举报
            足球运动员是“一万小时”的实践者,累的趴下!才是成功的个人基础!
            2022-03-31 ∙ 未知
            1
            回复
            举报
              中国竞技体育经常提的“三从一大”就是从日本传过来的
              2022-03-31 ∙ 未知
              回复
              举报
                中国一定不缺少这样拼搏的球员苗子,只不过他们有的在工地搬砖,有的在准备各种考试
                2022-03-31 ∙ 云南
                1
                回复
                举报
                  关闭有关国足的新闻。
                  2022-03-31 ∙ 浙江
                  2
                  回复
                  举报
                    别管他们叫国足了,你的好心他们未必领会未必能共情。
                    2022-03-31 ∙ 山东
                    1
                    回复
                    举报
                      钱是老板给的,有什么可羞愧的?
                      2022-03-31 ∙ 河北
                      3
                      回复
                      举报
                        说难听点,男足属于典型的铁饭碗行为,没竞争力,踢成啥样都和我没关系,反正我还有俱乐部,只会拿资历说事,国内有人说他们,他们就觉得我的资历不是你们这些老百姓能说的,老百姓乖乖看着就行,其实有今天,不意外
                        2022-03-31 ∙ 未知
                        26
                        回复
                        举报
                          呵呵!他们只关注甩锅!
                          2022-03-31 ∙ 陕西
                          回复
                          举报
                            突然很想看一下里皮的回忆录
                            2022-03-31 ∙ 未知
                            1
                            回复
                            举报
                              这。。。过分啦
                              2022-03-31 ∙ 未知
                              回复
                              举报
                                男足上班摸鱼,下班都懂的
                                2022-03-31 ∙ 未知
                                11
                                回复
                                举报
                                  我们的教练员球员都是在做生意吗?
                                  2022-03-31 ∙ 安徽
                                  2
                                  回复
                                  举报
                                    “我却遇到了一个大难题。整个集训过程,所有球员的体能、训练态度和投入劲头,都让我无法割弃任何人。”
                                    “这简直是无可挑剔的一群球员。他们对职业球员这份工作,对于自我提高和进步,有着令人难以置信的意愿。”
                                    “我由是知道,我要淘汰的,都是那些有着钢铁意愿、有着绝对勤奋态度和对俱乐部无限忠诚的球员,这样的球员我只能在日本见到……”
                                    2022-03-31 ∙ 安徽
                                    回复
                                    举报
                                      中国足球的现状不仅仅是球员不勤奋导致的……
                                      2022-03-31 ∙ 未知
                                      13
                                      回复
                                      举报
                                        我们男足也有很努力的吃海参了啦!!~
                                        2022-03-31 ∙ 未知
                                        13
                                        回复
                                        举报
                                          新评论
                                          说到点子上了
                                          2022-04-01 ∙ 浙江
                                          回复
                                          举报
                                            任何领域的发达都是建立在坚实可靠的基础之上!底子厚在自然崛起之时显得更为有力、更为轻松!不仅是在足球领域,想想我们生活中衣食住行的所用之处,核心是不是还在“他们”拳掌之中……☕️☕️
                                            2022-04-01 ∙ 天津
                                            6
                                            回复
                                            举报
                                              中国男足表示:“惭愧”是什么意思?
                                              2022-03-31 ∙ 上海
                                              15
                                              回复
                                              举报
                                                日本有四十万男子足球职业球员,个人不勤奋、不努力,会有出头之日吗?
                                                2022-03-31 ∙ 未知
                                                5
                                                回复
                                                举报
                                                  90年代初期,国足最不怵的两个队,一个是沙特,一个是日本,现在呢?
                                                  2022-03-31 ∙ 北京
                                                  1
                                                  回复
                                                  举报
                                                  • G4贴地飞行男足:我谁也不怵!大概率输球,还怵什么!
                                                    • 2022-03-31 ∙ 湖南
                                                      回复
                                                      举报
                                                  足球运动员是“一万小时”的实践者,累的趴下!才是成功的个人基础!
                                                  2022-03-31 ∙ 未知
                                                  1
                                                  回复
                                                  举报
                                                    中国竞技体育经常提的“三从一大”就是从日本传过来的
                                                    2022-03-31 ∙ 未知
                                                    回复
                                                    举报
                                                      中国一定不缺少这样拼搏的球员苗子,只不过他们有的在工地搬砖,有的在准备各种考试
                                                      2022-03-31 ∙ 云南
                                                      1
                                                      回复
                                                      举报
                                                        关闭有关国足的新闻。
                                                        2022-03-31 ∙ 浙江
                                                        2
                                                        回复
                                                        举报
                                                          别管他们叫国足了,你的好心他们未必领会未必能共情。
                                                          2022-03-31 ∙ 山东
                                                          1
                                                          回复
                                                          举报
                                                            钱是老板给的,有什么可羞愧的?
                                                            2022-03-31 ∙ 河北
                                                            3
                                                            回复
                                                            举报
                                                              说难听点,男足属于典型的铁饭碗行为,没竞争力,踢成啥样都和我没关系,反正我还有俱乐部,只会拿资历说事,国内有人说他们,他们就觉得我的资历不是你们这些老百姓能说的,老百姓乖乖看着就行,其实有今天,不意外
                                                              2022-03-31 ∙ 未知
                                                              26
                                                              回复
                                                              举报
                                                                呵呵!他们只关注甩锅!
                                                                2022-03-31 ∙ 陕西
                                                                回复
                                                                举报
                                                                  突然很想看一下里皮的回忆录
                                                                  2022-03-31 ∙ 未知
                                                                  1
                                                                  回复
                                                                  举报
                                                                    这。。。过分啦
                                                                    2022-03-31 ∙ 未知
                                                                    回复
                                                                    举报
                                                                      男足上班摸鱼,下班都懂的
                                                                      2022-03-31 ∙ 未知
                                                                      11
                                                                      回复
                                                                      举报
                                                                        我们的教练员球员都是在做生意吗?
                                                                        2022-03-31 ∙ 安徽
                                                                        2
                                                                        回复
                                                                        举报
                                                                          “我却遇到了一个大难题。整个集训过程,所有球员的体能、训练态度和投入劲头,都让我无法割弃任何人。”
                                                                          “这简直是无可挑剔的一群球员。他们对职业球员这份工作,对于自我提高和进步,有着令人难以置信的意愿。”
                                                                          “我由是知道,我要淘汰的,都是那些有着钢铁意愿、有着绝对勤奋态度和对俱乐部无限忠诚的球员,这样的球员我只能在日本见到……”
                                                                          2022-03-31 ∙ 安徽
                                                                          回复
                                                                          举报
                                                                            中国足球的现状不仅仅是球员不勤奋导致的……
                                                                            2022-03-31 ∙ 未知
                                                                            13
                                                                            回复
                                                                            举报
                                                                              我们男足也有很努力的吃海参了啦!!~
                                                                              2022-03-31 ∙ 未知
                                                                              13
                                                                              回复
                                                                              举报
                                                                                加载中
                                                                                        查看更多

                                                                                        扫码下载澎湃新闻客户端

                                                                                        沪ICP备14003370号

                                                                                        沪公网安备31010602000299号

                                                                                        互联网新闻信息服务许可证:31120170006

                                                                                        增值电信业务经营许可证:沪B2-2017116

                                                                                        © 2014-2025 上海东方报业有限公司

                                                                                        反馈