马斯克旗下xAI公司公开大模型Grok-1的权重与架构

3月18日消息,据腾讯科技援引国外媒体报道,埃隆·马斯克再次在人工智能领域掀起风暴,这次他选择以公开Grok背后代码的方式,进一步推进他在这场技术大战中的攻势。此前,他曾因相关议题对OpenAI提起诉讼。

周日,马斯克公开了旗下xAI公司研发的人工智能聊天机器人Grok的原始计算机代码。Grok是2023年发布的,其设计理念源于科幻小说《银河系漫游指南》(the Hitchhiker’s Guide to the Galaxy),旨在为用户提供尖刻而富有洞见的回答。

尽管xAI是一个独立于X的实体,但其技术已经被整合到社交媒体平台中,通过用户帖子的训练来不断提升其智能水平。订阅X高级功能的用户可以向Grok提问,并收到其回复。

xAI在其官方网站上宣称,它正在公开其大语言模型Grok-1的基本模型权重和网络架构。Grok-1是由该公司从头开始训练、拥有3140亿参数的混合专家模型。

xAI表示,这是Grok-1预训练阶段的原始基础模型检查点(Checkpoint,指在特定时间点保存模型状态的操作,以便在未来某个时间点恢复模型状态),该阶段于2023年10月结束。这意味着该模型没有针对任何特定的应用程序(例如对话)进行微调。

xAI正在Apache 2.0许可下发布权重和架构。该模型的细节包括:在大量文本数据上训练的基础模型,没有针对任何特定任务进行微调;3140亿参数混合专家模型,在给定Token上活动的权重为25%;2023年10月,xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。

马斯克此次选择将Grok的代码开源,即公开给所有人查看和使用,再次体现了他对开源理念的坚定支持。去年,他就曾对X的推荐算法进行同样的开源操作,尽管之后并未进行更新。 

马斯克上周日在谈及开源X推荐算法时表示:“虽然还有很多工作要做,但这一平台已然成为目前最透明、最能寻求真相的平台之一,尽管它的门槛相对较低。” 

开放Grok聊天机器人代码的举动是马斯克与ChatGPT的创造者OpenAI之间的最新一次交锋。马斯克曾是OpenAI的创始人,但后来离开并提起诉讼,指控其违反了开放和透明的承诺。

马斯克坚信,如此重要的技术不应该只被谷歌、微软等少数科技巨头所控制,而应该让更多的人参与进来。微软是OpenAI的亲密合作伙伴。OpenAI已表示将寻求采取行动驳回马斯克的诉讼。

在过去的一年里,随着人工智能技术的快速发展和普及,关于开源生成式人工智能的争议在科技界中愈发激烈。这一技术能够创建逼真的图像、视频,并产生类似人类的文本回复,其潜力巨大,但也伴随着一系列的安全和伦理问题。因此,在人工智能底层代码是否应该公开的问题上,硅谷内部存在着严重的分歧。

一方认为,这种强大的技术必须防范入侵者,因此应该保持代码的封闭和专有。而另一方则坚信透明的好处大于坏处。通过公开自己的人工智能代码,马斯克坚定地站在了支持开源的阵营,这一决策可能使他在开发这项技术方面超越已有的竞争对手。

代码的开放将极大地促进技术的共享和创新。其他公司和独立软件开发商可以基于马斯克的代码进行修改和重用,这将加速聊天机器人和其他人工智能系统的研发进程。

Facebook和Instagram的母公司Meta也开放了其名为LLaMA的人工智能技术。谷歌和一家著名的法国初创企业Mistral AI也做了一些开源项目。 

马斯克在2023年的行动中展现出了他在人工智能领域的雄心壮志。他成立了xAI,一个以“理解现实”为使命的公司。去年11月,他表示,参与他440亿美元私有化X交易的投资者将持有xAI 25%的股份。

对于聊天机器人的态度,马斯克一直持开放和包容的立场。他反对限制聊天机器人讨论的话题,认为这种限制是对技术潜力的浪费。 

热门相关:前夫有毒:1000万夺子契约   医道至尊   四爷又被福晋套路了   亡国公主穿成王府寡妇:二嫁王妃   别吃那个鬼