财经新闻网消息:
在过去六个月的AI混战中,提供免费开源大型模型的Meta成为了与只顾商业的谷歌和微软完全相反的平民英雄。
然而,虽然凭借 Llama,Meta 赢得了“大型机型中的 ”称号,但据科技媒体 The 报道,该团队实际上充满了混乱和内讧,许多参与开发的工程师和科学家都离开了。 。 知情人士称,Llama 2 月份发表的原始研究论文的 14 名作者中,一半以上已离开公司,其中几人去了人工智能初创公司或其他大公司。
算力之战
Meta内讧的主要原因是算力。
由图灵奖得主Yann LeCun领导的AI(FAIR)实验室领导Meta的AI研发。 FAIR在加州、纽约、巴黎、伦敦等地都有分支机构,但各地实验室之间缺乏协调,甚至可以称为实验室集群。
例如,2022年5月,主要位于美国的FAIR团队发布了OPT-175B,其性能与GPT-3相当,据称比GPT能耗更低。 该团队还在开发一个与 PaLM 相当、参数量级更大的模型。 模型。
与此同时,FAIR Paris团队也在开发他们的大型模型,即Llama,其参数比OPT更小,因为巴黎团队认为小模型的推理效率更高。
多方面的努力并没有给 Meta 带来好的结果。 的计算电源价格昂贵且有限。 即使 Meta 也没有足够的 GPU 来同时满足两个团队的需求。
两位直接知情人士告诉《The》,由于 Meta 缺乏 GPU 资源,巴黎团队和美国团队的关系变得越来越紧张。 据知情人士透露,巴黎团队获得的算力配额比美国团队要少。
FAIR负责人告诉《The》,算力分配是由多个部门的中层领导每月开一次会决定,主要考虑组织的优先事项和项目发布日期。 如果员工对算力分配有异议,需要向上级汇报决定。
在采访中,承认Llama和OPT各自的开发团队在这个问题上“有些紧张”。
据了解,很多研究人员其实并不理解FAIR为何要多管齐下。 两个团队都在研究大型模型,似乎鼓励内部竞争。
内讧,加上去年年底Meta的大裁员和公司组织调整,Llama和OPT的开发团队都出现了士气问题,许多关键研究人员选择离开,加入其他大型科技公司或AI初创企业。
直到今年2月,FAIR终于将两个团队联合起来全面开发,而OPT模式则被彻底放弃。 原因并不是Llama比OPT好,而是因为一个人都没有留下——5月份OPT论文的19位作者中有一半已经离开了Meta。
商业化加速,FAIR未来命运存疑
从去年11月开始,Meta首席执行官扎克伯格开始在全公司范围内裁员,FAIR也未能幸免。
此外,今年2月,Meta成立了新团队,专注于为自家App开发AI功能。 新团队由苹果前高管 Ahmad Al-Dahle 领导,吸引了大量来自 FAIR 的人员。 据称,这其中包括《Llama 2》的开发团队。
更重要的是,在AI热潮下,FAIR的使命也发生了微妙的变化。 此前,它是一个由研究人员主导的学术研究机构,核心使命是人工智能领域的技术研究。 但扎克伯格后来越来越希望加速AI技术的商业化。
即使后来《Llama 2》取得了成功,也没有改变FAIR的命运。 开源模式已成为 Meta 建立声誉、吸引用户和创收的有力工具。
当Llama 2在上半年流行起来,人工智能研究人员对其进行神奇改进时,扎克伯格就已经开始设想,随着开发人员改进模型,他可以进一步将人工智能融入广告和消费产品中。 未来,承受商业化压力或许是FAIR的必然之路。
免责声明 ① 本网所刊登文章均来自网络转载;文章观点不代表本网立场,其真实性由作者或稿源方负责 ② 如果您对稿件和图片等有版权及其他争议,请及时与我们联系,我们将核实情况后进行相关删除 ③ 联系邮箱:215858170@qq.com