为什么我们需要绿色人工智能,阿里巴巴的达莫学院解释说明

Yu Yu
2022年4月20日,美国东部时间下午5:00

最初发表在alizila上

人工智能(AI)有能力改变世界,只要它在此过程中不会燃烧地球。

渴望能源的AI模型正在与已成为可持续性承诺的政府和公司发生碰撞课程。金博宝怎么注册

各种形状和大小的AI模型(从电子邮件垃圾邮件过滤器到自动驾驶汽车)通过接触大量数据来学习,在调整之后反复呈现以提高其准确性。

十年前,算法在个人计算机上进行了培训。今天,它采用了相当大的专业计算硬件。该过程中的能量燃烧,尤其是对于AI语言模型,随着该领域的技术进步,锁定了锁定。

根据Research Lab Open AI的说法,深度学习中使用的计算能力在2012年至2018年之间增长了30万倍。

可以肯定的是,这些模型的大小也在增长,现在可以包括数万亿个参数,这些参数是随着模型学习的修改而修改的配置变量。但是这值得吗?

训练一种大型AI型号产生的碳排放量等于315人(或一架747架飞机)在旧金山和纽约市之间的往返旅行,马萨诸塞大学阿默斯特大学的科学家计算。

随着气候变化的临近,这种做法是不可持续的。

输入阿里巴巴集团的达莫学院。去年,该研究所推出了M6,这是世界上第一个专门用于多模式和多任务处理的世界上第一个参数预训练模型。

尽管其大小,M6或多模式多模式多任命多任务Mega-Transformer,但使用的能量比其他万亿级的语言模型少80%,并且能源效率高11倍。

Alizila赶上了Damo的AI科学家Yang Hongxia博士,以了解这种节能AI的重要性,其应用以及绿色AI模型的未来。

为了清晰和简洁,已编辑以下成绩单

问:建造大型AI模型的比赛背后是什么?

答:与传统模型相比,大型AI模型具有更多用于处理的“神经元”,就像人脑一样。因此,它们更聪明,具有更大的计算机处理能力。

但是,大型AI模型非常有能源密集型。Google的Landmark AI项目至少需要数千个张量处理单元(TPU),它们是强大的处理器,可以加快任务处理,可用于培训人工智能。

GPT-3是Openai强大的语言模型,是估计的在训练中消耗的能量与开车到月球和往后相同的能量。那将对环境造成太大破坏。

从长远来看,大型强力AI模型在长远来看是不可持续的,因为只有巨型科技公司能够使用数千个TPU来运行超过1000亿个参数AI模型,这意味着AI只能访问很少的AI。

问:M6模型的独特之处是什么?

答:在M6之前,大多数大语言AI模型都接受了英语培训,并基于涉及单一模式的学习。例如,打开AI的GPT-3主要是一种语言模型,该模型训练了基于自然语言处理的下一个单词。

M6是第一个接受中文训练的模型,具有多模式的理解,包括各种数据类型,例如图像,文本,视频,音频和数值数据。M6就像一个超级大脑,如果您用特定的域数据喂养它,它很快就成为该域中的专家。

M6也是高节能的。M6是GPT-3的50倍,但其能耗仅是GPT-3培训所需的1%。这对于减少模型的碳足迹和增加AI的可访问性非常重要。

问:Damo Academy为什么发明M6?

答:一开始,因为我们面临资源限制。Google和Facebook拥有大量的TPU或图形处理单元(GPU)资源可以部署,但是大多数中国科技公司的资源相对有限。

假设能源消耗水平不变,则需要128 GPU进行100亿参数AI模型的培训。但是,对于以万亿级参数的AI模型而言,培训将需要12,800 GPU,远远超过了中国大多数科技公司的能力。

那时,我们意识到要进行扩展,我们必须处理AI模型的能耗问题。

问:如何使用M6?

答:让我举个例子。M6已用于在[Marketplace]淘宝上进行搜索和建议,尤其是用于文本和图像配对。

千禧一代和Z世代需要个性化的购物体验。例如,他们可能想搜索一个坚固的杯子,但很少有商人在产品标题中写“坚固”。因此,他们需要一种了解文本和图像的算法,以找到完美的文本对图。

只有M6具有交叉模式和多模式,才能在上下文中一起理解文本和图像的含义。

M6的另一个应用是在设计和制造中。M6可以通过图像合成来帮助设计师快速生成草图。设计师可以处理M6创建的草图,并将生产周期从几个月缩短到几周。

由M6提供动力的设计,再加上更环保的材料,可以减少T恤制造的碳足迹超过30%。

问:为什么达莫学院认为我们会看到大小AI模型的更多共同发展?

答:目前,大型AI模型的培训正在云中。但是边缘计算是未来。从手机到VR/AR眼镜再到自动驾驶车辆,Edge设备将处理收集的数据并在生成数据的附近共享见解。

由于存在数据隐私问题,用户希望将较小的AI模型保持在边缘上,而不是在云中训练的大型AI模型。边缘计算将为AI的真实个性化铺平道路,因为每个人的AI模型都会多样化。

对于活跃的用户,他们的AI模型将定期更新。对于那些不是的人,他们的模型将保持更稳定。边缘上的小型AI模型将定期与云上的大型AI模型同步,以实现共同进化。

请参阅https://www.alizila.com/esg/有关阿里巴巴的可持续发展努力的补充信息。金博宝怎么注册

来自阿里巴巴集团的更多信息

阿里巴巴将零售与技术建造绿色供应链混合

阿里巴巴云如何帮助企业变成碳中性

中国的直播农民收获这个11.11购物季

阿里巴巴:耐克通过apoy回收运动场

阿里巴巴部署人工智能来帮助桥梁数字鸿沟