正文部分

深度学习的发展,与由此引发的气候变化题目

人脑是一栽效果极高的智能来源,但现在的AI还达不到云云的程度。

本月早些时候,OpenAI宣布已经构建首有史以来周围最大的AI模型。这套惊人的模型名为GPT-3,已经成为令人印象深切的远大技术收获。但在这绚丽的背后,也凸显出人造智能周围一栽令人忧郁闷的负面趋势——更可怕的是,主流舆论对此尚未给予有余的关注。

当代AI模型必要消耗大量电力,而且对电力的需求正以惊人的速度添长。在深度学习时代,构建一流AI模型所必要的计算资源平均每3.4个月翻一番;换句话说,从2012年到2018年间,AI计算资源消耗量添长了30万倍。而GPT-3,只是这股潮流的最新表现。

总而言之,AI技术带来的碳排放已经不容无视;倘若走业趋势不息下去,那么情况将很快失踪限制。除非吾们情愿重新评估并改革当今的AI钻研议程,否则人造智能周围很能够在不久的异日成为引发气候变化的罪魁祸首。

更大并纷歧定更益

在当今以深度学习为中央的钻研范式当中,人造智能的主要提高主要倚赖于模型的周围化扩展:数据集更大、模型更大、计算资源更大。

GPT-3就很益地表清新这栽形象。这套模型中包含多达1750亿个参数。为了协助行家更直不都雅地理解这个数字,其前身GPT-2模型(在去年发布时,同样创下了体量层面的纪录)只有15亿个参数。去年的GPT-2在拥有千万亿次算力的设备上训练了几十天;相比之下,GPT-3的训练时长将添长至数千天。

这栽靠“每况愈大”模型推动AI技术提高的题目在于,这类模型的构建与安放都必要消耗大量能源,并由此产生巨量碳排放。

在2019年的一项通俗钻研当中,由Emma Strubell牵头的一组钻研人员推想,训练一套深度学习模型能够产生高达62万6155磅的二氧化碳排放量——大约相等于五辆汽车从出厂到报废的总二氧化碳排放周围。倘若这还不足直不都雅,那么每个美国人每年平均产生3万6156磅二氧化碳排放量。

能够一定的是,这项估算主要针对那些高度倚赖于能源的模型。毕竟结相符现在实际,机器学习模型的平均训练过程绝不至于产生60多万磅二氧化碳。

同样值得仔细的是,在进走这项分析时,GPT-2照样是钻研周围周围最大的模型,钻研人员也将其视为深度学习模型的极限。但仅仅一年之后,GPT-2就成了“纤细瘦幼”的代名词,下代模型的体量超过其百倍。

为什么机器学习模型会消耗那么多能源?

最主要的因为,就是训练这些模型的数据集本身也在迅速添胖。在行使包含30亿个单词的数据集进走训练之后,BERT模型在2018年实现了同类最佳的当然说话处理(NLP)性能。而在行使包含320亿个单词的训练集完善训练之后,XLNet又超越了BERT。不久之后,GPT-2最先在包含400亿个单词的数据集上批准训练。最后是吾们前线挑到的GPT-3,它行使的是一套包含约5000亿个单词的添权数据集。

在训练过程中,神经网络必要为每一条数据实走一整套冗长的数学运算(正向传播与逆向传播),并以复杂的手段更新模型参数。所以,数据集周围越大,与之对答的算力与能源需求也在飞速添长。

导致AI模型大量消耗能源的另一个理由,在于模型开发过程中所必要的大量实验与调整。现在,机器学习在很大程度上仍是一个逆复实验试错的流程。从业人员清淡会在训练过程中为现在模型构建数百个版本,并议定不息尝试各类神经架构与超参数确定最佳设计方案。

之前挑到的2019年论文中还包含一项案例钻研,钻研人员们选择了一个体量适中的模型(隐晦要比GPT-3云云的庞大无比幼得多),并对训练其最后版本所必要的电力、以及生产最后版本所必要的试运走总量进走了统计。

在为期六个月的过程中,钻研人员共训练了该模型的4789个分别版本,折相符单GPU运走时长为9998天(超过27年)。考虑到所有因素,钻研人员们推想,该模型的构建过程将产生约7万8000磅二氧化碳,超过美国成年人两年的平均二氧化碳排放量。

而到这边,吾们商议的还仅仅是机器学习模型的训练片面。而训练只能算是模型生命周期的最先;在训练完善之后,吾们还必要在实际环境中行使这些模型。

在实际环境中安放并运走AI模型(即推理过程),所带来的能源消耗量甚至高于训练过程。实际上,英伟达公司推想,神经网络通盘算力成本中的80%到90%来自推理阶段,而非训练阶段。

例如,吾们能够考虑自动驾驶汽车中的AI模型。吾们必要最先对该神经网络进走训练,教会它驾驶技巧。在训练完善并安放至车辆上之后,该模型将赓续不息地进走推理以实现环境导航——只要汽车仍在走驶,模型的推理过程就将不中止地进走。

千真万确,模型中包含的参数目越大,推理阶段所带来的电力需求就越夸张。

能源行使与碳排放

要探讨这个题目,吾们先要找到能源行使与碳排放之间的对答有关。那么,该如何实在判定这栽对答有关?

按照美国环保署(EPA)公布的数据,在美国,一千瓦时电力平均对答0.954磅二氧化碳排放量。这一平均值逆映了碳足迹变化以及美国电网当中的分别电力来源(包括可新生能源、核能、当然气以及煤炭等)的客不都雅比例。

如上所述,Strubell在分析中采用了美国本土的电力碳排放平均值,实验中心以按照分别AI模型的能源需求计算对答的碳排放量。这个倘若已经相等相符理,由于Amazon Web Services的电力组相符就一致相符美国集体的发电来源组织,而现在的大无数AI模型都会选择在公有云端进走训练。

当然,倘若尽能够行使可新生能源产生的电力进走AI模型训练,其碳足迹必将有所降矮。例如,与AWS相比,Google Cloud Platform的电力组织中可新生能源的比例更高(按照Strubell的论文,AWS的可新生能源占比17%,谷歌方面则占比56%)。

吾们也能够再举个例子,由于所在地区拥有雄厚的洁清水电资源,所以大泰西西北部区域的硬件设施在训练模型时所产生的碳排放将矮于全美平均程度。值得一挑的是,现在各大云服务供答商都在强调其在碳排放限制方面做出的竭力。

但总体来说,Strubell认为美国的集体电力组相符照样具有足够的说服力,可用于大体实在地估算出AI模型的碳足迹。

收入递减

模型体量与模型性能之间的有关,则能协助吾们晓畅升迁模型周围到底能够给AI技术发展带来怎样的协助。这方面数据倒是专门清晰:模型体量的赓续增补,最后会导致性能回报急剧消极。

吾们用实例来表明这个不都雅点。ResNet是一套于2015年发布的著名计算机视觉模型。该模型的改进版本名为ResNeXt,于2017年问世。与ResNet相比,ResNeXt必要的计算资源升迁了35%(按总浮点运算量计算),但精度却只添长了0.5%。

在艾伦人造智能钻研所2019年发外的论文中,吾们能够看到更详细的比较数据,其中记录了分别义务、模型与AI子周围的模型周围收入递减情况。与GPT-2相比,最新发布的超大型GPT-3模型也展现了隐晦的收入递减迹象。

倘若AI社区不息沿着现在的道路进取,那么钻研人员们一定必要消耗更多精力构建首越来越大的模型,但由此带来的性能升迁却越来越幼。这意味着成本/收入率将变得愈发不相等。

既然收入递减客不都雅存在,为什么人们还在不息推出越来越大的模型呢?一大主要因为,在于AI社区当下仍过于关注能在性能基准测试中创下新高的“最新”纪录。在多所周知的基准测试中拿下新顶点的模型(即使仅升迁一个百分点),也能赢得钻研人员们的一致认可与益评。

正如添州大学洛杉矶分校(UCLA)Guy Van den Broeck教授所言,“吾认为比较实在的比喻,就是某个盛产石油的国家能够建造一座很高的摩天大楼。在摩天大楼的建造过程中,当然能够帮国家积累下「最先辈的技术」。但这统统……无法带来任何科学意义上的提高。”

现在,AI钻研议程周围这栽“越大越益”的偏执精神很能够在异日几年给当然环境造成壮大损坏。这就请求吾们在有意已久之后进走大胆变革,将人造智能重新引导到赓续性更强、生产力程度更高的精确轨道上。

展看异日

最先,每一位AI从业者答该尽快将“萎缩周期”行为钻研现在的,借此降矮技术发展对环境造成的影响。

而最主要的第一步,就是添强AI模型碳排放题目的透明度与量化考核。当AI钻研人员发布新模型的钻研效果时,除了性能与精度两项中央指标之外,还答该附上模型开发过程中的总体能源数据。

经过仔细分析,艾伦人造智能钻研所的团队挑出将浮点运算行为钻研人员们最通用也最实在的能效衡量标准。另一支幼组也创建出一款机器学习碳排放计算器,可协助从业者们借此估算现在模型的碳足迹(其中涵盖硬件、云服务供答商以及地理区域等诸多因素)。

按照这些思路,钻研人员们还必要在模型训练过程中,将能源成本与性能收入之间的有关行为不及逃避的主要度量。清晰量化这项指标,将促使钻研人员们主要收入递减题目,进而在资源分配上做出更明智、更均衡的决策。

期待随着可赓续AI实践的广泛,技术社区能够在评估AI钻研时偏重考虑这些效果指标,并把这些指标的主要性挑高到精度等传统性能指标的程度,最后使其在论文发外、演讲分享以及学术收获等周围发挥更主要的作用。

当然,其他一些手段也有看在短期之内协助AI模型削减碳排放:行使更高效的超参数搜索手段、削减训练过程中不消要的实验次数、采用更节能的硬件等等。

但单靠这些补救性的措施,不及以彻底解决题目。人造智能周围必要在根本上做出永远转折。

吾们必要退后一步,承认单纯竖立越来越壮大的神经网络并不是通去广义智能的精确路径。从第一原理起程,吾们必须强制本身去发现更优雅、更高效的手段,对机器中的智能进走建模。吾们与气候变化的搏斗,甚至是整颗蓝色星球的异日,能够也都将维系于此。

引用AI界传怪杰物、深度学习教父Geoff Hinton的名言,“异日能够掌握的某些钻研外走里,由于他们对吾所说的统统深外疑心……他们能够会彻底屏舍吾的不都雅点,从零最先再次追求。”

AI社区必须敢于竖立人造智能的新范式,这些范式既不必要指数级添长的数据集、也不必要恐怖的电力消耗。幼样本学习等新兴钻研周围,能够会成为吾们走向清明异日的新道路。

行为最初的智能来源,人脑也将给吾们带来主要启发。与现在的深度学习手段相比,吾们的大脑专门高效。人脑仅几磅重,运走功率约20瓦——只够让矮功率灯泡亮首昏黑的光。然而,它们却也代外着宇宙中现在已知的最兴旺的智能形式。

AI钻研人员Siva Reddy也不禁感叹,“人脑只必要极矮的功耗,就能达成令人惊奇的外现。题目在于,吾们如何才能制造出云云的机器。”

 

Powered by 绿泽实业有限公司 @2018 RSS地图 html地图

Copyright 站群 © 2013-2018 360 版权所有