完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>
|
|
相关推荐
1个回答
|
|
根据最新的研究结果,训练一个普通的AI模型消耗的能源相当于五辆汽车一生排放的碳总量,而BERT模型的碳排放量约为1400磅二氧化碳,这相当于一个人来回坐飞机横穿美国。为何AI模型会如此费电,它们与传统的数据中心计算有何不同?
训练效率低下 传统数据中心负责处理的工作包括视频流,电子邮件和社交媒体。AI所需的计算量则更多,因为它需要读取大量的数据、持续学习,直到完成训练。 与人类的学习方式相比,AI的训练效率非常低下。现代AI使用人工神经网络,这是模拟人脑神经元的数学计算。每两个相邻神经元的连接强度都是神经网络上的一个参数,名叫权重。神经网络的训练则需要从随机权重开始,一遍遍地运行和调整参数,直到输出与正确答案一致为止。 常见的一种训练语言神经网络的方法是,从维基百科和新闻媒体网站下载大量文本,然后把一些词语遮挡起来,并要求AI猜测被遮挡起来的词语。刚开始的时候,AI会全部搞错,但是,经过不断地调整后,AI会逐渐学习数据中的模式,最终整个神经网络都会变得非常准确。 相信你听说过BERT模型,基于变换器的双向编码器表示技术(BidirectionalEncoderRepresentationsfromTransformers,简称BERT),这是一项由Google提出的自然语言处理(NLP)的预训练技术。该模型使用了来自维基百科和其他文章的33亿个单词,而且在整个训练期间,BERT读取了该数据集40次。相比之下,一个5岁的孩子学说话只需要听到4500万个单词,比BERT少3000倍。 寻找最佳结构 语言模型构建成本如此之高的原因之一在于,在开发模型期间,上述训练过程需要反复多次。因为研究人员需要将神经网络调整到最优,即确定神经元的个数、神经元之间的连接数以及各个权重。他们需要反复尝试很多组合,才能提高神经网络的准确度。相比之下,人类的大脑不需要寻找最佳结构,经过几亿年的进化,人类大脑已具备这种结构。 随着各大公司和学术界在AI领域的竞争愈演愈烈,不断提高技术水平的压力也越来越大。在自动翻译等难度巨大的任务中,如果能将准确度提高1%,也将被视为重大的进步,可以作为宣传产品的筹码。然而,为了获得这1%的提升,研究人员需要尝试成千上万的结构来训练模型,直到找到最佳模型。 随着模型不断发展,模型的复杂度逐年攀高。另一款与BERT类似的最新语言模型GPT-2,其神经网络包含15亿个权重。而GPT-3由于其高精度,引起了业界的轰动,但其权重高达1750亿个。 此外,AI模型的训练需要在专用硬件(例如图形处理器)上进行,这些硬件的功耗普遍高于传统CPU。如果你的笔记本电脑加载了优质的显卡,可以玩很多高端游戏,那么你肯定会注意到这台机器产生的热量也比普通电脑高很多。 所有这些都表明,开发先进的AI模型需要大量的碳排放量。除非我们能够利用百分百可再生能源,否则真的怀疑AI的进步与减少温室气体排放以及减缓气候变化,孰重孰轻?是否真的可以功过相抵? 最后,开发AI的耗资如此巨大,能够承担得起各项费用的公司与机构实在少之又少,最终究竟应该开发哪种模型的决定权无疑也落到了这群人的手中。 AI模型训练应该适可而止 本文并不是要否定人工智能研究的未来,只不过在训练AI模型的时候,我们需要采用更高效的方法,而且应该做到适可而止。 随着AI模型训练方法的效率提升,相信训练的成本也会下降。同时,我们需要在训练模型的成本和使用模型的成本之间权衡取舍。例如,在AI模型准确度到达一定高度后,每提升1%都需要付出巨大的精力,而实际得到的收益却很少。不追求极致,更多地使用“适可而止”的模型,不仅可以降低碳排放量,而且也能为我们带来更大获益。 |
|
|
|
只有小组成员才能发言,加入小组>>
物联网工程师必备:怎么选择不同的无线连接技术,本指南帮你忙!
3286 浏览 1 评论
【DFRobot TinkerNode NB-IoT 物联网开发板试用连载】WIFI功能测试
3939 浏览 0 评论
【DFRobot TinkerNode NB-IoT 物联网开发板试用连载】Arduino的替代SublimeText3+STino
3445 浏览 0 评论
使用端口扩展器轻松高效地向IIoT端点添加具有成本效益的子节点
4010 浏览 1 评论
20685 浏览 11 评论
模组有时候复位重启后输出日志为“REBOOT_CAUSE_SECURITY_PMU_POWER_ON_RESET”的原因?
808浏览 2评论
1033浏览 2评论
1034浏览 1评论
1151浏览 1评论
385浏览 1评论
小黑屋| 手机版| Archiver| 电子发烧友 ( 湘ICP备2023018690号 )
GMT+8, 2024-12-25 17:21 , Processed in 1.024078 second(s), Total 78, Slave 62 queries .
Powered by 电子发烧友网
© 2015 bbs.elecfans.com
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 (威廉希尔官方网站 图) 湘公网安备 43011202000918 号 电信与信息服务业务经营许可证:合字B2-20210191 工商网监 湘ICP备2023018690号