0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

通过GPU加速机器学习

电子设计 来源:电子设计 作者:电子设计 2022-02-10 17:00 次阅读

早期的机器学习以搜索为基础,主要依靠进行过一定优化的暴力方法。但是随着机器学习逐渐成熟,它开始专注于加速技术已经很成熟的统计方法和优化问题。同时深度学习的问世更是带来原本可能无法实现的优化方法。本文将介绍现代机器学习如何找到兼顾规模和速度的新方法。

AI领域的转变

在本系列的第1部分中,我们探讨了AI的一些历史,以及从Lisp到现代编程语言以及深度学习等新型计算智能范式的历程。我们还讨论了人工智能的早期应用,它们依赖于经过优化的搜索形式、在海量数据集上进行训练的现代神经网络架构,同时解决了十年前还被认为不可能的难题。然而目前仍有两大难题有待解决,即:如何进一步加速这些应用,以及将它们限制在智能手机这样的功耗优化环境中。

今天,深度学习成为了多数加速技术的重点研究对象。深度学习是一种神经网络架构,它依赖于多层神经网络,其中的每一层都可以支持不同的功能以进行特征检测。这些深层神经网络依赖于可方便运用并行计算的矢量运算, 并为神经网络层分布式计算以及同层诸多神经元并行计算创造了条件。

通过GPU加速机器学习

图形处理单元(GPU)最初并不是用于加速深度学习应用。GPU是一种特殊的设备,用于加速输出到显示设备的帧缓冲区(内存)的构建。它将渲染后的图像存入帧缓冲区,而不是依靠处理器来完成。GPU由数以千计的独立内核组成,它们并行运行并执行矢量运算等特定类型的计算。尽管最初GPU专为视频应用而设计,但人们发现它们也可以加速矩阵乘法等科学计算。

开发人员既可以借助于GPU供应商提供的API将GPU处理功能集成到应用中,也可以采用适用于诸多不同环境的标准软件包方式。R编程语言和编程环境包含与GPU协同工作来加快处理速度的软件包,例如gputools、gmatrix和gpuR。GPU也可以通过numba软件包或Theano等各种库借助于Python进行编程。

通过这些软件包,任何有意将GPU加速应用于机器学习的人都可以达成愿望。但是工程师们还在研究更专门的方法。2019年,英特尔®以20亿美元的价格收购了Habana Labs, 一家致力于为服务器中的机器学习加速器开发定制芯片公司。此外,英特尔还于2017年以150亿美元收购了自动驾驶芯片技术企业Mobileye。

定制芯片和指令

除了服务器和台式机中的GPU加速之外,用于机器学习的加速器正在试图超越传统平台,进军功耗受限的嵌入式设备和智能手机。这些加速器形式多样,包括U盘、API、智能手机神经网络加速器以及用于深度学习加速的矢量指令等。

适用于智能手机的深度学习

深度学习工具包已经从PC端延伸到智能手机,可为存在更多限制的网络提供支持。TensorFlow Lite和Core ML等框架已经部署在用于机器学习应用的移动设备上。Apple®最近发布了A12 Bionic芯片,这款芯片包括一个8核神经网络引擎,用于开发更加节能的神经网络应用, 从而扩展Apple智能手机上的深度学习应用。

Google发布了适用于Android® 8.1并具有机器学习功能的神经网络API (NNAPI), 目前已应用于Google Lens自然语言处理和图像识别背景下的Google Assistant。NNAPI与其他深度学习工具包相似,但它是针对Android智能手机环境及其资源限制而构建的。

深度学习USB

英特尔发布了其新版神经计算棒,以U盘的形式加速深度学习应用。TensorFlow、Caffe和PyTorch等众多机器学习框架都可以使用它。当没有GPU可用时,这将是一个不错的选择,同时还可以快速构建深度学习应用原型。

深度学习指令

最后,在机器学习计算从CPU转移到GPU的同时,英特尔使用新的指令优化了其Xeon指令集,来加速深度学习。这些被称为AVX-512扩展的新指令(所谓的矢量神经网络指令或VNNi)提高了卷积神经网络运算的处理量。

总结

GPU在机器学习中的应用实现了在众多应用中构建和部署大规模深度神经网络的能力。机器学习框架使构建深度学习应用变得简单。智能手机供应商也不甘人后,为受到诸多限制的应用集成了高能效的神经网络加速器(以及用于定制应用的API现在市面上还有其他可转移到USB硬件上的加速器,许多新的初创公司也在加大加速器领域的投入,为未来机器学习应用做准备。

审核编辑:何安

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4733

    浏览量

    128911
收藏 人收藏

    评论

    相关推荐

    《CST Studio Suite 2024 GPU加速计算指南》

    许可证模型的加速令牌或SIMULIA统一许可证模型的SimUnit令牌或积分授权。 4. GPU计算的启用 - 交互式模拟:通过加速对话框启用,打开求解器对话框,点击“
    发表于 12-16 14:25

    深度学习工作负载中GPU与LPU的主要差异

    当前,生成式AI模型的参数规模已跃升至数十亿乃至数万亿之巨,远远超出了传统CPU的处理范畴。在此背景下,GPU凭借其出色的并行处理能力,已成为人工智能加速领域的中流砥柱。然而,就在GPU备受关注之时
    的头像 发表于 12-09 11:01 266次阅读
    深度<b class='flag-5'>学习</b>工作负载中<b class='flag-5'>GPU</b>与LPU的主要差异

    GPU在深度学习中的应用 GPUs在图形设计中的作用

    GPU的并行计算能力 GPU最初被设计用于处理图形和图像的渲染,其核心优势在于能够同时处理成千上万的像素点。这种并行处理能力使得GPU非常适合执行深度学习中的大规模矩阵运算。在深度
    的头像 发表于 11-19 10:55 470次阅读

    什么是机器学习通过机器学习方法能解决哪些问题?

    来源:Master编程树“机器学习”最初的研究动机是让计算机系统具有人的学习能力以便实现人工智能。因为没有学习能力的系统很难被认为是具有智能的。目前被广泛采用的
    的头像 发表于 11-16 01:07 391次阅读
    什么是<b class='flag-5'>机器</b><b class='flag-5'>学习</b>?<b class='flag-5'>通过</b><b class='flag-5'>机器</b><b class='flag-5'>学习</b>方法能解决哪些问题?

    NPU与机器学习算法的关系

    紧密。 NPU的起源与特点 NPU的概念最早由谷歌在其TPU(Tensor Processing Unit)项目中提出,旨在为TensorFlow框架提供专用的硬件加速。NPU的设计目标是提高机器学习算法的运行效率,特别是在处理
    的头像 发表于 11-15 09:19 445次阅读

    PyTorch GPU 加速训练模型方法

    在深度学习领域,GPU加速训练模型已经成为提高训练效率和缩短训练时间的重要手段。PyTorch作为一个流行的深度学习框架,提供了丰富的工具和方法来利用
    的头像 发表于 11-05 17:43 549次阅读

    GPU深度学习应用案例

    GPU在深度学习中的应用广泛且重要,以下是一些GPU深度学习应用案例: 一、图像识别 图像识别是深度学习的核心应用领域之一,
    的头像 发表于 10-27 11:13 384次阅读

    GPU加速计算平台是什么

    GPU加速计算平台,简而言之,是利用图形处理器(GPU)的强大并行计算能力来加速科学计算、数据分析、机器
    的头像 发表于 10-25 09:23 246次阅读

    有没有大佬知道NI vision 有没有办法通过gpu和cuda来加速图像处理

    有没有大佬知道NI vision 有没有办法通过gpu和cuda来加速图像处理
    发表于 10-20 09:14

    深度学习GPU加速效果如何

    图形处理器(GPU)凭借其强大的并行计算能力,成为加速深度学习任务的理想选择。
    的头像 发表于 10-17 10:07 187次阅读

    【「大模型时代的基础架构」阅读体验】+ 第一、二章学习感受

    常用的机器学习算法,重点剖析了一元线性回归算法,由此引出机器学习算法的运算特征,此后分别描述了使用CPU、GPU、TPU和NPU运行
    发表于 10-10 10:36

    新手小白怎么学GPU云服务器跑深度学习?

    新手小白想用GPU云服务器跑深度学习应该怎么做? 用个人主机通常pytorch可以跑但是LexNet,AlexNet可能就直接就跑不动,如何实现更经济便捷的实现GPU云服务器深度学习?
    发表于 06-11 17:09

    FPGA在深度学习应用中或将取代GPU

    提供商外,英伟达还成立了专业的人工智能研究实验室。 不过,机器学习软件公司 Mipsology 的首席执行官兼联合创始人卢多维奇•拉祖尔 (Ludovic Larzul) 表示,GPU 还存在着一些缺陷
    发表于 03-21 15:19

    家居智能化,推动AI加速器的发展

    提高了系统的运算能力和数据处理能力,还为用户带来了更加智能化、个性化的生活体验。   AI 加速器的发展   在人工智能和机器学习任务变得日益复杂和密集之前,传统的CPU和GPU已经足
    的头像 发表于 02-23 00:18 4584次阅读

    利用GPU加速在Orange Pi 5上跑LLMs:人工智能爱好者High翻了!

    》引起了我们的注意,这篇文章主要展示了GPU加速的LLM在嵌入式设备上以合适的速度顺利运行。具体来说,是在OrangePi5(8G)上,作者通过机器
    的头像 发表于 01-22 15:29 987次阅读
    利用<b class='flag-5'>GPU</b><b class='flag-5'>加速</b>在Orange Pi 5上跑LLMs:人工智能爱好者High翻了!