0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是预训练 AI 模型?

NVIDIA英伟达 来源:未知 2023-04-04 01:45 次阅读

预训练 AI 模型是为了完成特定任务而在大型数据集上训练的深度学习模型。这些模型既可以直接使用,也可以根据不同行业的应用需求进行自定义。

如果要教一个刚学会走路的孩子什么是独角兽,那么我们首先应该向孩子展示这种生物的图像并描述其独有特征。

那么,如果要教一台人工智能(AI)机器什么是独角兽,该从什么地方做起呢?

预训练 AI 模型提供了解决方案。

预训练 AI 模型是一种为了完成某项特定任务而在大型数据集上进行训练的深度学习模型,它是一种类脑神经算法的表现形式,可以根据数据找到模式或进行预测。预训练 AI 模型既可以直接使用,也可以根据某个应用的具体需求进行进一步微调。

为什么使用预训练 AI 模型?

开发者可以使用预训练模型并根据需求对其进行自定义,无需从头开始构建 AI 模型。

无论是识别一匹虚构的马,检测自动驾驶汽车的安全隐患,还是根据医学影像诊断癌症,要构建一个 AI 应用,开发者首先需要一个能够完成特定任务的 AI 模型。而这个模型需要大量具有代表性的数据进行学习。

模型的学习过程需要经历好几层传入数据,并在每一层强调与目标相关的特征。

例如,在创建一个能够识别独角兽的模型时,首先会为其提供独角兽、马、猫、老虎和其他动物的图像作为传入数据。

然后再构建具有代表性的数据特征层。从线条、颜色等简单特征开始,深入到复杂的结构特征。依据计算出的概率,这些特征将被赋予不同程度的相关性。

举个例子,当一个生物看起来越像马,它是独角兽而不是猫或老虎的概率就越大。这些概率值被存储在 AI 模型的每个神经网络层。随着层数的增加,模型对表征的理解程度也在提高。

若要从头开始创建一个这样的模型,开发者通常需要调用包含数十亿行数据的巨大数据集,并且这些数据可能十分昂贵且难以获得。但如果因此在数据上让步,就会导致模型性能不佳。

预先计算的概率表征(也称权重)能够节省开发者或企业的时间、金钱和精力。已建立完成的预训练模型可通过这些权重进行训练。

高质量的预训练模型搭配大量准确且具有代表性的权重可以提高 AI 部署的成功率。

权重可以被修改,而且可以通过添加更多数据为模型进行进一步的自定义或微调。

在预训练模型基础上进行构建的开发者可以更快创建出 AI 应用,因为他们无需处理堆积如山的传入数据或去计算密集的数据层的概率。

换言之,使用预训练 AI 模型就像是用一件成衣根据自己的需求进行剪裁,而不用从布料和针线做起。

预训练 AI 模型通常被用于迁移学习,可以基于多种模型架构类型而构建。其中一种流行的架构类型是 Transformer 模型,一种通过追踪连续数据中的关系来学习上下文和意义的神经网络。

AI 公司 Clarifai 是NVIDIA 初创加速计划的高级合作伙伴。Clarifai 的平台高级副总裁 Alfredo Ramos 表示,预训练模型可以将 AI 应用的开发时间缩短一年并节约数十万美元的成本。

预训练模型如何推动 AI 的发展?

预训练模型简化并加快了 AI 的开发,许多开发者和公司通过它们来加速各种 AI 用例。

预训练模型主要推动了以下几个领域的 AI 发展:

  • 自然语言处理:预训练模型被用于翻译、聊天机器人等自然语言处理应用。大型语言模型一般基于 Transformer 模型架构构建,是预训练模型的延伸。世界上最大的 AI 模型之一NVIDIA NeMo Megatron就是一个预训练大型语言模型。

  • 语音 AI:预训练模型能帮助语音 AI 应用在不同的语言下也能直接使用。用例包括呼叫中心自动化、AI 助手和语音识别技术。

  • 计算机视觉:如上文所述的独角兽模型,预训练模型可以帮助 AI 快速识别生物或者物体、地点和人。预训练模型通过这种方式加速计算机视觉,为体育运动、智慧城市等领域的应用提供近似于人类的视觉能力。

  • 医疗:在医疗应用方面,MegaMolBART(NVIDIA BioNeMo服务和框架的一部分)等预训练 AI 模型能够理解化学语言并学习现实世界分子中原子之间的关系,为科学界提供了一种加快药物研发的强大工具。

  • 网络安全:预训练模型为实施 AI 网络安全解决方案打下了基础,并帮助人类安全分析师更快的发现威胁。包括人类和机器的数字指纹及异常、敏感信息和网络钓鱼检测等多种情况。

  • 艺术和创作流程:为推动最新的 AI 艺术浪潮,预训练模型可以在GauGANNVIDIA Canvas等工具的帮助下加快创作流程。

预训练 AI 模型的自定义和微调为其带来了无限的应用可能性,因此也可以用于更多其他行业。

何处获取预训练 AI 模型

谷歌、Meta、微软、NVIDIA 等公司正在发明用于构建 AI 模型的尖端模型架构和框架。

这些模型有时会在模型中心或作为开放源码发布,使开发者能够对预训练 AI 模型进行微调、提高其准确性并扩展模型库。

NVIDIA NGC汇集了通过 GPU 优化的 AI 软件、模型和 Jupyter Notebook 示例,包括各种预训练模型以及为 NVIDIA AI 平台优化的 AI 基准和训练方式。

NVIDIA AI Enterprise是一套全面且安全的云原生 AI 与数据分析软件套件,包含未加密的预训练模型。这让希望将 NVIDIA 预训练模型整合到其自定义 AI 应用中的开发者和企业能够查看模型权重和偏差、提高可解释性并轻松进行调试。

在 GitHub、Hugging Face 等平台也有数千个可供使用的开源模型。

十分重要的是,在训练预训练模型时,模型数据必须透明、可解释、符合隐私要求,并且是获得同意许可且无偏见的道德数据。

NVIDIA 预训练 AI 模型

为帮助更多开发者将 AI 原型投入到生产中,NVIDIA 提供了几种开箱即用的预训练模型:

  • NVIDIA SegFormer是一个在 GitHub 上提供的 Transformer 模型,可实现简单、高效、强大的语义分割。

  • NVIDIA 的专用计算机视觉模型经数百万张图像训练而成,可用于智慧城市、停车管理等应用。

  • NVIDIA NeMo Megatron是一个大型可定制语言模型,包含在 NVIDIA NeMo 中。NeMo 是一个用于构建灵活、高性能对话式 AI、语音 AI 和生物学应用的开源框架。

  • NVIDIA StyleGAN是一个基于风格的生成器架构,用于生成式对抗网络(或称 GAN)。它可以使用迁移学习来无限生成各种不同风格的绘画。

除此之外,NVIDIA 还能够提供:

  • NVIDIA Riva:一款用于构建和部署语音 AI 应用的 GPU 加速软件开发工具包,包含了十种语言的预训练模型。

  • MONAI:由 NVIDIA 和伦敦国王学院联合开发的开源医疗研究 AI 框架,包含了用于医学影像的预训练模型

点击阅读原文,进一步了解NVIDIA 预训练 AI 模型

扫描海报二维码即可观看 NVIDIA 创始人兼首席执行官黄仁勋 GTC23 主题演讲重播!


原文标题:什么是预训练 AI 模型?

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3773

    浏览量

    91025

原文标题:什么是预训练 AI 模型?

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    GPU是如何训练AI模型

    AI模型训练过程中,大量的计算工作集中在矩阵乘法、向量加法和激活函数等运算上。这些运算正是GPU所擅长的。接下来,AI部落小编带您了解GPU是如何
    的头像 发表于 12-19 17:54 112次阅读

    KiCon演讲回顾(四):AI助力电子元件库自动化提取

    “  李宁老师将带您探索《基于AI的元件参数自动提取方法研究》中的前沿技术!   ” 自动化电子元件库的需求 华为挑战:基于训练AI模型
    的头像 发表于 11-25 11:56 234次阅读
    KiCon演讲回顾(四):<b class='flag-5'>AI</b>助力电子元件库自动化提取

    什么是大模型、大模型是怎么训练出来的及大模型作用

    ,基础模型。   大模型是一个简称,完整的叫法,应该是“人工智能训练模型”。
    的头像 发表于 11-25 09:29 1307次阅读
    什么是大<b class='flag-5'>模型</b>、大<b class='flag-5'>模型</b>是怎么<b class='flag-5'>训练</b>出来的及大<b class='flag-5'>模型</b>作用

    为什么ai模型训练要用gpu

    GPU凭借其强大的并行处理能力和高效的内存系统,已成为AI模型训练不可或缺的重要工具。
    的头像 发表于 10-24 09:39 267次阅读

    AI模型训练数据来源分析

    AI模型训练数据来源广泛且多元化,这些数据源对于构建和优化AI模型至关重要。以下是对AI
    的头像 发表于 10-23 15:32 591次阅读

    如何训练自己的AI模型

    训练自己的AI模型是一个复杂且耗时的过程,涉及多个关键步骤。以下是一个详细的训练流程: 一、明确需求和目标 首先,需要明确自己的需求和目标。不同的任务和应用领域需要不同类型的
    的头像 发表于 10-23 15:07 1394次阅读

    直播预约 |数据智能系列讲座第4期:训练的基础模型下的持续学习

    鹭岛william hill官网 数据智能系列讲座第4期「训练的基础模型下的持续学习」10月30日(周三)20:00精彩开播期待与您云相聚,共襄学术盛宴!|直播信息报告题目
    的头像 发表于 10-18 08:09 220次阅读
    直播预约 |数据智能系列讲座第4期:<b class='flag-5'>预</b><b class='flag-5'>训练</b>的基础<b class='flag-5'>模型</b>下的持续学习

    ai模型训练需要什么配置

    AI模型训练是一个复杂且资源密集的过程,它依赖于高性能的硬件配置来确保训练的效率和效果。 一、处理器(CPU) CPU是计算机的核心部件,负责处理各种计算任务。在
    的头像 发表于 10-17 18:10 1236次阅读

    苹果揭示AI新动向:Apple Intelligence模型在谷歌云端芯片上训练

    苹果公司在最新的技术论文中披露了一项重要信息,其全新的人工智能系统Apple Intelligence所依赖的模型并非传统上大型科技公司首选的NVIDIA GPU,而是选择了在谷歌设计的云端芯片上进行训练。这一决定不仅打破了行
    的头像 发表于 07-30 15:00 532次阅读

    训练和迁移学习的区别和联系

    训练和迁移学习是深度学习和机器学习领域中的两个重要概念,它们在提高模型性能、减少训练时间和降低对数据量的需求方面发挥着关键作用。本文将从定义、原理、应用、区别和联系等方面详细探讨
    的头像 发表于 07-11 10:12 1037次阅读

    大语言模型训练

    能力,逐渐成为NLP领域的研究热点。大语言模型训练是这一技术发展的关键步骤,它通过在海量无标签数据上进行训练,使模型学习到语言的通用知识
    的头像 发表于 07-11 10:11 427次阅读

    训练模型的基本原理和应用

    训练模型(Pre-trained Model)是深度学习和机器学习领域中的一个重要概念,尤其是在自然语言处理(NLP)和计算机视觉(CV)等领域中得到了广泛应用。
    的头像 发表于 07-03 18:20 2803次阅读

    【大语言模型:原理与工程实践】大语言模型训练

    大语言模型的核心特点在于其庞大的参数量,这赋予了模型强大的学习容量,使其无需依赖微调即可适应各种下游任务,而更倾向于培养通用的处理能力。然而,随着学习容量的增加,对训练数据的需求也相
    发表于 05-07 17:10

    【大语言模型:原理与工程实践】大语言模型的基础技术

    ,这也是如今生成式 AI 中大语言模型最流行训练架构。(3) Encoder-Decoder训练语言
    发表于 05-05 12:17

    谷歌模型训练软件有哪些功能和作用

    谷歌模型训练软件主要是指ELECTRA,这是一种新的训练方法,源自谷歌AI。ELECTRA不仅拥有BERT的优势,而且在效率上更胜一筹。
    的头像 发表于 02-29 17:37 785次阅读