0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

自然语言处理研究的基本问题及发展趋势

Dbwd_Imgtec 来源:未知 作者:胡薇 2018-09-21 14:22 次阅读

自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。随着深度学习在图像识别、语音识别领域的大放异彩,人们对深度学习在NLP的价值也寄予厚望。自然语言处理作为人工智能领域的认知智能,成为目前大家关注的焦点。

基本概念

自然语言处理既是一门技术也是一门学科。

自然语言指人类使用的语言,如汉语、英语等

语言是思维的载体,是人类交流的工具

语言的两种属性:文字和声音

人类历史上以文字形式记载和流传的知识占80%以上。

自然语言处理的定义:

"自然语言处理又称为自然语言理解,就是利用计算机为工具对人类特有的书面形式和又头形式的自然语言的信息进行各种类型处理和加工的技术。” —— 冯志伟《自然语言的计算机处理》

研究的基本问题

1. 语音学

语音学(Phonetics)问题:研究词及其语音的关联

2. 形态学

形态学(Morphology)问题:研究词是如何由有意义的基本单位-词素(Morphemes)构词的。

词素是从词或者词干的直接成分的角度来确定的音义结合体。字和词素不是一一对应的:

有的汉字实际上代表不同的词素。如“副”这个字代表多种词素:“第二的、次级的”、“相配、相称”、某种计量单位。

同一词素可以由不同的汉字来表示。如:“来吧”中的“吧”可以由“罢”代替。

有些汉字在某些场合属于词素,某些场合不是。如:“沙”在“泥沙”里面是词素,在“沙发”里面不代表意义。词素与词的关系是“词素的功能是构词词”。

词素构词有两种情况:

一个词素单独构词一个词。如:人、鱼、书、蜈蚣等。

两个或两个以上的词素构词一个词。如:人+民,机+器等。

3. 语法学

语法学(Syntax)问题:研究句子结构成分之间的相互关系和组成句子的序列。

为什么一句话可以这么说也可以那么说?

4. 语义学

语义学(Sementics)问题:研究如何从一个语句中词的意义,以及这些词在该语句中句法结构中的作用来推导出该语句的意义。

下面的话说了什么?

苹果不吃了

这个人真牛

火烧圆明园/火烧驴肉

5. 语用学

语用学(Pragmatics)问题:研究在不同上下文中的语句的应用,以及上下文对语句理解所产生的影响。从狭义的语言学观点看,语用学处理的是语言结构中有形式体现的那些语境。相反,语用学最宽泛的定义是研究语义学未能涵盖的那些意义。

在语用学中最基本的一个概念是语境,它是专门研究语言的理解和使用的学问,它研究在特定场景中的特定话语,研究如何通明朝这个朝代更过语境来理解和使用。

下面话为什么这样说?

火,火!

A:看看鱼怎么样了?B:我刚才翻了一下。

研究的主要内容

1. 机器翻译

基于规则的机器翻译方法认为翻译的过程是需要对源语言的分析和源语言意义的表示,然后再生成等价的标语言的过程。根据翻译过程的不同,规则方法可分为两种主要方法:基于转换的方法的翻译过程包括三个阶段:分析得到一种源语言的抽象表示;把源语言的抽象表示转换为目标语言的抽象表示 ;由目标语言的抽象表示生成目标语言。基于中间语言的方法在对源语言分析后产生的是中间语言,而目标语言的生成是直接由这种中间语言开始的。

基于实例的机器翻译本质是“以翻译实例为基础,基于相似原理的机器翻译”,其利用的主要知识源是预处理过的双语语料和翻译词典。基于实例的翻译过程通常包括三步: 在翻译实例库中搜索匹配片段;确定相应的译文片段;重新组合译文片段以得到最终翻译。

统计机器翻译也是基于双语语料库的,但与基于实例的方法在翻译过程中直接使用翻译 实例不同,统计方法通过事先的训练过程将双语语料库中隐含的翻译知识抽象成统计模型, 而翻译过程通常就是基于这些统计模型的解码过程。

神经机器翻译神经机器翻译与传统的统计机器翻译不同,神经机器翻译的目的是建立一个单一的神经网络,可以联合调整,以最大限度地提高翻译性能。最近提出的用于神经机器翻译的模型通常属于编码器-解码器族,且将源语句编码成固定长度向量,解码器从该向量生成翻译。

2. 信息检索

信息检索(Information retrieval):信息检索也称为情报检索,就是利用计算机从大量文档中找到符合用户需要的相关信息。

面向多语言的信息检索称为跨语言的信息检索,如google,baidu等。

早期的信息检索系统采用“布尔查询”的方法来进行全文检索。这种方法无疑将构造一个合适的查询的责任推到用户身上。用户必须详细的规划自己的查询,其复杂程度不亚于编程语言。这种检索方式并不提供任何的文档相关性测度,对于文档与查询的评价就只有“匹配“、“不匹配”两种而已。这两点问题决定了布尔查询不能被广泛应用。但是,由于布尔检索能够给用户提供更多的可控制性,今天我们仍然可以在搜索引擎的“高级搜索”中找到布尔查询的身影。

对于大规模的语料库,任何检索都可能返回数量众多的结果,因此对检索结果进行排序是必须的。因此,一个好的信息检索模型必须提供文档相关性测度。一个好的测度应该使与用户查询需求最相关的那些结果,排在最前面,同时允许尽可能多的,与用户查询有一定关系的结果被包括进来。目前,最为常用的信息检索模型有三种:-向量空间模型 (Vector Space Model, VSM)-概率模型 (Probabilistic Model) -推理网络模型 (Inference Network Model)

3. 自动文摘

TextRank 算法是一种用于文本的基于图的排序算法。其基本思想来源于谷歌的 PageRank算法,通过把文本分割成若干组成单元(单词、句子)并建立图模型, 利用投票机制对文本中的重要成分进行排序,仅利用单篇文档本身的信息即可实现关键词提取、文摘。

传统的摘要生成系统大部分都是抽取型的,这类方法从给定的文章中,抽取关键的句子或者短语, 并重新拼接成一小段摘要,而不对原本的内容做创造性的修改。深度学习是一个生成方法,它会创造性的生成摘要。最新的方法是神经注意力模型(Neural attention model)。

4. 文档分类

文档分类:其目的就是利用计算机系统对大量的文档按照一定的分类标准实现自动归类。

文档分类的方法有基于机器学习的方法(如svm,decision tree)和基于深度学习(如cnn,rnn)的方法。

流程:样本处理 — 特征选择 — 分类。

应用:图书管理、内容管理、情感分析等。

5. 问答系统

问答系统(Question answer system):通过计算机对人提出的问题的理解,利用自动推理等手段,在有关知识资源中自动求解答案并作出相应的回答。问答技术有时与语音技术、人机交互技术等相结合,构成人机对话系统。

问答系统模型通常分为基于检索的模型和基于生成的模型。

基于检索的模型回答是提前定义的,使用规则引擎、正则匹配或者深度学习训练好的分类器从数据库中挑选一个最佳的回复。

基于生成的模型多使用深度学习的方法。最流行的方法是seq2seq attention model。

6. 文字识别

文字识别(Character Recognition):通过计算机系统对印刷体或手写体等文字进行自动识别,将其转换为计算机可以出来的电子文本。

传统的文字识别方法就是特征工程+分类器的方法。深度学习的方法主要有rcnn,yolo等。

流程:预处理—特征提取和降维—分类器—后处理。

7. 语音识别

语音识别(Speech Recognition):将输入计算机的语音信号转换成书面语表示。

应用:文字录入、人机通讯、语音翻译等

难点:大量存在同音词、近音词、集外词、又音等等。

输入:美中贸易摩擦升级

识别结果:美中贸易摩擦生机

早期的语音识别系统主要采用隐马尔科夫模型来建模。

现在的语音识别系统多采用end2end的方法。

8. 语音生成

语音生成(speech generate):利用计算机将书面语转换为语音信号。

语音生成有两个主要目标:可理解性(intelligibility)和自然感(naturalness)。可理解性是指合成音频的清晰度,特别是听话人能够在多大程度上提取出原信息。自然感则描述了无法被可理解性直接获取的信息,比如听的整体容易程度、全局的风格一致性、地域或语言层面的微妙差异等等。

百度的 Deep Voice、Yoshua Bengio 团队提出的 Char2Wav以及谷歌的 Tacotron均在语音生成方面表现突出。

面临的困难

1. 语义歧义如:他说:“她这个真有意思 (funny)”。她说:“他这个怪有意思的 (funny)”。于是他们以为他们有意思 (wish),并让他向她意思意思 (express)。他说:“我根本没有那个意思 (thought)”!她也说:“你们这么说是什么意思 (intention)”?事后有人说:“真有意思 (funny)”。也有人说:“真没意思 (nonsense)”。

2. 存在未知的语言现象 • 新的词汇,如专业术语、外来语、人名、机构名等 • 新的含义,如打酱油、涨姿势、蓝瘦香菇、吃枣药丸等 • 新的用法和语句结构。在又语和网络语中出现的“非规范”的语句结构。如“这届人民不行”、“扎心了老铁”。

发展趋势

目前,人们主要通过两种思路来进行自然语言处理,一种是基于规则的理性主义,另外一种是基于统计的经验主义。现实的情况是,统计学习方法越来越受到重视,自然语言处理中更多地使用机器自动学习的方法来获取语言知识。

深度学习在自然语言处理中的应用极大的促进了行业的发展。但是,即使使用深度学习,仍然有许多问题只能达到基本的要求,如问答系统、对话系统、对话翻译等。

结语

如今,如何有效利用海量信息已成为信息技术发展的一个关键性问题。自然语言处理则无可避免地成为该领域长期发展的一个新的战略制高点。路漫漫其修远兮,NLP作为一个高度交叉的新兴学科,不论是探究语言本质还是付诸实际应用,必定还会有令人期待的惊喜和异常快速的发展。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132602
  • nlp
    nlp
    +关注

    关注

    1

    文章

    488

    浏览量

    22034

原文标题:深入机器学习之自然语言处理

文章出处:【微信号:Imgtec,微信公众号:Imagination Tech】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    语义理解和研究资源是自然语言处理的两大难题

    科技改变生活,智能化设备在我们生活中的应用范围增加,智能设备对于语言交互,人机交互的技术需求也在增加,这些需求也在促进现在的技术研究进步。从现在的自然语言发展现状来看,
    发表于 09-19 14:10

    【推荐体验】腾讯云自然语言处理

    `相信大家对NLP自然语言处理的技术都不陌生,它是计算机科学领域和AI领域中的一个分支,它与计算机和人类之间使用自然语言进行交互密切相关,而NLP的最终目标是使计算机能够像人类一样理解语言
    发表于 10-09 15:28

    自然语言处理语言模型

    自然语言处理——53 语言模型(数据平滑)
    发表于 04-16 11:11

    自然语言处理——总结、习题

    自然语言处理——79 总结、习题
    发表于 06-19 11:22

    什么是自然语言处理

    什么是自然语言处理自然语言处理任务有哪些?自然语言处理的方法是什么?
    发表于 09-08 06:51

    基于自然语言处理的知识检索算法研究

    基于自然语言处理的知识检索算法研究_贾润亮
    发表于 01-07 21:39 1次下载

    什么是自然语言处理_自然语言处理常用方法举例说明

    自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言
    发表于 12-28 16:56 1.8w次阅读
    什么是<b class='flag-5'>自然语言</b><b class='flag-5'>处理</b>_<b class='flag-5'>自然语言</b><b class='flag-5'>处理</b>常用方法举例说明

    自然语言处理怎么最快入门_自然语言处理知识了解

    自然语言处理就是实现人机间自然语言通信,实现自然语言理解和自然语言生成是十分困难的,造成困难的根本原因是
    发表于 12-28 17:10 5311次阅读

    自然语言处理发展简史

    自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的
    的头像 发表于 05-11 17:22 1w次阅读

    自然语言处理是什么?有什么用?

    自然语言处理” (Natural Language Processing,简称NLP) 是近年来科技界最热门的词语之一,也是当下人工智能研究最热门的领域之一。自然语言
    的头像 发表于 02-08 16:00 6191次阅读

    自然语言处理的概念和应用 自然语言处理属于人工智能吗

      自然语言处理(Natural Language Processing)是一种人工智能技术,它是研究自然语言与计算机之间的交互和通信的一门学科。
    发表于 08-23 17:31 1591次阅读

    自然语言处理和人工智能的概念及发展自然语言处理和人工智能的区别

    自然语言处理(Natural Language Processing, NLP)的定义是通过电脑软件程序实现人们日常语言的机器自动处理。为了帮助计算机理解,掌握
    发表于 08-23 18:22 984次阅读

    神经网络在自然语言处理中的应用

    旨在探讨神经网络在自然语言处理中的应用,包括其背景、核心概念、算法原理、实践案例以及未来发展趋势和挑战。
    的头像 发表于 07-01 14:09 507次阅读

    自然语言处理技术的原理的应用

    自然语言处理(Natural Language Processing, NLP)作为人工智能(AI)领域的一个重要分支,旨在使计算机能够理解和处理人类自然语言。随着互联网的普及和大数据
    的头像 发表于 07-02 12:50 522次阅读

    自然语言处理的未来发展趋势

    随着技术的进步,自然语言处理(NLP)已经成为人工智能领域的一个重要分支。NLP的目标是使计算机能够理解、解释和生成人类语言,这不仅涉及到语言的表层形式,还包括
    的头像 发表于 11-11 10:37 690次阅读