0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

文本分类的一个大型“真香现场”来了

深度学习自然语言处理 来源:高能AI 作者:JayLou娄杰 2021-02-05 11:02 次阅读

文本分类的一个大型“真香现场”来了:JayJay的推文《超强文本半监督MixText》中告诉大家不要浪费没有标注过的数据,但还是需要有标注数据的!但今天介绍的这篇paper,文本分类居然不需要任何标注数据啦!哇,真香!

当前的文本分类任务需要利用众多标注数据,标注成本是昂贵的。而半监督文本分类虽然减少了对标注数据的依赖,但还是需要领域专家手动进行标注,特别是在类别数目很大的情况下。

试想一下,我们人类是如何对新闻文本进行分类的?其实,我们不要任何标注样本,只需要利用和分类类别相关的少数词汇就可以啦,这些词汇也就是我们常说的关键词。

BUT!我们之前获取分类关键词的方式,大多还是需要靠人工标注数据、或者人工积累关键词表的;而就算积累了某些关键词,关键词在不同上下文中也会代表不同类别。

那么,有没有一种方式,可以让文本分类不再需要任何标注数据呢?

本文JayJay就介绍一篇来自「伊利诺伊大学香槟分校韩家炜老师课题组」的EMNLP20论文《Text Classification Using Label Names Only: A Language Model Self-Training Approach》。

这篇论文的最大亮点就是:不需要任何标注数据,只需利用标签名称,就在四个分类数据上获得了近90%的准确率!

为此,论文提出一种LOTClass模型,即Label-name-OnlyTextClassification,LOTClass模型的主要亮点有:

不需要任何标注数据,只需要标签名称!只依赖预训练语言模型(LM),不需要其他依赖!

提出了类别指示词汇获取方法和基于上下文的单词类别预测任务,经过如此训练的LM进一步对未标注语料进行自训练后,可以很好泛化!

在四个分类数据集上,LOTClass明显优于各弱监督模型,并具有与强半监督和监督模型相当的性能。

本文的组织结构为:

c64932a0-603e-11eb-8b86-12bb97331649.png

LOTClass总体流程

LOTClass将BERT作为其backbone模型,其总体实施流程分为以下三个步骤:

标签名称替换:利用并理解标签名称,通过MLM生成类别词汇;

类别预测:通过MLM获取类别指示词汇集合,并构建基于上下文的单词类别预测任务,训练LM模型;

自训练:基于上述LM模型,进一步对未标注语料进行自训练后,以更好泛化!

下面我们就详细介绍上述过程。

第一步:标签名称替换

在做文本分类的时候,我们可以根据标签名称联想到与之相关联的其他关键词,这些关键词代表其类别。当然,这就需要我们从一个蕴含常识的模型去理解每个标签的语义。很明显,BERT等预训练LM模型就是一个首选!

论文采取的方法很直接:对于含标签名称的文本,通过MLM来预测其可以替换的其他相似词汇。

如上图展示了AG新闻语料(体育新闻)中,对于标签名称“sports”,可通过MLM预测出替换「sports」的相似词汇。

具体地,每一个标签名称位置通过MLM预测出TOP-50最相似的替换词,然后再整体对每一个类别的标签名称(Label Name)根据词频大小、结合停用词共选取TOP-100,最终构建类型词汇表(Category Vocabulary)。

通过上述方式找出了AG新闻语料每一个类别-标签名称对应的类别词汇表,如上图所示。

第二步:类别预测

像人类如何进行分类一样,一种直接的方法是:利用上述得到的类型词汇表,然后统计语料中类别词汇出现的次数。但这种方式存在2个缺陷:

不同词汇在不同的上下文中代表不同意思,不是所有在语料中出现的类型词汇都指示该类型。在第一幅图中,我们就可以清晰发现:单词「sports」在第2个句子并不代表体育主题。

类型词汇表的覆盖范围有限:在特定上下文中,某些词汇与类别关键词具有相似的含义,但不包含在类别词汇表中。

为了解决上述缺陷,论文构建了一个新的MCP任务——基于MASK的类别预测任务(Masked Category Prediction,MCP),如下图所示:

c95033c2-603e-11eb-8b86-12bb97331649.png

MCP任务共分为两步:

获取类别指示词:上述已经提到,类别词汇表中不同的词汇在不同上下文会指代不同类别。论文建立了一种获取类别词汇指示的方法(如上图左边所示):对于当前词汇,首先通过BERT的MLM任务预测当前词汇可替代的TOP50相似词,然后TOP50相似词与每个类别词汇表进行比对,如果有超过20个词在当前类别词汇表中,则选取当前词汇作为该类别下的「类别指示词」。

进行遮蔽类别预测:通过上一步,遍历语料中的每一个词汇,我们就可得到类别指示词集合和词汇所对应的标签。对于类别指示词集合中每一个的单词,我们将其替换为「MASK」然后对当前位置进行标签分类训练。

值得注意的是:MASK类别指示词、进行类别预测至关重要,因为这会迫使模型根据单词上下文来推断类别,而不是简单地记住无上下文的类别关键字。通过MCP任务,BERT将更好编码类别判断信息

第三步:自训练

论文将通过MCP任务训练好的BERT模型,又对未标注语料进行了自训练。这样做的原因为:

仍有大规模语料未被MCP任务利用,毕竟不是每一个语料样本含有类别指示词。

MCP任务进行类别预测不是在「CLS」位置,「CLS」位置更利于编码全局信息并进行分类任务。

论文采取的自训练方式很简单,如上图所示,每50个batch通过软标签方式更新一次标签类别。

LOTClass表现如何?

为了验证LOTClass的效果,论文在4个分类数据集上与监督、半监督和弱监督进行了对比。

对于弱监督方法,则将整个训练集作为未标注数据;对于半监督方法,每个类别选举10个样本作为标注数据;对于监督方法,则全部训练集就是标注数据。

如上图所示,没有自训练的LOTClass方法就超过了一众弱监督方法,而利用自训练方法后LOTClass甚至在AG-News上可以与半监督学习的SOTA——谷歌提出的UDA相媲美了,与有监督的char-CNN方法也相差不多啦!自训练self-trainng为何如此强大?我们将在接下来的推文中会进一步介绍。

也许你还会问:LOTClass相当于使用多少标注数据呢?

ce3feaa8-603e-11eb-8b86-12bb97331649.png

如上图,论文给出了答案,那就是:LOTClass效果相当于 每个类别使用48个标注文档的有监督BERT模型!

总结与展望:利用标签名称,真香!

首先对本文总结一下:本文提出的LOTClass模型仅仅利用标签名称,无需任务标注数据!在四个分类数据上获得了近90%的准确率,与相关半监督、有监督方法相媲美!LOTClass模型总体实施流程分三个步骤:标签名称替换,MASK类别预测,自训练。

本文提出的LOTClass模型只是基于BERT,并没有采取更NB的LM模型,每个类别最多使用3个单词作为标签名称,没有依赖其他工具(如回译方式)。我们可以预测:随着LM模型的升级,数据增强技术的使用,指标性能会更好!

利用标签名称,我们是不是还可以畅想一些“真香现场”呢?例如:

应用于NER任务:发现实体类别下的更多指示词,如「PERSON」类别;嗯嗯,再好好想象怎么把那套MCP任务嵌入到NER任务中吧~

与半监督学习更好协作:1)没有标注数据时,可以通过LOTClass构建初始标注数据再进行半监督流程;2)将MCP任务设为半监督学习的辅助任务。

原文标题:韩家炜课题组重磅发文:文本分类只需标签名称,不需要任何标注数据!

文章出处:【微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7015

    浏览量

    88984
  • 人工智能
    +关注

    关注

    1791

    文章

    47243

    浏览量

    238355

原文标题:韩家炜课题组重磅发文:文本分类只需标签名称,不需要任何标注数据!

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    如何使用ddc进行数据分类

    不同的主题划分为不同的类别。以下是如何使用DDC进行数据分类的步骤和注意事项: 、了解DDC的基本原则 十进制分类 :DDC采用十进制法,将所有的知识领域分为10个大类,分别以0-9
    的头像 发表于 12-18 15:05 205次阅读

    如何使用自然语言处理分析文本数据

    使用自然语言处理(NLP)分析文本数据是复杂但系统的过程,涉及多个步骤和技术。以下是基本的流程,帮助你理解如何使用NLP来分析
    的头像 发表于 12-05 15:27 268次阅读

    从零开始训练个大语言模型需要投资多少钱?

    ,前言   在AI领域,训练个大型语言模型(LLM)是耗时且复杂的过程。几乎每个做大型
    的头像 发表于 11-08 14:15 205次阅读
    从零开始训练<b class='flag-5'>一</b><b class='flag-5'>个大</b>语言模型需要投资多少钱?

    使用LLM进行自然语言处理的优缺点

    语言任务,如文本分类、情感分析、机器翻译等。以下是使用LLM进行NLP的些优缺点: 优点 强大的语言理解能力 : LLM通过训练学习了大量的语言模式和结构,能够理解和生成自然语言文本。 它们能够捕捉到语言中的细微差别,包括语境
    的头像 发表于 11-08 09:27 436次阅读

    雷达的基本分类方法

    电子发烧友网站提供《雷达的基本分类方法.pdf》资料免费下载
    发表于 09-11 09:09 6次下载

    谷歌拟在越南建立其首个大型数据中心

    8月29日最新消息,据路透社援引内部消息源透露,谷歌正酝酿项重要投资计划,拟在越南这东南亚国家建立其首个大型数据中心。这决定标志着美国科技巨头在地区布局上的新篇章。
    的头像 发表于 08-29 16:01 361次阅读

    如何训练有效的eIQ基本分类模型

    在 MCX CPU和eIQ Neutron NPU上。 eIQPortal它是直观的图形用户界面(GUI),简化了ML开发。开发人员可以创建、优化、调试和导出ML模型,以及导入数据集和模型,快速训练并部署神经网络模型和ML工作负载。
    的头像 发表于 08-01 09:29 1820次阅读
    如何训练<b class='flag-5'>一</b><b class='flag-5'>个</b>有效的eIQ基<b class='flag-5'>本分类</b>模型

    利用TensorFlow实现基于深度神经网络的文本分类模型

    要利用TensorFlow实现基于深度神经网络(DNN)的文本分类模型,我们首先需要明确几个关键步骤:数据预处理、模型构建、模型训练、模型评估与调优,以及最终的模型部署(尽管在本文中,我们将重点放在前四
    的头像 发表于 07-12 16:39 853次阅读

    llm模型有哪些格式

    Representations from Transformers):BERT是种双向预训练模型,通过大量文本数据进行预训练,可以用于各种NLP任务,如文本分类、问答、命名实体识别等。 b. GPT(
    的头像 发表于 07-09 09:59 614次阅读

    llm模型和chatGPT的区别

    LLM(Large Language Model)是指大型语言模型,它们是类使用深度学习技术构建的自然语言处理(NLP)模型。LLM模型可以处理各种语言任务,如文本生成、文本分类、机
    的头像 发表于 07-09 09:55 1053次阅读

    卷积神经网络在文本分类领域的应用

    在自然语言处理(NLP)领域,文本分类直是重要的研究方向。随着深度学习技术的飞速发展,卷积神经网络(Convolutional Neural Network,简称CNN)在图像识
    的头像 发表于 07-01 16:25 717次阅读

    交换机的基本分类

      交换机作为网络通讯中的核心设备之,其在网络架构中起着至关重要的作用。随着信息技术的飞速发展,交换机也在不断演进和革新,以满足日益复杂的网络需求。本文将对交换机的分类及其特点进行详细介绍,以期为读者提供清晰、深入的理解。
    的头像 发表于 06-06 11:06 1976次阅读

    请问个大数组是不是不能同时跨用内外部SRAM?

    1048576main.o(.bss) BIgData就是那个大数组,大小1024*1024字节 那么问题来了,只要BigData的大小超过外部SRAM大小,哪怕超1字节,编译器就会报错说内存不够了 这是不是就说明单一一
    发表于 03-26 07:06

    了解如何使用PyTorch构建图神经网络

    图神经网络直接应用于图数据集,您可以训练它们以预测节点、边缘和与图相关的任务。它用于图和节点分类、链路预测、图聚类和生成,以及图像和文本分类
    发表于 02-21 12:19 762次阅读
    了解如何使用PyTorch构建图神经网络

    中国批准14个大语言模型供公众使用,赶超美国AI进程加速

    据钛媒体报道,近期中国监管部门已经批准了14个大语言模型公开服务,自启动审批流程至今刚好半年时间,已核准40多个AI大型模型,显示出我国在该领域的积极进取,以期赶超美国。
    的头像 发表于 01-30 09:40 904次阅读