0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

在风格迁移中如何进行数据增强

深度学习自然语言处理 来源:深度学习自然语言处理 作者:丁磊 2021-01-13 09:41 次阅读

这是一篇关于风格迁移中如何进行数据增强的论文。在introduction部分,informal-->formal 的风格迁移问题,最大的障碍是训练数据的不足。为了解决此问题,本篇论文提出三种数据增强的方法来获得有用的语句对,分别为

back translation (BT)

我们使用原始语料库训练一个seq2seq模型。其中将formal语句作为模型的输入,让seq2seq模型有能力输出对应的informal句子。则 模型输入的formal语句和输出的informal语句就构成了一个新的语句对。

formality discrimination (F-Dis)

F-Dis方法使用机器翻译模型,将一个informal句子重写为formal句子。首先使用Google翻译API 将这些informal语句翻译成 其他语种(比如法语),然后又翻译回英语。如下图所示:

831f1182-549c-11eb-8b86-12bb97331649.jpg

其中,informal语句可以从网上william hill官网 上收集得到。

表示收集到的第i条句子(informal), 是最后翻译回的句子(formal), 二者构成了一个新的语句对。

本方法同时使用CNN构建了一个“格式判别器”:用来给一个句子的“正规”程度 打分。就是上图中右边括号内的小数。最终选出的新数据集要求如下:

837b0564-549c-11eb-8b86-12bb97331649.png

其中表示句子的“正规”程度, 是阈值

multi-task transfer (M-Task)

我们观察到,formal语句通常语法正确,而informal语句的语法经常出错。

前人研究表明,对FST的输出再使用一个语法错误纠正模型( grammatical error correction model,GEC)可以提高模型效果。受此启发,本论文直接使用GEC的训练数据作为增强的新数据集。如下图

83e7497c-549c-11eb-8b86-12bb97331649.png

模型训练

上面提到的seq2seq模型为Transformer (base)。

本论文首先使用增强的新数据用于 预训练,然后使用原始语料数据做微调,将这称为pre-training & finetuning (PT&FT)方法。下面结果证明了PT&FT的效果优于ST方法。ST是把增强数据和原数据一起训练。

843ca7b4-549c-11eb-8b86-12bb97331649.jpg

下图展现了三种数据增强方法的效果:

84b0048e-549c-11eb-8b86-12bb97331649.jpg

下图展现了我们的方法与前人模型的比较结果:

84cef614-549c-11eb-8b86-12bb97331649.jpg

责任编辑:xj

原文标题:【ACL2020】关于正式风格迁移的数据增强方法

文章出处:【微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7015

    浏览量

    88994
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132610
  • 自然语言处理

    关注

    1

    文章

    618

    浏览量

    13554

原文标题:【ACL2020】关于正式风格迁移的数据增强方法

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据文件资产迁移

    数据对象组网进行数据恢复。 创建空的分布式数据对象,用于接收恢复的数据; 从want读取分布式数据
    发表于 12-24 10:11

    HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据权限与基础数据

    向用户申请授权。 二、基础数据迁移 使用分布式数据对象,与上述开发步骤类似,需要在源端onContinue()接口中进行数据保存,并在对端的onCreate()/onNewWant()
    发表于 12-24 09:40

    使用CAN总线进行数据采集的方法

    是汽车内部各个模块之间进行通信的一种协议,通过它可以获取到车辆的各种状态信息、传感器数据等。因此,进行数据采集之前,需要熟悉CAN总线的工作原理、通信协议以及
    的头像 发表于 12-20 18:18 587次阅读

    zeta的定义和应用 如何使用zeta进行数据分析

    Zeta(ζ)电位是描述悬浮粒子液体中移动时所产生的电位差的一个物理量,以下是对其定义、应用以及如何进行数据分析的详细解释: Zeta电位的定义 Zeta电位是通过理论推导和实验测量得到的,它反映
    的头像 发表于 12-19 18:10 439次阅读

    如何使用ddc进行数据分类

    探讨如何使用DDC(Dewey Decimal Classification,即杜威十进制分类法)进行数据分类时,我们首先需要明确DDC是一种用于图书馆分类和组织图书的体系,它按照一定的体系将各种
    的头像 发表于 12-18 15:05 211次阅读

    如何使用cmp进行数据库管理的技巧

    使用 cmp 命令时进行有效的数据库管理。 1. 理解 cmp 命令 cmp 命令用于比较两个文件是否在内容上完全相同。它逐字节比较文件,并在找到第一个不同的地方时停止。这对于检查数据
    的头像 发表于 12-17 09:31 98次阅读

    如何使用SQL进行数据分析

    使用SQL进行数据分析是一个强大且灵活的过程,它涉及从数据库中提取、清洗、转换和聚合数据,以便进行进一步的分析和洞察。 1. 数据提取(Da
    的头像 发表于 11-19 10:26 265次阅读

    ADS1299与STM32f407通过SPI进行数据传输的时候,可以直接使用HAL库的HAL_SPI_Receive函数进行数据传输吗?

    与STM32f407通过SPI进行数据传输的时候,可以使能SPI之后,直接使用HAL库的HAL_SPI_Receive函数进行数据
    发表于 11-13 08:29

    使用TMS320C6000 MCBSP进行数据打包

    电子发烧友网站提供《使用TMS320C6000 MCBSP进行数据打包.pdf》资料免费下载
    发表于 10-26 10:54 0次下载
    使用TMS320C6000 MCBSP<b class='flag-5'>进行数据</b>打包

    使用AI大模型进行数据分析的技巧

    使用AI大模型进行数据分析的技巧涉及多个方面,以下是一些关键的步骤和注意事项: 一、明确任务目标和需求 使用AI大模型之前,首先要明确数据分析的任务目标,这将直接影响模型的选择、数据
    的头像 发表于 10-23 15:14 715次阅读

    如何利用海外爬虫IP进行数据抓取

    利用海外爬虫IP进行数据抓取需要综合考虑多个方面。
    的头像 发表于 10-12 07:54 191次阅读

    何进行IP检测

    排查网络连接问题,并及时的防范潜在的网络攻击。 那么,如何进行 IP 地址检测呢?接下来我将进行图示哦~ 使用操作系统自带的工具 ① Windows 系统,按win+R,输入“ipconfig”命令。 ② Mac 系统
    的头像 发表于 07-26 14:09 539次阅读
    如<b class='flag-5'>何进行</b>IP检测

    求助,IR615可以选用哪种vpn协议?如何进行配置?

    现有多台IR615路由器,希望将其配置为vpn客户端,连接云服务器的vpn服务端 工程师远程连接云服务器对IR615进行管理 IR615可以选用哪种vpn协议?如何进行配置? 服务
    发表于 07-25 07:53

    ESP32-C3SPI-AT模式下进行数据透传,最后一个数据包的数据偶尔会出现错误,为什么?

    目前采用SPI-AT的方式两个硬件板之间进行数据的无线传输,一个作为AP开启TCP服务器,一个作为STA连接到对应的服务器,传输的数据量为3000000字节,测试的过程
    发表于 06-26 06:07

    stm32f105自动生成的USB主机, 如何进行数据的接收?

    stm32f105自动生成的USB 主机, 如何进行数据的接收? /** * @briefThe function informs user that data have been sent
    发表于 03-26 07:29