【资料图】

12月7日，自然语言处理国际顶会EMNLP 2022在阿联酋阿布扎比召开，本次大会，中国研究团队表现优异，阿里巴巴达摩院共有33篇论文被接收，是论文入选数量最多的研究机构之一。达摩院相关研究成果涵盖跨模态理解和生成预训练、知识增强的多语言预训练、具有自我评估能力的机器翻译等领域，多项成果已在魔搭社区ModelScope平台开放。

EMNLP 2022在阿布扎比召开

EMNLP是自然语言处理领域高影响力的会议之一，其在Google Scholar计算语言学刊物指标中排名第二。和传统学术会议不同，EMNLP更注重自然语言算法与各领域应用的结合，吸引了Google、微软、麻省理工学院等全球顶级科技公司和研究机构的参与。据介绍，今年大会主会和Findings共接收1381篇论文，其中主会接收论文829篇，接收率创新低仅为20%。达摩院共有22篇论文被主会接收，11篇论文被接收为Findings（不上主会报告的论文）。

达摩院NLP实验室资深算法专家邴立东在本次大会上共有8篇论文入选主会，个人入选论文数量位居全球研究者前列。他表示：“今年大会学术界和工业界的研究趋势仍在发生微妙的变化，语言模型 (Language Model) 相关的研究热度居高不下，有155篇论文在标题里提到了该关键词，此外跨模态预训练、文本生成、对比学习等领域的论文数量也在持续增长。”

EMNLP 2022大会首日议程

以大模型为例，达摩院创新性地提出了skip-connected网络结构，可解决当下多模态预训练模型训练和推理效率低，以及跨模态对齐模块中存在语义信息被视觉序列掩盖的问题，该网络可提高视觉表示中self-attention的计算效率，提速至少4倍。实验结果显示，基于该网络，达摩院通义AliceMind体系下的多模态预训练模型mPLUG用1300万公开图文数据预训练的模型，超越了传统模型上亿训练数据的效果。相关研究可应用于图像描述、图文检索、视觉定位和视觉问答等领域，基于该底座，达摩院于2021年在VQA(视觉问答）任务上实现了首次超越人类结果的突破。

据介绍，达摩院研发的阿里通义AliceMind体系涵盖预训练模型、多语言预训练模型、超大中文预训练模型等，具备阅读理解、机器翻译、对话问答、文档处理等多种能力，该模型体系已斩获36项冠军。

关键词：