基于预训练语言模型的BERT-CNN多层级专利分类研究

陆晓蕾，倪 斌

(1. 厦门大学 外文学院，福建 厦门 361005；2. 中国科学院计算技术研究所 厦门数据智能研究院，福建 厦门 361005)

0 引言

近年来，工业界和学术界产生了大量专利申请。据世界知识产权保护组织(WIPO)的指导性报告显示： 2017年，全球所有专利局共受理的专利申请超过三百万个，并且这项数据每年还在快速增长。出于检索和管理需要，专利文献需按照专业技术领域进行分类与赋码。1971年《斯特拉斯堡协定》提出的国际专利分类法(IPC)是国际上通用的专利文献分类法，几乎覆盖了所有科技领域，超过90个国家使用该标准。该分类标准提供了一种由独立于语言的符号构成的树形体系，按所属技术领域对发明专利和实用新型专利进行分类。IPC分类包含“部(section)—类(class)—亚类(subclass)—组(group)”四个层级，其中“组”级共含有74 503种类别(WIPO，2019)。传统的人工分类受限于专利员自身的知识与经验，难以做到快速和精确。随着专利申请数量的剧增，IPC分类法的多层级、多标签等特点给专利审查人员带来了巨大的工作量。同时，快速的全球化竞争以及完善的知识产权保护体系对文献分类技术提出了更高的要求。随着深度学习和文本分类的快速发展，越来越多的研究开始聚焦于专利文献的自动分类。目前，面向自然语言处理的专利分类研究多集中于英文专利申请，然而，我国的专利申请数量占全球的43.6%[1]，构建一个相对精确的中文专利分类器的需求也日益凸显。本文试图利用基于卷积神经网络、循环神经网络和BERT预训练模型等深度学习手段建立中文专利文献分类器，提出了BERT-CNN模型，并探索多层级文本分类方法，为快速准确的专利文本分类提供参考。……