结合ALBERT和双向门控循环单元的专利文本分类

温超东，曾 诚，2，3*，任俊伟，张 䶮，2，3

（1.湖北大学计算机与信息工程学院，武汉 430062；2.湖北省软件工程工程技术研究中心，武汉 430062；3.湖北省智慧政务与人工智能应用工程研究中心，武汉 430062）

（*通信作者电子邮箱zc@hubu.edu.cn）

0 引言

近年来，专利申请数量呈现快速增长的趋势。2018 年全球创新者共提交了330 万件发明专利申请，连续九年实现增长，涨幅为5.2%。其中，中国国家知识产权局受理的专利申请数量最多，达到154 万件，占全球总量的46.7%［1］。为便于专利文献的检索与管理，需要对专利文献按照专业技术领域进行分类。1971 年《斯特拉斯堡协定》提出的国际专利分类法（IPC 分类法）是国际上通用的专利文献分类法，几乎涵盖了所有的科技领域，我国所使用的也是该专利分类法［2］。该分类标准按照专利所属的技术领域对专利进行分类，包含部、大类、小类、大组和小组五个层级。然而，现阶段专利分类的任务仍主要由专利审查员完成，不仅耗费大量人力和时间，且无法有效保证准确率。因此，需对专利文本进行自动化预分类，以实现专利文本的快速分类及快速审查。

与一般文本相比，专利文本具有以下特点：专业性强，领域词汇较多；类别众多，层级复杂；类别间相似度高，对特征表达能力要求高；各类别专利数量严重不均衡，给分类带来较大挑战。因此，对专利文本实现自动分类需要采用更加具有针对性的分类方法。本文利用结合ALBERT（A Lite BERT）和双向门控循环单元（Bidirectional Gated Recurrent Unit，BiGRU）的深度学习方法实现多层级专利文本的自动分类，提出了专利文本分类模型ALBERT-BiGRU，以辅助专利审查员快速准确地对专利文献进行分类。……