基于深度学习的Stack Overflow问题帖分类方法

杨 光, 贾焱鑫, 陈 翔,2, 许舒源

(1. 南通大学 信息科学技术学院, 江苏 南通 226019; 2. 南京大学 计算机软件新技术国家重点实验室, 南京 210023)

科研开发人员经常在其问答网站(例如Stack Overflow, 简称SO)上讨论并解决技术开发过程中遇到的问题. 目前, SO中已积累了16 500 000个可以解决开发人员技术问题的问题帖及对应的答案帖, 而用户在如此海量的帖子中找到正确的解决方案有一定的困难. 因此, 对Stack Overflow网站的挖掘与分析已成为软件仓库挖掘领域的一个研究热点. 例如: Shah等[1]通过建立逻辑回归分类器为用户提出的问题找出最优答案并分析出答案的质量； Mamykina等[2]分析了成功问答网站的设计特点； Openja等[3]从主题分析的角度对Stack Overflow网站上与软件工程相关问题的帖子进行了大规模实证研究.

为简要描述SO的帖子内容, 每个问题帖都标有1～5个标签, 标签主要基于技术内容对帖子进行分类, 例如帖子是否与Android,Java或Hadoop等相关. 目前, 网站使用用户定义的标签对每个问题进行分类, 但标签一般是在用户发布问题时手工提供的, 这可能导致用户提供了错误和不一致的标签, 例如一个用户可能使用标签“iphone api”, 而另一个用户可能使用“iphone sdk”, 虽然意图相同(即帖子是相关的), 但由于帖子使用了不同标签, 所以不会被分在一组. 该问题导致了“标签爆炸”. 一般使用4%的标签即可完成90%的问题贴分类. 标签可能无法反映出问题的目的, 例如含有“Java”标签的问题只能确定该问题与Java语言有关, 但无法确定该问题是与GUI开发相关还是……