写作机评原理及应用述评

黄万武 项颁

【摘要】本文依据语言测试领域的作文评分要素，对国外具有代表性的三种写作机评系统原理和国内主要的写作机评应用进行评介和比较，指出这些评分系统和软件在评分信度和效度等方面优势和劣势，并分析这些作文自动评分系统为我国自主开发作文自动评分系统所提供的借鉴作用。

【关键词】写作机评系统原理 写作机评应用 评分要素

写作自动评分系统对能够提高语言测试的效率和降低成本，本文着重介绍国外内经典的写作机评原理，并简要分析他们的优缺点。

一、经典的写作机评原理

1.基于语言形式的机评系统——PEG。PEG于1966年由美国杜克大学的Ellis Page等人开发。PEG的设计者认为作文质量有赖于作文的深层结构，而机器无法直接衡量，因此，他们以文本表层特征项为切入点，间接评价作文质量。

PEG写作机评分三阶段：变量提取、多元回归分析和把多元回归得到的beta值代入计算机程序换算出作文得分。PEG首先收集了一部分人工评分后的作文，再利用自然语言处理技术，从作文中提取若干个文本特征项，并在这些文本特征项与人工评分之间进行相关性分析。然后，Page选择与人工评分相关的文本特征项作为自变量，把人工评分作为因变量，进行多元回归分析，得到回归方程。回归方程为每一个变量确定了beta值，这样，在对新的作文进行评分时，PEG只需要提取这些变量，并把beta值代入回归方程之中，就可以预测出这些作文的得分。……