分布式强化学习算法在异常财务数据分析中的应用

董亚晓，杨寒冰，樊浩

（西安航空职业技术学院，陕西西安 710089）

企业的财务状况时刻发生着变化，面临着内部与外部的多重因素影响。如何迅速、精确地智能化分析企业的财务数据，并准确判断企业的运营情况，对于资本市场具有重要的实用价值[1-5]。

当前，随着人工智能技术的发展，借助计算机技术构建智能化的财务数据分析模型，实现异常财务数据的识别与告警是“金融+计算机”融合趋势的重要表现之一，但现有的分析算法存在效率低、准确率差的缺点。为了克服这些缺点，文中对分布式强化学习算法进行了研究。通过建立合理的财务数据分析指标体系，实现了对异常财务数据的识别[6-12]。

1 理论基础与系统设计

1.1 分布式强化学习

强化学习的灵感来源于人类对动物学习行为的观察，强化学习是一个典型的人工智能系统。该系统通过感知环境的变化，采取试探性动作。同时系统感知这一动作的反馈结果，以评判状态的适应度。系统不断重复这一反馈的过程，从而得到该环境下的最优反应行为。传统强化学习方法的学习载体通常只有一个，近年来，随着计算机运算能力的增强，多个学习单元的分布式强化学习系统成为了研究的热点之一。分布式强化学习系统包含：中央强化学习、独立强化学习、群体强化学习等多个类别，文中使用了中央强化学习系统[13-16]。

图1 给出了中央强化学习的体系结构图。对于中央强化学习方法，可以用数学形式表述为：