基于TF-IDF与LDA的杜甫全集情感和主题分析

黄杰晟

（广东开放大学人工智能学院，广州510091）

0 引言

主题文本分析也称主题发现（Topic Discovery），是利用一系列语义理解方法，从复杂的大规模信息源中抽取关键词或术语，并在此基础上加以聚类，从而发现文献主题的技术方法。旨在处理和分析大规模信息并且使用户快速有效了解信息内容，发现信息中的主题[1]。

情感文本分析（Sentiment Analysis）是自然语言处理（NLP）中一个重要的研究方向，也叫意见挖掘或倾向性分析，是人们对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程，例如产品、话题、评论、情绪或者态度的领域，通过分析文本中的字、词、句、篇是积极（Positive）还是消极（Negative）的情感。

情感文本倾向性分析与主题文本分析相似但有所不同，主题文本分类分析是基于内容本身，把文本分类到各个预定义的主题上，如政治、军事、财经、体育等；而情感文本分类不是基于内容本身，而是按照文本表达的情感、态度进行判断。现有的机器学习中的分类方法都可以用到情感分类。

中国传统古诗词文字简洁用意深刻，重在以意象来表现诗歌的内涵，加上常运用典故，遣词用字比较晦涩难懂，如果首先能通过对诗词进行情感和主题的分析，高效快速对古诗词作品乃至诗词作者有一个大致的了解，再结合创作作品的时代背景，最后通过对诗词作品“字-句-联-篇”细细品味，能使现代人更容易理解中国传统文化诗歌的内涵，对继承与发扬古诗词都能起到积极的作用。因此本文选取了被世人称作“诗圣”的著名唐代诗人杜甫的诗集做相关情感和主题分析，理由有二，一是杜甫名气大，诗歌创作水平高；……