数字化时代内容风控领域的实践探索

摘要：随着数字化时代的到来，大数据、人工智能等新技术、新应用、新业态高速发展，由文字、图片、视频等传播形态带来的海量信息流通过各种内容平台广泛传播，多元呈现形式及创作主体引发的网络信息乱象、内容安全事件频发。如何防止违法违规信息传播，规范传播秩序，成为社会广泛关注的话题。

文章分析数字化时代内容风控的发展背景、市场现状及主要业务模式，以人民网、Facebook等媒体为研究对象，探究这些媒体发挥内容把关优势，依托大数据、人工智能等技术，围绕内容风控标准制定、技术赋能、平台建设等方面开展的实践探索，进而指出数字化时代主流媒体在推动内容风控产业发展、提升行业整体审核水平、助力互联网尤其是商业平台信息内容生态良性发展中所具备的优势与价值。

关键词：数字化时代；新媒体；内容风控；内容把关；PGC；UGC；AIGC

中图分类号：G206；G210.7 文献标志码：A 文章编号：1674-8883（2023）13-0080-03

美国麻省理工学院教授尼葛洛庞帝在《数字化生存》中提出，后信息社会，又称比特时代或数字化时代，是继工业时代和信息时代之后的新时代[1]。当前，新一代人工智能正在全球范围内蓬勃发展，推动着人类社会生活、生产、消费模式的巨大变革，为经济社会发展提供了新动能[2]。

科技革命和产业变革使得媒体的传播方式和商业模式正在被重塑，媒体内容的生产及分发方式发生根本性改变——从专业生成内容（PGC）到用户生成内容（UGC）再到AI生成内容（AIGC），创作者生态不断变化，效率和产出都呈倍速提升[3]。媒体产业从传统的垂直层级结构转变为横向网络结构；传统媒体的受众转向数字媒体，通过互联网和移动设备获取信息；新的媒體形态和内容表达方式不断涌现。

一方面，数字媒体的崛起为媒体提供了更多交互方式和商业模式，实现了个性化定制和精准营销；另一方面，传统媒体面临收入下降、市场份额流失和盈利模式变革等挑战。

“新媒体”，即数字化媒体，是生长于数字传播技术之上的媒体形态及传播范式。当代数字新媒体浪潮本身就是数字化社会与数字化经济的组成部分之一，因此数字化这一动作在媒体领域早已开始[4]。人工智能产业前景广阔，生成式AI更是一个极具突破性的产业发展方向，它不仅能给数字媒体和虚拟空间带来价值，还能促进实体行业的发展[5]。虽然数字化时代给人们带来了诸多便利，但是也带来了新的挑战，如数字隐私、网络安全、知识产权等。

一、内容风控的发展背景及市场现状

数字化时代，海量信息真假难辨，内容安全事件时有发生。其中，以UGC最为典型[6]。用户由信息接收者转变为信息生产者，每个用户都可以进行内容生产。但用户的知识素养、专业技术、道德水平参差不齐。某些商业平台为了赚取流量，散布违反法律法规、违背社会公序良俗的内容。如果不对这些内容乱象加以约束管理，必定会误导用户、影响社会舆论甚至破坏国家政治稳定。

AIGC的出现或将打破传统的人为局限，实现独立创作和内容生态的无限供应。但随着AIGC涉足的领域越来越广，其可能在伦理、道德和法律方面引发诸多问题[7]，如AI生成的内容可能包含虚假、具有误导性的信息等，这会削弱信息的真实性和可信度，并对受众产生不良影响。

此外，AI生成的部分内容包含个人信息，如姓名、照片、联系方式等，可能被用于诽谤、恶意抨击，导致个人的隐私权、人格权被侵犯。这些风险均需要重视，并采取措施来减少负面影响。

近年来，为整治网络生态突出问题，监管部门加大打击违法力度，并采取了一系列治理措施，对维护网络内容安全特别是意识形态安全，提出了更高要求。2022年，中国国家互联网信息办公室组织开展13项“清朗”专项行动，清理违法和不良信息5430余万条，处置账号680余万个，下架APP、小程序2890余款，解散关闭群组、贴吧26万个，关闭网站7300多家[8]。

对互联网内容平台来说，内容风控的成败直接决定着平台和企业的生死。随着各行业、各组织机构日渐增强内容风控意识，内容风控成为互联网平台和企业的标配风控项。对监管部门来说，互联网上的信息庞杂，很难完全掌握和跟踪所有信息；信息传播速度快，审查难、取证难；部分平台对审核标准和尺度把握得不够准确，“自审自校”的机制无法做到严谨、客观、公正，这些都对内容风控提出了新挑战[9]。

所谓“内容风控”，即互联网内容风险防控。业内观点认为，内容风控是针对互联网上海量内容的内外部风险进行宏观到微观的引导和审核，从内容安全等领域帮助企业化解监管风险和社会舆论风险[10]。内容风控的核心是内容审核[11]，基于图像、文本、音视频的检测技术，可自动检测违法违规内容。内容风控是一个很大的体系，除了基础审核，还包括前期内容生产风控规范、舆情引导、内容的二次巡检、产品界面的风控提示等工作配合。人民网总裁叶蓁蓁曾总结道，“‘内容风控是一项政策密集型、技术密集型、管理密集型、人才密集型的全新业务”[12]。

目前，内容风控行业正处于发展初级阶段，呈现出专业化、智能化、规模化、产业化特点，其市场规模伴随移动互联网内容产业发展不断扩大。按照方正证券的预测，当下中国互联网内容产业规模在9500亿以上，假设内容审核投入占互联网内容市场的2%，那么整个内容审核行业的规模将超190亿，如果其中50%是大厂闭环，其余给到第三方市场化企业的市场空间也会在百亿以上[13]。

二、内容风控的主要业务模式

从当前的技术手段来看，内容风控的主要业务模式包括下列五类：

数据采集与分析模式。该模式主要通过采集用户的行为数据、社交媒体数据、设备数据等信息，并通过数据挖掘和分析技术来识别潜在的风险和不良内容。通过用户在社交媒体上的言论和行为数据，判断其是否存在恶意行为或发布不良内容的倾向。

内容审核与过滤模式。该模式主要通过建立内容审核和过滤系统，对用户上传的内容进行实时检测和筛选。这些系统通常包括关键词过滤、图像识别等算法，以识别和过滤不良内容。

用户行为监控与反欺诈模式。该模式主要通过监控用户的行为模式和交易数据，识别潜在的欺诈行为和风险。识别用户账号的异常登录地点、登录时间、登录设备，以及不寻常的交易行为，判断是否存在账号被盗用、交易欺诈等风险。

实名认证与信用评估模式。该模式主要通过实名认证和个人信用评估来建立用户信任度，降低不良内容的风险。要求用户提供真实姓名、身份证号码等，利用大数据和机器学习技术进行信用评估，以识别高风险用户和不良行为。

协同过滤与社群监督模式。该模式主要通过建立用户社群和使用者反馈机制，并通过协同过滤算法和社区监督来推荐和筛选内容。系统会根据用户的兴趣、评价和行为历史，为其推荐相关内容，并通过用户的反馈等来动态调整和优化推荐结果。

上述业务模式通常会结合多种技术手段，如人工智能、机器学习、数据挖掘等，以提高内容风控的准确性和效率。

从商业市场模式来看，自建审核团队和第三方审核是内容风控的两种主要模式。第三方内容风控，是由第三方专业机构借助技术和人工审核团队，对平台进行违规内容识别，过滤并删除含有违规信息的图文及音视频，确保平台内容合法合规，内容平台方根据审核内容及数量支付给第三方机构一定报酬的业务模式[14]。

目前，第三方内容风控服务商的标配是“机器识别+人工审核”。机器识别，即基于深度学习及大规模样本训练，对内容进行分析，分辨其中可能存在的违法违规内容，对其进行标红和分类预处理后交由人工审核。除此之外，还有少数服务商提供“机器识别+人工审核+安全策略”服务。审核主体包括互联网企业及传统媒体，其中互联网企业包括阿里云、腾讯云等。以腾讯云为例，其推出的基于人工智能和大数据技术的内容审查系统，能够有效帮助企业监测和审查用户生成的内容，防止违法违规信息的传播。

从风控需求来看，互联网时代内容风控应满足横纵两方面要求。横向方面，内容形式应做到全域覆盖，主要包括文本、图片、音频、视频、网页；纵向方面，垂直场景应做到深度应用。

由于人工智能对内容的辨别程序的准确性具有不确定性，所以目前80%以上的内容风险仍有赖于人工研判。内容风控产业需要大量专业人才，这些专业人才必须有丰富的政治、历史、文化、经济、军事等知识储备，才能识别各类违规内容及其形态变形。

三、内容风控领域的实践探索

目前，国内外一些主流媒体已经就内容风控服务输出展开探索。如Facebook，利用机器学习算法和图像识别技术来识别和过滤违规内容，并通过收集用户反馈和人工审核来填补机器学习算法的工作。

（一）主流媒体的优势

与互联网企业相比，主流媒体拥有更专业的团队，其对政策导向的把控和解读更加权威，能为用户提供高质量、可信赖的内容。尤其是在面对重大事件、敏感事件时，主流媒体的团队经验丰富，能够通过风控服务维护用户的合法权益，提升用户体验，起到净化网络环境的作用。可以说，主流媒体是帮助用户明辨是非、营造清朗舆论空间的主力军。

（二）主流媒体在内容风控领域的实践探索

随着互联网内容产业的发展和内容监管政策的逐步规范，内容风控市场持续扩大。具有天然导向把控和内容把关优势的主流媒体现已成为第三方内容风控服务输出主力。

内容风控服务方面，人民网推出第三方风控平台，提供文字、图片、音频、视频等全品类内容风控及培训服务，业务范围覆盖文字、图片、短视频等各类新型互联网内容形态。通过组建专业的内容审核团队及采用人工和技术相结合的方式，对平台上的内容进行严格审核。不仅如此，还针对不同的内容和敏感问题制定了专门的审核规则和标准，利用人工智能和大数据技术，积累了大量内容风险识别模型和算法。

市场应用方面，人民网采用“人工智能初审+人工复审”的审核模式。与大型央企、国企、互联网企业建立长期合作模式；针对中小型企业搭建云审核平台，通过智能化、标准化服务，帮助中小型企业确保内容安全、降低内容审核成本。人民网把内容风控定义为一个全新职业，形成职业分级与分类，同时形成“风控大脑”，通过数据积累，使自身不仅能提供内容风控服务，还能对外输出一套业务标准[15]。

新华网自主研发的自动审核系统，可以自动识别和过滤违法违规信息，确保信息质量和可信度。此外，其还利用区块链技术构建了内容溯源系统，对内容的来源和传播路径进行追踪和溯源。该技术能够有效对抗信息篡改和虚假信息的传播，为用户提供更安全、更可靠的信息环境。

四、结语

近年来，从中央到地方陆续发布多项互联网内容治理措施，监管政策趋严。在净化网络生态、规范网络传播秩序的背景下，主流媒体应发挥内容把关优势，依托大数据、人工智能等技术，围绕内容风控标准制定、平台建设、人才培养等，开展更多内容风控领域的创新实践，助推内容风控产业发展，助力网络强国、数字中国建设。

参考文献：

[1] 尼古拉·尼葛洛庞帝.数字化生存[M].北京：电子工业出版社，2017：158-160.

[2] 王延峰，于晓宇，史占中，等.赋能：人工智能与数字经济[M].北京：高等教育出版社，2022：31-32.

[3] 吕白，机器猫. AIGC+：100倍速生产爆款内容的底层逻辑[M].北京：北京理工大学出版社，2023：6-9.

[4] 高阳.新媒体的逻辑：内容生产与商业变现[M].北京：社会科学文献出版社，2020：22-25.

[5] 丁磊.生成式人工智能[M].北京：中信出版集团，2023：17-19.

[6] 陈安庆.内容审核：传统媒体盈利新模式[J].青年记者，2019（4）：11-12.

[7] 刘琼. ChatGPT AI革命[M].北京：华龄出版社，2023：185-187.

[8] 中国国家网信办：2022年清朗行动下架APP、小程序2890余款[EB/OL].中国新闻网，https：//www.jwview.com/jingwei/html/03-28/533834.shtml，2023-03-28.

[9] 简承渊，冯思潮，何娇.全媒体时代内容风控的困境与新路径[J].青年记者，2019（10）：36-37.

[10] 夏云.互联网时代内容风控业务研究[J].综合研究，2021（11）：83-84.

[11] 黄奇帆，朱岩，邵平.数字经济：内涵与路径[M].北京：中信出版社，2022：7-9.

[12] 人民网总裁叶蓁蓁：主流媒体引导力，可否这样实现？[EB/OL].人民网，http：//media.people.com.cn/n1/2019/0211/c192370-30617943. html，2019-02-11.

[13] 辛瑞佳.以科技为驱动，打造智能化的内容风控平台[J].传媒，2019（19）：22，24.

[14] 劉畅.内容审核这门生意，将走向何方？[EB/OL].财富中文网，https：//new.qq.com/rain/a/20220226A08HN700，2022-02-26.

[15] 朱浩齐.构建全链路内容风控体系，解决内容安全难题[J].中国信息安全，2020（2）：73-74.

作者简介 张燕，编辑，研究方向：国际新闻。