“网络暴力”是指用文字、图片、视频等形式在网络上诽谤、污蔑他人，损害他人的名誉权、隐私权等，给当事人带来精神压力与心灵创伤，是社会暴力在网络上的延伸。我们最常见的网络暴力主要出现在微博、视频、新闻资讯、论坛上。

(相关资料图)

“网络暴力”的成因，一是网络的匿名性，保护了个人隐私的同时，也让侵权者可以发表不计后果的言论；二是部分媒体为了追求流量与关注度，采用片面报道和刻意扭曲事实来增加话题性；三是当舆论形成，个人容易趋向于群体价值理念的方向、忽视了自我理性思考的能力。

社交媒体上的网络暴力主要以评论、弹幕等形式传播，对于分析评论、弹幕这样的非结构化语言数据，应用的核心AI技术主要是自然语言处理。自然语言处理技术基于机器学习和深度学习方法，能够让机器自动学习语言特征，从而让机器拥有对人类语言的理解能力，目前该技术已广泛用于文本分类、自动摘要、问答系统、机器翻译、情感分析等方面，在现实生活中常见的语音助手、以及最近大火的ChatGPT等都是自然语言处理技术常见的应用，而在“网络暴力”治理方面，也会涉及到以下几个方向：

文本实体抽取：

“网暴”的对象通常是某个人物或事件，所以我们首先要在海量评论数据中筛选出对某网暴事件的评论，这里面主要涉及命名实体识别算法（NER）。NER算法主要分为基于规则方法，基于统计方法，基于深度学习方法等。

图1 命名实体识别方法

文本情感分析：

情感分析可以针对某条评论进行正/负向打分，同时识别出语义中是否包含不同种类的情绪细节，还可以从文本中智能提炼对整体情绪影响最大的关键词。从而可以了解千万条评论内容背后的网民情绪分布，甚至还可以按时段，按地域，按性别对不同群体对不同事件的情绪进行分析，及时管控对事件的消极暴力情绪，同时根据极性词挖掘更多潜在网暴行为。

图2 不同的情绪分类

涉及的技术点主要是利用机器学习（SVM等）或深度学习（CNN）的文本分类和极性词挖掘，整体流程如图所示：

图3 句子级情感分析方案

文本相似度分析：

对同一个事件的评论内容进行相似度分析，可以帮助我们发现事件评论的舆论趋势。对不同事件的评论内容进行相似度分析，可以找到与“网暴”用户用词或表达有共同点的评论，挖掘出某件事/某个人近期的舆论积极/消极性。目前，相似度分析的深度学习范式主要有两种，如下图所示：

图4 相似度分析的两种范式

第一种范式首先通过深度神经网络提取评论内容的表示向量，再通过表示向量的简单距离函数（欧式距离等）计算两者的相似度，这种方式提取表示向量通常用孪生网络来实现，属于这一类的常用模型包括DSSM、CNTN等。

第二种范式是通过深度模型提取评论内容的交叉特征，得到匹配信号张量，再聚合为相似度分数。

句法/词法分析：

通过句法和词法分析，我们可以挖掘出大量“积极”评论和“网暴”评论的常见句法，词法习惯，从而总结出当前网络环境中“网暴”用户普遍所使用的话术和用词，以及不同用户在表达观点极性时所使用的的语言特点。

句法结构分析，用来识别句子的主谓宾定状补，并分析各成分之间的关系，一般基于深度学习的RNN和LSTM序列模型。

词法分析的任务就是：将输入的评论内容字符串转换成词序列并标记出各词的词性，主要用到序列标注技术，具体算法包括，条件随机场（CRF）、RNN+CRF等。

图5 词法分析样例

“网络暴力”的存在，不仅会直接危害到受害人的权益，还会对网络安全和社会和谐带来不良的影响。中国移动智慧家庭运营中心凭借在深度学习、图像识别、自然语言处理、OCR等方面的技术积累，推出内容安全防护产品，可对图片、文本、视频、音频等中涉黄、涉暴恐、涉政、涉赌、图片OCR、人脸识别等多维度内容进行安全检测。

随着AI技术的发展，基于技术手段的互联网暴力治理，将逐渐扮演重要角色。中国移动智慧家庭运营中心将在该场景持续进行先进技术探索，结合业界前沿技术赋能内容生态构建，积极响应国家网信办“清朗”系列专项行动，为清朗网络环境贡献自己的一份力量。