中国政策档案 Governance Archive HOLDINGS 191,422 · FONDS 70
Record · 国家互联网信息办公室 ACC. 12694478

Harnessing the Rapidly Advancing Technology: Reflections on Risks of Automated Synthetic Content

为飞驰的技术戴上驾具——对自动合成内容相关风险的思考

Issuer
国家互联网信息办公室
Date
2019-06-18
Instrument
other
Cited by
0
This document discusses the global trend of regulating automated synthetic content, referencing China's draft Data Security Management Measures and similar legislation abroad, and analyzes risks at individual, industrial, and national levels posed by AI-generated news, audio, and video.
Full text · 原文 2,647 字
环视寰瀛,规制自动合成内容,已是世界趋势。近日,国家互联网信息办公室会同相关部门研究起草《数据安全管理办法》,其中第二十四条明确:“网络运营者利用大数据、人工智能等技术自动合成新闻、博文、帖子、评论等信息,应以明显方式标明‘合成’字样;不得以谋取利益或损害他人利益为目的自动合成信息”。同期,新加坡国会通过《防止网络虚假信息和网络操纵法案》,针对“传播谎言、扭曲话语、违背公共利益”的“虚假账户和自动程序”作出规定;美国等地亦有议员提案,要求加强对自动合成内容的监管。<br> 这一监管趋势的“背景音”,是自动合成领域的技术“井喷”:大数据与人工智能,正以举世瞩目的速度,将“科幻想象”带入现实生活。人工智能既可“量产”足以投入商业实践的新闻,又可摹拟常人难以分辨的论文;不止于文字,具备足够数量样本后,相应技术还可根据使用者指定的内容及模仿对象,生成“以假乱真”的音频,毫不“违和”的图像,以及连贯流畅的带对白视频。譬如,借助上述技术,美国企业及研究机构曾不止一次合成真假难辨的奥巴马演讲视频:其中,他或朗读他国总统演讲文本,或以激烈语言斥责现任总统。<br> 与上述“背景音”相激荡的是下列两点观察:首先,类似技术将在个体、产业乃至国家等多个层面带来相当风险;其次,监管之外手段,暂不足以应对前述风险。自个体层面说起,一般而言,阅读“新闻、博文、帖子、评论”时,个体期待获取新信息、“看见更大的世界”;反之,考量“事实与观点常密切交织、不可分离”这一前提,媒体内容自然也有引导价值观的作用。既然,个体很难分辨自动生成内容与人工作品,前者又已在媒体等多个行业逐步投入实践,于是,要求自动生成内容符合前述两方面期待,即为分内之事。<br> 然而,自动合成技术可能将辜负以上期待。例如,针对“获取新信息”这一点,早在人工智能技术用于自动推荐之时,即有学者担忧“作茧自缚”问题:根据已有偏好作推荐,将不停强化个体已有的观念,而非引领个体“看更大的世界”。实际上,确有研究显示:纯由机器推荐新闻的环境下,个体会更少去读那些与自己观点不同的新闻。循此,多国研究者发出类似担忧:如此“自我强化”,将加剧不同社会群体间的“隔阂”甚至“撕裂”,而非促进理解与和谐。于兹,相比自动推荐内容更进一步的自动合成,则蕴含了更大的风险。<br> 价值引导部分存在类似的风险。赞扬新闻写作,常见的表达之一是“有温度”;所谓“温度”,多代指作者熔铸其中的情怀与价值追寻。比较之下,自动信息显得颇为“冰冷”:将“人”的角色从写作中抽离,似乎也意味着排除了来自人的情感与价值导向。然而这一点并不确实:即使是“自动生成”,产出仍依赖于相应算法的训练样本与输入;训练样本中包含的取向,也将因此带入自动生成的内容;由于算法产出未必能准确预测,如此带入的价值未必是能起正面引导作用的社会价值。弱化人的干预将加剧这一忧虑。<br> 面对以上问题,监管有其迫切必要。前述两方面风险,与媒体市场的激烈竞争间存在密切联系:其一,数字产业竞争激烈而节奏奇快,企业常有“一步慢而步步慢”之忧;其二,针对“新闻、博文、帖子、评论”等内容,竞争又尤其集中于点击率、停留时长等较多反映个体收益或短期利益的指标。由此,类似“作茧自缚”、“价值导向”等需要产业协力、且着眼于长期的利益,不易自发落入市场参与者的视野焦点,遑论落实至实践。针对此类问题,将“合成”内容区分开,并以此引导相应行为,是清晰且可行的出路。<br> 自动生成内容也将在产业层面带来亟需监管的风险。不妨以如下现象为引:初创互联网企业需要用户,然而,对尚缺知名度的企业来说获客尤难。于是借助包括合成在内的手段,新企业得以“创造”大量的“帖子、评论”等内容,提升经营指标上的表现,并由此度过艰难的启动期。然而,由于机器还无法自行走街串巷、品评商品,合成此类文字常需“借鉴”其他企业的已有内容。这既会为用户带来困扰,又可能侵扰其他企业的权益。此外,类似行为也会加剧各项指标与真实用户数目间的偏离,进而增加各方获取信息的成本。<br> 权衡以上效应,前者所对应的部分企业利益,很难压过后者所对应的用户与行业利益。此外,类似于“踮脚效应”:对体育馆内部分观众的踮脚行为不加监管,结果势必是所有观众都踮起脚;最终,所有人都得忍受不舒服的站姿,但没有人的视野因此改善。自动合成,其理亦然:率先采取自动合成的企业,将因内容扩充与指标改善获得优势;然而,伴随合成的推广,此类优势将慢慢耗散。此时,对个体的困扰,对实有原创内容企业的侵扰,及经营指标的失真,各负面因素将愈发突出。限制因谋利而合成,便可起到限制“踮脚”的作用。<br> 与自动合成内容相伴的还有国家安全层面的风险。以牛津大学互联网研究机构的的“计算宣传”课题为代表,近年来一系列成果发现:自动程序已大踏步迈上世界舞台,成为各国政治生态的一部分。以下描述绝非“杞人忧天”:一方以不知疲倦的生成算法与发帖机器人为“劳力”,利用自动合成的文章、图像或音视频散播各式观点、颂扬或打击特定对象,并由此影响另一方的政治进程。之前提到的奥巴马实例已足以为此敲响警钟。“计算宣传”课题业已发现:无论是中国在海外的形象,还是美国大选,均已受到类似自动手段的影响。<br> 监管以外的手段,对此类风险无能为力。开发利用上述手段者,不会为市场参与者所顾虑的“成本-收益”考量拘束,也无法以行业自律等手段规制。如此,技术以外,监管介入,已是势在必行。实例中,回顾新加坡《防止网络虚假信息和网络操纵法案》,其中特别强化了对两类信息的监管:一为“政治目的趋向”,包含“促进政党或其他群体利益”、“影响选举”、“影响公共舆论”及“影响立法”等事项;一为“危害公共利益”,此处则包含“危害安全”、“损害公共健康”、“影响对外关系”、“煽动群体矛盾”、“削弱公信”等事项。此处经验,亦可与“不得以……损害他人利益为目的自动合成信息”处表述比较。<br> 总之,自动合成的潜力固然无穷,但其所带来的风险也不可小觑,也难以借助市场、自律等手段解决。同时缺乏相应的问责机制,进一步强化了介入的必要;国际范围内,监管态势已成为潮流,也可与前述关切彼此呼应。放在这一背景下看,《数据安全管理办法》中对各方利益的权衡,及其中对各类风险的回应,足以为未来围绕自动合成技术的监管框架而奠基。一言以蔽之,技术不该,也不会肆意“驰骋”;自动合成,当在合体的“鞍鞯”与“辔头”下“飞驰”。(朱悦 对外经贸大学数字经济与法律创新中心研究员)