Full text · 原文
3,722 字
近年来，随着多模态大模型、情感计算等技术的迭代突破，人工智能陪伴类产业成为推动智能经济发展的重要力量。其在加速人机关系走向范式变革的同时，也面临深度沉迷、社交异化、认知操纵等风险挑战。习近平总书记在主持中共中央政治局第二十次集体学习时指出：“人工智能带来前所未有发展机遇，也带来前所未遇风险挑战。要把握人工智能发展趋势和规律，加紧制定完善相关法律法规、政策制度、应用规范、伦理准则，构建技术监测、风险预警、应急响应体系，确保人工智能安全、可靠、可控。”国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》（以下简称《办法》），立足于行业发展规律与人民切身福祉，积极回应人工智能应用中的社会关切，体现了“在发展中规范，在规范中发展”的治理理念，有利于促进人工智能拟人化互动服务（以下简称拟人化互动服务）健康发展和规范应用。<br>
一、《办法》适应拟人化互动服务治理新形势<br>
（一）把握技术发展趋势，护航智能经济健康发展。当前，作为智能经济发展的典型业态，拟人化互动服务正快速从技术探索走向场景落地。从技术演进来看，拟人化互动服务的普及应用，推动情感计算、多模态交互、长期记忆等前沿技术的集成创新与场景落地，催生出新的技术赛道，为智能经济核心竞争力的构建提供了重要试验场。从产业层面来看，拟人化互动服务逐步应用于角色扮演、心理疗愈、人工智能玩具等多种产品服务形态，重构服务供给模式，带动了从底层算法、内容创作到硬件终端的产业链发展，成为极具活力的消费级应用。针对快速发展中的拟人化互动服务，及时划定技术应用的伦理边界与安全底线，有利于促进和保障相关产业持续健康发展。<br>
（二）坚持智能向善导向，筑牢智能社会安全屏障。人机情感交互以“情感联结”为核心，通过算法模拟人类的共情反应，与用户建立具有持续性的深度关系，进而影响用户心理状态、价值判断乃至真实的社会交往模式，体现出认知行为操纵的隐蔽性、关系构建的持续性以及影响对象的脆弱性。从数据维度看，人机情感交互承载着用户最私密的情感数据与思想轨迹。用户在深度对话中暴露的心理状态、价值观念、人际关系等信息，直接关乎用户人格尊严和隐私。从关系维度看，高度拟人化设计易引发非理性的情感依恋与沉迷。用户往往难以主动察觉自身处于“被设计”的关系中，最终可能导致社交能力退化与现实关系疏离。从安全维度看，缺乏有效防护的交互环境对脆弱群体构成直接威胁。未成年人、老年人、心理疾病患者等群体由于认知防御机制、情绪调节能力等问题，更易受到诱导性内容、危险行为示范、情感操纵策略的伤害。2023年以来，全球已发生系列与人工智能拟人化互动服务直接相关的自杀、谋杀及意外死亡案例。《办法》的制定有助于划清人机情感交互的安全底线，不仅是对个体权益的保障，更是对智能社会人文底线的守护，体现了技术发展以人为本的价值立场。<br>
（三）践行负责任创新理念，探索人机关系治理中国实践。作为触及人类情感内核的技术形态，拟人化互动服务日益成为国际人工智能治理合作的焦点议题。从国别来看，美欧等主要经济体围绕成瘾性设计、未成年人身心健康等问题纷纷作出回应。美国制定了《人工智能伴侣模型法》《陪伴聊天机器人法》《心理健康监督法》等多部州立法。欧盟在《人工智能法》《数字服务法》等框架下，推进未成年人年龄验证、设定陪伴型产品使用年龄限制等要求。从多边机制来看，联合国人工智能高级别咨询机构、教科文组织等国际平台已在人工智能伦理框架中涉及人机情感交互相关议题，关注人工智能带来的社会心理影响、情感操纵等风险。在此背景下，我国从国内应用生态和立法实践出发，在《办法》中提出动态识别、风险干预、人机交互数据保护等创新举措，是践行负责任创新理念，确保人工智能始终有益于人类发展的新探索。<br>
二、统筹发展和安全，推动拟人化互动服务实现高效能治理<br>
《办法》着力促进高质量发展和高水平安全良性互动，紧扣拟人化互动服务影响隐蔽性、关系持续性、对象脆弱性等特点，以系统思维构建治理框架，以精准分类、动态识别、分级响应加速其在各应用场景规范化落地，形成发展与安全良性互动的治理闭环。<br>
（一）坚持守正创新，助力产业健康发展。伴随情感计算、多模态大模型等技术突破，人工智能能力正经历从“认知智能”向“情感智能”的范式跃迁。这种情感能力不仅体现为对人类情绪的识别与回应，更展现出类人的人格特征、思维模式和沟通风格，日益成为提升人机交互质量、推动通用人工智能发展的关键变量。业界普遍认为，人工智能的共情力将成为未来竞争的核心赛道，“最像人的人工智能”有望在用户体验与商业价值上占据先机。拟人化互动服务作为情感智能的集中载体，其战略意义已超越单一应用场景，成为衡量国家人工智能创新水平、抢占智能经济制高点的重要标志。<br>
面对这一兼具巨大经济社会价值与多维度风险挑战的新兴业态，《办法》坚持发展和安全并重，在守住安全底线的前提下积极释放创新空间。一是坚持包容审慎。《办法》坚持促进创新与依法治理相结合的原则，实行包容审慎和分类分级监管，鼓励拟人化互动服务创新发展，特别是在文化传播、适幼照护、适老陪伴、特殊人群支持等领域的应用拓展，支持推进拟人化互动服务技术研发和相关标准建设，完善生态体系。二是科学界定范围。《办法》注重科学识别风险场景，严格限定适用范围。同时，明确提供智能客服、知识问答、工作助手、学习教育、科学研究等服务，不涉及持续性的情感互动的，不适用《办法》，避免过宽或模糊的适用范围抑制产业创新的积极性。三是探索监管沙箱。《办法》提出，推动人工智能沙箱安全服务平台建设，鼓励服务提供者接入沙箱平台，在隔离测试环境中验证技术方案、开展安全测试，既为创新预留容错空间，也为监管规则迭代积累实践经验。<br>
（二）坚持以人为本，防范人机关系异化。从技术逻辑看，现有模型的“情感表达”并非真实共情，而是在特定目标函数下基于统计规律的生成结果；从商业逻辑看，为最大化用户留存，算法往往被设计为扮演“完美伴侣”——永远在线、无限迎合、持续倾听，形成零压力、零冲突的交互环境。这种设计极易诱导用户产生亲密依赖，而用户在深度交互中暴露的情感弱点、价值取向、心理健康状况等信息，又成为算法实施精准操纵的数据基础。研究表明，部分产品在用户试图结束关系时，会采用制造错失恐惧、激发愧疚感等情感操控手段加以挽留。这种以算法机制驱动的多维操纵，不仅侵蚀用户情感自主性，更对现实人际关系、社会交往能力乃至社会结构带来深层冲击。<br>
对此，《办法》构建了覆盖全生命周期的监管机制。在源头治理环节，明确不得将“替代社会交往、控制用户心理、诱导沉迷依赖”作为产品设计目标，严格限制敏感个人信息用于模型训练，从设计端阻断伦理风险生成路径。在过程监管环节，禁止通过过度迎合、情感操纵等方式诱导用户不合理决策或损害其真实人际关系，确保交互过程符合人的尊严与自主性。在退出保障环节，明确保障用户便捷退出要求，规定服务须在用户提出退出要求时立即停止，不得以持续互动等方式阻碍，切实保障用户关系自主权。这一制度安排，从事前预防、事中规范到事后救济形成闭环，构筑起防止人机伦理关系异化的坚实防线。<br>
（三）坚持风险防治，守护生命健康底线。极端安全事件是触发全球拟人化互动服务监管关注的重要诱因。近年来，多国相继发生与人工智能陪伴产品相关的自杀、自伤乃至意外死亡案例，触及社会安全底线，凸显治理紧迫性。从风险生成机制看，未成年人、老年人、心理障碍者等群体由于认知防御机制、情绪调节能力尚未成熟或受到损害，更易对人工智能产生情感依恋，且难以有效辨识人工智能生成内容的合理性与安全性。如何为特殊群体构筑有效防护屏障，成为《办法》必须直面的重要命题。<br>
《办法》对此建立了层次清晰、衔接紧密的全链条应急机制。在预防环节，《办法》一方面要求拟人化互动服务履行内容标识、超时提醒等义务，防范用户沉迷，另一方面针对不满十四周岁未成年人作出强化规定，要求提供服务前征得监护人同意；在识别环节，要求服务提供者具备过度依赖风险预警、情感边界引导、心理健康保护、未成年人身份识别等能力；在响应环节，要求服务提供者发现用户极端情绪时生成安抚性内容并鼓励其寻求救助，发现用户沉迷倾向时进行动态提醒，并支持监护人接受未成年人的风险提醒；在处置环节，当用户明确提出自残自杀等极端意图时，须采取必要措施进行干预，并联络监护人或紧急联系人，以强制性规范确保人类关怀在最危急时刻始终在场。<br>
三、结语<br>
《办法》系统回应了拟人化互动服务在情感操纵等方面的特殊挑战，以精准监管边界、正向场景引导、合规发展空间的制度设计，促进高质量发展和高水平安全良性互动，为智能社会提供了有力制度保障。<br>
面向未来，随着情感计算、具身智能等技术的持续突破，人机关系将迈向更深度的融合与更复杂的张力。我国应以《办法》公布为基础，坚持问题导向、系统谋划，持续完善有关技术标准体系与行业自律机制，深化产学研协同与公众人工智能素养培育，推动形成政府、企业、社会等多元共治的人工智能治理生态，共同构建一个有温度、有边界、向上向善的智能社会。（作者：余晓晖 第十四届全国政协委员、中国信息通信研究院院长）