Full text · 原文
4,011 字
人工智能拟人化互动服务（以下简称拟人化互动服务）正以前所未有的方式重塑人机关系。从智能客服到心理疗愈，从适幼照顾到适老陪伴，拟人化互动服务通过模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动，在多个领域展现出巨大的应用潜力，但用户情感依赖等深层次风险也逐步凸显，规范治理需求日益迫切。<br>
近日，国家互联网信息办公室等五部门联合公布《人工智能拟人化互动服务管理暂行办法》（以下简称《办法》）。《办法》贯彻落实习近平总书记关于“统筹发展和安全”的重要论述，通过划定拟人化互动服务的安全底线，在现有法律法规体系框架下进一步明确了服务的总体原则、具体服务规范、监督检查机制及相关主体的法律责任，是促进该领域健康有序发展的重要制度保障。<br>
一、统筹发展与安全，确保拟人化互动服务安全有序运行<br>
针对拟人化互动服务的新型服务形态，《办法》坚持发展和安全并重、促进创新和依法治理相结合的原则，一方面鼓励拟人化互动服务创新发展，支持推进产业技术研发，鼓励拓展应用领域；另一方面也提出了对拟人化互动服务采取包容审慎、分类分级监管的模式，促进拟人化互动服务健康发展和规范应用。<br>
（一）鼓励拟人化互动服务安全有序发展<br>
一是鼓励推动技术和应用创新。支持自主创新，推进技术研发与形成行业共识，鼓励服务提供者深挖拟人化互动服务情感慰藉等优势，拓展拟人化互动服务在合理场景的创新应用和规范发展。二是加强公众人工智能素养。加强拟人化互动服务安全知识、法律法规等宣介，引导公众科学、文明、安全、依法使用拟人化互动服务，推动拟人化互动服务治理深入人心，走深走实。三是构建人工智能沙箱监管制度。鼓励拟人化互动服务提供者运用人工智能沙箱平台进行技术创新、安全测试，促进拟人化互动服务安全有序发展。这也是我国首次在人工智能专门立法层面提出“人工智能沙箱”的创新治理理念，为后续开展深化人工智能安全治理提供了新思路。<br>
（二）实行包容审慎、分类分级监管<br>
一是提供拟人化互动服务应遵守法律、行政法规要求。明确提出不能生成危害国家安全、荣誉和利益，煽动分裂国家、破坏国家统一等的内容，划定了拟人化互动服务应遵循的基线底线。二是高度重视未成年人身心健康。针对未成年人群体使用拟人化互动服务提出了较为严格的要求，保障未成年人健康成长。三是重点领域多部门协同治理。涉及卫生健康、金融等领域的拟人化互动服务，在满足本办法的同时也需要符合相关主管部门的规定，通过各部门协同治理切实保障用户生命财产安全。<br>
二、划定伦理底线，消除拟人化互动服务可能带来的安全隐患<br>
（一）明确人机边界，防止社交关系异化<br>
拟人化互动服务依托情感计算、自然语言处理、多模态情感感知等技术，捕捉用户的情感需求，提供共情式回应、情感慰藉与价值认同。用户由于现实社交压力，倾向于与拟人化互动服务而非真人进行社交，进而对拟人化互动服务产生心理依赖，加剧社会疏离感，容易出现“人机关系”替代“人际关系”的异化现象。<br>
《办法》对服务提供者提出了规范目标、强化提醒、便捷退出三项明确要求，防范用户过度沉迷，防止社交关系异化。一是规范服务目标，引导理性交互。明确要求服务提供者不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标，需要具备过度依赖风险预警、情感边界引导等安全能力，且不得生成过度迎合用户、诱导情感依赖或沉迷、损害用户真实人际关系的内容，引导拟人化互动服务积极健康交互。二是强化身份提醒，保障用户知情权。明确要求服务提供者履行人工智能生成合成内容标识义务，当发现用户存在沉迷倾向时或使用时长过长时，应采取弹窗等更显著的方式强化提示提醒，引导用户建立正确的使用预期，防范认知偏差带来的各类风险。三是提供便捷通畅的退出途径。要求服务提供者向用户提供便捷的退出途径。当用户要求退出时，需要及时停止服务，不得采用持续互动等方式阻碍用户退出，引导用户平衡虚拟互动与现实社交，防范情感依赖带来的社交异化风险。<br>
（二）划定安全底线，守护公民身心安全<br>
拟人化互动服务回应用户情感诉求时，具有无差别迎合、全时段响应等特点，容易诱发用户人身安全与心理健康两方面风险。在人身安全方面，一旦算法与干预机制不完善，可能出现对自残自杀、伤害他人等极端诉求的不当附和，延误危机干预，危及生命安全。在心理健康方面，部分服务为提升用户粘性，可能采取情感操纵、信息误导等方式，加剧用户负面情绪，甚至引发极端行为。<br>
针对上述风险，《办法》划定了身心安全底线，守护用户身心健康与安全，彰显了“以人为本，智能向善”的治理导向。一是禁止生成有害身心健康内容。明确禁止生成鼓励、美化、暗示自杀自残等损害用户身体健康，或者语言暴力等损害用户人格尊严与心理健康的内容，鼓励正向引导用户，保障用户身心健康。二是建立风险干预机制，防范极端行为。要求服务提供者具备心理健康保护能力，在保护用户隐私权与个人信息的前提下，及时识别用户面临的安全风险并采取相应的应急处置措施。为保护用户身心安全提供一道防线，防范极端情形发生。三是停止服务时告知，保护已沉迷用户。要求服务提供者停止提供拟人化互动服务时，应当提前告知用户或及时发布停止服务公告。<br>
三、完善现有法规体系，解决拟人化互动服务面临的安全风险<br>
（一）压实服务提供者责任，强调全生命周期安全<br>
《办法》要求拟人化互动服务提供者落实安全主体责任，履行全生命周期安全责任。一是明确主体责任范围，强化全流程管控。要求服务提供者建立健全全流程安全管理制度，在拟人化互动服务的部署、运行、升级及终止等全生命周期中履行安全责任，尤其需加强训练数据管理，推动企业健全安全管理体系。二是加强安全评估与备案管理。要求拟人化互动服务提供者在上线服务、增设相关功能、注册用户超过100万、月活用户超过10万、存在较大安全风险等情形时，开展安全评估，并明确评估服务的重点内容，并要求服务提供者按照《互联网信息服务算法推荐管理规定》履行相关备案手续，引导企业依法合规运营，提升拟人化互动服务全行业整体安全水平。三是强调企业安全能力水平。要求拟人化互动服务提供者具备用户隐私权和个人信息保护、过度依赖风险预警、情感边界引导、心理健康防护等安全能力，提升拟人化互动服务的安全性与可靠性。<br>
（二）注重用户隐私，细化个人信息保护要求<br>
拟人化互动服务与用户的交互过程通常会涉及用户的私密情感表达与心理诉求，由此产生的交互数据大多具有敏感性、私密性，直接关联用户的人格尊严与个人权益。一旦交互数据发生泄露或被违规滥用，不仅会导致用户个人信息泄露，也可能引发人格权侵害、精神损害等问题，甚至对用户的现实生活造成困扰甚至危害。<br>
《办法》结合拟人化互动服务的场景特点，进一步细化了《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等现有法规要求。一是保护用户交互数据安全，防范滥用行为。明确要求服务提供者采取数据加密、访问控制等措施保护用户交互数据安全，除法律另有规定外，未经权利人同意不得向第三方提供用户交互数据；除法律、行政法规另有规定或者取得用户单独同意外，拟人化互动服务提供者不得将属于用户敏感个人信息的交互数据用于模型训练。二是保障用户对于交互数据的合法权益。明确了用户具有交互数据复制、删除等权益，允许用户自主复制或删除聊天记录等历史交互数据，保障用户对于交互数据的合法权益。<br>
（三）关注特殊群体，重视未成年人保护<br>
未成年人处于价值观塑造与心智发育的关键阶段，认知体系尚未完善、判断力相对薄弱、自我控制能力不足。拟人化互动服务提供的沉浸式情感陪伴，易导致未成年人沉迷，阻碍其认知能力与社会交往能力的正常发展。一旦拟人化互动服务输出违背未成年人身心发展规律、可能影响其身心健康的内容，很可能对未成年人的价值观形成误导，甚至引发威胁生命健康等严重后果。<br>
《办法》立足未成年人身心发展规律与特殊保护需求，在《未成年人网络保护条例》等法律法规框架下，对面向未成年人提供拟人化互动服务提出更严格、更细化的要求。一是明确提供服务范围，禁止提供负面内容。要求提供者不得向未成年人提供虚拟亲密关系的服务，向不满十四周岁未成年人提供其他拟人化互动服务需要取得未成年人监护人同意。明确不得向未成年人用户生成可能影响未成年人身心健康的内容。坚持正向价值引导，保障未成年人身心健康发展。二是设置未成年人模式，具备未成年人识别能力。要求服务提供者建立未成年人模式，提供未成年人模式切换、定期现实提醒、使用时长限制等选项。针对不同年龄段的未成年人，向其监护人接收风险提醒、了解使用情况、屏蔽特定角色、限制充值消费等提供支持。要求服务提供者有效识别未成年人身份，并对识别出的未成年人采取切换至未成年人模式等措施。从技术能力和产品功能层面提出保护未成年人的具体措施。三是细化未成年人个人信息保护要求。拟人化互动服务提供者应当按照国家有关规定对其处理未成年人个人信息遵守法律、行政法规的情况进行合规审计，处理不满十四周岁未成年人个人信息的还应取得监护人同意，切实保护未成年人隐私与个人信息。此外，《办法》也提出了保障老年人合法权益的相应要求，包括加强对老年人的指导和帮助、以显著方式提示安全风险等。<br>
《办法》的出台，既是对拟人化互动服务领域传统安全风险的系统回应，也是对新型安全隐患的前瞻性防控，提出了“边界清晰、权责明确、风险可控、创新包容”的治理要求，实现了“创新发展”与“安全治理”的有机平衡。下一步，随着《办法》的落地实施，还需进一步细化监管措施，加强跨部门协同，推动配套标准规范制定，强化行业自律，推动形成多元治理格局。同时，持续关注技术快速发展带来的新型安全风险，鼓励拟人化互动服务提供者运用人工智能沙箱平台进行技术创新、测试评估，动态完善治理规则，确保拟人化互动服务始终沿着“智能向善、以人为本”的方向发展。（作者：范科峰，中国电子标准化研究院副院长）