medium
2026-06-16
Governance-Oriented Design Breaks the 'Black Box' Dilemma of Enterprise AI Implementation
治理导向设计 打破企业AI落地“黑箱”困境
科技日报
stdaily
This article reports on the concept of governance-oriented design proposed by Amazon HCI expert Tang Yi, which embeds accountability, traceability, and human oversight into enterprise AI workflow systems from the outset, addressing challenges in AI auditability and compliance under regulations like the EU AI Act.
Document Text
1,244 characters
科技日报记者 付丽丽<br>
一家跨国企业的人事部门收到员工投诉后,AI系统自动摘要材料、提示适用政策并给出初步处理建议,两小时内案件完成流转。然而三个月后案件进入法律审查,调查人员发现已无法还原AI的决策过程——整理材料时用了哪条规则?审核人看到了哪些信息?那次“确认”究竟代表了什么判断?<br>
这个场景揭示了当前企业AI规模化落地中的普遍困境。在2026年2月于法兰克福举行的德国设计奖颁奖典礼上,亚马逊人机交互与企业系统设计专家唐义凭借工业工作流系统《库存执行移动套件》同时获得“交互体验设计”和“服务设计”两项优胜奖。他在接受采访时提出:“企业AI治理的基本单位,不应只是一次模型调用,而应是一个可以被定义、审核和接管的决策节点。”<br>
唐义认为,许多关于企业AI的讨论聚焦于模型准确率、偏见控制和成本降低,但这些并不能直接转化为组织可以承担责任的决策。AI的一次回答不等于一个可被审计的决定,真正产生组织后果的是完整的流程链条——谁提交了信息、系统如何理解、审核人看到了什么、最终决定如何留存。这些环节如果未被清晰设计,AI进入高风险业务带来的很可能不是效率,而是新的混乱。<br>
随着欧盟《人工智能法案》生效,监管机构对AI系统的可追溯性、可解释性和人工监督提出明确要求。唐义将应对思路概括为治理导向设计,即治理机制不应等到系统上线后再打补丁,而应在产品和工作流设计之初,就将责任边界、证据留存和人工介入机制写入系统结构本身。<br>
这一理念已在其设计中付诸实践。在企业AI工作流设计中,唐义要求系统在每个关键节点都能回答基本问题:AI建议旁必须显示对应的政策条款;确认按钮背后要记录操作人是谁、基于哪些材料作出判断;边缘案件自动进入人工升级流程。他参与设计的企业人力资源与合规系统引入这些结构性调整后,案件处理效率和高风险流程准确率均有明显提升。<br>
“企业AI落地的下一道门槛,不是模型性能,而是系统的可信度——AI的建议能否被追踪、被审核、在必要时被人接管。”唐义说,“治理导向设计要解决的,正是把抽象的治理要求转化为产品可以执行的结构语言,让AI从‘能给答案’变成‘能被追责’。”<br>
(受访单位供图)5332032026-06-16 17:20:00:778付丽丽治理导向设计 打破企业AI落地“黑箱”困境1324滚动滚动<br>
https://www.stdaily.com/web/gdxw/pic/2026-06/16/533203_d8789838-be6f-48df-9ce2-d3ec6f1a5a91copy.png<br>
https://www.stdaily.com/web/gdxw/pic/2026-06/16/533203_d8789838-be6f-48df-9ce2-d3ec6f1a5a91copy.png<br>
https://www.stdaily.com/web/gdxw/2026-06/16/content_533203.htmlnull科技日报101/enpproperty-->
Topics
artificial intelligence
corporate governance
AI regulation
Metadata
| Publisher | 科技日报 |
| Site | stdaily |
| Date | 2026-06-16 |
| Category | report |
| Policy Area | 人工智能治理 |
| CMS Category | 媒体报道 |
Verification