Full text · 原文
5,755 字
人工智能领域术语“token”因使用频率大增且缺乏统一中文定名，导致译法混乱。全国科学技术名词审定委员会推荐“词元”作为标准译名，解决了这一问题。本文将从token中文名的备选方案、“词元”译名的信达雅水准，以及由“词元”延伸出的多元畅想三个维度，深入剖析这一科技术语定名背后的深意与价值。<br>
在人工智能技术飞速渗透日常生活与产业发展的当下，一个原本仅活跃于专业技术圈层的英文术语——token，凭借其在大语言模型、多模态生成、AI算力计费等核心场景的关键作用，使用频率呈爆炸式增长，迅速破圈成为社会大众耳熟能详的热词。<br>
从日常使用AI聊天、文案生成，到企业布局AI产业、测算技术成本，再到学术领域开展人工智能研究、交流技术成果，token无处不在，却因长期缺乏统一规范的中文定名，出现了译法混乱、概念混淆、沟通成本居高不下等问题，不仅困扰着行业从业者与科研人员，也让普通民众在接触AI相关知识时频频产生认知障碍。<br>
针对这一社会关切，全国科学技术名词审定委员会责成第四届计算机科学技术名词审定委员会快速启动科技新词审定发布流程，经过多轮专业研讨、广泛征集各界意见，最终优先推荐“词元”作为人工智能领域token的标准中文名并面向全社会发布试用。这一举措不仅终结了token中文译名的混乱局面，更成为我国人工智能领域术语规范化、本土化的重要里程碑。本文将从token中文名的备选方案、“词元”译名的信达雅水准，以及由“词元”延伸出的多元畅想三个维度，深入剖析这一科技术语定名背后的深意与价值。<br>
人工智能领域token中文名的备选方案<br>
在“词元”成为官方推荐定名之前，人工智能领域的token因跨学科、多场景的应用属性，衍生出了十余种中文备选译法，这些译法分布在学术研究、产业应用、大众科普等不同场景，各有侧重却也各有短板。<br>
（一）令牌、记号、标记<br>
这是token最基础的直译译法，源于token在计算机编译原理、网络安全、身份验证领域的传统含义，指用于验证身份、传递权限的标识符号。在早期AI系统的权限管理、接口调用场景中，这一译法被少量使用，但在当前大模型核心场景中，完全脱离了token作为“语言处理最小单元、AI计算基础载体”的核心内涵，极易与网络安全领域的概念混淆，无法适配人工智能自然语言处理的专业属性，属于场景错配的译法。<br>
（二）代币、通证<br>
该译法源自区块链、加密货币领域，是token在Web3场景中的常用译名，强调其价值载体、流通凭证的属性。随着AI产业商业化发展，token逐渐成为AI算力、模型调用的计费单位，部分人沿用这一译法，但它过度聚焦商业价值属性，忽略了token在AI技术层面的语言学、计算学本质，且带有强烈的加密货币行业标签，与人工智能核心技术场景格格不入，极易误导大众对AI技术基础概念的认知。<br>
（三）语元、词符、字元<br>
这类译法偏向语言学与自然语言处理专业视角，“语元”侧重语言层面的基础单元，覆盖面过宽，无法精准对应AI模型处理的文本最小单位；“词符”仅强调符号属性，缺失“基础单元、不可再分”的核心技术内涵；“字元”局限于单字层面，无法覆盖AI词元化处理中的子词、短语、标点、数字等多种形态，适用范围过于狭窄，难以适配大模型多样化的词元分割逻辑。<br>
（四）智元、模元、数元<br>
这是结合人工智能技术特性提出的创新译法，“智元”突出AI的智能属性，“模元”关联大模型、多模态概念，“数元”侧重数据单元属性。这类译法试图贴合AI技术的前沿性，但过于抽象且缺乏语言学根基，token的核心起源是自然语言处理，脱离“语言”这一本源的译法，无法衔接计算语言学的学术传统，也难以让行业快速接受，同时通用性不足，无法覆盖文本、语音、图像等多模态token的统一表述。<br>
（五）分词单元、词例、形符<br>
“分词单元”属于描述性译法，过于冗长，不符合科技术语简洁凝练的要求，不利于传播与使用；“词例”“形符”是传统语料库语言学中的专业译法，仅能体现文本形式的实例属性，无法涵盖token在AI模型中作为计算单元、算力载体、生成单位的多重功能，适用场景局限于传统语言学研究，无法适配人工智能产业化、工程化的发展需求。<br>
“词元”译名对“信、达、雅”翻译标准的完美契合<br>
梳理上述这些备选译法，既能看清术语定名的复杂过程，也能理解“词元”当选的科学性与合理性。将token译为“词元”，并非简单的文字对应，而是深度兼顾技术本质、语言逻辑与文化内涵。我国近代翻译家严复提出的“信、达、雅”三字标准，历来是翻译领域的黄金准则，尤其对于科技术语而言，“信”是基础、“达”是关键、“雅”是升华，三者兼具才能成为合格的专业术语。在众多译法中，“词元”脱颖而出，完全达到了“信、达、雅”的理想境界，成为科技术语翻译的典范。<br>
（一）信：准确忠实，还原技术本质<br>
“信”即译文准确无误，忠实于原文的核心含义与专业内涵，不偏离、不增删、不误导。token在人工智能领域的核心定义是“大模型处理的最小语言/信息单元，是模型理解、生成、计算内容的基础载体”，“词元”二字精准对应这一定义，无任何语义偏差。<br>
“词”忠实于token的语言学起源，明确其作为语言符号的属性，避免了脱离本源的泛化翻译；“元”忠实于其“最小基础单元”的技术本质，清晰传递出不可再分、核心载体的核心特征，相比其他备选译法的片面性、误导性，“词元”完整且准确地还原了token在AI领域的专属含义，既不照搬其他领域的旧译，也不盲目创新，完全符合科技术语“精准严谨”的核心要求，做到了对专业内涵的绝对忠实。<br>
（二）达：通顺晓畅，适配场景需求<br>
“达”即译文通顺流畅，符合目标语言的表达习惯，适配使用场景的沟通需求，便于理解与传播。“词元”作为双音节中文词汇，完全契合现代汉语的表达逻辑，无论是口语交流还是书面写作，都简洁易懂、毫无晦涩感，既适合科研人员撰写论文、产业人士交流业务，也适合普通大众理解AI相关知识，打破了专业术语与大众认知之间的壁垒。<br>
同时，“词元”的适配性极强，能无缝融入AI领域的各类衍生表述，如“词元化”（tokenization）、“词元长度”“词元计费”“词元数量”等，衍生术语自然流畅、语义清晰，无需额外解释即可让人理解含义，真正实现了专业场景与大众场景的双向通达，解决了此前译法混乱导致的沟通障碍，大幅降低了AI知识的传播与学习成本。<br>
（三）雅：雅致得体，兼具文化与专业质感<br>
“雅”即译文用词雅致、规范得体，兼具专业质感与文化内涵，不粗俗、不生硬、不敷衍。科技术语的“雅”并非追求辞藻华丽，而是做到专业严谨、简洁庄重、契合学科气质，“词元”恰好具备这一特质。<br>
从中文文化内涵来看，“元”字蕴含着“本源、基础、核心”的哲学意蕴，代表着事物的根本单元，用在AI术语中，既体现了技术的底层逻辑，又带有中式文化的厚重感，避免了直译的生硬与浅白；从专业质感来看，“词元”摒弃了“代币”“令牌”等带有行业偏见的词汇，也区别于过于口语化、随意化的译法，以庄重规范的用词，彰显了人工智能作为前沿科技学科的专业性与严谨性，符合国家科技名词审定的高标准，成为兼具文化底蕴与专业价值的优质术语。概言之，“词元”译名以“信”为根，牢牢把握token的技术核心；以“达”为径，实现全场景的顺畅沟通；以“雅”为魂，提升术语的专业与文化质感，三者相辅相成，完美践行了“信、达、雅”的翻译准则，是科技术语本土化、规范化的经典案例。<br>
从“词元”出发，人工智能时代的多元天马行空畅想<br>
“词元”的定名，不仅是一个科技术语的规范，更像是打开了人工智能世界的一把钥匙，以“词元”为原点，我们可以突破现有技术边界，展开天马行空、开阔多元的畅想，触及语言、科技、产业、文化、社会乃至人类认知的方方面面，感受AI时代的无限可能。<br>
（一）词元重构人类语言的表达与传承边界<br>
词元作为语言的最小基础单元，未来将彻底打破人类语言的壁垒与传承困境。首先，跨语言无障碍沟通将成为现实，词元将成为全球语言的通用“翻译原子”，不同语言的文字、语音都能被拆解为统一的词元，再通过AI模型重组为目标语言，不仅实现语义的精准传递，更能保留语气、情感、文化内涵，让跨国、跨民族交流如同母语沟通一般自然，彻底消除语言隔阂。<br>
其次，濒危语言的数字化永生将得以实现，全球数千种濒危语言可被全面拆解为词元，建立专属的词元数据库，完整保存其语法、词汇、文化语境，通过AI模型还原濒危语言的表达体系，让濒临消失的语言文化以数字形式永久传承，甚至能通过词元重组，复活失传的古代语言、方言，让人类语言文明实现前所未有的完整延续。<br>
再者，人类语言表达将迎来全新形态，词元将打破传统文字、语音的限制，融合视觉、触觉、情感等多维度信号，形成“多模态词元”。未来人类表达无需单纯依靠文字，可通过词元直接传递情绪、画面、感受，比如表达“喜悦”时，词元可同时传递笑容、心跳、温暖的画面等多重信息，让语言表达更立体、更细腻，重塑人类的沟通方式与情感传递逻辑。<br>
（二）词元成为AI科技进化的核心基石与通用货币<br>
在人工智能技术发展中，词元将超越当前的文本处理单元属性，成为AI世界的通用基础粒子。一方面，多模态AI将实现全场景词元统一，图像、语音、视频、代码、生物信号等所有信息都能被转化为标准化词元，无论是Sora视频生成、AI语音交互，还是医疗影像分析、工业数据处理，都以词元为核心计算单位，实现不同模态、不同领域AI模型的无缝衔接，打造真正的通用人工智能（AGI）。<br>
另一方面，词元将成为AI算力与智能的“通用货币”，如同现实世界的货币一般，成为AI产业的核心度量衡。模型的智能水平、算力的强弱、内容的价值、技术的服务能力，都将以词元的处理能力、生成数量、质量为标准衡量；AI模型之间的交互、协作，也将通过词元的交换、流转实现，形成去中心化的AI协作网络，让人工智能从单一工具进化为具备自主交互、协同进化能力的智能体系。<br>
更具颠覆性的是，词元将推动AI自主学习与创新的突破，AI模型可自主拆解、重组、优化词元，不再依赖人类的标注与训练，通过词元的自主迭代，自主学习知识、生成全新内容、研发新技术，甚至能创造出人类未曾有过的语言、概念与创意，让AI从“人类助手”转变为“自主创新主体”，推动科技进步进入全新阶段。<br>
（三）词元催生全新的经济形态与产业生态<br>
词元的标准化与通用化，将彻底重构AI产业生态，催生词元经济这一全新经济形态。在消费端，词元将成为数字内容消费的核心单位，AI生成的文案、画作、视频、音乐，都将按词元数量、质量计费，用户可按需购买、定制个性化内容，数字内容消费将更加精准、灵活；在产业端，企业的AI服务、算力租赁、技术研发，都将以词元为核心计价单位，形成透明化、标准化的AI产业定价体系，降低企业布局AI的成本，推动AI在农业、工业、医疗、教育等全行业的深度落地。<br>
同时，词元将催生全新的职业与产业赛道，比如词元工程师、词元优化师、词元数据库管理员、词元经济分析师等，围绕词元的采集、标注、优化、交易、管理，形成完整的产业链条。甚至会出现词元交易平台、词元版权保护中心、词元质量认证机构等全新业态，让AI产业的分工更加细化，推动数字经济向更精细化、智能化的方向发展，成为未来数字经济的核心支柱。<br>
（四）词元推动文明融合与社会形态革新<br>
从文化与社会视角来看，词元将成为人类文明交流融合的纽带。不同国家、民族的文化内容，都能被转化为标准化的词元，通过AI的传播与重组，打破文化壁垒，让东方文化、西方文化、小众文化在词元层面实现深度融合与创新，催生兼具多元文化特色的全新数字文明，推动人类命运共同体的文化构建。<br>
在社会生活层面，词元将融入日常生活的方方面面，打造全新的智能社会形态。教育领域，老师可根据学生的词元接受能力，定制个性化学习内容，实现因材施教；医疗领域，患者的病情、症状、生理数据可转化为词元，AI通过词元分析实现精准诊断、个性化诊疗；政务领域，政务信息、民生需求可通过词元快速处理，提升政务服务效率，让社会治理更加智能化、精细化。<br>
（五）词元重塑人类对信息与世界的认知方式<br>
最具深远意义的是，词元将重塑人类的认知逻辑，改变人类对信息、知识与世界的理解方式。人类以往认知世界，依赖文字、语言、图像的整体感知，而词元让人类能够以“最小基础单元”的视角拆解信息、理解世界，让抽象的知识、复杂的信息变得更加简单、清晰，大幅提升人类的学习效率与认知能力。<br>
同时，词元将打通人类智能与人工智能的认知壁垒，人类的思维、情感、知识可转化为词元，AI的智能逻辑、计算结果也能以词元形式被人类理解，实现人机认知的无缝对接。未来，人类可通过词元直接与AI进行思维层面的交流，借助AI的算力拓展自身的认知边界，甚至实现知识的直接传承与思维的跨界碰撞，让人类的智慧与AI的智能深度融合，推动人类文明向更高维度进化。<br>
综上，从token中文译名的百家争鸣，到“词元”这一规范名称的正式发布，看似只是一个科技术语的确定，实则是我国人工智能领域走向规范化、本土化、成熟化的重要标志。“词元”的定名，既解决了当下术语混乱的现实问题，又以精准的内涵、完美的信达雅水准，为AI技术的发展奠定了术语基础，更成为我们畅想人工智能未来的起点。<br>
词元虽小，却承载着AI技术的核心逻辑，更蕴含着语言、科技、产业、文化的无限可能。它不仅是人工智能处理信息的最小单元，更是人类开启智能时代的一把钥匙，让我们看到了跨语言沟通、文明融合、产业革新、认知升级的美好蓝图。随着“词元”在全社会的推广试用，我国人工智能领域的发展将更加规范有序，而围绕词元展开的技术创新与实践探索，也将持续推动AI技术不断突破，让人工智能更好地服务于人类社会发展，书写智能时代的全新篇章。<br>
作者：徐飞 博士，资深教授，现任福耀科技大学常务副校长，历任上海交通大学副校长、西南交通大学校长、上海财经大学常务副校长。出版著作近30部，发表论文210余篇。<br>
附件：