如何评价企业数字化与AI建设成效
企业持续建设业务系统、数字化平台和AI应用，但“完成建设”并不意味着“产生价值”。一个系统可能投入较高但长期使用不足，一项AI能力也可能技术指标表现良好，却没有真正进入核心业务流程。评价数字化与AI建设成效，需要把投入、使用和业务结果联系起来，判断数字化资产投入了多少、实际使用得怎样、产生了什么价值，并进一步为资源配置、投资决策和持续优化提供依据。
一、为什么需要评价数字化与AI建设成效
传统数字化建设评价往往关注项目是否按期上线、功能是否完成、预算是否执行，这些指标能够反映项目建设情况，却不能完整说明建设成果是否真正发挥作用。
数字化建设进入持续运营阶段后，评价对象也应从单个项目逐步转向系统、平台、功能和AI能力等数字化资产。企业不仅需要知道“建了什么”，还需要进一步回答“花了多少钱”“有没有人在用”“哪些业务在用”“产生了什么业务价值”以及“是否值得继续投入”。
AI的引入使这一问题更加突出。AI应用可能具有较高的模型准确率和响应速度，但如果没有进入核心业务节点、业务人员很少使用，或者AI建议始终没有转化为实际业务行动，就很难说明AI建设已经形成实际成效。
因此，数字化与AI建设评价不能只关注建设结果或技术指标，而需要建立覆盖投入—使用—贡献—反馈全过程的评价体系，并利用企业架构资产建立数字化能力与业务之间的对应关系，使评价能够进一步定位到具体系统、功能和AI能力。
二、数字化与AI建设成效评价什么
数字化投资成效可以围绕投入成本、使用活跃度和业务贡献度三个核心维度展开，并在此基础上形成综合评价。
框架涵盖投入成本度量、使用活跃度度量、业务贡献度度量三个核心模块，以及基于多维度加权计算的投资成效综合评估模块。投入成本回答“建设和运行这项数字化资产花了多少成本”，使用活跃度回答“这项资产是否真正被使用”，业务贡献度回答“使用之后是否改善了业务”，综合评价则将不同维度结合起来，判断数字化投资的整体成效。
对于AI建设，还需要在传统数字化评价基础上增加AI应用深度和复用情况的评价。明确AI核心业务节点覆盖率、人机协同渗透率、AI能力复用率等各项指标的统计口径，并进一步建立这些指标与业务能力、业务流程、应用模块和功能项等架构对象之间的对应关系。
例如，AI核心业务节点覆盖率可以反映AI进入关键业务活动的程度；人机协同渗透率可以反映业务过程中人员与AI共同完成任务的范围；AI能力复用率则用于判断同一模型服务、知识服务或智能体能力是否能够被多个业务场景共同使用。
这样，评价体系关注的就不再只是“有多少系统、多少AI模型”，而是这些数字化和AI能力究竟覆盖了哪些业务、被怎样使用以及形成了怎样的实际效果。
图1 数字化与AI建设成效评价框架
三、如何评价投入成本与使用活跃度
投入成本是数字化投资成效评价的基础。企业需要从全生命周期角度统计数字化资产的建设、运行和持续演进成本，而不能只统计项目立项阶段的预算。
建设成本方面，应考虑软硬件采购、开发实施、系统集成等一次性投入，并明确不同成本的归集对象。对于后续重大版本升级、功能扩展和技术改造，还应记录相应的周期性投入。
运维成本方面，应统计年度运维人力、基础设施托管、第三方服务等持续性投入。云资源、模型调用和AI算力等按量计费资源，也应根据实际使用情况纳入运行成本。
对于共享平台、中台、共用组件和AI基础能力，由于一项能力可能同时服务多个系统和业务场景，还需要建立合理的成本分摊机制，可以根据实际使用比例、用户规模或业务价值等方式进行分摊，使成本能够较准确地归属到具体数字化资产。
但成本只能说明“投入了多少”，不能说明投入是否有效，因此还需要进一步评价资产的实际使用情况。
用户活跃度方面，可以研究月活跃用户数、日活跃用户数、用户平均使用时长等指标的定义方法和数据来源。同时还可以从业务使用角度统计功能调用频次、业务流程完成量和业务单据生成量，并从系统运行角度统计API调用量、页面访问量和登录频次。
不同类型系统的使用规律并不相同，因此不能简单用同一个活跃度标准评价所有系统。可以根据系统类型、服务对象和业务周期设置相应的活跃度基线，通过实际指标与基线进行比较，识别高频使用、正常使用和长期闲置的数字化资产。
四、如何评价业务贡献和AI应用成效
数字化资产真正产生价值，需要从“被使用”进一步走向“产生业务效果”。业务贡献度应结合具体建设目标进行评价，例如流程效率提升、运营成本降低、服务质量改善、业务风险下降以及管理决策效率提升等。
评价时应建立数字化资产与业务指标之间的对应关系。例如，某项流程数字化改造可以观察办理时间、人工工作量和差错率的变化；某项客户服务系统可以观察响应速度、问题解决率和客户满意度；某项经营分析能力则可以观察分析周期、决策效率和预测准确性。
AI建设还需要进一步判断AI是否真正进入业务运行过程。除AI核心业务节点覆盖率、人机协同渗透率和AI能力复用率外，还可以结合AI任务完成率、人工采纳率、处理效率和业务结果等指标综合评价。
其中，决策类AI应用不能只统计“AI给出了多少建议”，还需要关注建议是否真正转化为行动。对于决策闭环完成率，可以研究从AI建议到决策执行到效果反馈的完整闭环比例。例如，一项AI建议生成后，由业务人员进行判断并执行相应措施，执行结果再返回AI系统用于效果评价和后续模型优化，才形成一次完整的决策闭环。
通过这一指标，可以进一步区分“AI产生了输出”和“AI真正参与了业务闭环”。如果大量AI建议没有被采纳或执行，则需要进一步分析是模型效果不足、业务场景选择不合理，还是人机协同和流程设计存在问题。
五、如何形成综合评价并推动持续优化
单一指标很难完整反映数字化资产的建设成效。投入较低但长期无人使用的系统不一定具有价值，使用频率较高但不能改善业务结果的系统也需要进一步分析。因此，应综合投入成本、使用活跃度和业务贡献度形成多维度评价结果。
综合评价可以根据不同数字化资产的特点设置相应权重。例如，基础平台类资产可能更加关注稳定性、复用范围和单位服务成本，业务应用更关注使用活跃度和业务贡献，AI应用则需要进一步关注AI能力覆盖、人机协同、复用程度和决策闭环情况。权重不宜简单采用统一标准，而应根据资产类型和建设目标进行调整。
企业架构资产可以为这一评价过程提供重要的数据基础。业务能力、业务流程、应用系统、应用模块、功能项以及AI能力之间已经形成相应的架构关系后，可以进一步关联投资、运行和业务指标数据，使评价从企业级逐步下钻到系统级、模块级甚至功能级。
例如，当发现某个系统投资较高但使用活跃度较低时，可以继续分析其中哪些模块和功能长期没有被使用；当某项AI能力业务贡献较高时，也可以进一步查看它被哪些业务场景复用，从而判断是否值得扩大建设范围。
最终可以形成“投入成本—使用活跃度—业务贡献度—综合成效”的数字化投资评价链路，并将评价结果用于项目投资、系统优化、资产整合和AI能力建设决策。
评价本身也应形成持续闭环。评价结果发现系统使用不足时，可以优化业务流程或减少后续投入；发现AI能力复用率较低时，可以分析是否存在重复建设；发现AI建议较多但决策闭环完成率较低时，则需要重新检查模型效果、人机协同方式和业务执行机制。
因此，数字化与AI建设成效评价的目的并不是形成一个简单的分数，而是建立从投资投入、资产建设、实际使用、业务贡献到效果反馈的完整管理链路，使企业能够回答“钱投到了哪里、资产有没有被使用、使用之后产生了什么价值、下一步还应不应该继续投入”，从而真正支撑数字化投资和AI建设的持续优化。
图2 数字化投资成效持续管理闭环
参考来源
[1] 国务院国资委：《关于加快推进国有企业数字化转型工作的通知》。
[2] GB/T 36073—2018《数据管理能力成熟度评估模型》。
[3] 国务院：《“十四五”数字经济发展规划》。
[4] Kaplan R. S., Norton D. P.《平衡计分卡：化战略为行动》。
[5] Brynjolfsson E., Hitt L. M. Beyond Computation: Information Technology, Organizational Transformation and Business Performance.
[6] NIST. Artificial Intelligence Risk Management Framework 1.0.
[7] 国家互联网信息办公室等：《生成式人工智能服务管理暂行办法》。