01

在线机器人监测指标体系的分类

在线机器人的指标体系分类可以围绕在线机器人训练过程中的三个关键维度：技术维度、业务价值维度、训练与运营维度来看。（1）业务价值维度站在经营和财务的角度，评估智能服务的价值能力，如：文本机器人的客户问题的解决率（定义：智能解决客户问题数量/智能客服总提问量），其能够直接反映出文本机器人解决的客户问题占比情况。（2）训练与运营维度从运营与训练维度来看，在线机器人产生的直接价值或间接价值，在于维护训练人员对于产品应用的维护技巧的高低，通过对运营、训练维度的指标可以有效指导维护人员提升运营效率、运营技巧、运营流程。（3）技术维度机器人应用是受限制于技术的发展与产品的革新，通过对技术相关指标可以有效衡量企业内机器人的技术能力与业界之间的差别。

02

在线机器人监测指标一览

（1）业务价值维度一览

（2）训练与运营一览

（3）技术维度指标一览

03

在线机器人监测指标的采集方法

（1）抽样标注法根据交互样本标注数据推算人工智能客服评价指标的方法。但需注意：假设事项发生率为50%、绝对误差为1%时，所需的必要样本量为1万。完成样本抽取后，与标注人员对本单位业务流程判定的结果进行对比，一致即为正确。（2）系统导出报表法根据系统运营数据计算人工智能客服评价指标的方法。典型的系统运营数据包括进线量、交互数、客户评价数、转人工进线量。

04

在线机器人监测指标的管理方法

训练师团队根据在线机器人的应答特点，制定对应绩效考核指标，在固定时间、以固定人员对数据指标进行分析，且根据指标完成度对训练师团队进行考核，以保证在线机器人的高质量服务。在该过程中，所有观察指标可参考使用上述表格中的服务指标；基于高绩效目标为每个服务指标制定目标，且有证据证明目标的合理性。（1）解决率提高解决率可以从两方面入手：1) 提高意图识别准确率。解决率和意图识别准确率是相辅相成的，如果意图识别不准确，就谈不上解决问题了。要想提高意图识别准确率，需要进行人工训练及不断调优机器人模型。2) 提高知识库的质量。这需要运营人员根据质检情况去优化知识点，包括新增未覆盖到的知识点、合并冗余知识点，将包含多意图的知识点进行拆分，以及对答案进行合理编辑等。（2）拦截率拦截率的提高也可以从两方面入手：1) 要求机器人能够理解和回答尽量多的用户提问，即提高在线机器人的解决率。2) 设置良好的人机协同方式，仅在必要时将用户咨询交由人工处理。（3）客户满意度1) 提高问题解决率，也就是要提高意图识别准确率。2) 提高识别用户情绪的能力。3) 直接回答率的提高也能在一定程度上提高用户满意度。4) 简单的操作也能让用户更加满意。在线机器人的上线运转期间的监测是一项长期、重复的工作，训练师们可按照团队训练运营计划，定期分析上线数据结果，并对数据进行同比、环比、同行竞品等维度分析，找出机器人当前最主要的问题所在。制定优化计划，合理分配机器人的扩增业务场景、已上线场景识别能力、应答解决能力、应答方式、客户体验等维度优化工作投入人力资源的占比，抓住机器人提升的最核心关键矛盾，快速提升在线机器人的能力。