面向用户的测试研究

1 我国网络测试和优化方法的现状

随着2009年3G牌照的正式发放，我国运营商开始了大规模的3G网络建设。截至2011年5月底，3G基站总数已达到71.4万个，中国移动、中国电信和中国联通的3G基站分别达到21.4万，22.6万和27.4万个，同时还有超过100万个的2G基站在网运行。在用户发展方面，截至2011年5月底，全国移动电话用户已经达到91014万户，其中3G用户总数达到7376万户。在3G用户中，TD-SCDMA业务用户达到3200万户，在3G用户中的占比为43%，具有用户规模发展的潜力。

随着基站规模和载频配置的不断加大，我国网络测试和网络优化都面临新的问题。

在网络测试分析上，传统路测设备的组成比较复杂，技术也成熟，在建网初期发挥了重要作用。随着网优路测工程工作量的增加和无线网络测试评估技术的发展，传统路测已经被自动路测设备取代，但定点通话质量测试CQT还是要靠路测工程师配合传统路测设备完成。自动路测设备使用特制箱式机器，将多个制式终端模块集成在测试机中，通过专用无线通信网卡与位于互联网上的服务器连接，受服务器控制并实时将测试数据传送给服务器。自动路测设备集成度高，操作简单，支持远程配置与控制，自动统计，数据集中上传和管理，它剔除了工程师的人为因素，测试结果更加客观。但目前设备成熟度较低，3G网络测试的性能未经过充分验证。这两种测试工具均不能满足面向用户感知的测试需求，目前正在向让一般用户参与测试的客户感知测试模式方向发展。

在网络日常优化上，目前存在的主要问题是通信用户和业务量的增长造成网络负荷日益凸现，除流量增长的压力外，也产生了信令风暴。智能终端迅速普及对网络质量造成持续冲击，多载波负荷负担策略不合理，导致资源利用效率低，2G/3G互操作问题难以发挥双网的协同优势。数据业务端到端性能评估和优化体系不完善造成网络问题定位解决的效率比较低。另外，如市政建设出现的覆盖盲区，深度覆盖不足，室内分布系统干扰严重，设备不稳定和频繁改动造成了新的网络性能下降。

我国运营商由基于性能指标的网络优化向基于用户感知的网络优化转型，目前依然面临一些困难。首先，缺乏基于用户体验的端到端业务质量评测与分析系统，包括采集设备、测试体系以及分析软件工具等，以提升面向用户感知的业务管理和用户体验。其次，以用户感知为依据的网络评价体系需要完善和标准化，急需提出一套完整成熟的用户体验质量体系，真实反映用户感知，具有可操作性，其中建立用户体验质量QoE（Quality of Experience）与关键质量指标KQI（Key Quality Indicator）和关键性能指标KPI（Key Performance Indicator）之间的关联和映射是评价体系的关键。再次，面向用户感知的优化理论和优化方法还不成熟，需要继续探索和实践。　

2 面向用户感知的测试和分析系统平台架构

从网络运营的角度来看，在话务量增大，数据业务增多的情况下，基站密度也越来越大，在这种持续的建设和扩容过程中，虽然各项网络指标整体呈上升趋势，但是网络结构更加复杂，网络问题定位更加棘手，优化工作的难度越来越高。如此庞大的基站和用户规模，对于我国蜂窝网络的测试分析提出了严峻的挑战。本文从提升业务用户感知的实际需求出发，提出了基于用户体验的端到端业务质量评测和分析系统平台架构（见图1）。

图1 基于用户体验的端到端业务质量评测和分析系统平台架构

该平台架构基于模块化，层次化的设计思想，将基于用户体验的端到端业务质量评测和分析系统自下而上分为采集层，存储与处理层，应用层。

采集层通过基于用户体验的数据采集终端，采集现实应用场景数据，包括业务数据，信令数据。采集层应该能够具有普适性，可以完成多个地区、多种场景、多种业务、多种网络、多接口采集数据，实现多种类型终端条件下的芯片厂商开放接口，底层获取。在实现技术上，用户体验数据采集方案应设计为一套智能数据采集系统，特点是多终端设备、多核心网元接口和IP侧联合采集，以用户感知智能手机为主，自动路测设备、便携式测试设备为辅。各种采集终端可以互相配合统一进行数据采集，互相配合的数据采集计划将由后端平台统一定制和下发，各终端智能更新并执行。

存储与处理层实现海量数据的存储管理和深度挖掘，支持用户行为分析，与用户体验建立内在联系，同时做好层次内不同模块中的系统参数、无线参数、业务参数、用户体验参数等之间的映射体系，做到不同业务应用与用户体验关联分析。在存储与处理技术上，由于多类终端数据采集会有一个非常巨大的数据量级，需要支持从无线通信网络空口和各网元之间接口获取海量测试数据，海量测试数据保存采用分布式存储系统。同时必须采用分布式的云处理机制的系统，整个方案可以形成为一个平台，该平台将统一管理和调度数据采集终端，统一管理和分析海量数据，集中呈现各类分析模型结果。DPI深度数据包检测技术模块负责拆分和重组数据包，采集对用户体验有影响的特征点，并输出给平台相关端口进行分析和处理，所有分析结果将统一由数据库进行管理。

应用层实现基于第三方客观的体验角度，针对各种2G/3G/LTE网络，对用户体验，建立端到端的全面评测与分析体系模型，进行用户异常告警实时跟踪和终端优化分析；除了提供面向实际网络应用的整体服务外，各个功能模块设备都可以单独形成服务支撑能力。在无线资源管理技术上，基于无线资源管理模块不同具体功能中影响用户体验的关键因素，进行流程优化和技术创新。在对用户感知的差异化无线承载控制上，增加更多的维度，改进为依据QoE模型进行无线承载选择，将用户差异在建立承载的过程中体现出来。在多样型无线接纳控制机制上，做到自适应差异化，根据其用户体验对接纳时延的敏感程度可以获得不同的优先级，同时引入新型基于QoE的动态资源分配机制和基于QoE的功率分配方案，进行自适应的小区间干扰协调。

基于用户体验的端到端业务质量评测和分析系统平台架构设计必须支持灵活的组网方式，适应复杂的网络结构，满足可扩展性和可伸缩性要求。平台设计需要支持B/S和C/S两种交互模式，架构设计及接口协议应基于国内外业界开放式标准，数据采集需要标准化格式，方便数据功能扩展和二次开发，充分满足用户的不同使用需求。

3 面向用户感知的网络优化方法

国外某运营商的调查显示，在拥有负面用户体验的客户中，98%的客户选择不投诉，其中的一半直接转网，也会造成运营商有可能在网络运行指标良好的情况下损失大量客户。传统的网络优化与评估方法已经难以适应新的客户需求，以提升用户感知为目标的新型网络优化成为业内的共识（见图2）。

图2 网络指标优化体系和客户感知优化体系的横向对比

目前，传统的网络考核指标体系虽然能够达到日常运维考核的要求，但并不能及时地反应客户感知和网络满意度方面的情况，在2G/3G网络中，经常出现网络指标良好，而客户抱怨主观感知差的问题。传统的KPI指标代表不了整体质量及用户的实际感知度，需要引入面向用户感知的网络优化，进行网络优化的转型，提升用户感知。

现阶段，业内都对面向用户感知的网络优化方法从不同关注角度进行积极探索。中国移动在网络优化方面主要考虑建立QoE-KQI-KPI评估体系，将客观KQI，表征KPI和关联KPI等反映多方情况的指标进行分类映射，研究影响用户感知体验的关键要素。中国电信更强调木桶效应，倾向研究选取用户感知与网络指标的平衡点，将当前关注的网络指标达到合适水平，更多投入到服务等软因素的提升中。测试设备制造商也从之前的单一关注简单的网络指标转移为对多种业务的测试，而且从重视业务性能转为更加重视业务质量。网络测试优化的工具和手段不断向人工智能和专家系统的思想和技术发展，引入智能决策支持系统，建立合理的无线网络优化知识库。网络优化方案提供商也开始在用户感知领域投入研究，从全技术、全数据、全接口角度采集数据，从而给以用户感知为核心的网络优化、规划工作提供依据基础。

现网高度关注用户感知的提升，业界在终端，多网协同优化，流量管控方面提出了多种面向用户感知的网络优化方法，并针对典型方法进行积极引入，局部试点，取得了良好效果。

终端性能直接影响用户感知，终端能力和形态、屏幕大小和输入方式、智能机和非智能机等不同给用户体验和网络服务质量带来了很大的差异，需要更深层次提升端到端的用户体验服务。在终端优化方面，通过网络侧获取终端IMEI，基于终端类型进行KPI统计分析，同时精确定位不同终端的性能差异，实施基于IMEI的无线资源管理算法策略，提升用户感知。由于影响终端多样化业务质量的环节重大，通过对端到端的不同环节进行策略优化，对具体业务进行配置优化，保障用户体验。

当前市场形势下，2G和3G网络都存在局限性，任何一张网络都无法单独承载各类业务，面向移动互联网、物联网的新需求新特点，立足长远，多网协同规划的运营模式是解决现实问题的关键。在2G/3G协同优化方面，多个设备厂家在双网互操作策略上提出了基于IMEI分组的2G/3G互操作策略，可以根据不同终端类型或者是业务类型来设定不同切换门限，使其在特定条件下发生2G/3G切换概率提高或者是降低，甚至可以禁止某些终端发生3G到2G切换的操作，从而降低2G网负荷，确保用户感知。

近两年受资费下降，互联网业务发展拉动，智能终端快速发展等多种因素综合影响，移动数据业务需求强劲，出现了爆发性的流量增长，给2G网络带来巨大压力，运营商开始应用智能管道解决方案进行流量的策略控制。在流量管控方面，通过感知业务，分析用户，控制流量，内容引导来实现网络的流量控制。智能网络管道处于终端和应用业务之间，其智能由一系列致力于资源优化的网络服务系统来实现。运营商通过建设PCC（Policy Control and Charging），在技术层面引入更先进的流量控制，提供基于业务及用户优先等级的数据资源分配机制，实现接入网的差异化、精细化管控，通过流量卸载、多连接等网络协同机制实现网络资源的互补。通过对现有网络进行改造，针对不同应用业务的流量进行分阶段端到端流量优化，对WAP/HTTP进行压缩，对P2P流量进行均衡，对IM即时通信类的永远在线进行优化，对多媒体类应用进行速率适配，来提升数据业务的用户感知。

4 未来我国多元网络优化和用户感知提升的实施策略

随着3G网络的建成，以及下一代演进技术LTE的引入，我国运营商都将面临新技术引入，网络架构演进，多元网络优化等现实问题，2G/3G/LTE在一个相当长的时期内会共存发展。移动互联网是我国通信业重要的发展方向，也是通信生态链上各个主体的一个新兴增长点。在这种多网络多业务的背景下，如何根据市场发展需求把握多网的相互关系，合理规划网络，优化资源配置，已成为目前网络建设的重点。我国多元网络优化和用户感知提升还需要不断探索，分步实施，长期坚持，面向未来发展，本文在具体方向和实施策略上提出几点建议。

（1）强化面向用户感知为核心进行网络规划和网络优化

以用户感知为中心开展网络规划、网络优化和网络测评工作是未来趋势。传统的网络KPI主要聚焦在“接入性”和“保持性”两方面，缺乏在业务质量方面的统计，在未来网络规划过程中，需要更多将新业务应用，甚至新的终端形态考虑在内。传统网络测评的体系主要关注网络指标KPI，而以用户感知为核心的测评除了业务网络外，需要更加关注支撑平台的服务质量和分析能力。继覆盖优化、容量优化、性能优化后，随着业务应用种类增多和用户要求的提高，基于用户感知方面的优化成为新阶段优化的核心任务。

（2）完善面向用户感知的端到端业务质量评测和分析体系

3G 网络的优化从纯技术性的无线网络优化转为面向客户感知QoE方向发展时，传统网络指标体系越来越不能真实地反映用户感知，须建立面向客户感知的质量指标评估体系，分析客户感知与业务质量、业务质量与网络质量的量化关系，从覆盖类、资源类、接入类、保持类、业务质量类等多个维度对网络质量进行评估，实现从问题现象、原因至网络指标的映射。

以客户感知质量指标评估体系为基础，从而建立能够确保提升客户感知和网络质量的网络质量管控体系，并以用户感知为核心，完善从发现问题到过滤处理，进而到总结考评的一系列工作流程，持续性的提升业务质量KQI和用户感知质量QoE。

（3）提升面向用户感知的网优技术水平，逐步推广和应用

由于3G网络技术及业务与2G网络有很大差异，原有2G网络的优化方法不能完全适应3G网络的新特点，需要结合网优技术的新进展，在后续3G新建和扩容工程中全面推动测量报告MR（Measurement Report）统计分析功能，IMEI跟踪分析技术，流量管控技术等新的面向用户感知网优手段的应用，提升优化效果。

目前传统的网络优化方法还不能适应移动互联网等新技术新业务的开展，需要高度关注面向用户感知的网络测试和优化研究，通过开发相应的测试分析和优化系统平台来支撑优化手段的转型，在试点的基础上逐步在现网推广和应用，全面提升网优水平。