一、 测评结果

1.1参评产品数量

今年收集参测产品的方法与去年相同，7家图商牵头送检地图导航定位产品共计52件，其中手机11件，PND导航仪13件，汽车前装和后装系统27件，其它品种1件（汽车后视镜）。涉及到50家地图、硬件和软件企业，40个硬件品牌，23个软件品牌。
参测产品主要为我国（包括台湾地区）自主品牌，也包括了一些美国、欧洲、日本的硬件和软件产品。

1.1导航地图原始数据检测结果

本次测评工作收集到7家导航地图资质企业的7个样区，共计49幅检测数据。每幅样图面积在11平方公里以上，包括道路交通、POI、注记和背景等四类数据。样图均抽检自企业数据库经过审图的原始数据。
导航地图原始数据的质量检测结果是：7家图商的送样检测全部合格。见下表：
导航地图检测结果表

序号	导航地图公司名称	审图号	检测结果
1	北京四维图新科技股份有限公司	GS(2013)3043	合格
2	高德软件有限公司	GS(2013)3049	合格
3	易图通科技（北京）有限公司	GS(2013)3068	合格
4	深圳市凯立德科技股份有限公司	GS(2013)3063	合格
5	北京长地万方科技有限公司	GS(2013)3037	合格
6	北京城际高科信息技术有限公司	GS(2011)240	合格
7	北京灵图软件技术技术有限公司	GS(2013)3067	合格

1.2软件和硬件测评结果

有8件产品的软件不合格。软件发生错误的原因有：
1）   地图动态显示性能未达标；
2）   路径计算速度未达标；
3）   未标绘国界或主要水系；
4）   缺失规定的路径规划策略；
5）   显示信息错误。
有3件产品的硬件未通过评审。主要问题是未做EMC电磁兼容检测或检测的参数超限。

1.3最终产品测评结果

《2013年地图导航定位产品测评大纲》中规定，判定产品合格的标准是：一件产品的地图、软件和硬件均为合格，该产品判为合格。有一项不合格的则判为不合格。经过地图、软件和硬件分别的测评后，综合结果为：
52件产品中，合格的有42件，合格率80.8%。较之2012年的71.4%，合格率提高了9.4%。

二、 测评工作基本情况

2.1开展测评工作基本情况

今年国家局将《地图导航定位产品测评》列入国家基础测绘成果应用推广项目，在局地理信息与地图司指导下,由我协会牵头组织实施。协会据此编制了《地图导航定位产品测评项目设计书》，并于3月22日通过了项目评审专家组的评审。
协会于3月25日向8家图商和相关软硬件企业发文，布置2013年度地图导航定位产品测评工作。5月初向地理信息与地图司上报了《工作方案》和《2013年测评大纲》，并于5月11日召开了《2013年度地图导航定位产品测评工作启动会》。
由于有了去年测评工作的成功经验，今年工作的开展比较顺利。国家局质检中心和协会的产品软件测评中心分别承担了导航地图和导航设备软件的检测。具体的工作从5月中旬到9月上旬，分成三个阶段实施。第一阶段收集地图样区数据和导航产品样机，第二阶段对地图样区进行质检和产品样机的软件测试与硬件质量的评审，第三阶段汇总并给出测评结果。

2.2制定测评标准基本情况

2.2.1修订测评大纲过程

        今年3月明确测评工作任务后，我们在去年执行的测评大纲基础上，根据产品和技术发展现状和专家意见，完善了测评大纲，形成征求意见稿。4月中旬，协会向图商和部分企业征求了对测评大纲的修改意见。我们先后收到了长地、高德、易图通等多家单位的修改建议。在充分研究了去年测评大纲执行过程中出现的问题和大家的反馈意见后， 5月初完成了修订工作，制定完成《2013年地图导航定位产品测评大纲》。

2.2.2测评大纲主要修订内容

     为保持测评大纲的稳定性和连续性，今年大纲主体内容与去年基本相同只在以下两个方面进行了修订：
1. 地图部分
增加了对位于高速路和立交桥的分岔路口位置的3D路口引导图片的检查；
2. 软件部分
在线导航模式下的设备不再检测与移动通讯链路有关的速度指标；增加了几项与触摸屏有关的检测项。
对于第一点，主要是采纳了项目评审专家组的意见。他们认为导航地图中的实景道路引导数据是智能出行规划技术的重要数据，应加强对这类数据的质量检查。对于第二点，主要是避免非导航设备自身原因，由移动互联网网络数据链造成的导航设备数据延迟问题。

2.2.3测评大纲贯彻执行情况

检测过程中，严格按照大纲的要求和评判标准，地图数据的检测结果符合当前7家图商的企业和产品质量状态。软件和硬件的测评也能满足对国内导航产品的功能需求和质量要求。
出现的问题主要有：少部分的送检产品仍然存在硬件质检项目不完整的情况，尤其是电磁兼容这一关键检测指标缺失；一些送检产品未提供运行软件所需的设备，致使不能完整的测试软件功能。这些产品将不被列入推荐产品名单。今年新参加测评的一些导航软件存在着与测评大纲部分功能检测项和指标不符的情况。但这并不影响基本的导航能力。我们今后将针对这些新发现的问题继续完善测评大纲。

2.3地图检测基本情况

2.3.1地图检测过程

     地图检测的流程仍采用以往的“选定样区区域à图商提交样区数据à制作样区基准数据à数据检查à计算质量分”5个环节。
     今年协会负责前两个环节，后三步质检中心完成。共计投入人员6名（协会1名，质检中心5名）。
选择样区的工作按照《地图导航定位产品测评项目设计书》的要求进行。设计书规划了今后三年内完成全国7个大区的20余个抽样区的检测工作。协会在去年3个省和直辖市4个抽样区的基础上，选择了东北地区、西北地区和北京市的7个样区。包括北京市的通州区果园环岛和延庆县夏都公园、沈阳市五爱立交桥区域、哈尔滨市先锋立交桥区域、大庆市水上公园区域、西安市曲江池区域、兰州市七里河黄河大桥区域。这些样区的选择延续以往的城市与农村、老城区与新建区、大城市与中小城市相互兼顾的原则。
选定的样区事先对图商保密。规定7家图商在统一的时段提交样区数据。
导航电子地图测评实施依次包括：样区区域选定、样本数据接收、样区基准数据采集、基准数据编制、地图数据外业检测和内业比对、综合质量评定、与参评企业沟通交流、检测报告编制等多个步骤环节。国家测绘产品质量检验测试中心在测评实施工作中共计投入人员5人，工作量约计240人工天。
样区基准数据采集和导航电子地图检测环节的工作流程如下图所示。



其中在基准数据外业采集阶段，质检中心专门成立外业组，组织人员、车辆和设备（轨迹记录仪、视频和照片采集设备等）分组展开作业，依次实地采集道路、交通限制信息、POI信息、重要注记和背景信息（包括轨迹、照片、视频等数据），在根据此编辑制作出样区基准数据和基准数据图。

2.3.2地图检测的主要方法

在抽样阶段，样区选择充分考虑道路特征和交通管理信息的多样性和代表性，POI类型齐全、具有常用性和地标性，兼顾数据量适中，以通过样区数据的检测达到基本掌握导航电子地图整体质量的目的。
在基准数据外业采集阶段采用专业数据采集设备，在样区现场实地遍历可通车道路，采集道路轨迹、道路名称、交通流和路口交通限制信息、POI位置和照片、测评大纲规定的引导图信息对应的实地照片等数据，基准信息均能以轨迹配合照片和视频的方式回放查找，便于基准数据的编辑制作和检测过程中的复核检查。

2.3.3地图检测结果评估

测评结果表明，导航电子地图样本数据整体质量达到了较高的质量水平。各样本数据质量均匀，测评区域内道路网数据具有较好的完整性和准确性，POI数据较完善，POI的取舍程度把控合理。
通过测评结果初步分析，样本数据反映出的质量问题主要集中在以下几方面：
1、完整性差错—低等道路遗漏和多余、上下坡分叉口位置的引导图遗漏、POI的遗漏和多余；
2、逻辑一致性差错—低等道路交通流方向错误（集中在单行线交通流方向错误）、中等和低等道路路口交通限制关系错误（集中在限制关系遗漏或时间域限制错误）；
3、POI位置或名称错误、中低等级道路名称错误或遗漏。

2.4软件测试基本情况

2.4.1软件测试过程

   软件测试分为三个阶段进行。
第一阶段是准备阶段，时间从5月15日至6月25日。图商和设备商陆续交付送检产品，协会对这些设备进行登记造册，核查生产厂商、产品商标型号、地图和软件的审图号版本号等信息。
第二阶段是进行室内静态测试和室外路测的实际测试阶段，时间从6月26日开始，至8月1日结束。协会和软件测评中心组织实施了52件产品的软件测试。测试范围包括地图显示、查询、路径规划、道路引导和系统性能等五项功能，依据《测评大纲》对软件逐项进行检测。测评中心认真履行了软件测试的职责，投入24人，3辆路测车，共计990人工天。
第三阶段是整理结果和资料归档阶段，时间从8月2日至9月初，编制了52份测试报告（每件产品一份）。
   协会于9月6日组织了测评结果审定会。

2.4.2软件测试方法

     软件测试过程严格遵守了《测评大纲》中对软件基本功能和系统技术性能各项测试项目、测试方法和测试指标的规定，采用了军用软件的测试规范。
     每一个产品的软件测试流程由5个环节组成：“制定测评计划书à编制测试用例à实施测试活动à作出测试结论à编写测试报告”。
每件产品经过5道检测工序，既有室内环境的静态测试，又有室外道路环境的动态测试。
首先，制定一系列的项目组管理、文档规范、测试计划、路测路段选择和路测计划等制度。设计了测试用例14716个，平均每台设备283个。
然后，调集测试人员，组建项目组。安排参测成员培训（测评大纲、测试理论）。分组熟悉测评大纲及被测设备。实施测试活动，同步生成相应的测试记录和报告。
最后，汇总本次项目所有资料，并编制测评结论报告单。
测评方法采用黑盒测试，全部测试用例的设计符合测试行业相关规范。黑盒测试，包括5大功能项 ：地图显示功能、查询功能、路径规划、道路引导、系统性能。每个小组完成所有52台设备中自己组所负责功能的测试用例编写、执行、测试文档编写、测试报告提交。 测试用例的执行按照测试大纲的要求进行。其中地图显示、查询功能功能主要使用室内测试的方法， 路径规划、道路导引、系统性能两部分则全部在北京市区内符合条件的路段进行车辆行驶中的实际测量，所有测试用例的设计和执行都符合软件测试的基本规范。
本次测试，依照测试大纲的要求，采用黑盒测试的方式进行，从任务计划到实施完成，任务明确，测试计划切实可行，测试环境满足测试要求，测试人员安排合理，测试项选择完整合理，测试用例完备、可行，用例执行单的执行方式符合要求（室内测试和实际路测），在测试中记录的设备问题详细、可追溯，测试报告清晰、反映情况属实。为软件厂商提供了宝贵的改进产品质量的整改意见和建议。

2.4.3软件测试结果的分析

   软件测试中发现的主要问题是有一部分导航设备的硬件性能偏低（CPU和GPS芯片的速度慢），造成了地图在缩放和漫游显示时的画面延迟、跳动和拽不动的现象。同时也造成了路径计算时间超长，定位图标移动速度滞后车辆实际行走速度等情况。原因是企业为了降低产品成本，而选用了低性能的芯片。
   另外还有一件产品未显示黑龙江等一级河流。一件产品未设置“少走高速路”的路径选择策略。
   在测试手机导航时，发现一些品牌的手机定位性能偏低。在3G信号不强的地区，尽管GPS信号接收正常，仍出现定位误差大和不稳定的状态。分析原因是这些手机的定位系统采用了3G定位为主，GPS定位为辅的技术。

2.5硬件评审基本情况

2.5.1硬件评审过程

     按照《测评大纲》的安排，今年的硬件测评仍不采用实验室检测的方法，依然要求送检产品附上质检报告。协会对质检报告进行评审。评审的依据是《测评大纲》中关于硬件技术性能指标的规定。其中主要检测项是环境检测（温湿度、震动和跌落）和EMC电磁兼容检测（传导骚扰和辐射骚扰）。根据国家质检总局连续多年对国内市场出售的导航产品质量抽检报告看，不合格的产品几乎全部是EMC电磁兼容指标不过关。所以EMC电磁兼容检测项是今年硬件评审的重点。
   全部送检产品都提交了各种类型的质检报告。
   协会在硬件评审中参考了2013年国家质检总局抽检导航产品的公告，避免对不合格产品的误判。

2.5.2硬件评审的方法

     与去年一样，对不同类型的产品依据实际情况采用了不同的评审方法。对于手机，我们检验机身上是否贴有入网许可标签。标签是表征该机型通过国家检测机构质量检验的标志。对于PND和前后装产品，我们检验该型号产品是否具有国家质量检测中心颁发的3C认证书，或者是否出具了第三方质检机构或具有质检资质的企业自行检测的质检报告。对于3C认证书，我们核对证书所列产品的型号是否与送检产品相同，所列技术标准是否与测评大纲兼容。对于质检报告，我们核查所列检测项及其指标是否满足测评大纲的规定。对于EMC电磁兼容指标缺失的，或者不合格的一律判定“硬件未通过评审”。

2.5.3硬件评审结果分析

    参评的11件手机全部具有入网许可标签，通过评审。
    13件PND产品全部通过评审。
       27件前后装产品中，有4件未做EMC检测，1件的EMC检测超标。共22件通过评审。
1件汽车后视镜导航产品通过评审。
       未通过硬件评审的有5件，占总数的9.6%。相对于去年的24%减少了14.4%。说明不重视产品硬件质量的企业在逐年减少。
不合格的全部是后装产品，说明国内非主流的后装导航制造商产品质量较低。今年送检的PND硬件全部通过评审，说明了一个问题：随着PND厂商的锐减，PND的制造业正向有实力的少数企业集约。

三、 测评工作的总结

今年的测评工作是在去年测评工作经验的基础上开展的。今年的工作经验可以概括为以下几点：
1. 国家局的部署和指导是测评工作的根本保障
协会以往的导航地图和产品测评工作没有长期规划，也没有经费的可靠保障。工作安排上的临时性和短期行为不利于把事情做深做精，这显然不利于行业的健康发展。今年地理信息与地图司将《地图导航定位产品测评》列入国家基础测绘成果应用推广项目，由协会组织实施。据此，协会有条件制定出三年的测评工作规划，在地图质量检测和导航产品测试的安排上有了长期的计划。实现了对行业发展的持续性扶植和管理。测评工作的资源调配和测评结果的确定也离不开国家局的指导。
2.测评方式正确，测评结果可信
由于本次测评工作继续采取了图商牵头的模式，保证了市场上具有主导性和代表性的企业和产品的参与。这有利于了解卫星导航应用行业和市场的基本形势，为政府的监管和服务工作提供正确的信息。
80.8%的产品合格率说明了今年国内市场上产品质量的基本态势。相对于去年测评的71.4%，合格率提高了9.4%。说明市场上的导航产品质量逐年在提高。
3.参评的企业和产品具有代表性
   参加本次测评的企业50家，涉及手机制造、汽车电子、PND导航、软件生产和导航地图制作等不同行业的企业。包含40个硬件品牌和23个软件品牌。虽然参测企业少于去年的61家，但主流企业基本都参加了本次测评。同时我们注意到，企业数量的减少也反映了行业一年来的变化。
4.存在的问题
这次测评工作发现的突出问题有：部分国外和台湾地区的导航软件未按要求标绘国界。在今后审图环节应加强对这类导航产品的审查力度。

四、 建议

1. 设置推荐产品推荐期
虽然有80.8%的参评产品通过了合格线，但通过测评的产品不可能长期保证质量稳定，满足大众不断增长的质量和使用要求。合格线是产品在地图质量、软件基本功能和硬件电子性能方面，以及形成的整机质量水平在最低标准上的认定。更重要的是地图数据具有很强的时效性，需要按规定更新。建议对公布的推荐产品设置推荐期。例如将推荐期定为1年期限。
2、向参测企业发放质量改进建议书
为了帮助企业提高产品质量，向参测企业发放质量改进建议书，内容包括质量问题描述和改进建议。
3.抓紧地图导航定位产品的技术标准化工作
经过多年的产品测评实践，特别是近两年的成功做法，制定技术标准的客观条件基本成熟，应尽快对相关标准立项。