ISO/TS 17444-2:2013

Electronic fee collection - Charging performance - Part 2: Examination Framework

ISO/TS 17444-2:2013 defines the Examination Framework for the measurement of Charging Performance Metrics defined in ISO/TS 17444-1 to be used during Evaluation and/or on-going Monitoring. It specifies a method for the specification and documentation of a Specific Examination Framework which can be used by the responsible entity to evaluate charging performance for a particular information exchange interface or for overall charging performance within a Toll Scheme. It provides a toolbox of Examination Tests for the roles of Toll Charger and Toll Service Provider for the following Scheme types: DSRC Discrete; Autonomous Discrete; Autonomous Continuous. The detailed choice of the set of examination tests to be used depends on the application and the respective context. Compliance with ISO/TS 17444-2:2013 is understood as using the definitions and prescriptions laid out in ISO/TS 17444-2:2013 whenever the respective system aspects are subjected to performance measurements, rather than using other definitions and examination methods than the ones specified in ISO/TS 17444-2:2013. Out of scope of ISO/TS 17444-2:2013 are the following aspects: ISO/TS 17444-2:2013 does not propose specific numeric performance bounds, or average or worst-case error bounds in percentage or monetary units. Those decisions are left to the Toll Charger (or to agreements between Toll Charger and Service Provider).This Technical Specification does not consider the evaluation of the expected performance of a system based on modelling and measured data from trial at another place. ISO/TS 17444-2:2013 does not consider the specification of a common reference system which would be required for comparison of performance between systems. ISO/TS 17444-2:2013 defines measurements only on standardised interfaces. Proprietary interfaces are excluded, because it is not possible to define standardised metrics on such system properties. These excluded interfaces are among others the link between Toll Charger RSE and central systems in DSRC systems, and the additional sensor input of GNSS modules (inertial sensors, CAN-bus for wheel ticks, etc.).

Perception du télépéage — Performance d'imputation — Partie 2: Cadre d'examen

L'ISO/TS 17444-2:2013 définit le cadre d'examen pour le mesurage des métriques de performance d'imputation définies dans l'ISO/TS 17444‑1 à utiliser pendant l'évaluation et/ou la surveillance continue. L'ISO/TS 17444-2:2013 spécifie une méthode pour la spécification et la documentation d'un cadre d'examen spécifique pouvant être utilisé par l'entité responsable pour évaluer la performance d'imputation d'une interface d'échange d'informations particulière ou la performance globale d'imputation d'un système de péage. Elle fournit une boîte à outils de tests d'examen relatifs aux rôles de percepteur de péage et de prestataire de services de péage pour les types de système suivants: a) DSRC discret; b) autonome et discret; c) autonome et continu. Le choix détaillé de l'ensemble des tests d'examen à utiliser dépend de l'application et du contexte correspondant. Par conformité à la présente spécification, on entend l'utilisation des définitions et des spécifications stipulées dans la présente Spécification technique chaque fois que les aspects correspondants du système font l'objet de mesures des performances, plutôt que l'utilisation de définitions et de méthodes d'examen autres que celles spécifiées dans la présente Spécification technique. Les aspects suivants ne relèvent pas du domaine d'application de la présente Spécification technique: l'ISO/TS 17444-2:2013 ne propose pas de limites numériques de performance spécifiques ni de limites d'erreur moyenne ou dans le cas le plus défavorable, en pourcentage ou en unités monétaires. Ces décisions sont laissées au percepteur de péage (ou relèvent d'accords entre le percepteur de péage et le prestataire de services de péage). La présente Spécification technique n'envisage pas d'évaluer la performance attendue d'un système en se fondant sur une modélisation et des données mesurées lors d'un essai effectué à un autre endroit; l'ISO/TS 17444-2:2013 n'envisage pas la spécification d'un système de référence commun qui serait requis pour comparer la performance de différents systèmes; l'ISO/TS 17444-2:2013 définit des mesures réalisées uniquement sur des interfaces normalisées. Les interfaces propriétaires sont exclues, parce qu'il n'est pas possible de définir des mesures normalisées des propriétés de tels systèmes. Ces interfaces exclues comprennent entre autres la liaison entre les infrastructures de bord de route (RSE) du percepteur de péage et les systèmes centraux des systèmes de communications dédiées à courte portée (DSRC) ainsi que l'entrée capteur supplémentaire des modules du GNSS (système mondial de navigation par satellite) (capteurs inertiels, bus CAN pour incréments de roue, etc.).

General Information

• Status: Withdrawn
• Publication Date: 30-Oct-2013
• Withdrawal Date: 30-Oct-2013
• ICS: 03.220.20 - Road transport
• ICS: 35.240.60 - IT applications in transport
• Technical Committee: ISO/TC 204 - Intelligent transport systems
• Drafting Committee: ISO/TC 204/WG 5 - Fee and toll collection
• Current Stage: 9599 - Withdrawal of International Standard
• Start Date: 21-Sep-2017
• Completion Date: 13-Dec-2025

Relations

• Revised: ISO/TS 17444-2:2017 - Electronic fee collection - Charging performance - Part 2: Examination framework
• Effective Date: 10-Dec-2016

Standards Content (Sample)

TECHNICAL ISO/TS
SPECIFICATION 17444-2
First edition
2013-11-15
Electronic fee collection — Charging
performance —
Part 2:
Examination Framework
Perception du télépéage — Performance d'imputation —
Partie 2: Cadre d'examen
Reference number
©
ISO 2013
©  ISO 2013
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form or by any
means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior written permission.
Permission can be requested from either ISO at the address below or ISO’s member body in the country of the requester.
ISO copyright office
Case postale 56  CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail [e-mail]
Web www.iso.org
Published in Switzerland
ii © ISO 2013 – All rights reserved

Contents Page
Foreword .vi
Introduction.vii
1 Scope.1
2 Normative references.1
3 Terms and definitions .2
4 Symbols and Abbreviated terms .7
5 Examination Framework.8
5.1 General .8
5.2 Method for defining a Specific Examination Framework .9
5.2.1 Selection of Metrics to be evaluated .9
5.2.2 Definition of environmental conditions and associated performance requirements.10
5.2.3 Determination of Required Sample Sizes .10
5.2.4 Selection of methods for generating Charging Input and Reference Data .10
5.2.5 Determination of Test Routes / Sub-set of Charged Network for generating representative
trips.10
5.2.6 Documentation of the Specific Examination Framework.11
5.3 Sources of Data .11
5.4 Methods of generating charging input.14
5.4.1 Predefined routes (identifier: “PVP”) .15
5.4.2 Reference System (used in combination with identifiers: “PVR” and “UVR”) .16
5.4.3 Simulated OBE / FE (identifier: “SO”) .17
5.4.4 Dedicated OBE Testing (identifier: “DO”).17
5.5 Applicability of metrics scheme types .18
5.6 Charging Metric Selection Tables.21
5.6.1 General .21
5.6.2 DSRC Discrete .21
5.6.3 Autonomous Discrete .22
5.6.4 Autonomous Continuous .23
6 Examination Tests.25
6.1 Common (and DSRC Discrete) Examination Tests.25
6.1.1 General .25
6.1.2 ET-CM-E2E-1 E2E Correct Charging Rate.25
6.1.3 ET-CM-E2E-2 E2E Overcharging Rate.26
6.1.4 ET-CM-E2E-3 E2E Undercharging Rate.26
6.1.5 ET-CM-E2E-4 E2E Late Charging Rate .27
6.1.6 ET-CM-UA-1 UA - Correct Charging Rate.28
6.1.7 ET-CM-UA-2 UA - Overcharging Rate.28
6.1.8 ET-CM-UA-3 UA - Undercharging Rate.29
6.1.9 ET-CM-UA-4 UA - Accurate application of Payments and Refunds .30
6.1.10 ET-CM-UA-5 UA – Accurate Personalisation of OBUs .30
6.1.11 ET-CM-PC-1 PC - Correct Charging Rate.31
6.1.12 ET-CM-PC-2 PC – Overcharging Rate .31
6.1.13 ET-CM-PC-3 PC - Undercharging Rate .32
6.1.14 ET-CM-PC-4 PC - Latency – TC .33
6.1.15 ET-CM-PC-5 PC - Late Payment Claims .33
6.1.16 ET-CM-PC-6 PC – Rejected Payment Claim Rate.34
6.1.17 ET-CM-BD-1 BD - Correct Charging Rate.34
6.1.18 ET-CM-BD-2 BD – Overcharging Rate .35
6.1.19 ET-CM-BD-3 BD - Undercharging Rate.36
6.1.20 ET-CM-BD-4 BD - Incorrect Charging Rate.37
6.1.21 ET-CM-BD-5 BD - Latency – TC.37
6.1.22 ET-CM-BD-6 BD – Late Billing Details .38
6.1.23 ET-CM-BD-7 BD – Rejected Billing Details Rate.38
6.1.24 ET-CM-BD-8 BD – Incorrectly rejected Billing Details Rate .39
6.1.25 ET-CM-BD-9 BD – Inferred Billing Details Rate .39
6.2 DSRC Discrete – Optional DSRC Toll Declaration Metrics.40
6.2.1 General.40
6.2.2 ET-CM-TD-1 TD - Correct Toll Declaration Generation .40
6.2.3 ET-CM-TD-2 TD - Incorrect Toll Declaration Generation.40
6.2.4 ET-CM-TD-3 TD – Late Toll Declarations.41
6.2.5 ET-CM-TD-4 TD - TSP Event Detection.41
6.2.6 ET-CM-TD-5 TD - TSP False Positive .42
6.3 Autonomous Discrete Specific Examination Tests.43
6.3.1 General.43
6.3.2 ET-CM-TD-1 TD - Correct Toll Declaration Generation .43
6.3.3 ET-CM-TD-2 TD - Incorrect Toll Declaration Generation.43
6.3.4 ET-CM-TD-3 TD – Late Toll Declarations.44
6.3.5 ET-CM-TD-4 TD - TSP Event Detection.44
6.3.6 ET-CM-TD-5 TD - TSP False Positive .45
6.3.7 ET-CM-DTD-1 DTD - Correct Charging Rate (Chargeable Events) .45
6.3.8 ET-CM-DTD-2 DTD - Incorrect Charge Event recognition.46
6.3.9 ET-CM-DTD-3 DTD - Missed Charge Event Recognition .46
6.3.10 ET-CM-DTD-4 DTD Overcharging Rate.47
6.3.11 ET-CM-CR-1 CR - Correct Charge Report Generation .47
6.3.12 ET-CM-CR-2 CR - Incorrect Charge Report Generation.48
6.3.13 ET-CM-CR-3 CR - Charge Report Latency.48
6.3.14 ET-CM-CR-4 CR – TSP Front End Event Detection .49
6.3.15 ET-CM-CR-5 CR – TSP Front End False Positive .49
6.3.16 ET-CM-DCR-1 DCR - Correct Charging Rate (Chargeable Events).50
6.3.17 ET-CM-DCR-2 DCR - Incorrect Charge Event recognition.50
6.3.18 ET-CM-DCR-3 DCR - Missed Charge Event Recognition.51
6.3.19 ET-CM-DCR-4 DCR - Overcharging rate (Incorrect false positive Charge Event
Recognition).51
6.4 Autonomous Continuous Specific Examination Tests.52
6.4.1 General.52
6.4.2 ET-CM-TD-1 TD - Correct Toll Declaration Generation .52
6.4.3 ET-CM-TD-2 TD - Incorrect Toll Declaration Generation.52
6.4.4 ET-CM-TD-3 TD – Late Toll Declarations.53
6.4.5 ET-CM-TD-4 TD - TSP Event Detection.53
6.4.6 ET-CM-TD-5 TD - TSP False Positive .54
6.4.7 ET-CM-CTD-1 CTD Correct Charging Rate.54
6.4.8 ET-CM-CTD-2 CTD Overcharging Rate.55
6.4.9 ET-CM-CTD-3 CTD Accuracy of Distance/Time Measurement.55
6.4.10 ET-CM-CR-1 CR - Correct Charge Report Generation .56
6.4.11 ET-CM-CR-2 CR - Incorrect Charge Report Generation.57
6.4.12 ET-CM-CR-3 CR - Charge Report Latency.57
6.4.13 ET-CM-CR-4 CR – TSP Front End Event Detection .58
6.4.14 ET-CM-CR-5 CR – TSP Front End False Positive .58
6.4.15 ET-CM-CCR-1 CCR - Correct Charging Rate.59
6.4.16 ET-CM-CCR-2 CCR - Overcharging Rate.59
6.4.17 ET-CM-CCR-3 CCR - Accuracy of Distance/Time Measurement.60
Annex A (informative) Examination Test Documentation Template .61
Annex B (informative) Examination Framework Considerations .62
Annex C (informative) Statistical Considerations .66
Annex D (informative) Methods for reducing sample sizes for very high/low probability metrics
during the Evaluation Phase .72
Annex E (informative) Example Specific Examination Frameworks .75
iv © ISO 2013 – All rights reserved

Bibliography.93

Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
In other circumstances, particularly when there is an urgent market requirement for such documents, a
technical committee may decide to publish other types of document:
— an ISO Publicly Available Specification (ISO/PAS) represents an agreement between technical experts in
an ISO working group and is accepted for publication if it is approved by more than 50 % of the members
of the parent committee casting a vote;
— an ISO Technical Specification (ISO/TS) represents an agreement between the members of a technical
committee and is accepted for publication if it is approved by 2/3 of the members of the committee casting
a vote.
An ISO/PAS or ISO/TS is reviewed after three years in order to decide whether it will be confirmed for a
further three years, revised to become an International Standard, or withdrawn. If the ISO/PAS or ISO/TS is
confirmed, it is reviewed again after a further three years, at which time it must either be transformed into an
International Standard or be withdrawn.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO/TS 17444-2 was prepared by Technical Committee ISO/TC 204, Intelligent transport systems, and by
Technical Committee CEN/TC 278, Road transport and traffic telematics in collaboration.
ISO/TS 17444 consists of the following parts, under the general title Electronic fee collection — Charging
performance:
⎯ Part 1: Metrics
⎯ Part 2: Examination Framework
vi © ISO 2013 – All rights reserved

Introduction
Electronic Tolling systems are complex distributed systems involving critical technology such as dedicated
short range communication (DSRC) and global navigation satellite systems (GNSS) both subject to a certain
random behaviour that may affect the computation of the charges. Thus, in order to protect the interests of the
different involved stakeholders, in particular Service Users and Toll Chargers, it is essential to define metrics
that measure the performance of the system as far as computation of charges is concerned and ensure that
the potential resulting errors in terms of size and probability are acceptable. These metrics will be an essential
tool when establishing requirements for the systems and also for examination of the system capabilities both
during acceptance and during the operational life of the system.
In addition, in order to ensure the interoperability of different systems it will be necessary to agree on common
metrics to be used and on the actual values that define the required acceptable performances although this is
not covered in this Technical Specification.
This Technical Specification is defined as a toolbox standard of examination tests plus a method for defining
and documenting Specific Examination Frameworks to meet specific needs. The detailed choice of the set of
examination tests within an Examination Framework depends on the application and the respective context.
Compliance with this specification is understood as using the definitions and prescriptions laid out in this
Technical Specification whenever the respective system aspects are subjected to performance
measurements, rather than using other definitions and examination methods than the ones specified in this
Technical Specification.
ISO/TS 17444-1 defines a set of charging performance metrics with appropriate definitions, principles and
formulations, which together make up a reference framework for the establishment of requirements for EFC
systems and their later examination of the charging performance.
These charging performance metrics are intended for use with any toll scheme, regardless of its technical
underpinnings, system architecture, tariff structure, geographical coverage, or organizational model. They are
defined to treat technical details that may be different among technologies as a “black box”. They focus solely
on the outcome of the charging process – i.e. the amount charged in relation to a pre-measured or
theoretically correct amount – rather than intermediate variables from various components as sensors, such
as positioning accuracy, signal range, or optical resolution. This approach ensures comparable results for
each metric in all relevant situations.
The metrics are designed to cover the information exchanged on the front-end interface and the
interoperability interfaces between Toll Service Providers and Toll Chargers as well as information on the end-
to-end level.
Metrics for the following information exchanges are defined:
⎯ charge reports;
⎯ toll declarations;
⎯ billing details and associated event data;
⎯ payment claims on the level of user accounts;
⎯ end to end metrics which assess the overall performance of the charging process.
The proposed metrics are specifically addressed to protect the interests of the actors in a toll system, such as
Toll Service Providers, Toll Chargers and Service Users. The metrics can be used to define requirements (e.g.
for requests for proposals) and for performance assessment.
Toll schemes take on various forms as identified in ISO/TS 17575 suite and ISO 14906. In order to create a
uniform performance metric specification toll schemes are grouped into two classes, based on the character of
their primary charging variable: Charging based on discrete events (charges associated to the fact that a
vehicle is crossing or standing within a certain zone), and those based on a continuous measurement
(duration or distance).
In all these toll schemes, tolls may additionally vary as a function of vehicle class characteristics such as
trailer presence, number of axles, taxation class, operating function, and depending on time of day or day of
week, such that e.g. tariffs are higher in rush hour and lower on the weekends.
With this degree of complexity, it is not surprising to find that the attempts to evaluate and compare technical
solutions for Service User charging have been made uniquely each time a procurement or study is initiated,
and with only limited ability to reuse prior comparisons made by other testing entities.
Examination Framework
The Examination Framework that is defined in this part of ISO/TS 17444 is designed for measuring the
metrics defined in ISO/TS 17444-1. The general aim is to achieve a maximum of comparability and
reproducibility of the results without restricting the technological choices in system design. Specific
Examination Frameworks maybe defined for the Evaluation and Monitoring Phases of a project due to the
differences in the availability of equipped vehicles.
Evaluation Phase
This phase encompasses system evaluation and selection as well as commissioning and ramp up during
implementation. Important aspects of this phase are:
⎯ relatively small sample sizes;
⎯ well controlled behaviour of test vehicles.
Monitoring Phase
After the system has gone into operation, its behaviour needs to be monitored for several reasons, such as
fine-tuning of the system performance, monitoring of SLAs between contractual partners (supplier, Toll
Charger, Toll Service Provider, etc.). In this phase the following system aspects can be expected:
⎯ very large sample sizes possible, but with unknown behaviour of the vehicles;
⎯ in principle all measurements from implementation phase possible, too.
Readers Guide
To understand the content of this part of ISO/TS 17444, the reader should be aware of the methodology and
assumptions used to develop the Examination Framework and associated examination tests; therefore a
suggested reading order is given below:
1) Annex B provides details of the underlying considerations for developing the Examination
Framework.
2) Annex C provides background statistical information which will enable the reader to determine
sample sizes and confidence limits based on the defined performance requirements.
3) Clause 5 provides the definition of the Examination Framework for the evaluation of Charging
Performance.
4) Clause 6 contains the toolbox of Examination Tests for the evaluation of charging performance for the
identified scheme types.
viii © ISO 2013 – All rights reserved

5) Annex D contains methods which can be used to reduce the required sample sizes for metrics with
high / low probabilities during the evaluation phase.
6) Annex E provides an example(s) of Specific Examination Frameworks which have been developed in
accordance with the methodology in Clause 5.2.

TECHNICAL SPECIFICATION ISO/TS 17444-2:2013(E)

Electronic fee collection — Charging performance — Part 2:
Examination Framework
1 Scope
This part of ISO/TS 17444 defines the Examination Framework for the measurement of Charging
Performance Metrics defined in ISO/TS 17444-1 to be used during Evaluation and/or on-going Monitoring.
It specifies a method for the specification and documentation of a Specific Examination Framework which can
be used by the responsible entity to evaluate charging performance for a particular information exchange
interface or for overall charging performance within a Toll Scheme.
It provides a toolbox of Examination Tests for the roles of Toll Charger and Toll Service Provider for the
following Scheme types:
a) DSRC Discrete;
b) Autonomous Discrete;
c) Autonomous Continuous.
The detailed choice of the set of examination tests to be used depends on the application and the respective
context. Compliance with this specification is understood as using the definitions and prescriptions laid out in
this Technical Specification whenever the respective system aspects are subjected to performance
measurements, rather than using other definitions and examination methods than the ones specified in this
Technical Specification.
Out of scope of this specification are the following aspects:
⎯ This Technical Specification does not propose specific numeric performance bounds, or average or
worst-case error bounds in percentage or monetary units. Those decisions are left to the Toll Charger (or
to agreements between Toll Charger and Service Provider).This Technical Specification does not
consider the evaluation of the expected performance of a system based on modelling and measured data
from trial at another place.
⎯ This Technical Specification does not consider the specification of a common reference system which
would be required for comparison of performance between systems.
⎯ This Technical Specification defines measurements only on standardised interfaces. Proprietary
interfaces are excluded, because it is not possible to define standardised metrics on such system
properties. These excluded interfaces are among others the link between Toll Charger RSE and central
systems in DSRC systems, and the additional sensor input of GNSS modules (inertial sensors, CAN-bus
for wheel ticks, etc.).
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated references,
the latest edition of the referenced document (including any amendments) applies.
ISO/TS 17444-1, Electronic fee collection — Charging performance — Part 1: Metrics
ISO 12855:2012, Electronic fee collection — Information exchange between service provision and toll
charging
ISO/TS 17575-1:2010, Electronic fee collection — Application interface definition for autonomous systems —
Part 1: Charging
ISO 17573:2010, Electronic fee collection — Systems architecture for vehicle-related tolling
3 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
3.1
absolute charging error
difference between the measured charge (toll) value and the actual value (as measured by a reference
system)
Note 1 to entry: A positive error means that the measurement exceeds the actual one.
[SOURCE: ISO/TS 17444-1:2012, definition 3.1]
3.2
accepted charging error interval
interval of the Relative Charging Error varying from a negative (undercharge) to a positive (overcharge) value
that the Toll Charger considers as acceptable, i.e. correct charging
[SOURCE: ISO/TS 17444-1:2012, definition 3.2]
3.3
average relative charging error
ratio between the sum of computed charges associated to a set of vehicles during a certain period of time and
the actual due charge (for the same set of vehicles and the same period) minus 1
[SOURCE: ISO/TS 17444-1:2012, definition 3.3]
3.4
billing detail
for a given Transport Service, all necessary data required to determine and/or verify the amount due for the
Service User
Note 1 to entry: If the data is accepted by both the Toll Charger and the Toll Service Provider, then it is called a
concluded Billing Detail which can be used to issue a Payment Claim.
Note 2 to entry: For a given Transport Service, the Billing Detail is referring to one or several valid Toll Declaration(s).
A valid Billing Detail” has to fulfil formal requirements, including security requirements, agreed between the Toll Service
Provider and the Toll Charger.
[SOURCE: ISO 12855:2012, definition 3.1]
3.5
chargeable event
event in which a vehicle passes through a Charge Object that implies that vehicle has to be charged or a
different rate (e.g. price per kilometre) applied
Note 1 to entry: This event refers to the use of a certain object and not to the mechanisms by which detection is
produced.
[SOURCE: ISO/TS 17444-1:2012, definition 3.5]
2 © ISO 2013 – All rights reserved

3.6
charge object
any object that is part of the toll context description that may be charged for its use under certain conditions
[SOURCE: ISO/TS 17575-1:2010, definition 3.6]
3.7
charging period
period of time which is used to define the frequency of the Toll Declarations, when Charge Reports are
aggregated to form Toll Declarations
Note 1 to entry: If the Charging Period is set to 24 h then in the Toll Context Data a single Toll Declaration is submitted
for each 24 h period for each Service User.
[SOURCE: ISO/TS 17444-1:2012, definition 3.7]
3.8
Charge Relevant Event
event occurring within a tolling system, which is relevant for charge calculation, but not for the detection of a
Charge Object itself
Note 1 to entry: Examples of this type of event are changes in vehicle category or time zone.
[SOURCE: ISO/TS 17444-1:2012, definition 3.8]
3.9
charge report
data structure transmitted from the Front End to the Back End to report road usage data and supplementary
related information
Note 1 to entry: In 2009/750/EC, Charge Report is referred to as “Toll Declaration”.
[SOURCE: ISO 12855:2012, definition 3.2]
3.10
discrete toll scheme
toll scheme where the charge is calculated based on distinct events associated with the identification of
Charge Objects such as crossing a cordon, passing a bridge, being present in an area, etc.
Note 1 to entry: Each event is associated with a certain charge.
[SOURCE: ISO/TS 17444-1:2012, definition 3.10]
3.11
continuous toll scheme
toll scheme where the charge is calculated based on the accumulation of continuously measured
parameter(s), such as, distance, time, etc.
[SOURCE: ISO/TS 17444-1:2012, definition 3.11]
3.12
event detection
element of the system responsible for detecting Chargeable Events associated with a Charge Object
Note 1 to entry: The output of this element provides the key information to compute a charge in a discrete scheme, or
act as input for a function in a continuous scheme (e.g. for zones where distance tariffs apply).
[SOURCE: ISO/TS 17444-1:2012, definition 3.12]
3.13
evaluation
process applied for measuring a specific metric or set of metrics during an evaluation phase
[SOURCE: ISO/TS 17444-1:2012, definition 3.13]
3.14
Front End
part(s) of the toll system where road usage data for an individual Service User are collected, processed and
delivered to the Back End
Note 1 to entry: The Front End comprises the on-board equipment and an optional proxy.
[SOURCE: ISO/TS 17575-1, definition 3.13]
3.15
false positive event
Chargeable Event that did not take place but is recorded by the system
[SOURCE: ISO/TS 17444-1:2012, definition 3.15]
3.16
missed recognition event
Chargeable Event that takes place but is not recorded by the system
[SOURCE: ISO/TS 17444-1:2012, definition 3.16]
3.17
monitoring
process within a distributed system for collecting and storing state data
Note 1 to entry: This can be used to observe metrics during operation.
[SOURCE: ISO/TS 17444-1:2012, definition 3.17]
3.18
overcharging
situation when the calculated charge is above the Accepted Charging Error Interval
[SOURCE: ISO/TS 17444-1:2012, definition 3.18]
3.19
payment claim
recurring statement referring to concluded Billing Details made available to the Toll Service Provider by the
Toll Charger who indicated and justified the amount due
Note 1 to entry: The payment claim is used by the Toll Service Provider to issue financial objects to its customers (e.g.
invoices on behalf of the Toll Charger). A given toll payment claim is referring to concluded Billing Details and takes into
account any specific commercial conditions applicable to a vehicle, a fleet of vehicles, a customer of a Toll Service
Provider and/or a Toll Service Provider. A valid “payment claim” has to fulfil formal requirements, including security
requirements, agreed between the Toll Service Provider and the Toll Charger.
[SOURCE: ISO 12855:2012, definition 3.14]
3.20
performance metrics
specific calculations used to describe the charging performance of a system. These calculations are
technology- and schema-independent
[SOURCE: ISO/TS 17444-1:2012, definition 3.20]
4 © ISO 2013 – All rights reserved

3.21
population
totality of items under consideration
[SOURCE: ISO 3534-1:2006]
3.22
relative charging error
ratio between the Absolute Charging Error and the actual value, i.e. Relative Charging Error = Absolute
Charging Error / Actual Value
Note 1 to entry: The topic of Actual Values and how to handle them will be dealt with in the Examination Framework.
[SOURCE: ISO/TS 17444-1:2012, definition 3.21]
3.23
representative trips
trips that are of a distance larger than a defined threshold and so have to be considered by the related metrics
Note 1 to entry: Only trips which exceed the threshold and cover the specific types of roads of the Toll Regime have to
be considered.
Note 2 to entry: The threshold may be defined as zero.
[SOURCE: ISO/TS 17444-1:2012, definition 3.22]
3.24
sample
subset of a population made up of one of more of the individual parts in which the population is divided
[SOURCE: ISO 3534-1:2006, modified]
3.25
service user
customer of a Toll Service Provider, one liable for toll, the owner of the vehicle, a fleet operator, a driver, etc.,
depending on the context
[SOURCE: ISO 12855:2012, definition 3.29]
3.26
specific examination framework
particular instance of a set of Examination Tests defined by an entity to determine the performance of specific
selected Charging Metrics during either Evaluation and or Monitoring
3.27
successful charging
situation where the user has been correctly charged according to the rules of the system
Note 1 to entry: For discrete Toll Schemes this means that for a given chargeable journey the Chargeable Events
have been correctly identified and for continuous schemes that the Charge determined is within the Accepted Charging
Error Interval.
[SOURCE: ISO/TS 17444-1:2012, definition 3.24]
3.28
Toll Charger
legal entity charging toll for vehicles in a toll domain
Note 1 to entry: In other documents the terms operator or toll operator can be used.
[SOURCE: ISO 17573:2010, definition 3.16]
3.29
Toll Service Provider
legal entity providing customer toll services on one or more toll domains for one or more classes of vehicle
Note 1 to entry: In other documents the terms issuer or contract issuer can be used.
Note 2 to entry: The Toll Service Provider can provide the OBE or can provide only a magnetic card or a smart card to
be used with OBE provided by a third party (just as a mobile telephone and a SIM card can be obtained from different
parties).
Note 3 to entry: The Toll Service Provider is responsible for the operation (functioning) of the OBE with respect to
tolling.
[SOURCE: ISO 17573: 2010, definition 3.23]
3.30
toll declaration
statement to a Toll Charger that confirms the presence of a vehicle in a toll domain in a format agreed
between the Toll Service Provider and the Toll Charger
Note 1 to entry: A valid Toll Declaration has to fulfil formal requirements, including security requirements, agreed
between the Toll Service Provider and the Toll Charger.
[SOURCE: ISO 12855 2012, declaration 3.19]
3.31
trip
part of space-time trajectory of a particular vehicle within a Toll Scheme
Note 1 to entry: The exact definition of the start and end of trip is dependent on the Toll Regime and technology
approach.
[SOURCE: ISO/TS 17444-1:2012, definition 3.28]
3.32
undercharging
situation where the calculated charge is below the Accepted Charging Error Interval
[SOURCE: ISO/TS 17444-1:2012, definition 3.29]
3.33
user
generic term used for the customer of a Toll Service Provider, one liable for toll, the owner of the vehicle, a
fleet operator, a driver, etc. depending on the context
[SOURCE: ISO 12855, definition 3.29]
3.34
user account
assets, liabilities, income, expenses, and equity of a Service User in his relationship to his Toll Service
Provider
[SOURCE: ISO/TS 17444-1:2012, definition 3.31]
3.35
user complaint
complaints related to service provision received by the Toll Service Provider from its Users via contact
channels
[SOURCE: ISO/TS 17444-1:2012, definition 3.32]
6 © ISO 2013 – All rights reserved

4 Symbols and Abbreviated terms
ARCE Average Relative Charging Error
BD Billing Details
CCR Continuous Charge Report
CCTV Closed Circuit Television (ISO/TS 17444-1)
CELB Charging Error Interval Lower Bound
CEUB Charging Error Interval Upper Bound
CI Charging Input
CM Charging Metric
CR Charge Report
CTD Continuous Toll Declaration
DCR Discrete Charge Report
DSRC Dedicated Short Range Communications (EN ISO 14906)
DTD Discrete Toll Declaration
DO Dedicated OBE Testing
E2E End to End (ISO/TS 17444-1)
EFC Electronic Fee Collection (ISO 17573)
EETS European Electronic Toll Service (ISO 17573)
ESA Enforcement System ANPR
ESD Enforcement System DSRC
FE Front End (ISO/TS 17575-1)
GNSS Global Navigation Satellite System (ISO/TS 17444-1)
GPP GNSS path post processing
ICT Information and Communications Technology
IS Independent Reference System
ITS Intelligent Transport Systems (ISO/TS 17444-1)
KPI Key Performance Indicator
MBDD Maximum Billing Details Delay
MPCD Maximum Payment Claim Delay
MTDD Maximum Toll Declaration Delay
MUSD Maximum User Statement Delay
OBE On-Board Equipment (ISO 17573)
PC Payment Claim
SLA Service Level Agreement (ISO/IEC 20000-1)
SO Simulated OBE / FE
TSP Toll Service Provider (ISO 17573)
TSP-BO Toll Service Provider back office
TC Toll Charger (ISO 17573)
TC-BO Toll Charger back office
TD Toll Declaration
UA User Account
5 Examination Framework
5.1 General
Clauses 6.1 to 6.4 contain a toolbox of Examination Tests for the following scheme types:
a) DSRC Discrete (Clause 6.1 & optionally Clause 6.2);
b) Autonomous Discrete (Clause 6.3);
c) Autonomous Continuous (Clause 6.4).
NOTE These Scheme Types are defined in ISO/TS 17444-1.
Each of these clauses contains the specific examination tests for the applicable Charging Metrics identified in
ISO/TS 17444-1.
Clause 5.2 defines the process that should be followed to define a specific Examination Framework for a
particular purpose.
Clause 5.3 provides a definition of the sources of data that can be used by the Examination Tests to calculate
the Charging Metrics.
Clause 5.4 provides the definitions of the methods of generating Charging Input referenced in the Examination
Tests defined in Clause 5.5.
Clause 5.5 defines the applicability of the defined Charging Metrics for the Roles of Toll Charger and Toll
Service Provider for the 3 identified scheme types.
Clause 5.6 provides tables for the selection of Charging Metrics and associated Examination Tests for the
Roles of Toll Charger and Toll Service Provider for each identified Scheme Type.
8 © ISO 2013 – All rights reserved

5.2 Method for defining a Specific Examination Framework
Figure 1 provides an overview of the process that should be followed to define a specific instance of an
Examination Framework for the evaluation of Charging Metrics for the roles of Toll Service Provider and/or
Toll Charger in a particular Toll Scheme. Further details are provided in the Clauses 5.2.1 to 5.2.6.

Figure 1 — Method for Defining a Specific Examination Framework
5.2.1 Selection of Metrics to be evaluated
The entity responsible for the definition of the specific Examination Framework shall determine the metrics to
be measured in the phases of Evaluation and Monitoring for the roles of Toll Service Provider and / or Toll
Charger using the appropriate tables in Clause 5.6
a) DSRC Discrete
⎯ Table 5 — DSRC Discrete - Metric Selection Table
⎯ Table 6 — DSRC Discrete – Optional DSRC Toll Declaration Metric Selection Table
b) Autonomous Discrete
⎯ Table 7 — Autonomous Discrete - Metric Selection Table
c) Autonomous Continuous
⎯ Table 8 — Autonomous Continuous - Metric Selection Table
5.2.2 Definition of environmental conditions and associated performance requirements
The entity responsible for the definition of the specific Examination Framework shall determine the
environmental conditions (Representative / Challenging) and associated performance requirements to be met
for each metric selected in 5.2.1.
NOTE 1 Assessment of Charging Metrics in a Representative Environment allows performance in the operational
environment to be assessed. However care is to be taken to ensure that the Charging Data Input / selection of
representative trips is comparable to that expected for the operational environmen
...

SPÉCIFICATION ISO/TS
TECHNIQUE 17444-2
Première édition
2013-11-15
Perception du télépéage —
Performance d’imputation —
Partie 2:
Cadre d’examen
Electronic fee collection — Charging performance —
Part 2: Examination Framework
Numéro de référence
©
ISO 2013
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2013
Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur
l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à
l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail [e-mail]
Web www.iso.org
Publié en Suisse
ii © ISO 2013 – Tous droits réservés

Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives . 2
3 Termes et définitions . 2
4 Symboles et abréviations . 7
5 Cadre d’examen. 8
5.1 Généralités . 8
5.2 Méthode permettant de définir un cadre d’examen spécifique . 9
5.3 Sources de données .11
5.4 Méthodes pour générer une entrée d’imputation .14
5.5 Applicabilité des types de systèmes de métriques .18
5.6 Tableaux de sélection des métriques d’imputation . .19
6 Tests d’examen .27
6.1 Tests d’examen communs (et pour système DSRC discret) .27
6.2 DSRC discret — Métriques optionnelles de déclaration de péage en mode DSRC .43
6.3 Tests d’examen spécifique d’un système autonome discret .46
6.4 Tests d’examen spécifiques d’un système autonome continu .55
Annexe A (informative) Modèle de documentation des tests d’examen .66
Annexe B (informative) Considérations relatives au cadre d’examen .67
Annexe C (informative) Considérations statistiques .71
Annexe D (informative) Méthodes permettant de réduire les tailles d’échantillon pour des
métriques à très haute/faible probabilité pendant la phase d’évaluation .77
Annexe E (informative) Exemples de cadre d’examen spécifique .81
Bibliographie .98
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (CEI) en ce qui concerne
la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives
ISO/CEI, Partie 2.
La tâche principale des comités techniques est d’élaborer les Normes internationales. Les projets de
Normes internationales adoptés par les comités techniques sont soumis aux comités membres pour vote.
Leur publication comme Normes internationales requiert l’approbation de 75 % au moins des comités
membres votants.
Dans d’autres circonstances, en particulier lorsqu’il existe une demande urgente du marché, un comité
technique peut décider de publier d’autres types de documents normatifs:
— une Spécification publiquement disponible ISO (ISO/PAS) représente un accord entre les experts
dans un groupe de travail ISO et est acceptée pour publication si elle est approuvée par plus de 50 %
des membres votants du comité dont relève le groupe de travail;
— une Spécification technique ISO (ISO/TS) représente un accord entre les membres d’un comité technique
et est acceptée pour publication si elle est approuvée par 2/3 des membres votants du comité.
Une ISO/PAS ou ISO/TS fait l’objet d’un examen après trois ans afin de décider si elle est confirmée pour
trois nouvelles années, révisée pour devenir une Norme internationale, ou annulée. Lorsqu’une ISO/PAS
ou ISO/TS a été confirmée, elle fait l’objet d’un nouvel examen après trois ans qui décidera soit de sa
transformation en Norme internationale soit de son annulation.
L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable de
ne pas avoir identifié de tels droits de propriété et averti de leur existence.
L’ISO/TS 17444-2 a été élaborée par le comité technique CEN/TC 278, Application télématique pour le
transport routier et la circulation routière du Comité européen de normalisation (CEN) en collaboration
avec le comité technique ISO/TC 204, Systèmes intelligents de transport, conformément à l’Accord de
coopération technique entre l’ISO et le CEN (Accord de Vienne).
L’ISO/TS 17444 comprend les parties suivantes, présentées sous le titre général Perception de télépéage —
Performance d’imputation:
— Partie 1: Métrique
— Partie 2: Cadre d’examen
iv © ISO 2013 – Tous droits réservés

Introduction
Les systèmes de télépéage sont des systèmes répartis complexes impliquant une technologie critique telle
que des communications dédiées à courte portée (DSRC) et des systèmes mondiaux de navigation par
satellite (GNSS), tous deux sujets à un certain comportement aléatoire susceptible d’avoir une incidence
sur le calcul des charges. Par conséquent, pour protéger les intérêts des différentes parties prenantes
concernées, en particulier les utilisateurs du service et les percepteurs de péage, il est essentiel de
définir des métriques permettant de mesurer la performance du système dans la mesure où le calcul
des charges est concerné et de s’assurer que les erreurs résultantes potentielles en termes de dimension
et de probabilité sont acceptables. Ces métriques seront un outil essentiel lors de la détermination des
exigences relatives aux systèmes ainsi que pour l’examen des capacités d’un système aussi bien durant
sa phase de réception que pendant sa durée de vie utile.
De plus, pour assurer l’interopérabilité de différents systèmes, il sera nécessaire de convenir de métriques
communes à utiliser et des valeurs réelles qui définissent les performances acceptables exigées, bien
que ces questions ne soient pas traitées dans la présente Spécification technique.
La présente Spécification technique est définie comme une norme «boîte à outils» pour les tests
d’examen et fournit également une méthode permettant de définir et de documenter des cadres
d’examen spécifiques répondant à des besoins spécifiques. Le choix détaillé de l’ensemble des tests
d’examen dans un cadre d’examen dépend de l’application et du contexte correspondant. Par conformité
à la présente spécification, on entend l’utilisation des définitions et des spécifications stipulées dans la
présente Spécification technique chaque fois que les aspects correspondants du système font l’objet de
mesures des performances, plutôt que l’utilisation de définitions et de méthodes d’examen autres que
celles spécifiées dans la présente Spécification technique.
L’ISO/TS 17444-1 définit un ensemble de mesures de la performance d’imputation, avec les définitions,
principes et formulations appropriés, qui constituent un cadre de référence pour la détermination des
exigences relatives aux systèmes de perception de télépéage (EFC) et pour l’examen ultérieur de leur
performance d’imputation.
Ces mesures de la performance d’imputation sont destinées à être utilisées avec tout système de péage,
quels que soient ses fondements techniques, son architecture, sa structure tarifaire, sa couverture
géographique ou son modèle organisationnel. Elles sont définies de manière à traiter les détails
techniques pouvant différer d’une technologie à l’autre comme le ferait une «boîte noire». Elles sont axées
uniquement sur le résultat du processus d’imputation – c’est-à-dire le montant facturé en fonction d’une
quantité préalablement mesurée ou théoriquement correcte – plutôt que sur des variables intermédiaires
issues de divers composants comme des capteurs, telles que l’exactitude du positionnement, la portée du
signal ou la résolution optique. Cette méthode garantit des résultats comparables pour chaque mesure
dans toutes les situations pertinentes.
Ces mesures sont conçues pour couvrir les informations échangées sur l’interface frontale et les
interfaces d’interopérabilité entre les prestataires de service de péage et les percepteurs de péage, ainsi
que les informations échangées de bout en bout.
Des mesures sont définies pour les échanges d’informations suivants:
— rapports de perception;
— déclarations de péage;
— détails de facturation et données d’événement associées;
— demandes de paiement au niveau des comptes utilisateurs;
— mesure de bout en bout qui évalue la performance globale du processus d’imputation.
Les mesures proposées sont spécifiquement conçues pour protéger les intérêts des différents acteurs
d’un système de péage, tels que les prestataires de service de péage, les percepteurs de péage et les
utilisateurs du service. Les mesures peuvent être utilisées pour définir des exigences (par exemple pour
des demandes de réponses à appels d’offres) et pour évaluer la performance.
Les systèmes de péage adoptent diverses formes telles qu’identifiées dans la série ISO/TS 17575
et l’ISO 14906. Pour établir une spécification uniforme de mesures de performance, les systèmes de
péage sont regroupés en deux classes, sur la base de la nature de leur principale variable d’imputation:
imputation fondée sur des événements discrets (charges associées au fait qu’un véhicule franchit ou
stationne dans une certaine zone) et imputation fondée sur une mesure en continu (durée ou distance).
Dans tous ses systèmes de péage, les péages peuvent également varier en fonction des caractéristiques
de la catégorie de véhicule telles que la présence d’une remorque, le nombre d’essieux, la catégorie
fiscale, l’exploitation, et selon le moment de la journée ou le jour de la semaine, de sorte que, par exemple,
les tarifs sont plus élevés aux heures de pointe et plus bas les week-ends.
Avec un tel degré de complexité, il n’est pas surprenant de constater que les tentatives d’évaluation et
de comparaison de solutions techniques pour la tarification du service n’ont été réalisées que chaque
fois qu’une acquisition ou une étude était lancée, et seulement avec une capacité limitée de réutiliser des
comparaisons antérieures réalisées par d’autres entités d’essai.
Cadre d’examen
Le cadre d’examen défini dans le présent document est conçu pour mesurer les métriques définies dans
l’ISO/TS 17444-1. L’objectif général est d’obtenir une comparabilité et une reproductibilité maximales
des résultats sans limiter les choix technologiques dans la conception des systèmes. Des cadres d’examen
spécifiques peuvent être définis pour les phases d’évaluation et de surveillance d’un projet en raison des
différences de disponibilité de véhicules équipés.
Phase d’évaluation
Cette phase englobe l’évaluation et le choix du système ainsi que sa mise en service et sa montée en
puissance pendant l’implémentation. Les aspects importants de cette phase sont:
— des tailles d’échantillon relativement faibles;
— un comportement bien contrôlé des véhicules d’essai.
Phase de surveillance
Après la mise en service du système, son comportement doit être surveillé pour plusieurs raisons,
notamment pour un réglage fin de la performance du système, une surveillance des SLA (accords sur un
niveau de service) entre partenaires contractuels (fournisseur, percepteur de péage, prestataire de services
de péage, etc.). Durant cette phase, les aspects suivants peuvent être attendus au niveau du système:
— très grandes tailles d’échantillon possibles, mais avec un comportement inconnu des véhicules;
— en principe, toutes les mesures de la phase d’implémentation sont possibles aussi.
Guide à l’attention des lecteurs
Pour comprendre le contenu de la présente Spécification technique, il convient que le lecteur connaisse
la méthodologie et les hypothèses utilisées pour développer le cadre d’examen et les tests d’examen
associés. Par conséquent, l’ordre de lecture suggéré est le suivant:
a) l’Annexe B fournit des renseignements détaillés sur les considérations sous-jacentes relatives au
développement d’un cadre d’examen;
b) l’Annexe C fournit des informations statistiques générales qui permettront au lecteur de déterminer
les tailles d’échantillon et les limites de confiance sur la base des exigences de performance définies;
c) l’Article 5 donne la définition du cadre d’examen pour l’évaluation de la performance d’imputation;
d) l’Article 6 contient la boîte à outils des tests d’examen relatifs à l’évaluation de la performance
d’imputation pour les types de système identifiés;
vi © ISO 2013 – Tous droits réservés

e) l’Annexe D contient des méthodes pouvant être utilisées pour réduire les tailles d’échantillon
requises pour des mesures à haute/faible probabilités pendant la phase d’évaluation;
f) l’Annexe E fournit des exemples de cadres d’examen spécifiques qui ont été développés conformément
à la méthodologie décrite en 5.2.
SPÉCIFICATION TECHNIQUE ISO/TS 17444-2:2013(F)
Perception du télépéage — Performance d’imputation —
Partie 2:
Cadre d’examen
1 Domaine d’application
La présente partie de l’ISO/TS 17444 définit le cadre d’examen pour le mesurage des métriques de
performance d’imputation définies dans l’ISO/TS 17444-1 à utiliser pendant l’évaluation et/ou la
surveillance continue.
Elle spécifie une méthode pour la spécification et la documentation d’un cadre d’examen spécifique
pouvant être utilisé par l’entité responsable pour évaluer la performance d’imputation d’une interface
d’échange d’informations particulière ou la performance globale d’imputation d’un système de péage.
Elle fournit une boîte à outils de tests d’examen relatifs aux rôles de percepteur de péage et de prestataire
de services de péage pour les types de système suivants:
a) DSRC discret;
b) autonome et discret;
c) autonome et continu.
Le choix détaillé de l’ensemble des tests d’examen à utiliser dépend de l’application et du contexte
correspondant. Par conformité à la présente spécification, on entend l’utilisation des définitions
et des spécifications stipulées dans la présente Spécification technique chaque fois que les aspects
correspondants du système font l’objet de mesures des performances, plutôt que l’utilisation de définitions
et de méthodes d’examen autres que celles spécifiées dans la présente Spécification technique.
Les aspects suivants ne relèvent pas du domaine d’application de la présente Spécification technique:
— la présente Spécification technique ne propose pas de limites numériques de performance
spécifiques ni de limites d’erreur moyenne ou dans le cas le plus défavorable, en pourcentage ou en
unités monétaires. Ces décisions sont laissées au percepteur de péage (ou relèvent d’accords entre
le percepteur de péage et le prestataire de services de péage). La présente Spécification technique
n’envisage pas d’évaluer la performance attendue d’un système en se fondant sur une modélisation
et des données mesurées lors d’un essai effectué à un autre endroit;
— la présente Spécification technique n’envisage pas la spécification d’un système de référence
commun qui serait requis pour comparer la performance de différents systèmes;
— la présente Spécification technique définit des mesures réalisées uniquement sur des interfaces
normalisées. Les interfaces propriétaires sont exclues, parce qu’il n’est pas possible de définir des
mesures normalisées des propriétés de tels systèmes. Ces interfaces exclues comprennent entre
autres la liaison entre les infrastructures de bord de route (RSE) du percepteur de péage et les
systèmes centraux des systèmes de communications dédiées à courte portée (DSRC) ainsi que
l’entrée capteur supplémentaire des modules du GNSS (système mondial de navigation par satellite)
(capteurs inertiels, bus CAN pour incréments de roue, etc.).
2 Références normatives
Les documents de référence suivants sont indispensables à l’application du présent document. Pour les
références datées, seule l’édition citée s’applique. Pour les références non datées, la dernière édition du
document de référence s’applique (y compris les éventuels amendements).
ISO/TS 17444-1, Perception du télépéage — Performance d’imputation — Partie 1: Métrique
ISO 12855:2012, Perception du télépéage — Échange d’informations entre la prestation de service et la
perception du péage
ISO/TS 17575-1:2010, Perception du télépéage — Définition de l’interface d’application pour les systèmes
autonomes — Partie 1: Imputation
ISO 17573:2010, Perception du télépéage — Architecture de systèmes pour le péage lié aux véhicules
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s’appliquent.
3.1
erreur absolue d’imputation
différence entre la valeur mesurée d’une redevance (péage) et la valeur réelle (telle que mesurée par un
système de référence)
Note 1 à l’article: Une erreur positive signifie que la valeur mesurée dépasse la valeur réelle.
[SOURCE: ISO/TS 17444-1:2012, définition 3.1]
3.2
intervalle accepté d’erreur d’imputation
intervalle de l’erreur d’imputation relative allant d’une valeur négative (moins-perçu) à une valeur positive
(trop-perçu) que le percepteur de péage considère acceptable, c’est-à-dire comme une imputation correcte
[SOURCE: ISO/TS 17444-1:2012, définition 3.2]
3.3
erreur relative moyenne d’imputation
rapport entre la somme des redevances calculées associées à un ensemble de véhicules pendant une période
donnée et la redevance réelle due (pour le même ensemble de véhicules et la même période) moins 1
[SOURCE: ISO/TS 17444-1:2012, définition 3.3]
3.4
détail de facturation
pour un service de transport donné, toutes les données nécessaires pour déterminer et/ou vérifier le
montant dû par l’utilisateur du service
Note 1 à l’article: Si les données sont acceptées par le percepteur de péage et par le prestataire de services de péage,
on l’appelle alors «détail de facturation final» et il peut être utilisé pour effectuer une demande de paiement.
Note 2 à l’article: Pour un service de transport donné, le «détail de facturation» fait référence à une ou plusieurs
déclarations de péage valides. Un «détail de facturation valide» doit respecter les exigences formelles, dont les
exigences de sécurité, convenues entre le prestataire de services de péage et le percepteur de péage.
[SOURCE: ISO 12855:2012, définition 3.1]
2 © ISO 2013 – Tous droits réservés

3.5
événement facturable
événement au cours duquel un véhicule franchit un objet d’imputation qui implique que le véhicule doit
faire l’objet d’une facturation ou qu’un tarif différent (par exemple prix au kilomètre) doit être appliqué
Note 1 à l’article: Noter que cet événement se rapporte à l’utilisation d’un certain objet et non au mécanisme de détection.
[SOURCE: ISO/TS 17444-1:2012, définition 3.5]
3.6
objet d’imputation
tout objet faisant partie de la description du contexte de péage, dont l’utilisation peut être facturée dans
certaines conditions
[SOURCE: ISO/TS 17575-1:2010, définition 3.6]
3.7
période d’imputation
période utilisée pour définir la fréquence des déclarations de péage lorsque les rapports de perception
sont agrégés pour former les déclarations de péage
Note 1 à l’article: Lorsque la période d’imputation est fixée à 24 h, alors, dans les données contextuelles de péage,
une seule déclaration de péage est soumise pour chaque période de 24 h et chaque utilisateur du service.
[SOURCE: ISO/TS 17444-1:2012, définition 3.7]
3.8
événement pertinent pour l’imputation
événement se produisant dans un système de péage, qui est pertinent pour le calcul de l’imputation,
mais pas pour la détection d’un objet d’imputation
Note 1 à l’article: Les exemples de ce type d’événement sont des changements de catégorie de véhicule ou de
fuseau horaire.
[SOURCE: ISO/TS 17444-1:2012, définition 3.8]
3.9
rapport de perception
structure de données transmises du système frontal (système, équipements, .) au central (système)
pour détailler l’utilisation des routes et les informations complémentaires associées
Note 1 à l’article: Dans la décision 2009/750/CE, un rapport de perception est désigné «déclaration de péage».
[SOURCE: ISO 12855:2012, définition 3.2]
3.10
système de péage discret
système de péage dans lequel la redevance est calculée sur la base d’événements distincts associés à
l’identification d’objets d’imputation tels que le franchissement d’un cordon ou d’un pont, la présence
dans une zone, etc
Note 1 à l’article: Chaque événement est associé à une redevance donnée.
[SOURCE: ISO/TS 17444-1:2012, définition 3.10]
3.11
système de péage continu
système de péage dans lequel la redevance est calculée sur la base du cumul d’un ou de plusieurs
paramètres mesurés en continu, tels que la distance, le temps, etc
[SOURCE: ISO/TS 17444-1:2012, définition 3.11]
3.12
détection d’événement
élément du système responsable de la détection d’événements imputables associés à un objet d’imputation
Note 1 à l’article: La sortie de cet élément fournit les informations essentielles pour le calcul d’une redevance dans
un système discret, ou sert d’entrée pour une fonction d’un système continu (par exemple pour les zones où des
tarifs différents s’appliquent).
[SOURCE: ISO/TS 17444-1:2012, définition 3.12]
3.13
évaluation
processus appliqué pour mesurer une métrique spécifique ou un ensemble de métriques pendant une
phase d’évaluation
[SOURCE: ISO/TS 17444-1:2012, définition 3.13]
3.14
frontal
partie(s) du système de péage dans laquelle (lesquelles) les données d’utilisation des routes pour un
utilisateur individuel du service sont collectées, traitées et transmises au central
Note 1 à l’article: Le système frontal comprend l’équipement embarqué et un éventuel proxy.
[SOURCE: ISO/TS 17575-1, définition 3.13]
3.15
événement faux positif
événement facturable qui n’a pas eu lieu, mais qui est enregistré par le système
[SOURCE: CISO/TS 17444-1:2012, définition 3.15]
3.16
événement non reconnu
événement facturable qui a eu lieu, mais qui n’est pas enregistré par le système
[SOURCE: ISO/TS 17444-1:2012, définition 3.16]
3.17
surveillance
dans un système réparti, processus de collecte et de mémorisation de données d’état
Note 1 à l’article: Elle peut être utilisée pour observer des métriques pendant l’exploitation.
[SOURCE: ISO/TS 17444-1:2012, définition 3.17]
3.18
trop-perçu
situation dans laquelle la redevance calculée se situe au-delà de l’intervalle accepté d’erreur d’imputation
[SOURCE: ISO/TS 17444-1:2012, définition 3.18]
3.19
demande de paiement
déclaration périodique faisant référence à des détails de facturation finale et mis à la disposition du
prestataire de services de péage par le percepteur de péage qui indique et justifie le montant dû
Note 1 à l’article: La demande de paiement est utilisée par le prestataire de services de péage pour envoyer des objets
financiers à ses clients (par exemple factures pour le compte du percepteur de péage). Une demande de paiement
de péage donnée fait référence à des détails de facturation finale et tient compte de toute condition commerciale
spécifique applicable à un véhicule, à un parc de véhicules, à un client d’un prestataire de services de péage et/ou à
un prestataire de services de péage. Une «demande de paiement» valide doit respecter les exigences formelles, dont
les exigences de sécurité, convenues entre le prestataire de services de péage et le percepteur de péage.
4 © ISO 2013 – Tous droits réservés

[SOURCE: ISO 12855:2012, définition 3.14]
3.20
mesures de performance
calculs spécifiques utilisés pour décrire la performance d’imputation d’un système. Ces calculs sont
indépendants de la technologie et du schéma
[SOURCE: ISO/TS 17444-1:2012, définition 3.20]
3.21
population
totalité des individus pris en considération
[SOURCE: ISO 3534-1:2006]
3.22
erreur d’imputation relative
rapport entre l’erreur absolue d’imputation et la valeur réelle, c’est-à-dire erreur d’imputation relative =
erreur absolue d’imputation/valeur réelle
Note 1 à l’article: Le sujet des valeurs réelles et la manière de les traiter sera abordé dans le cadre d’examen.
[SOURCE: ISO/TS 17444-1:2012, définition 3.21]
3.23
trajets représentatifs
trajets dont la distance est supérieure à un seuil défini et qui doivent donc être pris en compte par les
mesures associées
Note 1 à l’article: Seuls les trajets qui dépassent le seuil et qui couvrent les types spécifiques de routes du régime
de péage doivent être pris en compte.
Note 2 à l’article: Le seuil peut être défini à zéro.
[SOURCE: ISO/TS 17444-1:2012, définition 3.22]
3.24
échantillon
sous-ensemble d’une population constitué d’une ou de plusieurs unités d’échantillonnage
[SOURCE: ISO 3534-1:2006]
3.25
utilisateur de service
client d’un prestataire de services de péage, le responsable du paiement du péage, le propriétaire du
véhicule, un opérateur de parc de véhicules, un conducteur, etc., selon le contexte
[SOURCE: ISO 12855:2012, définition 3.29]
3.26
cadre d’examen spécifique
instance particulière d’un ensemble de tests d’examen définie par une entité pour déterminer la
performance de métriques d’imputation spécifiques choisies pendant l’évaluation ou la surveillance
3.27
imputation réussie
situation dans laquelle l’utilisateur a été correctement facturé selon les règles du système
Note 1 à l’article: Pour les systèmes de péage discrets, cela signifie que, pour un trajet facturable donné, les
événements imputables ont été correctement identifiés et, pour les systèmes continus, que la redevance
déterminée se situe dans l’intervalle accepté d’erreur d’imputation.
[SOURCE: ISO/TS 17444-1:2012, définition 3.24]
3.28
percepteur de péage
entité juridique qui collecte le péage dû pour la circulation des véhicules dans un secteur à péage
Note 1 à l’article: Dans d’autres documents, les termes «opérateur» ou «opérateur de péage» peuvent être utilisés.
[SOURCE: ISO 17573:2010, définition 3.16]
3.29
prestataire de services de péage
entité juridique assurant à un client des services de péage dans un ou plusieurs secteurs à péage et pour
une ou plusieurs classes de véhicules
Note 1 à l’article: Dans d’autres documents, les termes «émetteur» ou «émetteur de contrat» peuvent être utilisés.
Note 2 à l’article: Le fournisseur de services de péage peut fournir l’équipement embarqué (OBE) ou uniquement
fournir une carte magnétique ou une carte à puce à utiliser avec l’OBE fourni par une tierce partie (tout comme un
téléphone mobile et une carte SIM peuvent être obtenues auprès de différentes parties).
Note 3 à l’article: Le fournisseur de services de péage est responsable de l’exploitation (fonctionnement) de l’OBE
en rapport avec le péage.
[SOURCE: ISO 17573:2010, définition 3.23]
3.30
déclaration de péage
déclaration au percepteur de péage, qui confirme la présence d’un véhicule dans un secteur à péage,
dans un format convenu entre le fournisseur de services de péage et le percepteur de péage
Note 1 à l’article: Une déclaration de péage valide doit respecter les exigences formelles, dont les exigences de
sécurité, convenues entre le fournisseur de services de péage et le percepteur de péage.
[SOURCE: ISO 12855:2012, définition 3.19]
3.31
trajet
partie d’une trajectoire spatio-temporelle d’un véhicule particulier dans un système de péage
Note 1 à l’article: La définition exacte du début et de la fin du trajet dépend du régime de péage et de l’approche
technologique.
[SOURCE: ISO/TS 17444-1:2012, définition 3.28]
3.32
moins-perçu
situation dans laquelle la redevance calculée se situe en deçà de l’intervalle accepté d’erreur d’imputation
[SOURCE: ISO/TS 17444-1:2012, définition 3.29]
3.33
utilisateur
terme générique utilisé pour le client d’un prestataire de services de péage, le responsable du paiement du
péage, le propriétaire du véhicule, un opérateur de parc de véhicules, un conducteur, etc., selon le contexte
[SOURCE: ISO 12855:2012, définition 3.29]
3.34
compte utilisateur
actif, passif, recettes, dépenses et intérêt d’un utilisateur de service dans sa relation avec son prestataire
de services de péage
[SOURCE: ISO/TS 17444-1:2012, définition 3.31]
6 © ISO 2013 – Tous droits réservés

3.35
réclamation d’un utilisateur
réclamation liée à une prestation de service, transmise au prestataire de services de péage par ses
utilisateurs via les canaux de contact
[SOURCE: ISO/TS 17444-1:2012, définition 3.32]
4 Symboles et abréviations
ARCE Average Relative Charging Error (erreur relative moyenne d’imputation)
BD Billing Details (détails de facturation)
CCR Continuous Charge Report (rapport de perception continu)
CCTV Closed Circuit Television (télévision en circuit fermé) (ISO/TS 17444-1)
CELB Charging Error Interval Lower Bound (limite inférieure de l’intervalle d’erreur d’imputa-
tion)
CEUB Charging Error Interval Upper Bound (limite supérieure de l’intervalle d’erreur d’imputa-
tion)
CI Charging Input (entrée d’imputation)
CM Charging Metric (métrique d’imputation)
CR Charge Report (rapport de perception)
CTD Continuous Toll Declaration (déclaration de péage continue)
DCR Discrete Charge Report (rapport de perception discret)
DSRC Dedicated Short Range Communications (communications dédiées à courte portée)
(ISO 14906)
DTD Discrete Toll Declaration (déclaration de péage discrète)
DO Dedicated OBE Testing (essais de l’OBE dédié)
E2E End to End (de bout en bout) (ISO/TS 17444-1)
EFC Electronic Fee Collection (perception du télépéage) (ISO 17573)
EETS European Electronic Toll Service (service européen de télépéage) (ISO 17573)
ESA Enforcement System ANPR (système de contrôle-sanction ANPR)
ESD Enforcement System DSRC (système de contrôle-sanction DSRC)
FE Front End (frontal) (ISO/TS 17575-1)
GNSS Global Navigation Satellite System (système mondial de navigation par satellite) (ISO/
TS 17444-1)
GPP GNSS path post processing (post-traitement de trajet par GNSS)
ICT Information and Communications Technology (technologies de l’information et de la com-
munication)
IS Independent Reference System (système de référence indépendant)
ITS Intelligent Transport Systems (systèmes intelligents de transport) (ISO/TS 17444-1)
KPI Key Performance Indicator (indicateur clé de performance)
MBDD Maximum Billing Details Delay (délai maximal d’un détail de facturation)
MPCD Maximum Payment Claim Delay (délai maximal d’une demande de paiement)
MTDD Maximum Toll Declaration Delay (délai maximal d’une déclaration de péage)
MUSD Maximum User Statement Delay (délai maximal de relevé d’utilisateur)
OBE On-Board Equipment (équipement embarqué) (ISO 17573)
PC Payment Claim (demande de paiement)
SLA Service Level Agreement (accord sur le niveau de service) (ISO/CEI 20000-1)
SO Simulated OBE/FE (OBE/FE simulé)
TSP Toll Service Provider (prestataire de services de péage) (ISO 17573)
TSP-BO Toll Service Provider back office (système d’information central du prestataire de services
de péage)
TC Toll Charger (percepteur de péage) (ISO 17573)
TC-BO Toll Charger back office (système d’information central du percepteur de péage)
TD Toll Declaration (déclaration de péage)
UA User Account (compte utilisateur)
5 Cadre d’examen
5.1 Généralités
Les paragraphes 6.1 à 6.4 contiennent une boîte à outils de tests d’examen pour les types de systèmes
suivants:
a) DSRC discret (6.1 et éventuellement 6.2);
b) autonome discret (6.3);
c) autonome continu (6.4).
NOTE Ces types de systèmes sont définis dans l’ISO/TS 17444-1.
Chacun de ces paragraphes contient les tests d’examen spécifiques pour les métriques d’imputation
applicables identifiées dans l’ISO/TS 17444-1.
Le paragraphe 5.2 définit le processus qu’il convient de suivre pour définir un cadre d’examen spécifique
à des fins particulières.
Le paragraphe 5.3 donne une définition des sources de données pouvant être utilisées par les tests
d’examen pour calculer les métriques d’imputation.
Le paragraphe 5.4 donne les définitions des méthodes permettant de générer une entrée d’imputation
mentionnée dans les tests d’examen définis en 5.5.
8 © ISO 2013 – Tous droits réservés

Le paragraphe 5.5 définit l’applicabilité des métriques d’imputation définies pour les rôles de percepteur
de péage et de prestataire de services de péage pour les trois types de système identifiés.
Le paragraphe 5.6 contient des tableaux relatifs à la sélection des métriques d’imputation et des tests
d’examen associés pour les rôles de percepteur de péage et de prestataire de services de péage pour
chaque type de système identifié.
5.2 Méthode permettant de définir un cadre d’examen spécifique
La Figure 1 donne une vue d’ensemble du processus qu’il convient de suivre pour définir une instance
spécifique d’un cadre d’examen en vue de l’évaluation des métriques d’imputation pour les rôles de
prestataire de services de péage et/ou de percepteur de péage dans un système de péage particulier.
Des détails complémentaires sont fournis de 5.2.1 à 5.2.6.
Figure 1 — Méthode permettant de définir un cadre d’examen spécifique
5.2.1 Sélection des métriques à évaluer
L’entité responsable de la définition du cadre d’examen spécifique doit déterminer les métriques à
mesurer lors des phases d’évaluation et de surveillance pour les rôles de prestataire de services de
péage et/ou de percepteur de péage, en utilisant les tableaux appropriés en 5.6.
a) DSRC discret
— Tableau 5 — DSRC discret – Tableau de sélection des métriques
— Tableau 6 — DSRC discret – Tableau de sélection des métriques optionnelles de déclaration
de péage DSRC
b) Autonome discret
— Tableau 7 — Autonome discret – Tableau de sélection des métriques
c) Autonome continu
— Tableau 8 — Autonome continu – Tableau de sélection des métriques
5.2.2 Définition des conditions environnementales et exigences de performance associées
L’entité responsable de la définition du cadre d’examen spécifique doit déterminer les conditions
environnementales (représentatives/de stimulation) et les exigences de performance associées à
satisfaire pour chaque métrique choisie en 5.2.1.
NOTE 1 L’évaluation des métriques d’imputation dans un environnement représentatif permet d’évaluer
la performance dans l’environnement d’exploitation. Il faut néanmoins s’assurer que l’entrée des données de
perception/le choix de trajets représentatifs est comparable à celle (celui) attendu(e) pour l’environnement
d’exploitation.
Le choix de conditions environnementales représentatives aboutira dans la pratique à un espace
paramétrique multidimensionnel (par exemple humidité de l’air, topographie, environnement
électromagnétique, etc.). Il est important de choisir avec soin ces paramètres et leurs valeurs pour
s’assurer que les essais sont réalisés dans tous les ensembles de conditions réalistes (ou au moins les
plus probables d’entre eux) tout en limitant au minimum le nombre d’essais nécessaires.
NOTE 2 Les évaluations des métriques d’imputation dans un environnement exigeant sont généralement utilisées
pour déterminer le comportement pour les scénarios les plus défavorables dans l’environnement d’exploitation.
En raison de la relation non linéaire entre la performance du système et les conditions environnementales, il est
difficile de transposer les niveaux de performance mesurée à ceux des systèmes en exploitation.
Pour chaque test d’examen du cadre d’examen spécifique, il convient de documenter les conditions
environnementales et les exigences de performance associées à satisfaire pour chaque métrique
sélectionnée.
NOTE 3 Lorsque des essais comparatifs sont choisis (par exemple une nouvelle population d’OBE est introduite
dans un système de péage existant), l’influence des conditions environnementales sur les résultats de la
comparaison pourrait être réduite si les essais étaient effectués en parallèle. Dans ce cas, les deux populations
sont exposées aux mêmes conditions. Néanmoins, il est encore nécessaire de réaliser l’étape décrite en 5.2.2.
Celle-ci est importante pour s’assurer que l’essai comparatif est effectué dans toutes les conditions pertinentes;
elle aide également à identifier avec précision les relations de dépendance entre les différences de performance
et les problèmes de robustesse dans certaines conditions environnementales, c’est-à-dire lorsqu’une population
d’équipements est plus sensible à certaines conditions environnementales que l’autre.
5.2.3 Détermination des tailles d’échantillon requises
Sur la base des exigences de performance fixées pour chaque métrique sélectionnée en 5.2.2, l’entité
responsable de la définition du cadre d’examen spécifique doit déterminer les tailles d’échantillon
requises pour obtenir des mesures statistiquement significatives basées sur les formules respectives
pour les systèmes discrets et continus données à l’Annexe C. Les tailles d’échantillon requises doivent
être documentées pour chaque test d’examen du cadre d’examen spécifique.
5.2.4 Sélection des méthodes permettant de générer l’entrée d’imputation et les données
de référence
Pour chaque test d’examen du cadre d’examen spécifique qui nécessite la génération d’une entrée
d’imputation spécifique, l’entité responsable doit documenter l’option identifiée qui doit être utilisée
pour la génération de l’entrée d’imputation (5.4). Lorsque des données de référence sont nécessaires
pour le calcul de la métrique dans le cadre d’un test d’examen spécifique, la méthode de génération des
données de référence doit être documentée dans le test d’examen.
10 © ISO 2013 – Tous droits réservés

À titre de référence pour la définition des méthodes de génération de données d’entrée, une analyse des
différentes sources de données pouvant être utilisées à cet effet est fournie en 5.3.
5.2.5 Détermination des itinéraires d’essai/sous-ensemble d’un réseau à péage pour générer
des trajets représentatifs
Pour chaque test d’examen choisi dans le cadre d’examen spécifique qui nécessite la génération
d’une entrée d’imputation/de trajets représentatifs spécifiques, l’entité responsable doit déterminer
et documenter l’itinéraire d’essai du réseau à péage qui doit être utilisé pour générer les trajets
représentatifs.
NOTE 1 Comme indiqué en 5.2.2, il faut notamment s’assurer que les itinéraires d’essai choisis dans le réseau à
péage sont sélectionnés de manière à répondre aux conditions environnementales d’essai requises.
NOTE 2 Lorsque les véhicules d’essai ne sont pas contrôlés par l’essai, cette étape est encore utile et nécessaire:
elle aide à choisir des véhicules d’essai adaptés, censés circuler autant que possible sur le sous-ensemble du réseau
à péage. De plus, il peut être nécessaire de préparer l’OBE en vue de l’essai, par exemple en générant des données
cartographiques définissant le sous-ensemble du réseau à péage et en chargeant ces données dans le système frontal.
5.2.6 Documentation du cadre d’examen spécifique
En suivant le processus défini de 5.2.1 à 5.2.5, l’entité responsable de la définition du cadre d’examen
spécifique aura entièrement défini et documenté les tests d’examen choisis du cadre d’examen spécifique.
Un modèle pour la documentation des tests d’examen est fourni à l’Annexe A et des exemples sont donnés
à l’Annexe E.
5.3 Sources de données
Le choix des méthodes permettant de générer les données d’entrée est très limité par la disponibilité des
différentes sources de données dont la nature peut être très différente selon:
— les différentes phases (évaluation/surveillance);
— le type de système (discret/continu);
— les technologies disponibles (par exemple DSRC, GNSS, ANPR).
Étant donné que la définition des métriques implique en général de comparer les valeurs mesurées par le
système à des valeurs attendues, leur calcul nécessite à la fois les sorties du système d’imputation soumis
à essai et des données de référence représe
...