ISO 24523:2017

Service activities relating to drinking water supply systems and wastewater systems — Guidelines for benchmarking of water utilities

ISO 24523:2017 provides guidelines on good benchmarking practice of drinking water and wastewater utilities. It describes the basic framework and methods associated with benchmarking in the water sector. The guidelines are intended primarily for voluntary benchmarking. Specific objectives set forth by the authorities and which are to be achieved by the water utility are not covered by this document. ISO 24523:2017 is applicable to water utilities of any size managed by a public or private entity. It does not favour any particular ownership or operating model.

Activités de service relatives aux systèmes d'alimentation en eau potable et aux systèmes d'assainissement — Lignes directrices pour le benchmarking des services publics de l'eau

L'ISO 24523:2017 donne des lignes directrices sur les bonnes pratiques de benchmarking à l'attention des services d'eau potable et d'assainissement. Il décrit le cadre général et les méthodes associés au benchmarking dans le secteur de l'eau. Ces lignes directrices sont principalement destinées à un benchmarking volontaire. Les objectifs spécifiques établis par les autorités et devant être atteints par les services publics de l'eau ne sont pas couverts par le présent document. L'ISO 24523:2017 s'applique aux services publics de l'eau de toutes tailles, gérés par une entité publique ou privée. Il ne favorise aucun modèle de propriété et de gestion particulier.

General Information

• Status: Published
• Publication Date: 02-Mar-2017
• ICS: 03.080.30 - Services for consumers
• ICS: 13.060.20 - Drinking water
• ICS: 13.060.30 - Sewage water
• Technical Committee: ISO/TC 224 - Drinking water, wastewater and stormwater systems and services
• Drafting Committee: ISO/TC 224 - Drinking water, wastewater and stormwater systems and services
• Current Stage: 9093 - International Standard confirmed
• Completion Date: 29-Jun-2022

Standards Content (Sample)

INTERNATIONAL ISO
STANDARD 24523
First edition
2017-02
Service activities relating to
drinking water supply systems and
wastewater systems — Guidelines for
benchmarking of water utilities
Activités de service relatives aux systèmes d’alimentation en eau
potable et aux systèmes d’assainissement — Lignes directrices pour le
benchmarking des services publics de l’eau
Reference number
ISO 24523:2017(E)
ISO 2017
---------------------- Page: 1 ----------------------
ISO 24523:2017(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2017, Published in Switzerland

All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form

or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior

written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of

the requester.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. [phone]
Fax [phone]
[e-mail]
www.iso.org
ii © ISO 2017 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 24523:2017(E)
Contents Page

Foreword ........................................................................................................................................................................................................................................iv

Introduction ..................................................................................................................................................................................................................................v

1 Scope ................................................................................................................................................................................................................................. 1

2 Normative references ...................................................................................................................................................................................... 1

3 Terms and definitions ..................................................................................................................................................................................... 1

4 Benchmarking — Objectives, work steps and characteristics .............................................................................. 4

4.1 Objectives..................................................................................................................................................................................................... 4

4.2 Performance assessment and performance improvement ............................................................................... 4

4.3 Benchmarking work steps ............................................................................................................................................................ 5

4.4 Requirements on performance indicator systems for drinking water and

wastewater services ........................................................................................................................................................................... 8

4.5 Benchmarking at different levels of detail ...................................................................................................................10

5 Notes and recommendations for benchmarking projects ......................................................................................12

5.1 General ........................................................................................................................................................................................................12

5.2 Comparability of benchmarking objects ........................................................................................................................12

5.3 Notes for project organization, project management and data management ...............................12

5.3.1 Project organization ...................................................................................................................................................12

5.3.2 Project management of the overall project ............................................................................................12

5.3.3 Data management ........................................................................................................................................................13

5.4 Requirements on the personnel involved .....................................................................................................................13

6 Results and their application ...............................................................................................................................................................13

6.1 Principle of confidentiality ........................................................................................................................................................13

6.2 Use and presentation of results in public .....................................................................................................................13

6.3 Notes for the interpretation of results .............................................................................................................................14

7 Project costs ...........................................................................................................................................................................................................14

Annex A (informative) Checklist for clarification of the principles of cooperation and

confidentiality in the treatment of data, information and project results in

benchmarking projects ...............................................................................................................................................................................15

Annex B (informative) Examples for voluntary and industry based benchmarking projects ...............16

Bibliography .............................................................................................................................................................................................................................17

© ISO 2017 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 24523:2017(E)
Foreword

ISO (the International Organization for Standardization) is a worldwide federation of national standards

bodies (ISO member bodies). The work of preparing International Standards is normally carried out

through ISO technical committees. Each member body interested in a subject for which a technical

committee has been established has the right to be represented on that committee. International

organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.

ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of

electrotechnical standardization.

The procedures used to develop this document and those intended for its further maintenance are

described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the

different types of ISO documents should be noted. This document was drafted in accordance with the

editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/ directives).

Attention is drawn to the possibility that some of the elements of this document may be the subject of

patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of

any patent rights identified during the development of the document will be in the Introduction and/or

on the ISO list of patent declarations received (see www .iso .org/ patents).

Any trade name used in this document is information given for the convenience of users and does not

constitute an endorsement.

For an explanation on the voluntary nature of standards, the meaning of ISO specific terms and

expressions related to conformity assessment, as well as information about ISO’s adherence to the

World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see the following

URL: w w w . i s o .org/ iso/ foreword .html.

This document was prepared by Technical Committee ISO/TC 224, Service activities relating to drinking

water supply systems and wastewater systems — Quality criteria of the service and performance indicators.

iv © ISO 2017 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 24523:2017(E)
Introduction

Benchmarking is a systematic process for the identification, familiarization and adoption of successful

practices from benchmarking partners. Typically, it is a continual or recurrent process. The primary

aim of benchmarking is the performance improvement of benchmarking partners.

Benchmarking provides a means of improving technical and economic processes. The principal

objectives of benchmarking in the water sector are performance improvements with particular

emphasis on reliability, quality, customer service, sustainability, and economic efficiency. It provides

those responsible in individual benchmarking partners with evidence to compare their processes with

the most efficient equivalents among the wider group of benchmarking partners. Conclusions can then

be drawn on opportunities or need for performance improvement.

Potential consequential objectives can include communication with stakeholders. Relevant results of

a benchmarking project can also be used to address the information needs of stakeholders, such as

politicians, the public and supervisory/regulatory bodies. Care is to be taken to ensure that all relevant

contextual information and influencing factors are comprehensively described to avoid inaccurate or

misleading conclusions being drawn. Benchmarking might thus also support the outward transparency

of the performance of services. However, it is intended to be remembered that the ultimate aim of

benchmarking is to ensure that the overall operations of the service are as effective, efficient and

economical as possible.

Successful benchmarking needs the commitment and conviction of the benchmarking partners’

management. Management know-how is needed when interpreting and analysing the results of

performance assessment and in drawing conclusions. Additionally, benchmarking is a process which

can generate confidential data relating to individual benchmarking partners. Thus, the goodwill

of benchmarking partners, the agreement of a code of conduct and trust in the entity that organizes

the benchmarking are prerequisites for successful benchmarking. Participation in benchmarking is

therefore often voluntary. However, participation can be a requirement, for example, from a regulatory

authority.

This document summarizes generally accepted criteria for successful benchmarking of drinking water

and wastewater services and can be applied at all levels of detail and for any specific improvement

objectives. These have been derived from common experiences where benchmarking has been applied

as a two-step process; firstly for performance assessment and secondly for performance improvement

(see list of examples of benchmarking projects in Annex B).

This document’s content represents an open, shared and international approach by the water industry

to the derivation of benchmarking good practice in the water sector. It builds on earlier work published

[4] [6] [7]

jointly by the IWA , Reference [5], AWWA and IWA and DVGW and DWA . The benchmarking

process can be used by any type of drinking water/wastewater service provider, including small and

medium enterprises. The approach in this document does not prefer any specific national, regulatory,

commercial or professional association’s benchmarking method. The approach described reflects good

practice when taken as a whole.

ISO 24510, ISO 24511 and ISO 24512 provide guidelines for the assessment and for the improvement of

the service to users and the management of the water utilities but do not present detailed assessment

and improvement procedures. This document gives guidance on benchmarking which is a widely used

procedure, combining the performance assessment with steps of performance improvement. As such, it

complements ISO 24510, ISO 24511 and ISO 24512.
© ISO 2017 – All rights reserved v
---------------------- Page: 5 ----------------------
INTERNATIONAL STANDARD ISO 24523:2017(E)
Service activities relating to drinking water supply systems
and wastewater systems — Guidelines for benchmarking of
water utilities
1 Scope

This document provides guidelines on good benchmarking practice of drinking water and wastewater

utilities. It describes the basic framework and methods associated with benchmarking in the water

sector. The guidelines are intended primarily for voluntary benchmarking. Specific objectives set forth

by the authorities and which are to be achieved by the water utility are not covered by this document.

This document is applicable to water utilities of any size managed by a public or private entity. It does

not favour any particular ownership or operating model.
2 Normative references
There are no normative references in this document.
3 Terms and definitions

For the purposes of this document, the terms and definitions given in ISO 24510 and the following apply.

ISO and IEC maintain terminological databases for use in standardization at the following addresses:

— ISO Online browsing platform: available at http:// www .iso .org/ obp
— IEC Electropedia: available at http:// www .electropedia .org/
3.1
aggregated performance indicator

performance indicator (3.13) at superior level, which represents one or more levels of detail

Note 1 to entry: A highly aggregated performance indicator gathers information at utility level with a low level

of detail (e.g. operating costs of water supply per cubic metre of water delivered). Lower levels of aggregation

require more detailed performance indicators (e.g. time commitment per metre of sewer cleaning). This applies

also synonymously to data variables (3.8).

Note 2 to entry: A synonymous term is “aggregation level”. In this context, aggregation level means the

consolidated status of a performance indicator or a data variable relating to the information about the

benchmarking object (3.4).
3.2
benchmark

single value representing an accepted reference value derived either from comparisons among

participants or from literature, used for orientation

Note 1 to entry: The benchmark may be determined collaboratively or individually.

Note 2 to entry: By clustering (3.6), different benchmarks can occur for different peer groups.

© ISO 2017 – All rights reserved 1
---------------------- Page: 6 ----------------------
ISO 24523:2017(E)
3.3
benchmarking

systematic process for the identification of, becoming acquainted with and for adoption of successful

practices of benchmarking partners (3.5)
Note 1 to entry: Typically, benchmarking is a continual process.

Note 2 to entry: Benchmarking at process level means that the object of benchmarking is a process, e.g. operation

of sewers, billing or material purchasing.

Note 3 to entry: Benchmarking at utility level means that the object of benchmarking is the water utility and the

main tasks, e.g. drinking water and wastewater services.
3.4
benchmarking object

water utilities managed by a public or private entity, utility sectors, functions, processes, tasks,

services or other products, which are the subject of benchmarking (3.3) and, with clear-cut interfaces,

are dissociated from each other and from non-investigated objects
EXAMPLE Sewer construction, pipe network operation.
3.5
benchmarking partner
participant in a benchmarking (3.3) project
3.6
clustering

grouping of benchmarking objects (3.4) according to different kind of criteria [context information (3.7)

or explanatory factors (3.10)] in order to create rather homogenous sets of peers

EXAMPLE Clustering by utility size, delivered volume, served population, network delivery rate

(m /km/year).

Note 1 to entry: For different performance indicators (3.13), different clustering might be appropriate; by

clustering, specific benchmarks can/will occur for each peer group.

Note 2 to entry: The result of clustering is a comparison of performance indicators less influenced by the

clustering criteria.
3.7
context information

information on characteristics and framework of drinking water and wastewater services

Note 1 to entry: There are two possible types of context information:

— information describing pure context and external factors that are not under the control of the water utility

(e.g. demographics, topography, climate);

— characteristics that can only be influenced by management decisions in the long term (e.g. age of the

infrastructures).
3.8
data variable

technical or economic parameter for the description of benchmarking objects (3.4) as basis for the

calculation of performance indicators (3.13)

EXAMPLE Energy (kWh/year); COD (kg/year); costs ($/year) ; treated (waste-) water quantities (m /year).

Note 1 to entry: The basis for resilient performance indicators is a clear definition of the parameters within a

structured data model taking into account the data confidence (e.g. reliability, accuracy).

Note 2 to entry: Each variable should

— fit the definition of the performance indicator or context information (3.7) it is used for,

2 © ISO 2017 – All rights reserved
---------------------- Page: 7 ----------------------
ISO 24523:2017(E)

— refer to the same geographical area and the same period of time or reference date as the performance

indicator or context information it will be used for, and
— be as reliable and accurate as the decisions based on it require.
3.9
deviation from benchmark

result of the comparison of performance indicators (3.13), as the difference of an observed value, from

the benchmark applied
Note 1 to entry: See Figure 1.
3.10
explanatory factor

reason for deviations of performance indicators (3.13) of various benchmarking partners (3.5)

Note 1 to entry: Explanatory factors can be differentiated into modifiable components (e.g. energy consumption)

and non or only long-term modifiable components (e.g. water source). Non- or only long-term modifiable

components result from the context information (3.7) of the water utilities. For the interpretation of performance

indicator results, explanatory factors are essential. They can be derived from the context information. Under

certain circumstances, a standardization is possible and sensible for the establishing of comparability, e.g.

standardization of different depreciation rates.
3.11
improvement potential
deviation of a performance indicator (3.13) from the benchmark
Note 1 to entry: The deviation can be reduced through improvement actions.
3.12
performance category

classification of the general objectives of drinking water and wastewater services

Note 1 to entry: Main categories comprise reliability, quality, customer service, sustainability and economic

efficiency.
Note 2 to entry: Assessment criteria can be grouped by performance categories.
3.13
performance indicator

parameter, or a value derived from parameters, which provides information about performance

Note 1 to entry: Performance indicators are typically expressed as ratios between variables. These ratios may be

commensurate (e.g. %) or non-commensurate (e.g. $/m ).

Note 2 to entry: Performance indicators are means to measure the efficiency and effectiveness of a water utility

in achieving its objectives.
3.14
performance indicator comparison

comparison of values of performance indicators (3.13) against values of the same indicator from other

utilities, previous values of the same indicator or the benchmark
3.15
performance indicator system

controlled compilation of performance indicators (3.13), which are related to each other either logically

or mathematically and which, overall, are aimed at a common, superior objective or benchmarking

object (3.4)
© ISO 2017 – All rights reserved 3
---------------------- Page: 8 ----------------------
ISO 24523:2017(E)
3.16
process

set of interrelated or interacting activities that use inputs to deliver an intended result

Note 1 to entry: In benchmarking (3.3), organizational and technical processes and combinations of both of

them are considered. A process within the meaning of benchmarking comprises a combination of one task with

one plant/one object (e.g. operate sewer network, treat wastewater, treat water, provide domestic connection,

further train staff, purchase material).
3.17
reference parameter
data variable (3.8) used in the denominator of a performance indicator (3.13)

Note 1 to entry: The reference parameter is aligned with the specific benchmarking object (3.4) described by

the specific performance indicator [e.g. treated (waste) water quantity, influent loading, influent or connected

inhabitants plus population equivalents].

Note 2 to entry: In case of benchmarking (3.3) of the whole drinking water or wastewater service, the denominator

should represent one dimension of the system (e.g. number of service connections, total water main length,

annual costs). This allows for comparisons through time, or between systems.
4 Benchmarking — Objectives, work steps and characteristics
4.1 Objectives

The primary objectives of benchmarking lie in determining improvement potential and working out and

implementing realisable actions to improve performance. The comparison of specific organizational

units can either be done internally within the water utility or externally with other water utilities or

any other organization/s. External comparisons can facilitate mutual improvement and best practice

exchange. Potential consequential objectives can include communication with stakeholders (see also

Clause 5).

Public or private water utilities, utility sectors, functions, processes or tasks with clearly defined

start and finish boundaries (e.g. new construction of pipelines, maintenance measures, replacement of

meters for customers, meter reading and accounting for consumption, quality control) can be examined.

Benchmarking objects should be completely defined by the determination of all data variables and

performance indicators necessary for their accurate comparison across benchmarking partners. The

systematic identification of influenceable causes for existing differences is the focus of benchmarking.

Benchmarking extends beyond performance assessment (see ISO 24510:2007, Clause 7). It delves into

identification and implementation of best practices. The first information on this is supplied by the

performance indicator comparison, which flows into a cause analysis (see Figure 1).

In non-branch-specific areas (e.g. logistics, material management), companies outside drinking water

and wastewater services can also be taken into consideration as benchmarking partners.

Benchmarking projects can be differentiated according to the type of benchmarking object and the

level of detail, e.g. benchmarking at process level or benchmarking at utility level.

4.2 Performance assessment and performance improvement

Benchmarking consists of two basic consecutive elements: performance assessment and performance

improvement.

Performance assessment as a process should be managed to achieve a clear and precise purpose

and refer to the objectives of a wastewater or drinking water utility (see ISO 24511:2007, 7.1 and

ISO 24512:2007, 7.1). The fulfilment of the objectives and the degree of success of the actions can be

measured by means of performance indicators (for example, performance indicators are employed for

the assessment of performance within the water utility and/or in comparison with other benchmarking

partners).
4 © ISO 2017 – All rights reserved
---------------------- Page: 9 ----------------------
ISO 24523:2017(E)

Performance assessment and performance indicator comparisons are elementary components of

benchmarking, which differs from simple performance indicator comparisons by additional and

continuing work steps, involving “analysis” and “implementation” (see Table 1), leading to performance

improvement.

The analysis at utility and process level comprises the examination of causes for deviations of

performance indicators of different participants on the one hand and of individual performance

indicators of participants to the benchmark on the other hand and the determination of improvement

potentials and action plans for improvement (see Figure 1).

Performance improvement in a benchmarking project is dependent upon decisions and actions aligned

with the context and overall objectives of the water utility (e.g. improvement objectives and action

plans need to be relevant, achievable, and adapted to available resources within individual water

utilities). It might be the case that only performance assessment will be completed in the course of the

benchmarking project.
Figure 1 — Benchmarking elements
4.3 Benchmarking work steps

The process of benchmarking can be broken down into five work steps, which comprise several

individual activities. Table 1 illustrates these relationships.

Benchmarking is flexible in its execution. Some of the activities described in Table 1 may be capable of

parallel execution (e.g. by workshops). Activities can be matched to the requirements and objectives of

the benchmarking objects and benchmarking partners.
© ISO 2017 – All rights reserved 5
---------------------- Page: 10 ----------------------
ISO 24523:2017(E)
6 © ISO 2017 – All rights reserved
Table 1 — Work steps and activities of benchmarking
Work step Main activity Further activities Details Recommendations

Preparation 1. Preparation, — Determination of the — Assignment of — Integration of technical and — Analysis of secondary information

planning objectives a project team financial staff (e.g. annual report) for selection of

partners
— Determination of the — Selection of a project — Open, reciprocated commit-

group of participants responsible body (internal ment for data transparency — For non-sector-specific areas (supply

or external), see 5.3.2 management, logistics etc.), partners
— Definition of the scope — Close coordination with the
outside the sector are possible as well
and the level of detail — Compilation of a common project responsible body
(benchmarking agreement on scope and — Decision on the frequency and
object) deliverables context of the benchmarking should be
taken at start or end of the benchmark-
— Description of the — Clarification of the
ing project
benchmarking object principles of cooperation,
confidentiality in the — Integration of employee rep-
— Definition of the data
treatment of data, informa- resentation and, if required, further
variables and perfor-
tion and project results in stakeholders
mance indicators/choice
benchmarking projects (see
of the performance indi- — As accurate as possible, knowledge
checklist in Annex A)
cator system and documentation of the internal pro-
— Determination of the pro- cess to facilitate data acquisition
— Assessment of compa-
ject organization including
rability — Adaptation of own cost accounting
time/budget plan (project
may be necessary
management)
— Consider wider comparability of
— Definition of the report
performance indicators
and assessment system/ex-
amination of the applicabili-
ty of the methodology and, if
necessary, adjustment

Performance 2. Data acquisi- — Data collection — Use and, if applicable, — Determination of economic — Standardized data collection

assessment tion develop procedures to en- and of technical parameters
— Data synthesizing — Onsite visits by the project core
sure data control and check,
— Estimation methods reduce team should be foreseen in order to
— Data validation internally and externally
efforts but also the resilience of enhance data quality
— Use and, if applicable, the results, the concrete value
— Ascertain the data quality (prag-
develop processes to ensure has priority
matic cost-benefit ratio)
data collection and account-
ability, and quality control
of these processes
---------------------- Page: 11 ----------------------
ISO 24523:2017(E)
© ISO 2017 – All rights reserved 7
Table 1 (continued)
Work step Main activity Further activities Details Recommendations

3. Determina- — Calculation of perfor- — Clustering — If necessary, existing speci- — Benchmarks should be robust and

tion mance indicators fications and guidance not influenced by special factors (such

of benchmarks values of standards should be as context, externalities and long-term

— Performance indicator
observed factors)
comparison
— Subclustering can be helpful — Pre-definition of clusters (including
— Identification of the
to identify and take into account context information comparison and
benchmark
further influencing factors business process similarity analy-
— Structured communi- sis) to ensure consistent benchmark
cation of results definition and avoid “one size fits all”
benchmark
— Workshops should be considered

4. Analysis — Causal analysis — Evaluation of the applied — Performance indicators, — Interpretation on the basis of ad-

tools and methods such together with all available in- ditional information such as qualified

— Determination of im-

as report and assessment formation, should be evaluated guidance values from the legal specifi-

provement potential
system and classified with regard to cations, sets of standard specifications
— Action plan the overall objective; context and r
...

NORME ISO
INTERNATIONALE 24523
Première édition
2017-02
Activités de service relatives
aux systèmes d’alimentation
en eau potable et aux systèmes
d’assainissement — Lignes directrices
pour le benchmarking des services
publics de l’eau
Service activities relating to drinking water supply systems and
wastewater systems — Guidelines for benchmarking of water utilities
Numéro de référence
ISO 24523:2017(F)
ISO 2017
---------------------- Page: 1 ----------------------
ISO 24523:2017(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2017, Publié en Suisse

Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée

sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur

l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à

l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. [phone]
Fax [phone]
[e-mail]
www.iso.org
ii © ISO 2017 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 24523:2017(F)
Sommaire Page

Avant-propos ..............................................................................................................................................................................................................................iv

Introduction ..................................................................................................................................................................................................................................v

1 Domaine d’application ................................................................................................................................................................................... 1

2 Références normatives ................................................................................................................................................................................... 1

3 Termes et définitions ....................................................................................................................................................................................... 1

4 Benchmarking – Objectifs, étapes et caractéristiques .................................................................................................. 4

4.1 Objectifs ........................................................................................................................................................................................................ 4

4.2 Évaluation et amélioration des performances ............................................................................................................. 5

4.3 Étapes du benchmarking ................................................................................................................................................................ 5

4.4 Exigences relatives aux systèmes d’indicateurs de performance pour les services

d’eau potable et d’assainissement ......................................................................................................................................10

4.5 Benchmarking à différents niveaux de détail ............................................................................................................12

5 Notes et recommandations pour les projets de benchmarking .......................................................................14

5.1 Généralités ...............................................................................................................................................................................................14

5.2 Comparabilité des objets de benchmarking ...............................................................................................................14

5.3 Notes pour l’organisation de projet, la gestion de projet et la gestion des données ...............15

5.3.1 Organisation de projet .............................................................................................................................................15

5.3.2 Gestion de projet du projet global .................................................................................................................15

5.3.3 Gestion des données ..................................................................................................................................................15

5.4 Exigences relatives au personnel concerné ................................................................................................................15

6 Résultats et leur application .................................................................................................................................................................16

6.1 Principe de confidentialité .........................................................................................................................................................16

6.2 Utilisation et présentation des résultats au public ...............................................................................................16

6.3 Notes pour l’interprétation des résultats ......................................................................................................................16

7 Coûts du projet ....................................................................................................................................................................................................17

Annexe A (informative) Liste de contrôle pour la clarification des principes de coopération

et de confidentialité dans le traitement des données, des informations et

des résultats du projet de benchmarking ...............................................................................................................................18

Annexe B (informative) Exemples de projets de benchmarking volontaires dans

le secteur industriel .......................................................................................................................................................................................19

Bibliographie ...........................................................................................................................................................................................................................20

© ISO 2017 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 24523:2017(F)
Avant-propos

L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes

nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est

en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude

a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,

gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.

L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui

concerne la normalisation électrotechnique.

Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont

décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents

critères d’approbation requis pour les différents types de documents ISO. Le présent document a été

rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www

.iso .org/ directives).

L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de

droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable

de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant

les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de

l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de

brevets reçues par l’ISO (voir www .iso .org/ brevets).

Les appellations commerciales éventuellement mentionnées dans le présent document sont données

pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un

engagement.

Pour une explication de la nature volontaire des normes, la signification des termes et expressions

spécifiques de l’ISO liés à l’évaluation de la conformité, ou pour toute information au sujet de l’adhésion

de l’ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles

techniques au commerce (OTC), voir le lien suivant: http:// www .iso .org/ iso/ fr/ foreword .html.

Le présent document a été élaboré par le comité technique ISO/TC 224, Activités de service relatives aux

systèmes d’alimentation en eau potable et aux systèmes d’assainissement — Critères de qualité du service et

indicateurs de performance.
iv © ISO 2017 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 24523:2017(F)
Introduction

Le benchmarking est un processus systématique permettant d’identifier, de se familiariser avec et

d’adopter des pratiques efficaces venant des partenaires de benchmarking. Il s’agit généralement

d’un processus continu ou récurrent. Le benchmarking a pour principal objectif l’amélioration des

performances des partenaires de benchmarking.

Le benchmarking est un moyen d’améliorer les processus techniques et économiques. Dans le secteur

de l’eau, le principal objectif du benchmarking est l’amélioration des performances, en mettant l’accent

en particulier sur la fiabilité, la qualité, le service client, le développement durable et l’efficience

économique. Les responsables chez les partenaires de benchmarking ont ainsi la possibilité de

comparer leurs processus avec des processus équivalents plus efficaces au sein du groupe plus large de

partenaires de benchmarking. Ils peuvent ensuite en tirer des conclusions sur les opportunités ou les

besoins d’amélioration des performances.

Les objectifs potentiels peuvent inclure la communication avec les parties intéressées. Les résultats

pertinents d’un projet de benchmarking peuvent également répondre à un besoin d’information des

parties intéressées, telles que les acteurs politiques, le public, les organismes de supervision ou les

organismes réglementaires. Il faut veiller à ce que toutes les informations contextuelles pertinentes

et tous les facteurs d’influence soient décrits de manière exhaustive afin d’éviter que des conclusions

erronées ou trompeuses puissent être tirées. Le benchmarking peut donc également favoriser la

transparence vers l’extérieur en matière de performance des services. Il faut toutefois garder à l’esprit

que le but ultime du benchmarking est de s’assurer que l’exploitation globale du service est aussi

efficace, efficiente et économique que possible.

La réussite du benchmarking implique l’engagement et la conviction du management des partenaires

de benchmarking. Un savoir-faire en matière de gestion est nécessaire pour interpréter et analyser les

résultats de l’évaluation des performances et pour en tirer des conclusions. Le benchmarking est aussi

un processus qui peut générer des données confidentielles sur les partenaires de benchmarking. Par

conséquent, la bonne volonté des partenaires de benchmarking, l’élaboration d’un code de conduite et la

confiance dans l’entité qui organise le benchmarking sont des conditions préalables indispensables à la

réussite du benchmarking. La participation au benchmarking est donc souvent basée sur le volontariat.

Elle peut toutefois être obligatoire, à la demande par exemple d’une autorité réglementaire.

Le présent document récapitule les critères généralement acceptés pour la réussite du benchmarking

dans les services d’eau potable et d’assainissement et il peut être appliqué à tous les niveaux de détail

et pour tout objectif d’amélioration spécifique. Ces critères découlent d’expériences communes au

cours desquelles le benchmarking a été appliqué en deux étapes: évaluation des performances, puis

amélioration des performances (voir la liste d’exemples de projets de benchmarking dans l’Annexe B).

Le présent document représente une approche internationale ouverte et partagée par le secteur de l’eau,

visant à établir les bonnes pratiques de benchmarking dans le secteur de l’eau. Il se base sur les travaux

[4][5] [6]

antérieurs publiés conjointement par les associations professionnelles IWA , AWWA et IWA ,

[7]

et DVGW et DWA . Le processus de benchmarking peut être utilisé par tout type de prestataire de

services d’eau potable/d’assainissement, y compris par les petites et moyennes entreprises. L’approche

adoptée dans le présent document ne privilégie la méthode de benchmarking d’aucune association

nationale, réglementaire, commerciale ou professionnelle spécifique. L’approche décrite correspond

aux bonnes pratiques généralement acceptées.

L’ISO 24510, l’ISO 24511 et l’ISO 24512 donnent des lignes directrices pour l’évaluation et l’amélioration

du service aux usagers et pour le management des services publics de l’eau, mais elles ne présentent

pas de procédures d’évaluation et d’amélioration détaillées. Le présent document fournit des lignes

directrices sur le benchmarking, qui est une procédure largement répandue qui combine l’évaluation

des performances avec des étapes d’amélioration des performances. À ce titre, il complète l’ISO 24510,

l’ISO 24511 et l’ISO 24512.
© ISO 2017 – Tous droits réservés v
---------------------- Page: 5 ----------------------
NORME INTERNATIONALE ISO 24523:2017(F)
Activités de service relatives aux systèmes d’alimentation
en eau potable et aux systèmes d’assainissement —
Lignes directrices pour le benchmarking des services
publics de l’eau
1 Domaine d’application

Le présent document donne des lignes directrices sur les bonnes pratiques de benchmarking à

l’attention des services d’eau potable et d’assainissement. Il décrit le cadre général et les méthodes

associés au benchmarking dans le secteur de l’eau. Ces lignes directrices sont principalement destinées

à un benchmarking volontaire. Les objectifs spécifiques établis par les autorités et devant être atteints

par les services publics de l’eau ne sont pas couverts par le présent document.

Le présent document s’applique aux services publics de l’eau de toutes tailles, gérés par une entité

publique ou privée. Il ne favorise aucun modèle de propriété et de gestion particulier.

2 Références normatives
Le présent document ne contient aucune référence normative.
3 Termes et définitions

Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 24510 ainsi que les

suivants, s’appliquent.

L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en

normalisation, consultables aux adresses suivantes:

— ISO Online browsing platform: disponible à l’adresse http:// www .iso .org/ obp/

— IEC Electropedia: disponible à l’adresse http:// www .electropedia .org/
3.1
indicateur de performance agrégé

indicateur de performance (3.13) de niveau supérieur, qui représente un ou plusieurs niveaux de détail

Note 1 à l’article: Un indicateur de performance très agrégé regroupe les informations au niveau du service public

avec un faible niveau de détail (par exemple, coûts d’exploitation de l’alimentation en eau par mètre cube d’eau

délivré). Les niveaux d’agrégation moins élevés nécessitent des indicateurs de performance plus détaillés (par

exemple, temps passé pour le curage d’un mètre de réseau d’assainissement). Ce terme est également synonyme

de variables (3.8).

Note 2 à l’article: Le terme «niveau d’agrégation» est un synonyme. Dans ce contexte, le niveau d’agrégation

fait référence au statut consolidé d’un indicateur de performance ou d’une variable en ce qui concerne les

informations relatives à l’objet de benchmarking (3.4).
3.2
valeur de référence

valeur unique représentant une valeur de référence acceptée, issue de comparaisons entre les

participants ou de la littérature technique, et servant de guide

Note 1 à l’article: La valeur de référence peut être déterminée en collaboration ou individuellement.

© ISO 2017 – Tous droits réservés 1
---------------------- Page: 6 ----------------------
ISO 24523:2017(F)

Note 2 à l’article: Suite au regroupement (3.6), des groupes de pairs différents peuvent être associés à des valeurs

de référence différentes.
3.3
benchmarking

processus systématique permettant d’identifier, de se familiariser avec et d’adopter des pratiques

efficaces venant des partenaires de benchmarking (3.5)
Note 1 à l’article: Le benchmarking est généralement un processus continu.

Note 2 à l’article: Benchmarking au niveau des processus signifie que l’objet de benchmarking est un processus,

par exemple exploitation du réseau d’assainissement, facturation ou achat de matériel.

Note 3 à l’article: Benchmarking au niveau du service public signifie que l’objet de benchmarking est le service

public de l’eau et les principales tâches à accomplir, par exemple les services d’eau potable et d’assainissement.

3.4
objet de benchmarking

services publics de l’eau gérés par une entité publique ou privée, secteurs des services publics, fonctions,

processus, tâches, services ou autres produits faisant l’objet du benchmarking (3.3) et qui, grâce à des

interfaces très claires, sont dissociés les uns des autres et par rapport aux objets non étudiés

EXEMPLE Construction du réseau d’assainissement, exploitation du réseau de canalisations.

3.5
partenaire de benchmarking
participant à un projet de benchmarking (3.3)
3.6
regroupement

groupement des objets de benchmarking (3.4) en fonction de plusieurs types de critères [informations

contextuelles (3.7) ou facteurs explicatifs (3.10)] afin de créer des groupes de pairs plutôt homogènes

EXEMPLE Regroupement par taille du service, volume délivré, population desservie, indice linéaire de

consommation du réseau (en m /km/an).

Note 1 à l’article: Pour des indicateurs de performance (3.13) différents, un regroupement différent peut être

approprié; suite au regroupement, chaque groupe de pairs peut être associé à des valeurs de référence spécifiques.

Note 2 à l’article: Le résultat du regroupement est une comparaison des indicateurs de performance, moins

influencée par les critères de regroupement.
3.7
informations contextuelles

informations sur les caractéristiques et le cadre des services d’eau potable et d’assainissement

Note 1 à l’article: Il existe deux types d’informations contextuelles:

— les informations décrivant des facteurs contextuels purs et les facteurs externes qui échappent à la maîtrise

du service public de l’eau (par exemple les caractéristiques démographiques, la topographie, le climat);

— les caractéristiques qui ne peuvent être affectées que par des décisions de management à long terme (par

exemple l’âge des infrastructures).
3.8
variable

paramètre technique ou économique servant à décrire les objets de benchmarking (3.4) comme base

pour le calcul des indicateurs de performance (3.13)

EXEMPLE Consommation d’énergie (kWh/an), DCO (kg/an), coûts ($/an) ou quantité d’eau potable (ou

d’eaux usées) traitée (m /an).
2 © ISO 2017 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO 24523:2017(F)

Note 1 à l’article: Pour que les indicateurs de performance soient résilients, les paramètres doivent être clairement

définis dans un modèle de données structuré, en tenant compte du niveau de confiance des données (par exemple

fiabilité, exactitude).
Note 2 à l’article: Il convient que chaque variable:

— soit adaptée à la définition de l’indicateur de performance ou des informations contextuelles (3.7) pour

lesquelles elle est utilisée,

— se réfère à la même zone géographique et à la même période ou date de référence que l’indicateur de

performance ou les informations contextuelles pour lesquelles elle sera utilisée, et

— soit aussi fiable et exacte que possible pour la prise de décisions faisant appel à elle.

3.9
écart par rapport à la valeur de référence

résultat de la comparaison des indicateurs de performance (3.13) correspondant à la différence entre

une valeur observée et la valeur de référence appliquée
Note 1 à l’article: Voir la Figure 1.
3.10
facteur explicatif

raison justifiant les écarts des indicateurs de performance (3.13) entre différents partenaires de

benchmarking (3.5)

Note 1 à l’article: Les facteurs explicatifs peuvent être décomposés en composantes modifiables (par exemple

la consommation d’énergie) et en composantes non modifiables ou modifiables uniquement à long terme (par

exemple la source d’eau). Les composantes non modifiables ou modifiables uniquement à long terme résultent

des informations contextuelles (3.7) des services publics de l’eau. Les facteurs explicatifs sont indispensables

pour l’interprétation des résultats des indicateurs de performance. Ils peuvent découler des informations

contextuelles. Dans certaines circonstances, une normalisation est possible et justifiée pour permettre la

comparabilité, par exemple normalisation de taux d’amortissement différents.
3.11
potentiel d’amélioration
écart entre un indicateur de performance (3.13) et la valeur de référence
Note 1 à l’article: L’écart peut être réduit par des actions d’amélioration.
3.12
catégorie de performance

classification des objectifs généraux des services d’eau potable et d’assainissement

Note 1 à l’article: Les principales catégories sont les suivantes: fiabilité, qualité, service client, développement

durable et efficience économique.

Note 2 à l’article: Les critères d’évaluation peuvent être regroupés par catégories de performance.

3.13
indicateur de performance

paramètre ou valeur découlant de paramètres, qui fournit des informations sur les performances

Note 1 à l’article: Les indicateurs de performance sont généralement exprimés sous forme de rapports entre

variables. Ces rapports peuvent être sans dimension (par exemple en %) ou avec dimension (par exemple en $/m ).

Note 2 à l’article: Les indicateurs de performance sont utilisés pour mesurer l’efficience et l’efficacité d’un service

public de l’eau dans l’atteinte de ses objectifs.
3.14
comparaison des indicateurs de performance

comparaison des valeurs des indicateurs de performance (3.13) avec les valeurs du même indicateur

pour d’autres services publics, les valeurs antérieures du même indicateur ou la valeur de référence

© ISO 2017 – Tous droits réservés 3
---------------------- Page: 8 ----------------------
ISO 24523:2017(F)
3.15
système d’indicateurs de performance

compilation contrôlée d’indicateurs de performance (3.13) qui sont liés les uns aux autres logiquement

ou mathématiquement et qui, ensemble, visent un objectif supérieur commun ou concernent un objet de

benchmarking (3.4)
3.16
processus

ensemble d’activités corrélées ou interactives qui utilise des éléments d’entrée pour obtenir un

résultat prévu

Note 1 à l’article: Dans le benchmarking (3.3), les processus organisationnels et techniques et des combinaisons

de ces derniers sont pris en compte. Un processus au sens du benchmarking comprend une combinaison entre

une tâche et une installation/un objet (par exemple exploitation du réseau d’assainissement, traitement des eaux

usées, traitement de l’eau, installation du raccordement domestique, formation du personnel, achat de matériel).

3.17
paramètre de référence
variable (3.8) utilisée au dénominateur d’un indicateur de performance (3.13)

Note 1 à l’article: Le paramètre de référence est cohérent avec l’objet de benchmarking (3.4) spécifique décrit

par l’indicateur de performance spécifique [par exemple la quantité d’eau (d’eaux usées) traitée, la charge d’eau

entrante, l’eau entrante ou les habitants raccordés plus l’équivalent-habitant].

Note 2 à l’article: En cas de benchmarking (3.3) d’un service d’eau potable ou d’assainissement complet, il convient

que le dénominateur représente une dimension du système (par exemple le nombre de branchements au réseau,

la longueur totale des conduites d’eau, les coûts annuels). Cela permet des comparaisons dans le temps ou entre

systèmes.
4 Benchmarking – Objectifs, étapes et caractéristiques
4.1 Objectifs

Les principaux objectifs du benchmarking consistent à déterminer le potentiel d’amélioration et à

élaborer et mettre en œuvre des actions réalisables pour améliorer les performances. La comparaison

d’unités organisationnelles spécifiques peut être effectuée soit en interne au sein du service public de

l’eau, soit en externe avec d’autres services publics de l’eau ou d’autres organisations. Les comparaisons

externes peuvent faciliter l’amélioration mutuelle et l’échange de meilleures pratiques. Les objectifs

potentiels peuvent inclure la communication avec les parties intéressées (voir également l’Article 5).

Les services de l’eau publics ou privés, les secteurs des services publics, les fonctions, les processus ou les

tâches ayant des limites de début et de fin clairement définies (par exemple la construction de nouvelles

canalisations, les mesures de maintenance, le remplacement des compteurs des clients, les relevés

de compteurs et le calcul de la consommation, le contrôle qualité) peuvent être examinés. Il convient

que les objets de benchmarking soient complètement définis en déterminant toutes les variables et

les indicateurs de performance nécessaires pour leur comparaison précise entre les partenaires de

benchmarking. Le benchmarking s’attache principalement à identifier systématiquement les causes à

l’origine des différences existantes. Le benchmarking s’étend au-delà de l’évaluation des performances

(voir l’ISO 24510:2007, Article 7). Il étudie l’identification et la mise en œuvre des meilleures pratiques.

Les premières informations à ce sujet proviennent de la comparaison des indicateurs de performance,

ce qui amène à une analyse des causes (voir la Figure 1).

Dans des domaines non spécifiques à une branche (par exemple logistique, gestion du matériel), les

entreprises autres que les services d’eau potable et d’assainissement peuvent également être prises en

considération en tant que partenaires de benchmarking.

Les projets de benchmarking peuvent être différenciés en fonction du type d’objet de benchmarking et

du niveau de détail, par exemple benchmarking au niveau des processus ou benchmarking au niveau du

service public.
4 © ISO 2017 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO 24523:2017(F)
4.2 Évaluation et amélioration des performances

Le benchmarking est composé de deux éléments de base consécutifs: l’évaluation des performances et

l’amélioration des performances.

Il convient que l’évaluation des performances, en tant que processus, soit menée dans un but

clair et précis et se réfère aux objectifs du service public d’eau potable ou d’assainissement (voir

l’ISO 24511:2007, 7.1 et l’ISO 24512:2007, 7.1). La réalisation de ces objectifs et le degré de réussite des

actions peuvent être mesurés au moyen des indicateurs de performance (par exemple, des indicateurs

de performance sont utilisés pour l’évaluation des performances au sein du service public de l’eau et/ou

par comparaison avec d’autres partenaires de benchmarking).

Cependant, l’évaluation des performances et les comparaisons des indicateurs de performance sont des

composantes élémentaires du benchmarking, qui diffèrent des simples comparaisons d’indicateurs de

performance du fait qu’elles incluent des étapes supplémentaires et continues, en particulier «analyse»

et «mise en œuvre» (voir le Tableau 1), qui conduisent à l’amélioration des performances.

L’analyse au niveau du service public et au niveau des processus comprend l’examen des causes des écarts

des indicateurs de performance des différents participants d’une part, et des écarts des indicateurs de

performance individuels des participants par rapport à la valeur de référence d’autre part, ainsi que

la détermination des potentiels d’amélioration et des plans d’action pour ces améliorations (voir la

Figure 1).

L’amélioration des performances dans un projet de benchmarking dépend des décisions et des actions

qui sont prises en fonction du contexte et des objectifs globaux du service public de l’eau (par exemple,

les objectifs d’amélioration et les plans d’actions doivent être pertinents, réalisables et adaptés aux

ressources disponibles dans les services publics individuels). Il peut arriver que seule l’évaluation des

performances puisse être réalisée au cours d’un projet de benchmarking.
Figure 1 — Éléments du benchmarking
4.3 Étapes du benchmarking

Le processus de benchmarking peut être décomposé en cinq étapes qui comprennent plusieurs activités

individuelles. Le Tableau 1 illustre ces relations.

Le benchmarking est flexible dans son exécution. Certaines des activités décrites dans le Tableau 1

peuvent être exécutées en parallèle (par exemple par ateliers). Les activités peuvent être mises

© ISO 2017 – Tous droits réservés 5
---------------------- Page: 10 ----------------------
ISO 24523:2017(F)

en relation avec les exigences et les objectifs des objets de benchmarking et des partenaires de

benchmarking.
6 © ISO 2017 – Tous droits réservés
---------------------- Page: 11 ----------------------
ISO 24523:2017(F)
© ISO 2017 – Tous droits réservés 7
Tableau 1 — Étapes et activités de benchmarking
Étape Activité principale Autres activités Détails Recommandations
Préparation 1. Préparat
...