ISO 17994:2014

Water quality — Requirements for the comparison of the relative recovery of microorganisms by two quantitative methods

ISO 17994:2014 specifies an evaluation procedure for comparing two methods with established performance characteristics according to ISO/TR 13843 and intended for the quantification of the same target group or species of microorganisms. It provides the mathematical basis for the evaluation of the average relative performance of two quantitative methods against chosen criteria for the comparison. It does not provide data for assessment of the precision of the methods being compared. It is appropriate that the precision of methods is assessed as part of their performance characterization. ISO 17994:2014 does not provide methods for the verification of method performance characterization in a single laboratory.

Qualité de l'eau — Exigences pour la comparaison du rendement relatif des microorganismes par deux méthodes quantitatives

L'ISO 17994:2014 spécifie une procédure d'évaluation qui permet de comparer deux méthodes avec des caractéristiques de performance établies conformément à l'ISO/TR 13843 et visant à quantifier le même groupe cible ou la même espèce de micro-organismes. Elle fournit les bases mathématiques pour évaluer les performances relatives moyennes des deux méthodes quantitatives par rapport à des critères de comparaison déterminés. Elle ne fournit aucune donnée permettant d'évaluer la fidélité des méthodes comparées. Il convient que la fidélité des méthodes soit évaluée lors de la détermination de leurs caractéristiques de performance. L'ISO 17994:2014 ne propose aucune méthode permettant de vérifier les caractéristiques de performance des méthodes au sein d'un seul laboratoire.

General Information

• Status: Published
• Publication Date: 05-Feb-2014
• ICS: 07.100.20 - Microbiology of water
• ICS: 13.060.70 - Examination of biological properties of water
• Technical Committee: ISO/TC 147/SC 4 - Microbiological methods
• Drafting Committee: ISO/TC 147/SC 4 - Microbiological methods
• Current Stage: 9020 - International Standard under periodical review
• Start Date: 15-Jul-2024
• Completion Date: 15-Jul-2024

Relations

• Revises: ISO 17994:2004 - Water quality — Criteria for establishing equivalence between microbiological methods
• Effective Date: 08-May-2010

Standards Content (Sample)

INTERNATIONAL ISO
STANDARD 17994
Second edition
2014-02-15
Water quality — Requirements for the
comparison of the relative recovery of
microorganisms by two quantitative
methods
Qualité de l’eau — Exigences pour la comparaison du rendement
relatif des microorganismes par deux méthodes quantitatives
Reference number
©
ISO 2014
© ISO 2014
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail [e-mail]
Web www.iso.org
Published in Switzerland
ii © ISO 2014 – All rights reserved

Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms, definitions and symbols . 1
3.1 Terms and definitions . 1
3.2 Symbols and abbreviated terms. 3
4 Principle . 3
5 Basic requirements for a comparison study . 4
5.1 General . 4
5.2 Description of methods . 4
5.3 Types of samples . 4
5.4 Number of samples and participating laboratories . 5
5.5 Counting and confirming. 7
6 Calculations. 8
6.1 Preliminary editing of the raw data . 8
6.2 Basic relative differences . 8
6.3 Half-width of the confidence interval . 9
7 Evaluation . 9
7.1 Preliminary evaluations . 9
7.2 Two-sided evaluation .10
7.3 One-sided evaluation .12
8 Test report .13
Annex A (informative) Flowchart .14
Annex B (informative) Comparison studies .15
Annex C (informative) Derivation of equation for calculation of the number of samples .17
Annex D (informative) Example of a two-sided evaluation
........................................................................................................19
Bibliography .22
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2, www.iso.org/directives.
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of any
patent rights identified during the development of the document will be in the Introduction and/or on
the ISO list of patent declarations received, www.iso.org/patents.
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers
to Trade (TBT) see the following URL: Foreword - Supplementary information
The committee responsible for this document is ISO/TC 147, Water quality, Subcommittee SC 4,
Microbiological methods.
This second edition cancels and replaces the first edition (ISO 17994:2004), which has been technically
revised.
iv © ISO 2014 – All rights reserved

Introduction
This International Standard specifies criteria and procedures for comparing the average quantitative
results obtained by two microbiological analytical methods, one of which may, but need not, be a
standard or reference method.
The methods considered are based on counts of colonies or of positive and negative liquid enrichment
tubes (MPN).
INTERNATIONAL STANDARD ISO 17994:2014(E)
Water quality — Requirements for the comparison of the
relative recovery of microorganisms by two quantitative
methods
WARNING — Persons using this document should be familiar with normal laboratory practice.
This document does not purport to address all of the safety problems, if any, associated with its
use. It is the responsibility of the user to establish appropriate safety and health practices and to
ensure compliance with any national regulatory conditions.
IMPORTANT — It is absolutely essential that tests conducted in accordance with this document
be carried out by suitably qualified staff.
1 Scope
This International Standard specifies an evaluation procedure for comparing two methods with
established performance characteristics according to ISO/TR 13843 and intended for the quantification
of the same target group or species of microorganisms.
This International Standard provides the mathematical basis for the evaluation of the average relative
performance of two quantitative methods against chosen criteria for the comparison. It does not provide
data for assessment of the precision of the methods being compared. It is appropriate that the precision
of methods is assessed as part of their performance characterization.
This International Standard does not provide methods for the verification of method performance
characterization in a single laboratory.
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated
references, the latest edition of the referenced document (including any amendments) applies.
ISO 8199, Water quality — General guidance on the enumeration of micro-organisms by culture
ISO/TR 13843, Water quality — Guidance on validation of microbiological methods
3 Terms, definitions and symbols
3.1 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
3.1.1 General terms
3.1.1.1
comparison trial
interlaboratory method comparison that involves laboratories which perform paired measurements on
several of their own samples with two different methods
3.1.1.2
not-different method
method considered quantitatively not different to another method when the mean difference between
their confirmed counts and stipulated difference lie between predetermined stipulated limits, taking
into account all sources of variation
Note 1 to entry: This difference can be assessed by the average relative difference of their confirmed counts.
3.1.1.3
predetermined stipulated limit
permitted average difference (based on a “confidence interval” designated −2L to +2L) between results
obtained by each method, based on professional practices or regulatory requirements
Note 1 to entry: Reference [1] suggests that, in international and interlaboratory method performance tests, a
limit of 2L = 10 % for setting the “confidence interval” be the predetermined stipulated limit for drinking water,
and this has been widely used. However, for environmental waters, such as bathing waters, Reference [2] proposes
a predetermined stipulated limit of 2L = 20 %.
3.1.1.4
reference method
method of analysis internationally recognized by experts or by agreement between the parties
Note 1 to entry: As a rule, the reference method is a standard or a commonly used method.
3.1.1.5
standard measurement uncertainty
measurement uncertainty expressed as a standard deviation
(3)
[SOURCE: ISO/IEC Guide 99:2007 , 2.30]
3.1.1.6
trial method
any method which is to be tested for comparison with a reference method
3.1.2 Specific terms
3.1.2.1
count
observed number of objects
EXAMPLE Colonies or cells of microorganisms, plaques of bacteriophages
Note 1 to entry: In this International Standard, the result of an MPN estimation is also considered to be a count.
3.1.2.2
presumptive count
colony count or most probable number (MPN) estimate based on the number of colonies or fermentation
tubes that have an outward appearance that is interpreted as typical of a target organism
3.1.2.3
confirmed count
presumptive count multiplied by the confirmation coefficient
3.1.2.4
relative difference
RD
difference between two results, a and b, measured on a relative (natural logarithmic) scale
2 © ISO 2014 – All rights reserved

3.2 Symbols and abbreviated terms
A (symbol for the idea of) trial method
a test result by method A
a test result (confirmed count) of method A in sample i
i
B (symbol for the idea of) reference method
b test result by method B
b test result (confirmed count) of method B in sample i
i
i subscript indicating a series
k coverage factor used for calculating the confidence interval
L smallest microbiologically significant mean relative difference between the results by
methods A and B
MPN most probable number quantitative method
n number of samples
s experimental standard deviation of the relative difference (standard uncertainty)
s experimental variance
s standard deviation of the relative difference (standard uncertainty) of the mean
x
W half-width of the confidence interval
x relative difference
x value of the relative difference between a and b in sample i
i i i
x
arithmetic mean of x (i = 1,2 … n)
i
x value of the relati
...

NORME ISO
INTERNATIONALE 17994
Deuxième édition
2014-02-15
Qualité de l’eau — Exigences pour la
comparaison du rendement relatif des
microorganismes par deux méthodes
quantitatives
Water quality — Requirements for the comparison of the relative
recovery of microorganisms by two quantitative methods
Numéro de référence
©
ISO 2014
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2014
Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur
l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à
l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail [e-mail]
Web www.iso.org
Publié en Suisse
ii © ISO 2014 – Tous droits réservés

Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes, définitions et symboles . 1
3.1 Termes et définitions . 1
3.2 Symboles et abréviations . 3
4 Principe . 3
5 Exigences fondamentales relatives à l’essai comparatif . 4
5.1 Généralités . 4
5.2 Description des méthodes. 4
5.3 Types d’échantillons . 4
5.4 Nombre d’échantillons et de laboratoires participants . 5
5.5 Comptage et confirmation. 7
6 Calculs . 8
6.1 Édition préliminaire des données brutes. 8
6.2 Différences relatives de base . 8
6.3 Mi-largeur de l’intervalle de confiance . 9
7 Évaluation . 9
7.1 Évaluations préliminaires. 9
7.2 Évaluation bilatérale .10
7.3 Évaluation unilatérale .12
8 Rapport d’essai .13
Annexe A (informative) Logigramme .14
Annexe B (informative) Essais comparatifs .15
Annexe C (informative) Dérivation de l’équation pour le calcul du nombre d’échantillons .17
Annexe D (informative) Exemple d’une évaluation bilatérale
................................................................................................19
Bibliographie .22
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (CEI) en ce qui concerne
la normalisation électrotechnique.
Les procédures utilisées pour l’élaboration du présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/CEI, Partie 1. Il convient, en particulier, de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/CEI, Partie 2, www.iso.
org/directives
L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant les
références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de l’élaboration
du document sont indiqués dans l’Introduction et/ou sur la liste ISO des déclarations de brevets reçues,
www.iso.org/patents
Les éventuelles appellations commerciales utilisées dans le présent document sont données pour
information à l’attention des utilisateurs et ne constituent pas une approbation ou une recommandation.
Pour obtenir une explication concernant la signification des termes et expressions spécifiques de
l’ISO liés à l’évaluation de la conformité, ainsi que des informations relatives à l’adhésion de l’ISO aux
principes de l’Organisation mondiale du commerce (OMC) en ce qui concerne les obstacles techniques au
commerce (OTC), se rendre à l’adresse suivante : Avant-propos – Information complémentaire
Le comité chargé de l’élaboration du présent document est l’ISO/TC 147, Qualité de l’eau, sous-comité
SC 4, Méthodes microbiologiques.
Cette deuxième édition annule et remplace la première édition (ISO 17994:2004), qui a fait l’objet d’une
révision technique.
iv © ISO 2014 – Tous droits réservés

Introduction
La présente Norme internationale spécifie les critères et les procédures de comparaison des résultats
quantitatifs moyens obtenus par deux méthodes d’analyse microbiologique dont l’une peut — mais pas
nécessairement — être une méthode normalisée ou de référence.
Les méthodes étudiées reposent sur des comptages de colonies ou des tubes d’enrichissement liquide
positifs et négatifs [méthodes NPP (nombre le plus probable)].
NORME INTERNATIONALE ISO 17994:2014(F)
Qualité de l’eau — Exigences pour la comparaison
du rendement relatif des microorganismes par deux
méthodes quantitatives
AVERTISSEMENT — Il convient que l’utilisateur du présent document connaisse bien les pratiques
courantes de laboratoire. Le présent document n’a pas pour but de traiter de tous les problèmes
de sécurité qui sont, le cas échéant, liés à son utilisation. Il incombe à l’utilisateur de la présente
norme d’établir des pratiques appropriées en matière d’hygiène et de sécurité, et de s’assurer de
la conformité à la réglementation nationale en vigueur.
IMPORTANT — Il est indispensable que les essais menés selon le présent document soient
effectués par un personnel adéquatement qualifié.
1 Domaine d’application
La présente Norme internationale spécifie une procédure d’évaluation qui permet de comparer deux
méthodes avec des caractéristiques de performance établies conformément à l’ISO/TR 13843 et visant
à quantifier le même groupe cible ou la même espèce de micro-organismes.
Elle fournit les bases mathématiques pour évaluer les performances relatives moyennes des deux
méthodes quantitatives par rapport à des critères de comparaison déterminés. Elle ne fournit aucune
donnée permettant d’évaluer la fidélité des méthodes comparées. Il convient que la fidélité des méthodes
soit évaluée lors de la détermination de leurs caractéristiques de performance.
La présente Norme internationale ne propose aucune méthode permettant de vérifier les caractéristiques
de performance des méthodes au sein d’un seul laboratoire.
2 Références normatives
Les documents ci-après, dans leur intégralité ou non, sont des références normatives indispensables à
l’application du présent document. Pour les références datées, seule l’édition citée s’applique. Pour les
références non datées, la dernière édition du document de référence s’applique (y compris les éventuels
amendements).
ISO 8199, Qualité de l’eau — Lignes directrices générales pour le dénombrement des micro-organismes sur
milieu de culture
ISO/TR 13843, Qualité de l’eau — Lignes directrices pour la validation des méthodes microbiologiques
3 Termes, définitions et symboles
3.1 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s’appliquent.
3.1.1 Termes généraux
3.1.1.1
essai comparatif
comparaison interlaboratoires qui implique des laboratoires chargés d’effectuer des mesurages appariés
sur plusieurs de leurs propres échantillons en utilisant deux méthodes différentes
3.1.1.2
méthode sans différence
méthode considérée quantitativement sans différence par rapport à une autre méthode lorsque la
différence moyenne de leurs comptages confirmés et la différence stipulée se situe entre les limites
stipulées prédéfinies, en tenant compte de toutes les sources de variation
Note 1 à l’article: Cette différence peut être évaluée par la différence relative moyenne de leurs comptages
confirmés.
3.1.1.3
limite stipulée prédéfinie
différence autorisée moyenne (basée sur un «intervalle de confiance» désigné -2L à +2L) entre les
résultats obtenus avec chaque méthode, sur la base de pratiques professionnelles ou d’exigences
réglementaires
Note 1 à l’article: La Référence [1] suggère que, dans le cadre des essais internationaux et interlaboratoires de
performances des méthodes, une limite de 2L = 10 % pour fixer l’«intervalle de confiance» soit la limite stipulée
prédéfinie pour l’eau potable. Cette valeur a été couramment utilisée. Toutefois, pour les eaux environnementales,
telles que les eaux de baignade, la Référence [2] propose une limite stipulée prédéfinie de 2L = 20 %.
3.1.1.4
méthode de référence
méthode d’analyse reconnue au plan international par les experts ou par un accord entre les parties
Note 1 à l’article: Par convention, la méthode de référence est une méthode normalisée ou couramment utilisée.
3.1.1.5
incertitude-type
incertitude de mesure exprimée sous la forme d’un écart-type
(3)
[SOURCE: Guide ISO/CEI 99:2007 , 2.30]
3.1.1.6
méthode alternative
toute méthode dont il faut vérifier la comparaison avec une méthode de référence
3.1.2 Termes spécifiques
3.1.2.1
comptage
nombre observé d’objets
EXEMPLE Colonies ou cellules de micro-organismes, plages de bactériophages.
Note 1 à l’article: Dans la présente Norme internationale, le résultat d’une estimation du nombre le plus probable
(NPP) est également considéré comme un comptage.
3.1.2.2
comptage présomptif
comptage des colonies ou nombre le plus probable (NPP) estimé, basé sur le nombre de colonies ou de
tubes de fermentation ayant un aspect extérieur qui est interprété comme typique d’un organisme cible
3.1.2.3
comptage confirmé
comptage présomptif multiplié par le coefficient de de confirmation
3.1.2.4
différence relative
DR
différence entre deux résultats, a et b, mesurée sur une échelle relative (logarithme népérien)
...