ISO 17994:2014
(Main)Water quality — Requirements for the comparison of the relative recovery of microorganisms by two quantitative methods
Water quality — Requirements for the comparison of the relative recovery of microorganisms by two quantitative methods
ISO 17994:2014 specifies an evaluation procedure for comparing two methods with established performance characteristics according to ISO/TR 13843 and intended for the quantification of the same target group or species of microorganisms. It provides the mathematical basis for the evaluation of the average relative performance of two quantitative methods against chosen criteria for the comparison. It does not provide data for assessment of the precision of the methods being compared. It is appropriate that the precision of methods is assessed as part of their performance characterization. ISO 17994:2014 does not provide methods for the verification of method performance characterization in a single laboratory.
Qualité de l'eau — Exigences pour la comparaison du rendement relatif des microorganismes par deux méthodes quantitatives
L'ISO 17994:2014 spécifie une procédure d'évaluation qui permet de comparer deux méthodes avec des caractéristiques de performance établies conformément à l'ISO/TR 13843 et visant à quantifier le même groupe cible ou la même espèce de micro-organismes. Elle fournit les bases mathématiques pour évaluer les performances relatives moyennes des deux méthodes quantitatives par rapport à des critères de comparaison déterminés. Elle ne fournit aucune donnée permettant d'évaluer la fidélité des méthodes comparées. Il convient que la fidélité des méthodes soit évaluée lors de la détermination de leurs caractéristiques de performance. L'ISO 17994:2014 ne propose aucune méthode permettant de vérifier les caractéristiques de performance des méthodes au sein d'un seul laboratoire.
General Information
Relations
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 17994
Second edition
2014-02-15
Water quality — Requirements for the
comparison of the relative recovery of
microorganisms by two quantitative
methods
Qualité de l’eau — Exigences pour la comparaison du rendement
relatif des microorganismes par deux méthodes quantitatives
Reference number
ISO 17994:2014(E)
©
ISO 2014
---------------------- Page: 1 ----------------------
ISO 17994:2014(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2014
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2014 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 17994:2014(E)
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms, definitions and symbols . 1
3.1 Terms and definitions . 1
3.2 Symbols and abbreviated terms. 3
4 Principle . 3
5 Basic requirements for a comparison study . 4
5.1 General . 4
5.2 Description of methods . 4
5.3 Types of samples . 4
5.4 Number of samples and participating laboratories . 5
5.5 Counting and confirming. 7
6 Calculations. 8
6.1 Preliminary editing of the raw data . 8
6.2 Basic relative differences . 8
6.3 Half-width of the confidence interval . 9
7 Evaluation . 9
7.1 Preliminary evaluations . 9
7.2 Two-sided evaluation .10
7.3 One-sided evaluation .12
8 Test report .13
Annex A (informative) Flowchart .14
Annex B (informative) Comparison studies .15
Annex C (informative) Derivation of equation for calculation of the number of samples .17
Annex D (informative) Example of a two-sided evaluation
.19
Bibliography .22
© ISO 2014 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 17994:2014(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2, www.iso.org/directives.
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of any
patent rights identified during the development of the document will be in the Introduction and/or on
the ISO list of patent declarations received, www.iso.org/patents.
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers
to Trade (TBT) see the following URL: Foreword - Supplementary information
The committee responsible for this document is ISO/TC 147, Water quality, Subcommittee SC 4,
Microbiological methods.
This second edition cancels and replaces the first edition (ISO 17994:2004), which has been technically
revised.
iv © ISO 2014 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 17994:2014(E)
Introduction
This International Standard specifies criteria and procedures for comparing the average quantitative
results obtained by two microbiological analytical methods, one of which may, but need not, be a
standard or reference method.
The methods considered are based on counts of colonies or of positive and negative liquid enrichment
tubes (MPN).
© ISO 2014 – All rights reserved v
---------------------- Page: 5 ----------------------
INTERNATIONAL STANDARD ISO 17994:2014(E)
Water quality — Requirements for the comparison of the
relative recovery of microorganisms by two quantitative
methods
WARNING — Persons using this document should be familiar with normal laboratory practice.
This document does not purport to address all of the safety problems, if any, associated with its
use. It is the responsibility of the user to establish appropriate safety and health practices and to
ensure compliance with any national regulatory conditions.
IMPORTANT — It is absolutely essential that tests conducted in accordance with this document
be carried out by suitably qualified staff.
1 Scope
This International Standard specifies an evaluation procedure for comparing two methods with
established performance characteristics according to ISO/TR 13843 and intended for the quantification
of the same target group or species of microorganisms.
This International Standard provides the mathematical basis for the evaluation of the average relative
performance of two quantitative methods against chosen criteria for the comparison. It does not provide
data for assessment of the precision of the methods being compared. It is appropriate that the precision
of methods is assessed as part of their performance characterization.
This International Standard does not provide methods for the verification of method performance
characterization in a single laboratory.
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated
references, the latest edition of the referenced document (including any amendments) applies.
ISO 8199, Water quality — General guidance on the enumeration of micro-organisms by culture
ISO/TR 13843, Water quality — Guidance on validation of microbiological methods
3 Terms, definitions and symbols
3.1 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
3.1.1 General terms
3.1.1.1
comparison trial
interlaboratory method comparison that involves laboratories which perform paired measurements on
several of their own samples with two different methods
© ISO 2014 – All rights reserved 1
---------------------- Page: 6 ----------------------
ISO 17994:2014(E)
3.1.1.2
not-different method
method considered quantitatively not different to another method when the mean difference between
their confirmed counts and stipulated difference lie between predetermined stipulated limits, taking
into account all sources of variation
Note 1 to entry: This difference can be assessed by the average relative difference of their confirmed counts.
3.1.1.3
predetermined stipulated limit
permitted average difference (based on a “confidence interval” designated −2L to +2L) between results
obtained by each method, based on professional practices or regulatory requirements
Note 1 to entry: Reference [1] suggests that, in international and interlaboratory method performance tests, a
limit of 2L = 10 % for setting the “confidence interval” be the predetermined stipulated limit for drinking water,
and this has been widely used. However, for environmental waters, such as bathing waters, Reference [2] proposes
a predetermined stipulated limit of 2L = 20 %.
3.1.1.4
reference method
method of analysis internationally recognized by experts or by agreement between the parties
Note 1 to entry: As a rule, the reference method is a standard or a commonly used method.
3.1.1.5
standard measurement uncertainty
measurement uncertainty expressed as a standard deviation
(3)
[SOURCE: ISO/IEC Guide 99:2007 , 2.30]
3.1.1.6
trial method
any method which is to be tested for comparison with a reference method
3.1.2 Specific terms
3.1.2.1
count
observed number of objects
EXAMPLE Colonies or cells of microorganisms, plaques of bacteriophages
Note 1 to entry: In this International Standard, the result of an MPN estimation is also considered to be a count.
3.1.2.2
presumptive count
colony count or most probable number (MPN) estimate based on the number of colonies or fermentation
tubes that have an outward appearance that is interpreted as typical of a target organism
3.1.2.3
confirmed count
presumptive count multiplied by the confirmation coefficient
3.1.2.4
relative difference
RD
difference between two results, a and b, measured on a relative (natural logarithmic) scale
2 © ISO 2014 – All rights reserved
---------------------- Page: 7 ----------------------
ISO 17994:2014(E)
3.2 Symbols and abbreviated terms
A (symbol for the idea of) trial method
a test result by method A
a test result (confirmed count) of method A in sample i
i
B (symbol for the idea of) reference method
b test result by method B
b test result (confirmed count) of method B in sample i
i
i subscript indicating a series
k coverage factor used for calculating the confidence interval
L smallest microbiologically significant mean relative difference between the results by
methods A and B
MPN most probable number quantitative method
n number of samples
s experimental standard deviation of the relative difference (standard uncertainty)
2
s experimental variance
s standard deviation of the relative difference (standard uncertainty) of the mean
x
W half-width of the confidence interval
x relative difference
x value of the relative difference between a and b in sample i
i i i
x
arithmetic mean of x (i = 1,2 … n)
i
x value of the relative difference at the lower confidence limit, derived by subtracting the
L
value of the half-width of the confidence interval from the mean
x value of the relative difference at the upper confidence limit, derived by adding the value of
U
the half-width of the confidence interval to the mean
2
X experimental Poisson index of dispersion
y conditional variable used in computing the number of samples for comparison testing
4 Principle
This International Standard is based on the principle of the paired t-test (see Annex C).
The basic data are pairs of confirmed counts (a , b ) obtained from the examination of two equal portions
i i
taken from the same vessel of a carefully mixed test sample, one determination (count) per method. The
complete design consists of a large number of similar determinations.
In this International Standard, two methods are considered quantitatively “not different” if the mean
relative difference of the paired confirmed counts does not differ significantly from zero and the
© ISO 2014 – All rights reserved 3
---------------------- Page: 8 ----------------------
ISO 17994:2014(E)
confidence interval does not extend beyond the level of the predetermined stipulated limit. The decision
rules based on the above principle are given in 7.2 and 7.3 and a flow chart is given in Annex A.
5 Basic requirements for a comparison study
5.1 General
Both methods shall have data on detailed performance characteristics, derived in accordance with the
guidance outlined in ISO/TR 13843.
The most important basic requirement of comparison studies is a wide range of samples. Participation
by a number of laboratories is preferable, allowing the expansion of the sample range over large
geographical areas. Also the credibility of a general conclusion is commonly believed to require the
participation of several laboratories. However, the inclusion of a wide range of sample types by a single
laboratory will also be valid. The result of the comparison is generally valid only within the range of
sample types studied. Advice on the conduct of comparison studies is given in Annex B.
It is essential that all laboratories taking part in a collaborative study have recognized quality assurance
systems in use and apply approved basic techniques of cultivation.
5.2 Description of methods
It is important to note that the principles of operation of the two methods being compared should be
well understood and that the significance of any differences in the methods on the outcome of the
comparative assessment should be recognized. This is particularly important if the confirmed results
from each method are based on different principles. Any differences should be detailed in the test report
(see Clause 8).
Performance characteristics data shall be derived in accordance with ISO/TR 13843. Such data for the
methods shall be compared in order to assess potential differences in performance.
EXAMPLE Methods for the enumeration of coliform bacteria based on possession of the enzyme β-galactosidase
have been shown to produce higher counts than those based on the fermentation of lactose due to the detection
of a greater range of coliform bacteria.
5.3 Types of samples
The requirements for method comparisons differ somewhat from the daily routine situation. It is useful
and often necessary to preselect or prepare special samples. Samples for method comparisons shall
contain enough target organisms that the likelihood of scoring a zero count is small.
Samples for method comparisons shall represent types that are included in the scope of both methods.
Natural samples are ideal. Samples to be tested shall represent those water source types relevant to the
geographical and environmental area where the method is applied. The water types to be tested shall
be included to the scope of the methods under evaluation. Appropriate samples may also be prepared
by dilution, spiking, or mixing of different kinds of water to achieve the desired population in a suitable
density. Spiking with pure cultures shall be considered the last resort.
To avoid the inhibition of the target organisms by other organisms, ensure that the concentration of
total bacteria in a sample is not too high. Consult ISO 8199 to ascertain the ranges of the colony counts
for different cultivation methods.
It can be appropriate to influence the microbial population of existing samples to simulate situations
encountered in routine laboratory practice. Such modifications could be the applications of disinfectants
(e.g. chlorine, ozone or UV, Reference [1]), different ranges of temperature or the influence of daylight,
in order to simulate different environmental situations from where the samples for laboratories can
originate.
4 © ISO 2014 – All rights reserved
---------------------- Page: 9 ----------------------
ISO 17994:2014(E)
5.4 Number of samples and participating laboratories
5.4.1 Number of laboratories
The number of laboratories participating in comparison trials shall be sufficient to obtain a representative
result for the relative recovery of the two methods being tested. Factors that shall be considered when
deciding on the number of participating laboratories in a comparison trial include:
a) whether the alternative method is being assessed as a replacement for the reference method;
b) whether the comparison trials are for statutory or verification purposes;
c) the need to cover the range of geographical areas and water types for which the alternative method
may be used;
d) the need to consider seasonal variability in occurrence of the target organisms;
e) the number of test results needed for the assessment of relative recovery;
f) the number of laboratories with sufficient capacity and technical expertise available to participate.
It can be acceptable to have a limited number of participating laboratories analysing a wide range of
water types rather than a higher number of laboratories analysing a narrower range of water types
appropriate for the methods being compared.
NOTE Several successful comparisons have been achieved with three to six laboratories. In theory, it is
possible that one laboratory is able to conduct a suitable comparison study provided they have access to a wide
enough range of sample types for which the methods have been characterized.
5.4.2 Number of samples
It is not possible to determine beforehand the exact number of samples required for a valid comparison.
The number depends on the actual difference observed, on the experimental standard deviation and on
the difference considered significant. This International Standard includes an adequacy clause based on
a “predetermined stipulated limit” and the half-width of the confidence interval. If the data are found
inadequate for deciding that the methods are either “different” or “not different”, more samples are to
be collected and examined.
If the methods happen to differ markedly, a small number of samples might suffice to determine this
fact. It is therefore advisable to proceed in stages. The first stage should be planned to detect large
differences between the methods. If large differences are not found (result inconclusive), more samples
are taken until the system is able to detect the average relative difference that corresponds to the
predetermined stipulated limit chosen at the beginning of the trial.
© ISO 2014 – All rights reserved 5
---------------------- Page: 10 ----------------------
ISO 17994:2014(E)
The total number of samples, n, for a two-sided evaluation (7.2) that would be sufficient for the detection
of a given average relative difference at about 95 % confidence depends on the experimental variance
according to Formula (1):
2
4s
n= (1)
2
L
where
n is the number of samples required for the detection of a difference L;
L is the smallest microbiologically significant mean relative difference;
s is the experimental standard deviation.
EXAMPLE A rather frequently observed value for the experimental standard deviation of the relative
difference is approximately s = 80. In order to detect an average relative difference of 10 % (L = 10 %), n =
25 600/100 = 256 samples is expected to be sufficient for a two-sided evaluation.
For a one-sided evaluation (7.3) the corresponding number of samples can be calculated according to
Formula (2):
2
3s
n= (2)
2
L
The rationale for the derivation of Formulae (1) and (2) is presented in Annex C.
High variability of counts can be experienced due to irregular behaviour of either laboratories or the
range of sample types analysed. Whether it is warranted to continue a comparison of methods study
can be ascertained by an examination of the standard deviation of the mean relative difference. Valid
comparisons are indicated by standard deviations of less than 100.
NOTE With some recent methods based on chromogenic substrates, it is possible to estimate two bacterial
groups simultaneously. One of the groups can be 10 or more times as numerous as the other. It is possible that
the number of samples sufficient for making a final decision of equivalence with the more numerous type is not
sufficient for an organism present in low numbers.
6 © ISO 2014 – All rights reserved
---------------------- Page: 11 ----------------------
ISO 17994:2014(E)
5.4.3 Number of additional samples
Formula (3) can be applied to estimate the number of additional samples when the initial number has
been found to be inadequate (see 7.2.4 and 7.3.5) (see also Annex D).
2
s
n=4 (3)
y
where
n is the number of samples required;
s is the standard deviation of the relative difference;
y is the larger of the two quantities:
yx=
1
yx=−2L
2
in which
2L is the predetermined stipulated limit from 0 in the case that the methods are
“not different” in %;
x
is the arithmetic mean of the relative difference in %.
NOTE In the case of a one-sided evaluation (7.3) using Formula (3), y is calculated as yx=− 2L , with the
2
2
algebraic signs of 2L and x taken into account.
5.5 Counting and confirming
5.5.1 Counts
Counts shall be recorded to the last digit observed. Do not round the counts to two significant figures, as
often specified for reporting routine results. MPN results shall be rounded to the nearest whole number.
5.5.2 Confirmation
Most of the methods are of a type that include confirmation of the presumptive observations. Even
though often overlooked in daily routine practice, the basic rule of confirmation in method comparison
trials is to confirm every count by testing every presumptive positive observation (colony or tube).
Detailed advice concerning confirmation shall be given in the instructions from the panel of experts (see
Annex B).
To confirm a colony count reliably, the presumptive colonies should be well separated from each other
and from background colonies. For practical and statistical reasons, the ideal range for confirming
counts is from 10 to 30 target colonies per plate. Dilution of the samples should be chosen accordingly.
−1 −1
It is recommended to use dilutions of 3 to 2 or even less should be used. This will allow the selection
of the plate(s) that fulfil the basic quality criteria of reliable confirmed counts. If the plan fails to produce
any plates with well separated colonies, the sample shall be discarded. Another sample from the same
source (if considered indispensable) should be taken and diluted such that the objective of a reliable
count can be achieved.
© ISO 2014 – All rights reserved 7
---------------------- Page: 12 ----------------------
ISO 17994:2014(E)
Each presumptive positive observation should be confirmed. Partial confirmation shall be justified and
a sufficient number of confirmed observations needs to be undertaken to ensure that they truly reflect
confirmation rates of the methods under evaluation.
Both the presumptive and confirmed counts shall be recorded and reported. This provides data for
comparison of the confirmation rates. Methods with the possibility of in situ confirmation (e.g. by
transplantation of the membrane filter) give the confirmed count directly. In such cases, the presumptive
results need not be reported.
Every presumptive positive observation in MPN methods shall be confirmed.
6 Calculations
6.1 Preliminary editing of the raw data
Samples shall be excluded from calculations when both methods give a confirmed count of zero (0,0) or
either method gives a result other than a count (e.g. TNTC, “larger than”, etc.). The primary observations,
except the presumptive result (0,0), should nevertheless be reported.
6.2 Basic relative differences
6.2.1 Regular count data
An estimate of the relative difference is calculated for every pair of non-zero confirmed counts (a , b )
i i
following Formula (4):
xa=ln −ln b ×100% (4)
() ()
ii i
6.2.2 Results with zeroes
Some results of the types (a , 0) and (0, b ) are almost inevitable. To avoid omitting these samples, the
i i
relative differences are calculated using Formulae (5) and (6).
When the result is of the type (a , 0), the relative difference is obtained from
i
xa=+ln 1 ×100% (5)
()
ii
When the result is of the type (0, b ), the relative difference is obtained from
i
xb=−ln +1 ×100% (6)
()
ii
Adding a constant reduces the mathematical problems caused by zeroes but does not completely erase
them. It is therefore advisable to try to minimize the number of samples with zero results. At least 75 %
of the samples are required to contain regular count data from both methods. Samples with zero results
can have a great influence on the mean relative difference if the other method gives a high count. These
data can be detected by the outlier test. The inclusion of such data should be carefully considered.
NOTE The equations are the result of adding the constant one (1) to each “count” when one of them is a zero.
For example, in the case of (a , 0), the values entered in the general formula are (a + 1, 0 + 1).
i i
8 © ISO 2014 – All rights reserved
---------------------- Page: 13 ----------------------
ISO 17994:2014(E)
6.2.3 Mean relative difference
The average relative performance, x , is estimated in percentage units according to Formula (7):
x
∑ i
x= (7)
n
where
n is the number of samples;
x is the relative difference in sample i.
i
6.3 Half-width of the confidence interval
The standard uncertainty (standard deviation) of x is obtained from the conventional Formula (8) for
experimental standard deviation:
2
()xx−
i
∑
s= (8)
n−1
The standard uncertainty of the mean (formerly “standard error”) is computed from Formula (9):
s
s = (9)
x
n
The half-width of the confidence interval (W) is derived from the standard uncertainty of the mean by
using the coverage factor k = 2 resulting in Formula (10):
2s
Wk==s (10)
x
n
To evaluate the result of the comparison the “confidence interval” around the mean is calculated by
computing the limits
Lower limi
...
NORME ISO
INTERNATIONALE 17994
Deuxième édition
2014-02-15
Qualité de l’eau — Exigences pour la
comparaison du rendement relatif des
microorganismes par deux méthodes
quantitatives
Water quality — Requirements for the comparison of the relative
recovery of microorganisms by two quantitative methods
Numéro de référence
ISO 17994:2014(F)
©
ISO 2014
---------------------- Page: 1 ----------------------
ISO 17994:2014(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2014
Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur
l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à
l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2014 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 17994:2014(F)
Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes, définitions et symboles . 1
3.1 Termes et définitions . 1
3.2 Symboles et abréviations . 3
4 Principe . 3
5 Exigences fondamentales relatives à l’essai comparatif . 4
5.1 Généralités . 4
5.2 Description des méthodes. 4
5.3 Types d’échantillons . 4
5.4 Nombre d’échantillons et de laboratoires participants . 5
5.5 Comptage et confirmation. 7
6 Calculs . 8
6.1 Édition préliminaire des données brutes. 8
6.2 Différences relatives de base . 8
6.3 Mi-largeur de l’intervalle de confiance . 9
7 Évaluation . 9
7.1 Évaluations préliminaires. 9
7.2 Évaluation bilatérale .10
7.3 Évaluation unilatérale .12
8 Rapport d’essai .13
Annexe A (informative) Logigramme .14
Annexe B (informative) Essais comparatifs .15
Annexe C (informative) Dérivation de l’équation pour le calcul du nombre d’échantillons .17
Annexe D (informative) Exemple d’une évaluation bilatérale
.19
Bibliographie .22
© ISO 2014 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 17994:2014(F)
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (CEI) en ce qui concerne
la normalisation électrotechnique.
Les procédures utilisées pour l’élaboration du présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/CEI, Partie 1. Il convient, en particulier, de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/CEI, Partie 2, www.iso.
org/directives
L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant les
références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de l’élaboration
du document sont indiqués dans l’Introduction et/ou sur la liste ISO des déclarations de brevets reçues,
www.iso.org/patents
Les éventuelles appellations commerciales utilisées dans le présent document sont données pour
information à l’attention des utilisateurs et ne constituent pas une approbation ou une recommandation.
Pour obtenir une explication concernant la signification des termes et expressions spécifiques de
l’ISO liés à l’évaluation de la conformité, ainsi que des informations relatives à l’adhésion de l’ISO aux
principes de l’Organisation mondiale du commerce (OMC) en ce qui concerne les obstacles techniques au
commerce (OTC), se rendre à l’adresse suivante : Avant-propos – Information complémentaire
Le comité chargé de l’élaboration du présent document est l’ISO/TC 147, Qualité de l’eau, sous-comité
SC 4, Méthodes microbiologiques.
Cette deuxième édition annule et remplace la première édition (ISO 17994:2004), qui a fait l’objet d’une
révision technique.
iv © ISO 2014 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 17994:2014(F)
Introduction
La présente Norme internationale spécifie les critères et les procédures de comparaison des résultats
quantitatifs moyens obtenus par deux méthodes d’analyse microbiologique dont l’une peut — mais pas
nécessairement — être une méthode normalisée ou de référence.
Les méthodes étudiées reposent sur des comptages de colonies ou des tubes d’enrichissement liquide
positifs et négatifs [méthodes NPP (nombre le plus probable)].
© ISO 2014 – Tous droits réservés v
---------------------- Page: 5 ----------------------
NORME INTERNATIONALE ISO 17994:2014(F)
Qualité de l’eau — Exigences pour la comparaison
du rendement relatif des microorganismes par deux
méthodes quantitatives
AVERTISSEMENT — Il convient que l’utilisateur du présent document connaisse bien les pratiques
courantes de laboratoire. Le présent document n’a pas pour but de traiter de tous les problèmes
de sécurité qui sont, le cas échéant, liés à son utilisation. Il incombe à l’utilisateur de la présente
norme d’établir des pratiques appropriées en matière d’hygiène et de sécurité, et de s’assurer de
la conformité à la réglementation nationale en vigueur.
IMPORTANT — Il est indispensable que les essais menés selon le présent document soient
effectués par un personnel adéquatement qualifié.
1 Domaine d’application
La présente Norme internationale spécifie une procédure d’évaluation qui permet de comparer deux
méthodes avec des caractéristiques de performance établies conformément à l’ISO/TR 13843 et visant
à quantifier le même groupe cible ou la même espèce de micro-organismes.
Elle fournit les bases mathématiques pour évaluer les performances relatives moyennes des deux
méthodes quantitatives par rapport à des critères de comparaison déterminés. Elle ne fournit aucune
donnée permettant d’évaluer la fidélité des méthodes comparées. Il convient que la fidélité des méthodes
soit évaluée lors de la détermination de leurs caractéristiques de performance.
La présente Norme internationale ne propose aucune méthode permettant de vérifier les caractéristiques
de performance des méthodes au sein d’un seul laboratoire.
2 Références normatives
Les documents ci-après, dans leur intégralité ou non, sont des références normatives indispensables à
l’application du présent document. Pour les références datées, seule l’édition citée s’applique. Pour les
références non datées, la dernière édition du document de référence s’applique (y compris les éventuels
amendements).
ISO 8199, Qualité de l’eau — Lignes directrices générales pour le dénombrement des micro-organismes sur
milieu de culture
ISO/TR 13843, Qualité de l’eau — Lignes directrices pour la validation des méthodes microbiologiques
3 Termes, définitions et symboles
3.1 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s’appliquent.
3.1.1 Termes généraux
3.1.1.1
essai comparatif
comparaison interlaboratoires qui implique des laboratoires chargés d’effectuer des mesurages appariés
sur plusieurs de leurs propres échantillons en utilisant deux méthodes différentes
© ISO 2014 – Tous droits réservés 1
---------------------- Page: 6 ----------------------
ISO 17994:2014(F)
3.1.1.2
méthode sans différence
méthode considérée quantitativement sans différence par rapport à une autre méthode lorsque la
différence moyenne de leurs comptages confirmés et la différence stipulée se situe entre les limites
stipulées prédéfinies, en tenant compte de toutes les sources de variation
Note 1 à l’article: Cette différence peut être évaluée par la différence relative moyenne de leurs comptages
confirmés.
3.1.1.3
limite stipulée prédéfinie
différence autorisée moyenne (basée sur un «intervalle de confiance» désigné -2L à +2L) entre les
résultats obtenus avec chaque méthode, sur la base de pratiques professionnelles ou d’exigences
réglementaires
Note 1 à l’article: La Référence [1] suggère que, dans le cadre des essais internationaux et interlaboratoires de
performances des méthodes, une limite de 2L = 10 % pour fixer l’«intervalle de confiance» soit la limite stipulée
prédéfinie pour l’eau potable. Cette valeur a été couramment utilisée. Toutefois, pour les eaux environnementales,
telles que les eaux de baignade, la Référence [2] propose une limite stipulée prédéfinie de 2L = 20 %.
3.1.1.4
méthode de référence
méthode d’analyse reconnue au plan international par les experts ou par un accord entre les parties
Note 1 à l’article: Par convention, la méthode de référence est une méthode normalisée ou couramment utilisée.
3.1.1.5
incertitude-type
incertitude de mesure exprimée sous la forme d’un écart-type
(3)
[SOURCE: Guide ISO/CEI 99:2007 , 2.30]
3.1.1.6
méthode alternative
toute méthode dont il faut vérifier la comparaison avec une méthode de référence
3.1.2 Termes spécifiques
3.1.2.1
comptage
nombre observé d’objets
EXEMPLE Colonies ou cellules de micro-organismes, plages de bactériophages.
Note 1 à l’article: Dans la présente Norme internationale, le résultat d’une estimation du nombre le plus probable
(NPP) est également considéré comme un comptage.
3.1.2.2
comptage présomptif
comptage des colonies ou nombre le plus probable (NPP) estimé, basé sur le nombre de colonies ou de
tubes de fermentation ayant un aspect extérieur qui est interprété comme typique d’un organisme cible
3.1.2.3
comptage confirmé
comptage présomptif multiplié par le coefficient de de confirmation
3.1.2.4
différence relative
DR
différence entre deux résultats, a et b, mesurée sur une échelle relative (logarithme népérien)
2 © ISO 2014 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO 17994:2014(F)
3.2 Symboles et abréviations
A est la méthode alternative (symbole de l’idée)
a est le résultat d’essai obtenu par la méthode A
a est le résultat d’essai (comptage confirmé) obtenu par la méthode A pour l’échantillon i
i
B est la méthode de référence (symbole de l’idée)
b est le résultat d’essai obtenu par la méthode B
b est le résultat d’essai (comptage confirmé) obtenu par la méthode B pour l’échantillon i
i
i est l’indice indiquant une série
k est le facteur d’élargissement utilisé pour calculer l’intervalle de confiance
L est la plus petite différence relative moyenne significative d’un point de vue microbiologique entre
les résultats obtenus par les méthodes A et B
NPP est la méthode quantitative du nombre le plus probable
n est le nombre d’échantillons
s est l’écart-type expérimental de la différence relative (incertitude-type)
2
s est la variance expérimentale
est l’écart-type de la différence relative de la moyenne (incertitude-type)
s
x
W est la mi-largeur de l’intervalle de confiance
x est la différence relative
x est la valeur de la différence relative entre a et b pour l’échantillon i
i i i
x est la moyenne arithmétique des x (i = 1,2,…,n)
i
x est la valeur de la différence relative à la limite de confiance inférieure, calculée en soustrayant la
L
valeur de la mi-largeur de l’intervalle de confiance de la moyenne
x est la valeur de la différence relative à la limite de confiance supérieure, calculée en additionnant la
U
valeur de la mi-largeur de l’intervalle de confiance de la moyenne
2
X est l’indice expérimental de dispersion de Poisson
y est la variable conditionnelle utilisée pour calculer le nombre d’échantillons pour l’essai comparatif
4 Principe
La présente Norme internationale repose sur le principe du test t pour échantillons appariés (voir
Annexe C).
Les données de base sont des comptages appariés confirmés (a , b ) obtenus à partir de l’examen de deux
i i
prises d’essai égales prélevées dans un même récipient contenant un échantillon pour essai homogénéisé
avec précaution, une détermination (comptage) par méthode. L’essai complet se compose d’un grand
nombre de déterminations semblables.
Dans la présente Norme internationale, deux méthodes sont considérées comme quantitativement
«sans différence» si la différence relative moyenne des comptages appariés confirmés ne s’écarte pas
de manière significative du zéro et si l’intervalle de confiance ne dépasse pas le niveau de la limite
© ISO 2014 – Tous droits réservés 3
---------------------- Page: 8 ----------------------
ISO 17994:2014(F)
prédéterminée stipulée. Les règles de prise de décision reposant sur le principe ci-dessus sont précisées
en 7.2 et 7.3 et un schéma est donné dans l’Annexe A.
5 Exigences fondamentales relatives à l’essai comparatif
5.1 Généralités
Les deux méthodes doivent disposer de données concernant les caractéristiques de performances
détaillées obtenues conformément aux lignes directrices spécifiées dans l’ISO/TR 13843.
L’exigence fondamentale la plus importante pour les essais comparatifs concerne la variété d’échantillons.
La participation de nombreux laboratoires est préférable, permettant l’extension de la variété
d’échantillons sur de grandes zones géographiques. Aussi estime-t-on couramment que la crédibilité
d’une conclusion générale doit être liée à la participation de plusieurs laboratoires. Cependant, l’inclusion
d’une large gamme de types d’échantillons par un seul laboratoire sera également valide. Le résultat de
la comparaison n’est, en général, valide qu’à l’intérieur des limites de la variété des types d’échantillons
étudiés. Les essais comparatifs font l’objet d’un développement dans l’Annexe B.
Il est essentiel que tous les laboratoires participant à un essai interlaboratoires disposent de systèmes
d’assurance qualité reconnus et appliquent des techniques de base approuvées en matière de culture de
micro-organismes.
5.2 Description des méthodes
Il est important que les principes de fonctionnement des deux méthodes comparées soient bien compris
et que la portée des différences entre les méthodes sur le résultat de l’évaluation comparative soit
reconnue. Ceci est particulièrement important si les résultats confirmés obtenus par chaque méthode
reposent sur différents principes. Il convient de détailler toute différence dans le rapport d’essai (voir
l’Article 8).
Les données relatives aux caractéristiques de performances doivent être obtenues conformément à
l’ISO/TR 13843. Ces données pour les méthodes doivent être comparées afin d’évaluer les différences
potentielles de performances.
EXEMPLE Les méthodes de dénombrement des bactéries coliformes reposant sur la possession de l’enzyme
β-galactosidase se sont avérées produire des comptages supérieurs à ceux obtenus par fermentation du lactose
en raison de la détection d’une plus large gamme de bactéries coliformes.
5.3 Types d’échantillons
Les exigences requises en matière de comparaisons de méthodes diffèrent quelque peu des procédures
de routine quotidiennes. Il est utile et souvent nécessaire de choisir à l’avance ou de préparer des
échantillons spéciaux. Les échantillons utilisés pour les comparaisons de méthodes doivent contenir
suffisamment d’organismes cibles pour qu’il y ait peu de chances d’obtenir un comptage nul.
Les échantillons utilisés en vue d’effectuer des comparaisons de méthodes doivent représenter les types
qui relèvent du domaine d’application des deux méthodes. La procédure idéale consiste à utiliser des
échantillons naturels. Les échantillons soumis à essai doivent représenter les types de sources d’eau
typiques de la région géographique et environnementale où la méthode est appliquée. Les types d’eau
soumis à essai doivent relever du domaine d’application des méthodes évaluées. Il est également possible
de préparer des échantillons convenables par dilution, dopage ou mélange de différentes sortes d’eau
pour atteindre la population voulue à une concentration appropriée. Le dopage avec des cultures pures
ne doit être envisagé qu’en dernier ressort.
Pour éviter l’inhibition des organismes cibles par d’autres organismes, s’assurer que la concentration
en flore totale dans un échantillon n’est pas trop élevée. Consulter l’ISO 8199 pour vérifier les limites
relatives aux comptages de colonies pour différentes méthodes de culture.
4 © ISO 2014 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO 17994:2014(F)
Il peut être pertinent d’influencer la population microbienne d’échantillons existants pour simuler
les situations rencontrées dans les pratiques de laboratoire de routine. Ces modifications peuvent
[1]
être des applications de désinfectants (par exemple, chlore, ozone ou rayonnements UV, Référence )
ou différentes gammes de température, ou encore l’influence de la lumière du jour, afin de simuler
différentes situations environnementales représentatives des échantillons pouvant parvenir dans les
laboratoires.
5.4 Nombre d’échantillons et de laboratoires participants
5.4.1 Nombre de laboratoires
Le nombre de laboratoires participant aux essais comparatifs doit être suffisant pour obtenir un
résultat représentatif du rendement relatif des deux méthodes soumises à essai. Au moment de décider
du nombre de laboratoires participants lors d’un essai comparatif, les facteurs suivants doivent être pris
en compte:
a) si la méthode alternative est évaluée en remplacement de la méthode de référence;
b) si les essais comparatifs sont effectués à titre réglementaire et vérificatif;
c) la nécessité de couvrir la gamme des zones géographiques et des types d’eau pour lesquels la
méthode alternative peut être utilisée;
d) la nécessité de tenir compte de la variabilité saisonnière dans l’apparition des organismes cibles;
e) le nombre de résultats d’essai nécessaires pour évaluer le rendement relatif;
f) le nombre de laboratoires ayant la capacité suffisante et l’expertise technique pour participer.
Il peut être acceptable de disposer d’un petit nombre de laboratoires participants chargés d’analyser
une vaste gamme de types d’eau plutôt qu’un grand nombre de laboratoires chargés d’analyser une plus
petite gamme de types d’eau appropriés aux méthodes comparées.
NOTE Plusieurs comparaisons probantes ont été obtenues avec trois à six laboratoires. En théorie, il est
possible qu’un laboratoire puisse être en mesure d’effectuer un essai comparatif approprié à condition d’avoir
accès à une gamme suffisamment large de types d’échantillons pour lesquels les méthodes ont été caractérisées.
5.4.2 Nombre d’échantillons
Il n’est pas possible de déterminer à l’avance le nombre exact d’échantillons requis pour que la comparaison
soit valide. Ce nombre est fonction de la différence réellement observée, de l’écart-type expérimental et
de la différence considérée comme significative. La présente Norme internationale comprend une clause
d’adéquation basée sur une «limite stipulée prédéfinie» et sur la mi-largeur de l’intervalle de confiance.
Quand les données ne permettent pas de savoir si les méthodes sont «différentes» ou «sans différence»,
un plus grand nombre échantillons doit être prélevé et examiné.
Si les méthodes sont nettement différentes, il se peut qu’un petit nombre d’échantillons suffise pour
déterminer cet état de fait. Il est donc recommandé de procéder par étapes. Il convient que la première
étape vise à détecter les grandes différences entre les méthodes. Si l’on ne constate aucune grande
différence (résultat non concluant), des échantillons supplémentaires sont prélevés jusqu’à ce que le
système soit en mesure de détecter la différence relative moyenne qui correspond à la limite stipulée
prédéfinie choisie au début de l’essai.
© ISO 2014 – Tous droits réservés 5
---------------------- Page: 10 ----------------------
ISO 17994:2014(F)
Le nombre total d’échantillons, n, pour une évaluation bilatérale (7.2) suffisante pour détecter une
différence relative moyenne donnée à un niveau de confiance d’environ 95 % dépend de la variance
expérimentale conformément à la Formule (1):
2
4s
n= (1)
2
L
où
n est le nombre d’échantillons requis pour la détection d’une différence L;
L est la plus petite différence relative moyenne significative d’un point de vue microbiologique
s est l’écart-type expérimental.
EXEMPLE Un écart-type expérimental de la différence relative, s, égal à environ 80 est une valeur assez
fréquemment observée. Pour détecter une différence relative moyenne de 10 % d’unités (L = 10 %), la valeur
n = 25 600 / 100 = 256 échantillons devrait être suffisante pour une évaluation bilatérale.
Pour une évaluation unilatérale (7.3), le nombre d’échantillons correspondant peut être calculé d’après
la Formule (2):
2
3s
n= (2)
2
L
Le justificatif de la dérivation des Formules (1) et (2) est présenté dans l’Annexe C.
Une haute variabilité des comptages peut être observée en raison de disparités dans la conduite des
analyses par les laboratoires ou de la gamme des types d’échantillons analysés. S’il est judicieux de
poursuivre, un essai comparatif des méthodes peut être évalué en examinant l’écart-type de la différence
relative moyenne. Des comparaisons valides sont indiquées par des écarts-types inférieurs à 100.
NOTE Certaines méthodes récentes basées sur des substrats chromogènes permettent d’estimer
simultanément deux groupes bactériens. L’un des groupes peut être 10 fois plus nombreux que l’autre, voire même
davantage. Il est possible que le nombre d’échantillons suffisant pour prendre une décision finale d’équivalence
avec le type le plus nombreux puisse se révéler insuffisant pour un organisme présent en petit nombre.
6 © ISO 2014 – Tous droits réservés
---------------------- Page: 11 ----------------------
ISO 17994:2014(F)
5.4.3 Nombre d’échantillons supplémentaires
La Formule (3) peut être appliquée pour estimer le nombre d’échantillons supplémentaires lorsque le
nombre initial s’est révélé être inadéquat (voir en 7.2.4 et 7.3.5) (voir également l’Annexe D).
2
s
n=4 (3)
y
où
n est le nombre d’échantillons requis;
s est l’écart-type de la différence relative;
y est la plus grande des deux grandeurs:
yx=
1
yx=− 2L
2
dans lequel
2L est la limite stipulée prédéfinie à partir de 0 dans le cas où les méthodes sont «sans
différence» en %;
x
est la moyenne arithmétique de la différence relative, en %.
NOTE Dans le cas d’une évaluation unilatérale (7.3) basée sur la Formule (3), y est calculé par la formule y =
2 2
x - 2L, avec prise en compte des signes algébriques de 2L et de x .
5.5 Comptage et confirmation
5.5.1 Comptages
Les comptages doivent être enregistrés jusqu’au dernier chiffre significatif observé. Ne pas arrondir des
comptages à deux chiffres significatifs, comme cela est souvent spécifié pour la notation des résultats de
routine. Les résultats du NPP doivent être arrondis à l’entier le plus proche.
5.5.2 Confirmation
La plupart des méthodes sont d’un type qui nécessite la confirmation des observations présumées.
Bien que cela soit souvent ignoré dans la pratique de routine de tous les jours, la règle de base de la
confirmation dans le cadre des essais comparatifs de méthodes consiste à confirmer chaque comptage
en vérifiant chaque observation positive présumée (colonie ou tube).
Des conseils détaillés relatifs à la confirmation doivent être fournis dans les instructions issues du jury
d’experts (voir l’Annexe B).
Pour confirmer un comptage de colonie de manière fiable, il convient de bien séparer les colonies
présumées les unes des autres et par rapport aux colonies interférentes. Pour des raisons pratiques
et statistiques, la plage idéale est comprise entre 10 et 30 colonies cibles par boîte. Il convient que la
dilution des échantillons soit choisie en conséquence.
-1 -1
Il convient d’utiliser des dilutions de 3 à 2 ou même moins. Cela permettra de choisir la (les) boîte(s)
qui satisfait (satisfont) aux critères fondamentaux de qualité de comptages confirmés fiables. Si le plan
ne permet pas d’obtenir des boîtes de colonies bien isolées, l’échantillon doit être rejeté. Il convient de
prélever un autre échantillon de la même provenance (si cela est considéré indispensable) et de le diluer
de façon à pouvoir parvenir à un comptage fiable.
© ISO 2014 – Tous droits réservés 7
---------------------- Page: 12 ----------------------
ISO 17994:2014(F)
Il convient de confirmer chaque observation positive présumée. Une confirmation partielle doit être
justifiée et un nombre suffisant d’observations confirmées doit être effectué pour s’assurer qu’elles
reflètent vraiment les taux de confirmation des méthodes évaluées.
Il y a lieu d’enregistrer et de consigner par écrit les comptages présumés et les comptages confirmés.
Cela constitue des données qui permett
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.