ISO 17994:2004
(Main)Water quality — Criteria for establishing equivalence between microbiological methods
Water quality — Criteria for establishing equivalence between microbiological methods
ISO 17994:2004 defines an evaluation procedure for comparing two methods intended for the detection or quantification of the same target group or species of microorganisms. ISO 17994:2004 provides the mathematical basis for the evaluation of the average relative performance of two methods against chosen criteria of equivalence. Any two enumeration methods based on counts (of colonies or positive tubes) or any two detection methods (presence/absence methods) intended for the same purpose can be compared. ISO 17994:2004 provides no solution to directly compare a quantitative method (colony count or MPN) with a detection method (P/A).
Qualité de l'eau — Critères permettant d'établir l'équivalence de méthodes microbiologiques
L'ISO 17994:2004 définit une procédure d'évaluation qui permet de comparer deux méthodes visant à détecter ou à quantifier le même groupe cible ou la même espèce de micro-organismes. L'ISO 17994:2004 fournit les bases mathématiques pour évaluer les performances relatives moyennes des deux méthodes par rapport à des critères d'équivalence déterminés. Deux méthodes quelconques de dénombrement fondées sur des comptages (de colonies ou de tubes positifs) ou deux méthodes quelconques de détection [méthodes présence/absence (P/A)] visant au même objectif peuvent être comparées. L'ISO 17994:2004 n'indique aucune solution qui permette de comparer directement une méthode quantitative (comptage de colonies ou NPP) avec une méthode de détection (P/A).
General Information
Relations
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 17994
First edition
2004-05-15
Water quality — Criteria for establishing
equivalence between microbiological
methods
Qualité de l'eau — Critères pour établir l'équivalence entre les
méthodes microbiologiques
Reference number
ISO 17994:2004(E)
©
ISO 2004
---------------------- Page: 1 ----------------------
ISO 17994:2004(E)
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat
accepts no liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In
the unlikely event that a problem relating to it is found, please inform the Central Secretariat at the address given below.
© ISO 2004
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2004 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 17994:2004(E)
Contents Page
Foreword. iv
Introduction . v
1 Scope. 1
2 Normative references . 1
3 Terms, definitions and symbols . 1
4 Principle . 4
5 Basic requirements for an equivalence experiment. 4
6 Calculations. 8
7 Evaluation . 10
8 Test report. 12
Annex A (informative) Flowchart . 13
Annex B (informative) Collaborative equivalence trials . 14
Annex C (informative) Example.16
Bibliography . 18
© ISO 2004 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 17994:2004(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 17994 was prepared by Technical Committee ISO/TC 147, Water quality, Subcommittee SC 4,
Microbiological methods.
iv © ISO 2004 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 17994:2004(E)
Introduction
This International Standard presents the criteria and procedures for assessing the average quantitative
equivalence of the results obtained by two microbiological analytical methods one of which may but need not
be a standard or reference method.
The methods considered are based on counts of colonies or of positive and negative liquid enrichment tubes
(MPN and presence/absence methods).
NOTE It is possible that a method that is not quantitatively equivalent with a reference method would be accepted,
especially if it appears “better” than the reference either quantitatively or otherwise.
© ISO 2004 – All rights reserved v
---------------------- Page: 5 ----------------------
INTERNATIONAL STANDARD ISO 17994:2004(E)
Water quality — Criteria for establishing equivalence between
microbiological methods
WARNING — Persons using this International Standard should be familiar with normal laboratory
practice. This International Standard does not purport to address all of the safety problems, if any,
associated with its use. It is the responsibility of the user to establish appropriate safety and health
practices and to ensure compliance with any national regulatory conditions.
1 Scope
This International Standard defines an evaluation procedure for comparing two methods intended for the
detection or quantification of the same target group or species of microorganisms.
This International Standard provides the mathematical basis for the evaluation of the average relative
performance of two methods against chosen criteria of equivalence.
Any two enumeration methods based on counts (of colonies or positive tubes) or any two detection methods
[presence/absence (P/A) methods] intended for the same purpose can be compared.
This International Standard provides no solution to directly compare a quantitative method (colony count or
MPN) with a detection method (P/A).
2 Normative references
The following referenced documents are indispensable for the application of this document. For dated
references, only the edition cited applies. For undated references, the latest edition of the referenced
document (including any amendments) applies.
ISO/TR 13843:2000, Water quality — Guidance on validation of microbiological methods
3 Terms, definitions and symbols
3.1 Terms and definitions
For purposes of this document, the following terms and definitions apply.
3.1.1 General terms
3.1.1.1
reference method
prescribed analytical method to analyse a given group or species of microorganisms
NOTE As a rule, the reference method is a standard or a commonly used method.
3.1.1.2
trial method
any method which is to be tested for equivalence with a reference method
© ISO 2004 – All rights reserved 1
---------------------- Page: 6 ----------------------
ISO 17994:2004(E)
3.1.1.3
equivalent method
method considered quantitatively equivalent with another method when the average relative difference of their
confirmed counts is found “not different” when following the calculations specified in this International
Standard
3.1.1.4
standard uncertainty
uncertainty of the result of a measurement expressed as a standard deviation
[GUM]
3.1.1.5
expanded uncertainty
quantity defining an interval about the result of a measurement that may be expected to encompass a large
fraction of the distribution of values that could reasonably be attributed to the measurand
NOTE The fraction may be viewed as the coverage probability or level of confidence of the interval. To associate a
specific level of confidence requires explicit or implicit assumptions regarding the probability distribution. The level of
confidence may be attributed to this interval only to the extent to which such assumptions may be justified.
[GUM]
3.1.1.6
coverage factor
numerical factor used as a multiplier of the (combined) standard uncertainty in order to obtain an expanded
uncertainty
NOTE The coverage factor, k = 2 is chosen for this International Standard because the distribution of the relative
difference is unlikely to be normal; the expanded uncertainty corresponds only approximately to the 95 % confidence
interval.
3.1.2 Specific terms
3.1.2.1
count
observed number of objects, e.g. colonies or cells of microorganisms, plaques of bacteriophages
NOTE In this International Standard, the result of an MPN estimation is also considered a count.
3.1.2.2
presumptive count
number of objects that according to their outward appearance should presumably be included in the count
3.1.2.3
confirmed count
count corrected for false positive results by further testing of the presumptive objects
3.1.2.4
relative difference
RD
difference between two results, a and b, measured on a relative (natural logarithmic) scale
NOTE The value of RD, x, expressed in percent, is given by
x = [ln(a) − ln(b)] × 100 %
2 © ISO 2004 – All rights reserved
---------------------- Page: 7 ----------------------
ISO 17994:2004(E)
Essentially the same result is given by
2(ab− )
x=× 100 %
()ab+
until the ratio between a and b is greater than about 3. This accounts for the usage of the term “relative difference” in both
cases.
3.2 Symbols and abbreviated terms
A the (symbol for the idea of) trial method
a a test result by Method A
a the test result (confirmed count) of Method A in sample i
i
B the (symbol for the idea of) reference method
b a test result by Method B
b the test result (confirmed count) of Method B in sample i
i
C coefficient for computing the number of samples, given the value of the experimental variance
D maximum acceptable deviation (value of confidence limit) in the case Methods A and B are “not
different”
i running index
k coverage factor used for calculating the expanded uncertainty
L smallest significant (i.e. maximum acceptable) relative difference between Methods A and B
MPN most probable number quantitative method
m number of parallel tubes per dilution in an MPN series
n number of samples
n number of samples where for the P/A Method, A is positive and B negative
A
n number of samples where for the P/A Method, A is negative and B positive
B
P/A presence/absence detection method
s experimental standard deviation (standard uncertainty)
2
s experimental variance
s standard deviation (standard uncertainty) of the mean
x
U expanded uncertainty
x relative difference
x value of the relative difference between a and b in sample i
i i i
x arithmetic mean of x (i = 1,2,…,n)
i
x value of the relative difference at the approximate lower 95 % confidence limit, derived by
L
subtracting the value of the expanded uncertainty from the mean
x value of the relative difference at the approximate upper 95 % confidence limit, derived by adding
H
the value of the expanded uncertainty to the mean
2
X experimental Poisson index of dispersion
y conditional variable used in computing the number of samples for equivalence testing and/or
verification
© ISO 2004 – All rights reserved 3
---------------------- Page: 8 ----------------------
ISO 17994:2004(E)
4 Principle
The basic data are pairs of confirmed counts (a , b ) obtained from the examination of two equal portions taken
i i
from the same vessel of a carefully mixed test sample, one determination (count) per method. The complete
design consists of a large number of similar determinations.
In this International Standard, two methods are considered quantitatively equivalent (“not different”) if the
mean relative difference of the paired confirmed counts does not differ significantly from zero and the
expanded uncertainty does not extend beyond the level of the stipulated maximum acceptable deviation. The
decision rules based on the above principle are detailed in 7.2 and 7.3 and a flow chart is given in Annex A.
NOTE 1 Fixing a value for the maximum acceptable deviation (D) implies indirectly that the smallest average difference
(L) to be considered significant is one half of that value.
NOTE 2 It has been suggested that in international and inter-laboratory method performance tests a limit of D = 10 %
[2]
for the “confidence interval” be the maximum acceptable deviation for drinking water .
NOTE 3 For chemical methods, mean and precision are used as criteria for equivalence. In microbiology, equal
precision (equal variance) is not an equivalence criterion.
5 Basic requirements for an equivalence experiment
5.1 General
Both methods shall fulfil at least the minimum requirements of validity specified in ISO/TR 13843.
The most important basic requirement of equivalence trials is a wide range of samples. Participation by a
number of laboratories is usually necessary to expand the sample range over large geographical areas. Also
the credibility of a general conclusion is commonly believed to require the participation of several laboratories.
The result of the comparison is generally valid only within the range of sample types studied. Collaborative
trials are detailed in Annex B.
It is essential that all laboratories taking part in a collaborative study have recognized quality assurance
systems in use and apply approved basic techniques of cultivation.
5.2 Types of samples
The requirements for method comparisons differ somewhat from the daily routine situation. It is useful and
often necessary to pre-select or prepare special samples. Samples for method comparisons should contain
enough bacteria that the likelihood of scoring a zero count is small.
Samples for method comparisons should represent types that are included in the scope of both methods.
Natural samples are ideal. Appropriate samples may also be prepared by dilution, spiking, or mixing of
different kinds of water to achieve the desired population in a suitable density. Spiking with pure cultures
should be considered the last resort.
It may be appropriate to stress the microbial population of some samples by controlled application of
[2]
disinfectants or by refrigerated storage in order to simulate situations encountered in routine laboratory
practice.
5.3 Number of samples and participating laboratories
5.3.1 General
It is not possible to determine beforehand the exact number of samples required for a valid comparison. The
number depends on the actual difference observed, on the experimental standard deviation and on the
difference considered significant. This International Standard includes an adequacy clause based on a
4 © ISO 2004 – All rights reserved
---------------------- Page: 9 ----------------------
ISO 17994:2004(E)
stipulated “maximum acceptable deviation” and the expanded uncertainty. If the data are found inadequate for
deciding that the methods are “not different”, more samples are to be collected and examined.
If the methods happen to differ markedly, a small number of samples might suffice to determine this fact. It is
therefore advisable to proceed in stages. The first stage should be planned to detect large differences
between the methods. If large differences are not found (result inconclusive), more samples are taken until the
system is able to detect the average difference that corresponds with the maximum acceptable deviation
chosen at the beginning of the trial. Tables are given in 5.3.3 and 5.3.6 to provide help for planning.
5.3.2 The number of laboratories
There are no previous standards or rules about the number of laboratories in inter-laboratory equivalence
trials. Six is tentatively suggested as minimum number.
5.3.3 Number of samples, two colony methods
The total number of samples, n, sufficient for the detection of a given average relative difference at about
95 % confidence depends on the experimental variance according to the equation:
2
n = Cs
where
2
s is the variance;
C is a coefficient that depends on the chosen least significant difference.
2
The value of C is derived from the relationship: C = 4/L . The relationship between D (the maximum
acceptable deviation) and L (the least significant difference) is: L = D/2 (see Table 1).
Table 1 — Coefficients for determining the number of samples required for the detection
of a given relative difference (L)
a
D L C
% %
60 30 0,004 4
40 20 0,010 0
30 15 0,017 8
20 10 0,040 0
10 5 0,160 0
a
The corresponding maximum acceptable deviation (D) is shown for comparison.
EXAMPLE A rather frequently observed value for the experimental standard deviation of the relative difference is
approximately s = 80. Inserting this value in the equation gives n = 6 400C. In order to detect an average relative difference
of 10 % units (L = 10 %), n = 6 400 × 0,040 0 = 256 samples should be sufficient.
5.3.4 Number of samples, two MPN methods
With MPN methods the number (n) of samples depends on the number (m) of parallel tubes according to the
equation:
n = 1 700/m
With five parallel tubes per dilution, 1 700/5 = 340 samples should suffice for the detection of a 10 % relative
difference.
© ISO 2004 – All rights reserved 5
---------------------- Page: 10 ----------------------
ISO 17994:2004(E)
5.3.5 Number of samples, mixed comparisons
When one of the methods is an MPN Method and the other a colony method the number of samples likely to
be required is halfway between that in (5.3.3) and (5.3.4).
NOTE With some recent methods based on chromogenic substrates, it is possible to estimate two bacterial groups
simultaneously. One of the groups may be ten or more times as numerous as the other. The number of samples sufficient
for making a final decision of equivalence with the more numerous type may not be sufficient for the organism present in
low numbers.
5.3.6 Number of samples, two P/A methods
Testing the equivalence of P/A methods is wasteful of samples. Samples where both methods give the same
result (+ +) or (− −) do not contribute to the statistical evaluation of equivalence. The number of samples
expected to be sufficient for detecting an average relative difference of L at 95 % confidence is indicated in
Table 2. The number given is the total number of samples with unequal results (+ −) and (− +). The
experiment should not be done with fewer samples to avoid the false verdict “not different” due to insufficient
data.
Table 2 — The number of samples required in order to detect whether
the average relative recovery of two P/A methods is greater than L
L n
%
40 100
30 170
20 380
15 680
10 1 540
5 6 140
5.3.7 Number of samples when comparing a counting method with a P/A method
Counts and qualitative test results are not commensurable. The comparison of a counting method with a P/A
method requires either “down-grading” the count results or “up-grading” the P/A method.
Down-grading is effected by ignoring the numerical value of each count and replacing it with a (+) meaning a
positive detection of the presence of an organism. Most of the information contained in the counts is thereby
lost. In this case, the number of samples required for comparing two P/A methods applies (5.3.6).
NOTE 1 Because the conversion of the count to a mere (+) takes place after the count has been confirmed, no work is
saved in confirmation.
Subdividing a P/A sample after inoculation into several small volumes “up-grades” the P/A method into a
single dilution MPN method. For instance, a 100 ml volume can be subdivided into 10 portions of 10 ml or,
preferably 20 portions of 5 ml providing an MPN estimate that can be compared with the count of the other
metho
...
NORME ISO
INTERNATIONALE 17994
Première édition
2004-05-15
Qualité de l'eau — Critères permettant
d'établir l'équivalence de méthodes
microbiologiques
Water quality — Criteria for establishing equivalence between
microbiological methods
Numéro de référence
ISO 17994:2004(F)
©
ISO 2004
---------------------- Page: 1 ----------------------
ISO 17994:2004(F)
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute
responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation,
veuillez en informer le Secrétariat central à l'adresse donnée ci-dessous.
© ISO 2004
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax. + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2004 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 17994:2004(F)
Sommaire Page
Avant-propos. iv
Introduction . v
1 Domaine d'application. 1
2 Références normatives. 1
3 Termes, définitions et symboles . 1
4 Principe. 4
5 Exigences fondamentales relatives aux essais d'équivalence . 4
6 Calculs. 9
7 Évaluation. 11
8 Rapport d'essai. 13
Annexe A (informative) Diagramme. 14
Annexe B (informative) Études collaboratives d'équivalence . 15
Annexe C (informative) Exemple. 17
Bibliographie . 20
© ISO 2004 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 17994:2004(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 17994 a été élaborée par le comité technique ISO/TC 147, Qualité de l'eau, sous-comité SC 4,
Méthodes microbiologiques.
iv © ISO 2004 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 17994:2004(F)
Introduction
La présente Norme internationale expose les critères et les procédures d'évaluation de l'équivalence
quantitative moyenne des résultats obtenus par deux méthodes d'analyse microbiologique dont l'une peut —
mais pas nécessairement — être une méthode normalisée ou de référence.
Les méthodes étudiées reposent sur des comptages de colonies ou des tubes d'enrichissement liquide
positifs et négatifs [méthodes NPP (nombre le plus probable) et P/A (présence/absence)].
NOTE Il est possible d'accepter une méthode qui ne soit pas quantitativement équivalente à une méthode de
référence, notamment si elle semble «meilleure» que la référence, du point de vue quantitatif ou autre.
© ISO 2004 – Tous droits réservés v
---------------------- Page: 5 ----------------------
NORME INTERNATIONALE ISO 17994:2004(F)
Qualité de l'eau — Critères permettant d'établir l'équivalence de
méthodes microbiologiques
AVERTISSEMENT — Il convient que l'utilisateur de la présente Norme internationale connaisse bien
les pratiques courantes de laboratoire. La présente Norme internationale n'a pas pour but de traiter
tous les problèmes de sécurité qui sont, le cas échéant, liés à son utilisation. Il incombe à l'utilisateur
de la présente Norme internationale d'établir des pratiques appropriées en matière d'hygiène et de
sécurité, et de s'assurer de la conformité à la réglementation nationale en vigueur.
1 Domaine d'application
La présente Norme internationale définit une procédure d'évaluation qui permet de comparer deux méthodes
visant à détecter ou à quantifier le même groupe cible ou la même espèce de micro-organismes.
Elle fournit les bases mathématiques pour évaluer les performances relatives moyennes des deux méthodes
par rapport à des critères d'équivalence déterminés.
Deux méthodes quelconques de dénombrement fondées sur des comptages (de colonies ou de tubes
positifs) ou deux méthodes quelconques de détection [méthodes présence/absence (P/A)] visant au même
objectif peuvent être comparées.
La présente Norme internationale n'indique aucune solution qui permette de comparer directement une
méthode quantitative (comptage de colonies ou NPP) avec une méthode de détection (P/A).
2 Références normatives
Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les
références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du
document de référence s'applique (y compris les éventuels amendements).
ISO/TR 13843:2000, Qualité de l'eau — Lignes directrices pour la validation des méthodes microbiologiques
3 Termes, définitions et symboles
3.1 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s'appliquent.
3.1.1 Termes généraux
3.1.1.1
méthode de référence
méthode d'analyse prescrite dans le but d'analyser une espèce ou un groupe donné de micro-organismes
NOTE Par convention, la méthode de référence est une méthode normalisée ou couramment utilisée.
© ISO 2004 – Tous droits réservés 1
---------------------- Page: 6 ----------------------
ISO 17994:2004(F)
3.1.1.2
méthode alternative
toute méthode dont il faut vérifier l'équivalence avec une méthode de référence
3.1.1.3
méthode équivalente
méthode considérée quantitativement équivalente à une autre méthode lorsque la différence relative moyenne
de leurs comptages confirmés a pour résultat «sans différence» quand les calculs spécifiés dans la présente
Norme internationale sont observés
3.1.1.4
incertitude-type
incertitude du résultat d'un mesurage exprimée sous la forme d'un écart-type
[GUM]
3.1.1.5
incertitude élargie
grandeur définissant un intervalle, autour du résultat d'un mesurage, dont on puisse s'attendre à ce qu'il
comprenne une fraction élevée de la distribution des valeurs qui pourraient être attribuées raisonnablement
au mesurande
NOTE La fraction peut être considérée comme la probabilité ou le niveau de confiance de l'intervalle. L'association
d'un niveau de confiance spécifique nécessite des hypothèses explicites ou implicites sur la loi de probabilité. Le niveau
de confiance ne peut être attribué à cet intervalle que dans la mesure où ces hypothèses peuvent être justifiées.
[GUM]
3.1.1.6
facteur d'élargissement
facteur numérique utilisé comme multiplicateur de l'incertitude-type (composée) pour obtenir l'incertitude
élargie
NOTE Le facteur d'élargissement choisi dans la présente Norme internationale est k = 2 car il est improbable que la
répartition de la différence relative suive une loi normale. L'incertitude élargie correspond seulement approximativement à
l'intervalle de confiance de 95 %.
3.1.2 Termes spécifiques
3.1.2.1
comptage
nombre observé d'objets, par exemple colonies ou cellules de micro-organismes, plages de bactériophages
NOTE Dans la présente Norme internationale, le résultat d'une estimation du nombre le plus probable (NPP) est
également considéré comme un comptage.
3.1.2.2
comptage présumé
nombre d'objets qui, selon leur aspect extérieur, serait vraisemblablement compris dans le comptage
3.1.2.3
comptage confirmé
comptage, corrigé des faux positifs, obtenu après avoir soumis les objets présumés à d'autres tests
3.1.2.4
différence relative
DR
différence entre deux résultats, a et b, mesurée sur une échelle relative (logarithme népérien)
2 © ISO 2004 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO 17994:2004(F)
NOTE La valeur de DR, x, exprimée en pourcentage, est donnée par
xa=−ln lnb×100 %
() ()
Pratiquement, le même résultat est donné par
2ab−
( )
x=×100 %
ab+
()
jusqu'à ce que le rapport entre a et b soit supérieur à environ 3. Cela explique l'usage du terme «différence
relative» dans les deux cas.
3.2 Symboles et termes abrégés
A est la méthode alternative (symbole de l'idée)
a un résultat d'essai par la méthode A
a est le résultat (comptage confirmé) obtenu par la méthode A pour l'échantillon i
i
B est la méthode de référence (symbole de l'idée)
b un résultat d'essai par la méthode B
b est le résultat (comptage confirmé) obtenu par la méthode B pour l'échantillon i
i
C coefficient pour calculer les nombres des échantillons, donnant la valeur de la variance expérimentale
D est l'écart maximal admissible (valeur de la limite de confiance) dans le cas où les méthodes A et B
sont «sans différence»
i indice d'incrémentation
k facteur d'élargissement utilisé pour calculer l'incertitude élargie
L est la plus petite différence relative moyenne significative (c'est-à-dire le maximum acceptable) entre
les méthodes A et B
NPP méthode quantitative du nombre le plus probable
m nombre de tubes parallèles par dilution dans une série NPP
n nombre d'échantillons
n nombre d'échantillons où pour la méthode P/A, A est positif et B est négatif
A
n nombre d'échantillons où pour la méthode P/A, A est négatif et B est positif
B
P/A méthode de détection présence/absence
s écart-type expérimental (incertitude-type)
2
s variance expérimentale
s écart-type de la moyenne (incertitude-type)
x
U incertitude élargie
© ISO 2004 – Tous droits réservés 3
---------------------- Page: 8 ----------------------
ISO 17994:2004(F)
x différence relative
x valeur de la différence relative entre a et b pour l'échantillon i
i i i
x moyenne arithmétique des x (i = 1, 2, …, n)
i
x valeur de la différence relative à la limite de confiance approximative inférieure de 95 %, dérivée en
L
soustrayant la valeur de l'incertitude élargie de la moyenne
x valeur de la différence relative à la limite de confiance approximative supérieure de 95 %, dérivée en
H
additionnant la valeur de l'incertitude élargie de la moyenne
2
X indice expérimental de dispersion de Poisson
y variable conditionnelle utilisée pour calculer le nombre d'échantillons pour tester et/ou vérifier
l'équivalence
4 Principe
Les données de base sont des couples de comptages confirmés (a , b ) obtenus à partir de l'examen de deux
i i
prises d'essai égales prélevées dans un même récipient contenant un échantillon pour essai homogénéisé
avec précaution, une détermination (comptage) par méthode. L'étude complète se compose d'un grand
nombre de déterminations semblables.
Dans la présente Norme internationale, deux méthodes sont considérées comme quantitativement
équivalentes («sans différence») si la différence relative moyenne des comptages confirmés par couples ne
s'écarte pas de manière significative du zéro et si l'incertitude élargie ne dépasse pas le niveau de l'écart
maximal admissible stipulé. Les règles de prise de décision reposant sur le principe ci-dessus sont précisées
en 7.2 et 7.3 et un schéma est donné dans l'Annexe A.
NOTE 1 L'attribution d'une valeur à l'écart maximal admissible (D) implique indirectement que la plus petite différence
moyenne (L) à considérer comme significative est égale à la moitié de cette valeur.
NOTE 2 Pour les essais internationaux et interlaboratoires de performance de méthodes, il a été suggéré de fixer
[2]
«l'intervalle de confiance» pour l'eau potable à la limite D = 10 % .
NOTE 3 Pour les méthodes chimiques, la moyenne et la fidélité sont utilisées comme critères pour l'équivalence. En
microbiologie, une fidélité égale (variance égale) n'est pas un critère d'équivalence.
5 Exigences fondamentales relatives aux essais d'équivalence
5.1 Généralités
Les deux méthodes doivent au moins satisfaire aux exigences minimales de validité spécifiées dans
l'ISO/TR 13843.
L'exigence de base la plus importante pour les essais d'équivalence concerne la variété d'échantillons. Il est
généralement nécessaire de faire participer de nombreux laboratoires afin de répartir la variété d'échantillons
sur de grandes zones géographiques. Aussi estime-t-on couramment que la crédibilité d'une conclusion
générale doit être liée à la participation de plusieurs laboratoires. Le résultat de la comparaison n'est, en
général, valide qu'à l'intérieur des limites de la variété des types d'échantillons étudiés. Les études
collaboratives font l'objet d'un développement dans l'Annexe B.
Il est essentiel que tous les laboratoires participant à une étude collaborative disposent de systèmes
d'assurance qualité reconnus et appliquent des techniques de base approuvées en matière de culture de
micro-organismes.
4 © ISO 2004 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO 17994:2004(F)
5.2 Types d'échantillons
Les exigences requises en matière de comparaisons de méthodes diffèrent quelque peu des procédures de
routine quotidiennes. Il est utile et souvent nécessaire de choisir à l'avance ou de préparer des échantillons
spéciaux. Il convient que les échantillons utilisés pour les comparaisons de méthodes contiennent
suffisamment de bactéries pour qu'il y ait peu de chances d'obtenir un comptage nul.
Il convient que les échantillons utilisés en vue d'effectuer des comparaisons de méthodes représentent les
types qui relèvent du domaine d'application des deux méthodes. La procédure idéale consiste à utiliser des
échantillons naturels. Il est également possible de préparer des échantillons convenables par dilution, dopage,
ou mélange de différentes sortes d'eau pour atteindre la population voulue à une concentration appropriée. Il
convient de n'envisager le dopage avec des cultures pures qu'en dernier ressort.
Il peut être pertinent de soumettre la population microbienne de quelques échantillons à un stress en leur
[2]
appliquant des désinfectants de manière contrôlée ou en les stockant dans un réfrigérateur de façon à
simuler les situations rencontrées dans les pratiques de laboratoire de routine.
5.3 Nombre d'échantillons et de laboratoires participants
5.3.1 Généralités
Il n'est pas possible de déterminer à l'avance le nombre exact d'échantillons requis pour que la comparaison
soit valide. Ce nombre est fonction de la différence réellement observée, de l'écart-type expérimental et de la
différence considérée comme significative. La présente Norme internationale comprend une clause
d'adéquation basée sur un «écart maximal admissible» stipulé et sur l'incertitude élargie. Si les données ne
permettent pas d'opter pour le résultat «sans différence», un plus grand nombre d'échantillons doit être
collecté et examiné.
Si les méthodes sont nettement différentes, il se peut qu'un petit nombre d'échantillons suffise pour
déterminer cet état de fait. C'est pourquoi il est recommandé de procéder par étapes. Il convient que la
première étape vise à détecter les grandes différences entre les méthodes. Si l'on ne constate aucune grande
différence (résultat non concluant), des échantillons supplémentaires sont prélevés jusqu'à ce que le système
soit en mesure de détecter la différence moyenne qui correspond à l'écart maximal admissible choisi au début
de l'essai. Les tableaux indiqués en 5.3.3 et 5.3.6 contribuent à faciliter la planification.
5.3.2 Nombre de laboratoires
Le nombre de laboratoires participant aux essais interlaboratoires d'équivalence n'est indiqué dans aucune
norme ou règle déjà existante. Provisoirement, il est proposé de fixer le nombre minimal acceptable à six.
5.3.3 Nombre d'échantillons, deux méthodes de comptage des colonies
Le nombre total d'échantillons, n, suffisant pour détecter une différence relative moyenne donnée à un niveau
de confiance d'environ 95 % dépend de la variance expérimentale conformément à l'équation:
2
n = Cs
où
2
s est la variance;
C est un coefficient qui dépend de la plus petite différence significative choisie.
© ISO 2004 – Tous droits réservés 5
---------------------- Page: 10 ----------------------
ISO 17994:2004(F)
2
La valeur de C découle de la formule C = 4/L . La relation entre D (écart maximal admissible) et L (plus petite
différence relative moyenne significative) est donnée par L = D/2 (voir Tableau 1).
Tableau 1 — Coefficients utilisés pour déterminer le nombre d'échantillons requis
pour détecter une différence relative donnée (L)
a
L C
D
% %
60 30 0,004 4
40 20 0,010 0
30 15 0,017 8
20 10 0,040 0
10 5 0,160 0
a
L'écart maximal admissible correspondant (D) est fourni à titre de
comparaison.
EXEMPLE Un écart-type expérimental de la différence relative, s, égal à environ 80 est une valeur assez
fréquemment observée. L'introduction de cette valeur dans l'équation donne n = 6 400C. Pour détecter une différence
relative moyenne de 10 % (L = 10 %), la valeur n = 6 400 × 0,040 0 = 256 échantillons devrait être suffisante.
5.3.4 Nombre d'échantillons, deux méthodes du nombre le plus probable (NPP)
Avec les méthodes NPP, le nombre (n) d'échantillons dépend du nombre (m) de tubes parallèles
conformément à la formule:
nm= 1700
Avec cinq tubes parallèles par dilution, la valeur, n = 1 700/5 = 340 échantillons, devrait suffire pour détecter
une différence relative de 10 %.
5.3.5 Nombre d'échantillons, comparaisons mixtes
Quand l'une des méthodes est une méthode NPP et que l'autre est une méthode de comptage de colonies, le
nombre d'échantillons probablement nécessaire se situe à mi-chemin entre ceux indiqués en 5.3.3 et en 5.3.4.
NOTE Certaines méthodes récentes qui reposent sur des substrats chromogènes, permettent d'estimer
simultanément deux groupes bactériens. L'un des groupes peut être dix fois plus nombreux que l'autre, voire même
davantage. Le nombre d'échantillons suffisant pour prendre une décision finale d'équivalence avec le type le plus
nombreux peut se révéler insuffisant pour l'organisme présent en petit nombre.
5.3.6 Nombre d'échantillons, deux méthodes présence/absence (P/A)
La vérification de l'équivalence de méthodes P/A entraîne un gaspillage d'échantillons. Les échantillons qui
donnent le même résultat (++) ou (−−) avec les deux méthodes n'apportent rien à l'évaluation statistique de
l'équivalence. Le nombre d'échantillons présumé suffisant pour détecter une différence relative moyenne L au
niveau de confiance de 95 % est indiqué dans le Tableau 2. Le nombre donné est le nombre total
d'échantillons qui ont donné des résultats différents (+−) et (−+). Il convient de ne pas effectuer cette
expérience avec moins d'échantillons de manière à ne pas aboutir au jugement erroné «sans différence» en
raison d'un nombre insuffisant de données.
6 © ISO 2004 – Tous droits réservés
---------------------- Page: 11 ----------------------
ISO 17994:2004(F)
Tableau 2 — Nombre d'échantillons requis pour détecter
si le rendement relatif moyen de deux méthodes P/A
est supérieur à L
L n
%
40 100
30 170
20 380
15 680
10 1 540
5 6 140
5.3.7 Nombre d'échantillons pour la comparaison d'une méthode de comptage avec une méthode
P/A
Des comptages et des résultats d'essai qualitatifs ne sont pas commensurables. La comparaison d'une
méthode de comptage avec une méthode P/A impose soit de «simplifier» les résultats du comptage, soit de
«réévaluer» la méthode P/A.
La simplification s'effectue en ignorant la valeur numérique de chaque comptage et en la remplaçant par un
(+) qui indique la détection positive de la présence d'un organisme. La plus grande partie de l'information
contenue dans les comptages est alors perdue. Dans ce cas, il faut utiliser le nombre d'échantillons requis
pour comparer deux méthodes P/A (5.3.6).
NOTE 1 Étant donné que la transformation du comptage en un simple (+) a lieu après confirmation du comptage,
aucun travail n'est sauvegardé à l'étape de confirmation.
La subdivision d'un échantillon P/A, après inoculation, en plusieurs petits volumes «réévalue» la méthode P/A
en la transformant en méthode NPP à une dilution. Par exemple, un volume de 100 ml peut être subdivisé en
10 portions de 10 ml ou, de préférence, en 20 portions de 5 ml, ce qui donne une estimation du NPP
comparable au comptage de l'autre méthode. Dans ce cas, le nombre d'échantillons est le même que celui
requis pour comparer deux méthodes NPP (5.3.4) ou pour les comparaisons mixtes (5.3.5).
NOTE 2 La réévaluation d'une méthode P/A en une méthode NPP peut sembler être un changement radical. Toutes
les propriétés essentielles des méthodes microbiologiques — excepté la fidélité — sont cependant déterminées par la
formulation chimique du milieu nutritif et par les conditions d'incubation. Elles demeurent inchangées. En microbiologie, la
fidélité n'est pas un critère d'équivalence. La réévaluation améliore simplement la fidélité et augmente, par là même,
l'efficacité de la comparaison.
5.3.8 Exigences minimales de vérification
Il est parfois nécessaire de vérifier le résultat d'une comparaison dans des conditions écologiques ou dans
une zone géographique non représentées lors d'une étude collaborative. Lorsqu'un laboratoire a uniquement
besoin de vérifier une méthode déjà soumise à essai et officiellement approuvée, il peut pleinement tirer parti
des résultats d'essai précédents.
Il convient que le laboratoire ait accès au compte-rendu de la comparaison collaborative. Il convient qu'il
dispose, en conséquence, d'estimations de la moyenne et de l'écart-type de la différence relative. Dans ce
cas, il peut estimer le nombre recommandé d'échantillons en appliquant la formule indiquée ci-dessous. Cette
même formule est applicable pour estimer le nombre d'échantillons supplémentaires lorsqu'il a été jugé que la
quantité initiale était inadéquate (voir 7.2.4 et 7.3.5). Cependant, quel que soit le résultat du calcul, il convient
que le nombre d'échantillons étudiés ne soit pas inférieur à trente.
© ISO 2004 – Tous droits réservés 7
---------------------- Page: 12 ----------------------
ISO 17994:2004(F)
2
s
n= 4
y
où
n est le nombre d'échantillons requis;
s est l'écart-type de la différence relative;
y est la plus grande des deux grandeurs:
yx=
1
y=−xD
2
D est l'écart maximal admissible par rapport à 0 de l'incertitude élargie dans le cas où les méthodes
sont «sans différence» en %;
x est la moyenne arithmétique de la différence relative en %.
NOTE Dans le cas d'une évaluation unilatérale (7.3), y est calculé par l'équation y = x − D, avec prise en compte
2 2
des signes algébriques de D et de x .
Si la seule information préalablement connue est l'approbation officielle de la méthode, le nombre
recommandé d'échantillons pour vérification est le suivant.
Pour les méthodes NPP et les méthodes de comptage des colonies, l'exigence minimale est deux fois le
nombre requis de chaque laboratoire participant à une étude collaborative.
Dans le cas de deux méthodes P/A, il convient d'examiner suffisamment d'échantillons pour obtenir un total
d'au moins 400 échantillons fournissant des résultats (+−) et (−+).
5.4 Comptage et confirmation
5.4.1 Comptages
Les comptages doivent être enregistrés jusqu'à la dernière décimale observée. L'arrondissage des comptages
à deux décimales, comme cela est souvent spécifié pour la notation des résultats de routine, ne doit pas être
pratiqué. Il est recommandé d'arrondir les résultats du NPP à l'entier le plus proche lorsque les résultats sont
indiqués par 100 ml.
5.4.2 Confirmation
La plupart des méthodes sont d'un type qui nécessite la confirmation des observations présumées. La règle
de base de la confirmation dans le cadre des essais comparatifs de méthodes consiste à confirmer chaque
comptage en vérifiant chaque observation positive présumée (colonie ou tube).
Des conseils détaillés relatifs à la confirmation doivent être fournis dans les instructions issues du jury
d'experts (voir Annexe B).
Pour confirmer un comptage de colonie de manière fiable, il convient de bien séparer les colonies présumées
les unes des autres et par rapport aux colonies interférentes. Pour des raisons pratiques et statistiques, la
plage idéale est comprise entre 10 et 30 colonies cibles par boîte. Il convient que la dilution des échantillons
soit choisie en conséquence.
Il convient d'utiliser des pas de dilution de 1:3, 1:2 ou même moins. Cela devrait permettre de choisir la (les)
boîte(s) qui satisfait (satisfont) aux critères fondamentaux de qualité de comptages confirmés fiables. Si le
8 © ISO 2004 – Tous droits réservés
---------------------- Page: 13 ----------------------
ISO 17994:2004(F)
plan ne permet pas d'obtenir des boîtes de colonies bien isolées, l'échantillon doit être rejeté. Il convient de
prélever un autre échantillon de la même provenance (si cela est considéré indispensable) et de le diluer de
façon à pouvoir parvenir à un comptage utilisable.
Il y a lieu d'enregistrer et de consigner par écrit les comptages présumés et les comptages confirmés. Cela
constitue des données qui permettent de comparer les taux de confirmation. Les méthodes donnant la
possibilité d'effectuer des confirmations in situ (par transfert de la membrane filtrante, par exemple) donnent
directement le comptage confirmé. Dans ces cas-là, il n'est pas nécessaire de noter les résultats présumés.
Chaque observation positive présumée pour les méthodes NPP et les méthodes P/A doit être confirmée.
6 Calculs
6.1 Édition préliminaire des données brutes
Les échantillons doivent être exclus des calculs lorsque les deux méthodes aboutissent à un comptage
confirmé de zéro (0,0) ou que l'une des méthodes fournit un résultat autre qu'un comptage (par exemple
innombrable «plus grand que», etc.). Néanmoins, il convient de consigner les observations primaires, excepté
le résultat présumé (0,0).
6.2 Différences relatives de base
6.2.1 Résultats de comptage courants
Une estimation de la différence relative est calculée pour chaque couple de comptages confirmés différents
de zéro (a , b ) d'après la formule
i i
xa=−ln lnb× 100 %
() ()
ii i
6.2.2 Résultats comprenant des zéros
Il est pratiquement inévitable d'obten
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.