Water quality -- Requirements for the comparison of the relative recovery of microorganisms by two quantitative methods

ISO 17994:2014 specifies an evaluation procedure for comparing two methods with established performance characteristics according to ISO/TR 13843 and intended for the quantification of the same target group or species of microorganisms. It provides the mathematical basis for the evaluation of the average relative performance of two quantitative methods against chosen criteria for the comparison. It does not provide data for assessment of the precision of the methods being compared. It is appropriate that the precision of methods is assessed as part of their performance characterization. ISO 17994:2014 does not provide methods for the verification of method performance characterization in a single laboratory.

Qualité de l'eau -- Exigences pour la comparaison du rendement relatif des microorganismes par deux méthodes quantitatives

L'ISO 17994:2014 spécifie une procédure d'évaluation qui permet de comparer deux méthodes avec des caractéristiques de performance établies conformément ŕ l'ISO/TR 13843 et visant ŕ quantifier le męme groupe cible ou la męme espčce de micro-organismes. Elle fournit les bases mathématiques pour évaluer les performances relatives moyennes des deux méthodes quantitatives par rapport ŕ des critčres de comparaison déterminés. Elle ne fournit aucune donnée permettant d'évaluer la fidélité des méthodes comparées. Il convient que la fidélité des méthodes soit évaluée lors de la détermination de leurs caractéristiques de performance. L'ISO 17994:2014 ne propose aucune méthode permettant de vérifier les caractéristiques de performance des méthodes au sein d'un seul laboratoire.

General Information

Status
Published
Publication Date
05-Feb-2014
Current Stage
6060 - International Standard published
Start Date
09-Jan-2014
Completion Date
06-Feb-2014
Ref Project

RELATIONS

Buy Standard

Standard
ISO 17994:2014 - Water quality -- Requirements for the comparison of the relative recovery of microorganisms by two quantitative methods
English language
22 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 17994:2014 - Qualité de l'eau -- Exigences pour la comparaison du rendement relatif des microorganismes par deux méthodes quantitatives
French language
22 pages
sale 15% off
Preview
sale 15% off
Preview

Standards Content (sample)

INTERNATIONAL ISO
STANDARD 17994
Second edition
2014-02-15
Water quality — Requirements for the
comparison of the relative recovery of
microorganisms by two quantitative
methods
Qualité de l’eau — Exigences pour la comparaison du rendement
relatif des microorganismes par deux méthodes quantitatives
Reference number
ISO 17994:2014(E)
ISO 2014
---------------------- Page: 1 ----------------------
ISO 17994:2014(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2014

All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form

or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior

written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of

the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2014 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 17994:2014(E)
Contents Page

Foreword ........................................................................................................................................................................................................................................iv

Introduction ..................................................................................................................................................................................................................................v

1 Scope ................................................................................................................................................................................................................................. 1

2 Normative references ...................................................................................................................................................................................... 1

3 Terms, definitions and symbols ............................................................................................................................................................ 1

3.1 Terms and definitions ....................................................................................................................................................................... 1

3.2 Symbols and abbreviated terms............................................................................................................................................... 3

4 Principle ........................................................................................................................................................................................................................ 3

5 Basic requirements for a comparison study ............................................................................................................................ 4

5.1 General ........................................................................................................................................................................................................... 4

5.2 Description of methods ................................................................................................................................................................... 4

5.3 Types of samples ................................................................................................................................................................................... 4

5.4 Number of samples and participating laboratories ................................................................................................ 5

5.5 Counting and confirming................................................................................................................................................................ 7

6 Calculations................................................................................................................................................................................................................ 8

6.1 Preliminary editing of the raw data ...................................................................................................................................... 8

6.2 Basic relative differences ............................................................................................................................................................... 8

6.3 Half-width of the confidence interval .................................................................................................................................. 9

7 Evaluation .................................................................................................................................................................................................................... 9

7.1 Preliminary evaluations .................................................................................................................................................................. 9

7.2 Two-sided evaluation .....................................................................................................................................................................10

7.3 One-sided evaluation ......................................................................................................................................................................12

8 Test report ................................................................................................................................................................................................................13

Annex A (informative) Flowchart ..........................................................................................................................................................................14

Annex B (informative) Comparison studies ...............................................................................................................................................15

Annex C (informative) Derivation of equation for calculation of the number of samples .........................17

Annex D (informative) Example of a two-sided evaluation

........................................................................................................19

Bibliography .............................................................................................................................................................................................................................22

© ISO 2014 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 17994:2014(E)
Foreword

ISO (the International Organization for Standardization) is a worldwide federation of national standards

bodies (ISO member bodies). The work of preparing International Standards is normally carried out

through ISO technical committees. Each member body interested in a subject for which a technical

committee has been established has the right to be represented on that committee. International

organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.

ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of

electrotechnical standardization.

The procedures used to develop this document and those intended for its further maintenance are

described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the

different types of ISO documents should be noted. This document was drafted in accordance with the

editorial rules of the ISO/IEC Directives, Part 2, www.iso.org/directives.

Attention is drawn to the possibility that some of the elements of this document may be the subject of

patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of any

patent rights identified during the development of the document will be in the Introduction and/or on

the ISO list of patent declarations received, www.iso.org/patents.

Any trade name used in this document is information given for the convenience of users and does not

constitute an endorsement.

For an explanation on the meaning of ISO specific terms and expressions related to conformity

assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers

to Trade (TBT) see the following URL: Foreword - Supplementary information

The committee responsible for this document is ISO/TC 147, Water quality, Subcommittee SC 4,

Microbiological methods.

This second edition cancels and replaces the first edition (ISO 17994:2004), which has been technically

revised.
iv © ISO 2014 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 17994:2014(E)
Introduction

This International Standard specifies criteria and procedures for comparing the average quantitative

results obtained by two microbiological analytical methods, one of which may, but need not, be a

standard or reference method.

The methods considered are based on counts of colonies or of positive and negative liquid enrichment

tubes (MPN).
© ISO 2014 – All rights reserved v
---------------------- Page: 5 ----------------------
INTERNATIONAL STANDARD ISO 17994:2014(E)
Water quality — Requirements for the comparison of the
relative recovery of microorganisms by two quantitative
methods

WARNING — Persons using this document should be familiar with normal laboratory practice.

This document does not purport to address all of the safety problems, if any, associated with its

use. It is the responsibility of the user to establish appropriate safety and health practices and to

ensure compliance with any national regulatory conditions.

IMPORTANT — It is absolutely essential that tests conducted in accordance with this document

be carried out by suitably qualified staff.
1 Scope

This International Standard specifies an evaluation procedure for comparing two methods with

established performance characteristics according to ISO/TR 13843 and intended for the quantification

of the same target group or species of microorganisms.

This International Standard provides the mathematical basis for the evaluation of the average relative

performance of two quantitative methods against chosen criteria for the comparison. It does not provide

data for assessment of the precision of the methods being compared. It is appropriate that the precision

of methods is assessed as part of their performance characterization.

This International Standard does not provide methods for the verification of method performance

characterization in a single laboratory.
2 Normative references

The following documents, in whole or in part, are normatively referenced in this document and are

indispensable for its application. For dated references, only the edition cited applies. For undated

references, the latest edition of the referenced document (including any amendments) applies.

ISO 8199, Water quality — General guidance on the enumeration of micro-organisms by culture

ISO/TR 13843, Water quality — Guidance on validation of microbiological methods
3 Terms, definitions and symbols
3.1 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
3.1.1 General terms
3.1.1.1
comparison trial

interlaboratory method comparison that involves laboratories which perform paired measurements on

several of their own samples with two different methods
© ISO 2014 – All rights reserved 1
---------------------- Page: 6 ----------------------
ISO 17994:2014(E)
3.1.1.2
not-different method

method considered quantitatively not different to another method when the mean difference between

their confirmed counts and stipulated difference lie between predetermined stipulated limits, taking

into account all sources of variation

Note 1 to entry: This difference can be assessed by the average relative difference of their confirmed counts.

3.1.1.3
predetermined stipulated limit

permitted average difference (based on a “confidence interval” designated −2L to +2L) between results

obtained by each method, based on professional practices or regulatory requirements

Note 1 to entry: Reference [1] suggests that, in international and interlaboratory method performance tests, a

limit of 2L = 10 % for setting the “confidence interval” be the predetermined stipulated limit for drinking water,

and this has been widely used. However, for environmental waters, such as bathing waters, Reference [2] proposes

a predetermined stipulated limit of 2L = 20 %.
3.1.1.4
reference method

method of analysis internationally recognized by experts or by agreement between the parties

Note 1 to entry: As a rule, the reference method is a standard or a commonly used method.

3.1.1.5
standard measurement uncertainty
measurement uncertainty expressed as a standard deviation
(3)
[SOURCE: ISO/IEC Guide 99:2007 , 2.30]
3.1.1.6
trial method
any method which is to be tested for comparison with a reference method
3.1.2 Specific terms
3.1.2.1
count
observed number of objects
EXAMPLE Colonies or cells of microorganisms, plaques of bacteriophages

Note 1 to entry: In this International Standard, the result of an MPN estimation is also considered to be a count.

3.1.2.2
presumptive count

colony count or most probable number (MPN) estimate based on the number of colonies or fermentation

tubes that have an outward appearance that is interpreted as typical of a target organism

3.1.2.3
confirmed count
presumptive count multiplied by the confirmation coefficient
3.1.2.4
relative difference

difference between two results, a and b, measured on a relative (natural logarithmic) scale

2 © ISO 2014 – All rights reserved
---------------------- Page: 7 ----------------------
ISO 17994:2014(E)
3.2 Symbols and abbreviated terms
A (symbol for the idea of) trial method
a test result by method A
a test result (confirmed count) of method A in sample i
B (symbol for the idea of) reference method
b test result by method B
b test result (confirmed count) of method B in sample i
i subscript indicating a series
k coverage factor used for calculating the confidence interval

L smallest microbiologically significant mean relative difference between the results by

methods A and B
MPN most probable number quantitative method
n number of samples

s experimental standard deviation of the relative difference (standard uncertainty)

s experimental variance

s standard deviation of the relative difference (standard uncertainty) of the mean

W half-width of the confidence interval
x relative difference
x value of the relative difference between a and b in sample i
i i i
arithmetic mean of x (i = 1,2 … n)

x value of the relative difference at the lower confidence limit, derived by subtracting the

value of the half-width of the confidence interval from the mean

x value of the relative difference at the upper confidence limit, derived by adding the value of

the half-width of the confidence interval to the mean
X experimental Poisson index of dispersion

y conditional variable used in computing the number of samples for comparison testing

4 Principle

This International Standard is based on the principle of the paired t-test (see Annex C).

The basic data are pairs of confirmed counts (a , b ) obtained from the examination of two equal portions

i i

taken from the same vessel of a carefully mixed test sample, one determination (count) per method. The

complete design consists of a large number of similar determinations.

In this International Standard, two methods are considered quantitatively “not different” if the mean

relative difference of the paired confirmed counts does not differ significantly from zero and the

© ISO 2014 – All rights reserved 3
---------------------- Page: 8 ----------------------
ISO 17994:2014(E)

confidence interval does not extend beyond the level of the predetermined stipulated limit. The decision

rules based on the above principle are given in 7.2 and 7.3 and a flow chart is given in Annex A.

5 Basic requirements for a comparison study
5.1 General

Both methods shall have data on detailed performance characteristics, derived in accordance with the

guidance outlined in ISO/TR 13843.

The most important basic requirement of comparison studies is a wide range of samples. Participation

by a number of laboratories is preferable, allowing the expansion of the sample range over large

geographical areas. Also the credibility of a general conclusion is commonly believed to require the

participation of several laboratories. However, the inclusion of a wide range of sample types by a single

laboratory will also be valid. The result of the comparison is generally valid only within the range of

sample types studied. Advice on the conduct of comparison studies is given in Annex B.

It is essential that all laboratories taking part in a collaborative study have recognized quality assurance

systems in use and apply approved basic techniques of cultivation.
5.2 Description of methods

It is important to note that the principles of operation of the two methods being compared should be

well understood and that the significance of any differences in the methods on the outcome of the

comparative assessment should be recognized. This is particularly important if the confirmed results

from each method are based on different principles. Any differences should be detailed in the test report

(see Clause 8).

Performance characteristics data shall be derived in accordance with ISO/TR 13843. Such data for the

methods shall be compared in order to assess potential differences in performance.

EXAMPLE Methods for the enumeration of coliform bacteria based on possession of the enzyme β-galactosidase

have been shown to produce higher counts than those based on the fermentation of lactose due to the detection

of a greater range of coliform bacteria.
5.3 Types of samples

The requirements for method comparisons differ somewhat from the daily routine situation. It is useful

and often necessary to preselect or prepare special samples. Samples for method comparisons shall

contain enough target organisms that the likelihood of scoring a zero count is small.

Samples for method comparisons shall represent types that are included in the scope of both methods.

Natural samples are ideal. Samples to be tested shall represent those water source types relevant to the

geographical and environmental area where the method is applied. The water types to be tested shall

be included to the scope of the methods under evaluation. Appropriate samples may also be prepared

by dilution, spiking, or mixing of different kinds of water to achieve the desired population in a suitable

density. Spiking with pure cultures shall be considered the last resort.

To avoid the inhibition of the target organisms by other organisms, ensure that the concentration of

total bacteria in a sample is not too high. Consult ISO 8199 to ascertain the ranges of the colony counts

for different cultivation methods.

It can be appropriate to influence the microbial population of existing samples to simulate situations

encountered in routine laboratory practice. Such modifications could be the applications of disinfectants

(e.g. chlorine, ozone or UV, Reference [1]), different ranges of temperature or the influence of daylight,

in order to simulate different environmental situations from where the samples for laboratories can

originate.
4 © ISO 2014 – All rights reserved
---------------------- Page: 9 ----------------------
ISO 17994:2014(E)
5.4 Number of samples and participating laboratories
5.4.1 Number of laboratories

The number of laboratories participating in comparison trials shall be sufficient to obtain a representative

result for the relative recovery of the two methods being tested. Factors that shall be considered when

deciding on the number of participating laboratories in a comparison trial include:

a) whether the alternative method is being assessed as a replacement for the reference method;

b) whether the comparison trials are for statutory or verification purposes;

c) the need to cover the range of geographical areas and water types for which the alternative method

may be used;

d) the need to consider seasonal variability in occurrence of the target organisms;

e) the number of test results needed for the assessment of relative recovery;

f) the number of laboratories with sufficient capacity and technical expertise available to participate.

It can be acceptable to have a limited number of participating laboratories analysing a wide range of

water types rather than a higher number of laboratories analysing a narrower range of water types

appropriate for the methods being compared.

NOTE Several successful comparisons have been achieved with three to six laboratories. In theory, it is

possible that one laboratory is able to conduct a suitable comparison study provided they have access to a wide

enough range of sample types for which the methods have been characterized.
5.4.2 Number of samples

It is not possible to determine beforehand the exact number of samples required for a valid comparison.

The number depends on the actual difference observed, on the experimental standard deviation and on

the difference considered significant. This International Standard includes an adequacy clause based on

a “predetermined stipulated limit” and the half-width of the confidence interval. If the data are found

inadequate for deciding that the methods are either “different” or “not different”, more samples are to

be collected and examined.

If the methods happen to differ markedly, a small number of samples might suffice to determine this

fact. It is therefore advisable to proceed in stages. The first stage should be planned to detect large

differences between the methods. If large differences are not found (result inconclusive), more samples

are taken until the system is able to detect the average relative difference that corresponds to the

predetermined stipulated limit chosen at the beginning of the trial.
© ISO 2014 – All rights reserved 5
---------------------- Page: 10 ----------------------
ISO 17994:2014(E)

The total number of samples, n, for a two-sided evaluation (7.2) that would be sufficient for the detection

of a given average relative difference at about 95 % confidence depends on the experimental variance

according to Formula (1):
n= (1)
where
n is the number of samples required for the detection of a difference L;
L is the smallest microbiologically significant mean relative difference;
s is the experimental standard deviation.

EXAMPLE A rather frequently observed value for the experimental standard deviation of the relative

difference is approximately s = 80. In order to detect an average relative difference of 10 % (L = 10 %), n =

25 600/100 = 256 samples is expected to be sufficient for a two-sided evaluation.

For a one-sided evaluation (7.3) the corresponding number of samples can be calculated according to

Formula (2):
n= (2)

The rationale for the derivation of Formulae (1) and (2) is presented in Annex C.

High variability of counts can be experienced due to irregular behaviour of either laboratories or the

range of sample types analysed. Whether it is warranted to continue a comparison of methods study

can be ascertained by an examination of the standard deviation of the mean relative difference. Valid

comparisons are indicated by standard deviations of less than 100.

NOTE With some recent methods based on chromogenic substrates, it is possible to estimate two bacterial

groups simultaneously. One of the groups can be 10 or more times as numerous as the other. It is possible that

the number of samples sufficient for making a final decision of equivalence with the more numerous type is not

sufficient for an organism present in low numbers.
6 © ISO 2014 – All rights reserved
---------------------- Page: 11 ----------------------
ISO 17994:2014(E)
5.4.3 Number of additional samples

Formula (3) can be applied to estimate the number of additional samples when the initial number has

been found to be inadequate (see 7.2.4 and 7.3.5) (see also Annex D).
 s 
n=4 (3)
 
 
where
n is the number of samples required;
s is the standard deviation of the relative difference;
y is the larger of the two quantities:
yx=
yx=−2L
in which
2L is the predetermined stipulated limit from 0 in the case that the methods are
“not different” in %;
is the arithmetic mean of the relative difference in %.

NOTE In the case of a one-sided evaluation (7.3) using Formula (3), y is calculated as yx=− 2L , with the

algebraic signs of 2L and x taken into account.
5.5 Counting and confirming
5.5.1 Counts

Counts shall be recorded to the last digit observed. Do not round the counts to two significant figures, as

often specified for reporting routine results. MPN results shall be rounded to the nearest whole number.

5.5.2 Confirmation

Most of the methods are of a type that include confirmation of the presumptive observations. Even

though often overlooked in daily routine practice, the basic rule of confirmation in method comparison

trials is to confirm every count by testing every presumptive positive observation (colony or tube).

Detailed advice concerning confirmation shall be given in the instructions from the panel of experts (see

Annex B).

To confirm a colony count reliably, the presumptive colonies should be well separated from each other

and from background colonies. For practical and statistical reasons, the ideal range for confirming

counts is from 10 to 30 target colonies per plate. Dilution of the samples should be chosen accordingly.

−1 −1

It is recommended to use dilutions of 3 to 2 or even less should be used. This will allow the selection

of the plate(s) that fulfil the basic quality criteria of reliable confirmed counts. If the plan fails to produce

any plates with well separated colonies, the sample shall be discarded. Another sample from the same

source (if considered indispensable) should be taken and diluted such that the objective of a reliable

count can be achieved.
© ISO 2014 – All rights reserved 7
---------------------- Page: 12 ----------------------
ISO 17994:2014(E)

Each presumptive positive observation should be confirmed. Partial confirmation shall be justified and

a sufficient number of confirmed observations needs to be undertaken to ensure that they truly reflect

confirmation rates of the methods under evaluation.

Both the presumptive and confirmed counts shall be recorded and reported. This provides data for

comparison of the confirmation rates. Methods with the possibility of in situ confirmation (e.g. by

transplantation of the membrane filter) give the confirmed count directly. In such cases, the presumptive

results need not be reported.
Every presumptive positive observation in MPN methods shall be confirmed.
6 Calculations
6.1 Preliminary editing of the raw data

Samples shall be excluded from calculations when both methods give a confirmed count of zero (0,0) or

either method gives a result other than a count (e.g. TNTC, “larger than”, etc.). The primary observations,

except the presumptive result (0,0), should nevertheless be reported.
6.2 Basic relative differences
6.2.1 Regular count data

An estimate of the relative difference is calculated for every pair of non-zero confirmed counts (a , b )

i i
following Formula (4):
xa=ln −ln b ×100% (4)
() ()
ii i
 
6.2.2 Results with zeroes

Some results of the types (a , 0) and (0, b ) are almost inevitable. To avoid omitting these samples, the

i i
relative differences are calculated using Formulae (5) and (6).
When the result is of the type (a , 0), the relative difference is obtained from
xa=+ln 1 ×100% (5)
When the result is of the type (0, b ), the relative difference is obtained from
xb=−ln +1 ×100% (6)

Adding a constant reduces the mathematical problems caused by zeroes but does not completely erase

them. It is therefore advisable to try to minimize the number of samples with zero results. At least 75 %

of the samples are required to contain regular count data from both methods. Samples with zero results

can have a great influence on the mean relative difference if the other method gives a high count. These

data can be detected by the outlier test. The inclusion of such data should be carefully considered.

NOTE The equations are the result of adding the constant one (1) to each “count” when one of them is a zero.

For example, in the case of (a , 0), the values entered in the general formula are (a + 1, 0 + 1).

i i
8 © ISO 2014 – All rights reserved
---------------------- Page: 13 ----------------------
ISO 17994:2014(E)
6.2.3 Mean relative difference

The average relative performance, x , is estimated in percentage units according to Formula (7):

∑ i
x= (7)
where
n is the number of samples;
x is the relative difference in sample i.
6.3 Half-width of the confidence interval

The standard uncertainty (standard deviation) of x is obtained from the conventional Formula (8) for

experimental standard deviation:
()xx−
s= (8)
n−1

The standard uncertainty of the mean (formerly “standard error”) is computed from Formula (9):

s = (9)

The half-width of the confidence interval (W) is derived from the standard uncertainty of the mean by

using the coverage factor k = 2 resulting in Formula (10):
Wk==s (10)

To evaluate the result of the comparison the “confidence interval” around the mean is calculated by

computing the limits
Lower limi
...

NORME ISO
INTERNATIONALE 17994
Deuxième édition
2014-02-15
Qualité de l’eau — Exigences pour la
comparaison du rendement relatif des
microorganismes par deux méthodes
quantitatives
Water quality — Requirements for the comparison of the relative
recovery of microorganisms by two quantitative methods
Numéro de référence
ISO 17994:2014(F)
ISO 2014
---------------------- Page: 1 ----------------------
ISO 17994:2014(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2014

Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée

sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur

l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à

l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2014 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 17994:2014(F)
Sommaire Page

Avant-propos ..............................................................................................................................................................................................................................iv

Introduction ..................................................................................................................................................................................................................................v

1 Domaine d’application ................................................................................................................................................................................... 1

2 Références normatives ................................................................................................................................................................................... 1

3 Termes, définitions et symboles .......................................................................................................................................................... 1

3.1 Termes et définitions ......................................................................................................................................................................... 1

3.2 Symboles et abréviations ............................................................................................................................................................... 3

4 Principe .......................................................................................................................................................................................................................... 3

5 Exigences fondamentales relatives à l’essai comparatif ............................................................................................. 4

5.1 Généralités .................................................................................................................................................................................................. 4

5.2 Description des méthodes............................................................................................................................................................. 4

5.3 Types d’échantillons ........................................................................................................................................................................... 4

5.4 Nombre d’échantillons et de laboratoires participants ....................................................................................... 5

5.5 Comptage et confirmation............................................................................................................................................................. 7

6 Calculs .............................................................................................................................................................................................................................. 8

6.1 Édition préliminaire des données brutes......................................................................................................................... 8

6.2 Différences relatives de base ...................................................................................................................................................... 8

6.3 Mi-largeur de l’intervalle de confiance .............................................................................................................................. 9

7 Évaluation .................................................................................................................................................................................................................... 9

7.1 Évaluations préliminaires.............................................................................................................................................................. 9

7.2 Évaluation bilatérale .......................................................................................................................................................................10

7.3 Évaluation unilatérale ....................................................................................................................................................................12

8 Rapport d’essai ....................................................................................................................................................................................................13

Annexe A (informative) Logigramme ................................................................................................................................................................14

Annexe B (informative) Essais comparatifs ................................................................................................................................................15

Annexe C (informative) Dérivation de l’équation pour le calcul du nombre d’échantillons ...................17

Annexe D (informative) Exemple d’une évaluation bilatérale

................................................................................................19

Bibliographie ...........................................................................................................................................................................................................................22

© ISO 2014 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 17994:2014(F)
Avant-propos

L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes

nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est

en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude

a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,

gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.

L’ISO collabore étroitement avec la Commission électrotechnique internationale (CEI) en ce qui concerne

la normalisation électrotechnique.

Les procédures utilisées pour l’élaboration du présent document et celles destinées à sa mise à jour sont

décrites dans les Directives ISO/CEI, Partie 1. Il convient, en particulier, de prendre note des différents

critères d’approbation requis pour les différents types de documents ISO. Le présent document a été

rédigé conformément aux règles de rédaction données dans les Directives ISO/CEI, Partie 2, www.iso.

org/directives

L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de

droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable

de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant les

références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de l’élaboration

du document sont indiqués dans l’Introduction et/ou sur la liste ISO des déclarations de brevets reçues,

www.iso.org/patents

Les éventuelles appellations commerciales utilisées dans le présent document sont données pour

information à l’attention des utilisateurs et ne constituent pas une approbation ou une recommandation.

Pour obtenir une explication concernant la signification des termes et expressions spécifiques de

l’ISO liés à l’évaluation de la conformité, ainsi que des informations relatives à l’adhésion de l’ISO aux

principes de l’Organisation mondiale du commerce (OMC) en ce qui concerne les obstacles techniques au

commerce (OTC), se rendre à l’adresse suivante : Avant-propos – Information complémentaire

Le comité chargé de l’élaboration du présent document est l’ISO/TC 147, Qualité de l’eau, sous-comité

SC 4, Méthodes microbiologiques.

Cette deuxième édition annule et remplace la première édition (ISO 17994:2004), qui a fait l’objet d’une

révision technique.
iv © ISO 2014 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 17994:2014(F)
Introduction

La présente Norme internationale spécifie les critères et les procédures de comparaison des résultats

quantitatifs moyens obtenus par deux méthodes d’analyse microbiologique dont l’une peut — mais pas

nécessairement — être une méthode normalisée ou de référence.

Les méthodes étudiées reposent sur des comptages de colonies ou des tubes d’enrichissement liquide

positifs et négatifs [méthodes NPP (nombre le plus probable)].
© ISO 2014 – Tous droits réservés v
---------------------- Page: 5 ----------------------
NORME INTERNATIONALE ISO 17994:2014(F)
Qualité de l’eau — Exigences pour la comparaison
du rendement relatif des microorganismes par deux
méthodes quantitatives

AVERTISSEMENT — Il convient que l’utilisateur du présent document connaisse bien les pratiques

courantes de laboratoire. Le présent document n’a pas pour but de traiter de tous les problèmes

de sécurité qui sont, le cas échéant, liés à son utilisation. Il incombe à l’utilisateur de la présente

norme d’établir des pratiques appropriées en matière d’hygiène et de sécurité, et de s’assurer de

la conformité à la réglementation nationale en vigueur.

IMPORTANT — Il est indispensable que les essais menés selon le présent document soient

effectués par un personnel adéquatement qualifié.
1 Domaine d’application

La présente Norme internationale spécifie une procédure d’évaluation qui permet de comparer deux

méthodes avec des caractéristiques de performance établies conformément à l’ISO/TR 13843 et visant

à quantifier le même groupe cible ou la même espèce de micro-organismes.

Elle fournit les bases mathématiques pour évaluer les performances relatives moyennes des deux

méthodes quantitatives par rapport à des critères de comparaison déterminés. Elle ne fournit aucune

donnée permettant d’évaluer la fidélité des méthodes comparées. Il convient que la fidélité des méthodes

soit évaluée lors de la détermination de leurs caractéristiques de performance.

La présente Norme internationale ne propose aucune méthode permettant de vérifier les caractéristiques

de performance des méthodes au sein d’un seul laboratoire.
2 Références normatives

Les documents ci-après, dans leur intégralité ou non, sont des références normatives indispensables à

l’application du présent document. Pour les références datées, seule l’édition citée s’applique. Pour les

références non datées, la dernière édition du document de référence s’applique (y compris les éventuels

amendements).

ISO 8199, Qualité de l’eau — Lignes directrices générales pour le dénombrement des micro-organismes sur

milieu de culture

ISO/TR 13843, Qualité de l’eau — Lignes directrices pour la validation des méthodes microbiologiques

3 Termes, définitions et symboles
3.1 Termes et définitions

Pour les besoins du présent document, les termes et définitions suivants s’appliquent.

3.1.1 Termes généraux
3.1.1.1
essai comparatif

comparaison interlaboratoires qui implique des laboratoires chargés d’effectuer des mesurages appariés

sur plusieurs de leurs propres échantillons en utilisant deux méthodes différentes

© ISO 2014 – Tous droits réservés 1
---------------------- Page: 6 ----------------------
ISO 17994:2014(F)
3.1.1.2
méthode sans différence

méthode considérée quantitativement sans différence par rapport à une autre méthode lorsque la

différence moyenne de leurs comptages confirmés et la différence stipulée se situe entre les limites

stipulées prédéfinies, en tenant compte de toutes les sources de variation

Note 1 à l’article: Cette différence peut être évaluée par la différence relative moyenne de leurs comptages

confirmés.
3.1.1.3
limite stipulée prédéfinie

différence autorisée moyenne (basée sur un «intervalle de confiance» désigné -2L à +2L) entre les

résultats obtenus avec chaque méthode, sur la base de pratiques professionnelles ou d’exigences

réglementaires

Note 1 à l’article: La Référence [1] suggère que, dans le cadre des essais internationaux et interlaboratoires de

performances des méthodes, une limite de 2L = 10 % pour fixer l’«intervalle de confiance» soit la limite stipulée

prédéfinie pour l’eau potable. Cette valeur a été couramment utilisée. Toutefois, pour les eaux environnementales,

telles que les eaux de baignade, la Référence [2] propose une limite stipulée prédéfinie de 2L = 20 %.

3.1.1.4
méthode de référence

méthode d’analyse reconnue au plan international par les experts ou par un accord entre les parties

Note 1 à l’article: Par convention, la méthode de référence est une méthode normalisée ou couramment utilisée.

3.1.1.5
incertitude-type
incertitude de mesure exprimée sous la forme d’un écart-type
(3)
[SOURCE: Guide ISO/CEI 99:2007 , 2.30]
3.1.1.6
méthode alternative
toute méthode dont il faut vérifier la comparaison avec une méthode de référence
3.1.2 Termes spécifiques
3.1.2.1
comptage
nombre observé d’objets
EXEMPLE Colonies ou cellules de micro-organismes, plages de bactériophages.

Note 1 à l’article: Dans la présente Norme internationale, le résultat d’une estimation du nombre le plus probable

(NPP) est également considéré comme un comptage.
3.1.2.2
comptage présomptif

comptage des colonies ou nombre le plus probable (NPP) estimé, basé sur le nombre de colonies ou de

tubes de fermentation ayant un aspect extérieur qui est interprété comme typique d’un organisme cible

3.1.2.3
comptage confirmé
comptage présomptif multiplié par le coefficient de de confirmation
3.1.2.4
différence relative

différence entre deux résultats, a et b, mesurée sur une échelle relative (logarithme népérien)

2 © ISO 2014 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO 17994:2014(F)
3.2 Symboles et abréviations
A est la méthode alternative (symbole de l’idée)
a est le résultat d’essai obtenu par la méthode A

a est le résultat d’essai (comptage confirmé) obtenu par la méthode A pour l’échantillon i

B est la méthode de référence (symbole de l’idée)
b est le résultat d’essai obtenu par la méthode B

b est le résultat d’essai (comptage confirmé) obtenu par la méthode B pour l’échantillon i

i est l’indice indiquant une série
k est le facteur d’élargissement utilisé pour calculer l’intervalle de confiance

L est la plus petite différence relative moyenne significative d’un point de vue microbiologique entre

les résultats obtenus par les méthodes A et B
NPP est la méthode quantitative du nombre le plus probable
n est le nombre d’échantillons
s est l’écart-type expérimental de la différence relative (incertitude-type)
s est la variance expérimentale
est l’écart-type de la différence relative de la moyenne (incertitude-type)
W est la mi-largeur de l’intervalle de confiance
x est la différence relative
x est la valeur de la différence relative entre a et b pour l’échantillon i
i i i
x est la moyenne arithmétique des x (i = 1,2,…,n)

x est la valeur de la différence relative à la limite de confiance inférieure, calculée en soustrayant la

valeur de la mi-largeur de l’intervalle de confiance de la moyenne

x est la valeur de la différence relative à la limite de confiance supérieure, calculée en additionnant la

valeur de la mi-largeur de l’intervalle de confiance de la moyenne
X est l’indice expérimental de dispersion de Poisson

y est la variable conditionnelle utilisée pour calculer le nombre d’échantillons pour l’essai comparatif

4 Principe

La présente Norme internationale repose sur le principe du test t pour échantillons appariés (voir

Annexe C).

Les données de base sont des comptages appariés confirmés (a , b ) obtenus à partir de l’examen de deux

i i

prises d’essai égales prélevées dans un même récipient contenant un échantillon pour essai homogénéisé

avec précaution, une détermination (comptage) par méthode. L’essai complet se compose d’un grand

nombre de déterminations semblables.

Dans la présente Norme internationale, deux méthodes sont considérées comme quantitativement

«sans différence» si la différence relative moyenne des comptages appariés confirmés ne s’écarte pas

de manière significative du zéro et si l’intervalle de confiance ne dépasse pas le niveau de la limite

© ISO 2014 – Tous droits réservés 3
---------------------- Page: 8 ----------------------
ISO 17994:2014(F)

prédéterminée stipulée. Les règles de prise de décision reposant sur le principe ci-dessus sont précisées

en 7.2 et 7.3 et un schéma est donné dans l’Annexe A.
5 Exigences fondamentales relatives à l’essai comparatif
5.1 Généralités

Les deux méthodes doivent disposer de données concernant les caractéristiques de performances

détaillées obtenues conformément aux lignes directrices spécifiées dans l’ISO/TR 13843.

L’exigence fondamentale la plus importante pour les essais comparatifs concerne la variété d’échantillons.

La participation de nombreux laboratoires est préférable, permettant l’extension de la variété

d’échantillons sur de grandes zones géographiques. Aussi estime-t-on couramment que la crédibilité

d’une conclusion générale doit être liée à la participation de plusieurs laboratoires. Cependant, l’inclusion

d’une large gamme de types d’échantillons par un seul laboratoire sera également valide. Le résultat de

la comparaison n’est, en général, valide qu’à l’intérieur des limites de la variété des types d’échantillons

étudiés. Les essais comparatifs font l’objet d’un développement dans l’Annexe B.

Il est essentiel que tous les laboratoires participant à un essai interlaboratoires disposent de systèmes

d’assurance qualité reconnus et appliquent des techniques de base approuvées en matière de culture de

micro-organismes.
5.2 Description des méthodes

Il est important que les principes de fonctionnement des deux méthodes comparées soient bien compris

et que la portée des différences entre les méthodes sur le résultat de l’évaluation comparative soit

reconnue. Ceci est particulièrement important si les résultats confirmés obtenus par chaque méthode

reposent sur différents principes. Il convient de détailler toute différence dans le rapport d’essai (voir

l’Article 8).

Les données relatives aux caractéristiques de performances doivent être obtenues conformément à

l’ISO/TR 13843. Ces données pour les méthodes doivent être comparées afin d’évaluer les différences

potentielles de performances.

EXEMPLE Les méthodes de dénombrement des bactéries coliformes reposant sur la possession de l’enzyme

β-galactosidase se sont avérées produire des comptages supérieurs à ceux obtenus par fermentation du lactose

en raison de la détection d’une plus large gamme de bactéries coliformes.
5.3 Types d’échantillons

Les exigences requises en matière de comparaisons de méthodes diffèrent quelque peu des procédures

de routine quotidiennes. Il est utile et souvent nécessaire de choisir à l’avance ou de préparer des

échantillons spéciaux. Les échantillons utilisés pour les comparaisons de méthodes doivent contenir

suffisamment d’organismes cibles pour qu’il y ait peu de chances d’obtenir un comptage nul.

Les échantillons utilisés en vue d’effectuer des comparaisons de méthodes doivent représenter les types

qui relèvent du domaine d’application des deux méthodes. La procédure idéale consiste à utiliser des

échantillons naturels. Les échantillons soumis à essai doivent représenter les types de sources d’eau

typiques de la région géographique et environnementale où la méthode est appliquée. Les types d’eau

soumis à essai doivent relever du domaine d’application des méthodes évaluées. Il est également possible

de préparer des échantillons convenables par dilution, dopage ou mélange de différentes sortes d’eau

pour atteindre la population voulue à une concentration appropriée. Le dopage avec des cultures pures

ne doit être envisagé qu’en dernier ressort.

Pour éviter l’inhibition des organismes cibles par d’autres organismes, s’assurer que la concentration

en flore totale dans un échantillon n’est pas trop élevée. Consulter l’ISO 8199 pour vérifier les limites

relatives aux comptages de colonies pour différentes méthodes de culture.
4 © ISO 2014 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO 17994:2014(F)

Il peut être pertinent d’influencer la population microbienne d’échantillons existants pour simuler

les situations rencontrées dans les pratiques de laboratoire de routine. Ces modifications peuvent

[1]

être des applications de désinfectants (par exemple, chlore, ozone ou rayonnements UV, Référence )

ou différentes gammes de température, ou encore l’influence de la lumière du jour, afin de simuler

différentes situations environnementales représentatives des échantillons pouvant parvenir dans les

laboratoires.
5.4 Nombre d’échantillons et de laboratoires participants
5.4.1 Nombre de laboratoires

Le nombre de laboratoires participant aux essais comparatifs doit être suffisant pour obtenir un

résultat représentatif du rendement relatif des deux méthodes soumises à essai. Au moment de décider

du nombre de laboratoires participants lors d’un essai comparatif, les facteurs suivants doivent être pris

en compte:

a) si la méthode alternative est évaluée en remplacement de la méthode de référence;

b) si les essais comparatifs sont effectués à titre réglementaire et vérificatif;

c) la nécessité de couvrir la gamme des zones géographiques et des types d’eau pour lesquels la

méthode alternative peut être utilisée;

d) la nécessité de tenir compte de la variabilité saisonnière dans l’apparition des organismes cibles;

e) le nombre de résultats d’essai nécessaires pour évaluer le rendement relatif;

f) le nombre de laboratoires ayant la capacité suffisante et l’expertise technique pour participer.

Il peut être acceptable de disposer d’un petit nombre de laboratoires participants chargés d’analyser

une vaste gamme de types d’eau plutôt qu’un grand nombre de laboratoires chargés d’analyser une plus

petite gamme de types d’eau appropriés aux méthodes comparées.

NOTE Plusieurs comparaisons probantes ont été obtenues avec trois à six laboratoires. En théorie, il est

possible qu’un laboratoire puisse être en mesure d’effectuer un essai comparatif approprié à condition d’avoir

accès à une gamme suffisamment large de types d’échantillons pour lesquels les méthodes ont été caractérisées.

5.4.2 Nombre d’échantillons

Il n’est pas possible de déterminer à l’avance le nombre exact d’échantillons requis pour que la comparaison

soit valide. Ce nombre est fonction de la différence réellement observée, de l’écart-type expérimental et

de la différence considérée comme significative. La présente Norme internationale comprend une clause

d’adéquation basée sur une «limite stipulée prédéfinie» et sur la mi-largeur de l’intervalle de confiance.

Quand les données ne permettent pas de savoir si les méthodes sont «différentes» ou «sans différence»,

un plus grand nombre échantillons doit être prélevé et examiné.

Si les méthodes sont nettement différentes, il se peut qu’un petit nombre d’échantillons suffise pour

déterminer cet état de fait. Il est donc recommandé de procéder par étapes. Il convient que la première

étape vise à détecter les grandes différences entre les méthodes. Si l’on ne constate aucune grande

différence (résultat non concluant), des échantillons supplémentaires sont prélevés jusqu’à ce que le

système soit en mesure de détecter la différence relative moyenne qui correspond à la limite stipulée

prédéfinie choisie au début de l’essai.
© ISO 2014 – Tous droits réservés 5
---------------------- Page: 10 ----------------------
ISO 17994:2014(F)

Le nombre total d’échantillons, n, pour une évaluation bilatérale (7.2) suffisante pour détecter une

différence relative moyenne donnée à un niveau de confiance d’environ 95 % dépend de la variance

expérimentale conformément à la Formule (1):
n= (1)
n est le nombre d’échantillons requis pour la détection d’une différence L;

L est la plus petite différence relative moyenne significative d’un point de vue microbiologique

s est l’écart-type expérimental.

EXEMPLE Un écart-type expérimental de la différence relative, s, égal à environ 80 est une valeur assez

fréquemment observée. Pour détecter une différence relative moyenne de 10 % d’unités (L = 10 %), la valeur

n = 25 600 / 100 = 256 échantillons devrait être suffisante pour une évaluation bilatérale.

Pour une évaluation unilatérale (7.3), le nombre d’échantillons correspondant peut être calculé d’après

la Formule (2):
n= (2)

Le justificatif de la dérivation des Formules (1) et (2) est présenté dans l’Annexe C.

Une haute variabilité des comptages peut être observée en raison de disparités dans la conduite des

analyses par les laboratoires ou de la gamme des types d’échantillons analysés. S’il est judicieux de

poursuivre, un essai comparatif des méthodes peut être évalué en examinant l’écart-type de la différence

relative moyenne. Des comparaisons valides sont indiquées par des écarts-types inférieurs à 100.

NOTE Certaines méthodes récentes basées sur des substrats chromogènes permettent d’estimer

simultanément deux groupes bactériens. L’un des groupes peut être 10 fois plus nombreux que l’autre, voire même

davantage. Il est possible que le nombre d’échantillons suffisant pour prendre une décision finale d’équivalence

avec le type le plus nombreux puisse se révéler insuffisant pour un organisme présent en petit nombre.

6 © ISO 2014 – Tous droits réservés
---------------------- Page: 11 ----------------------
ISO 17994:2014(F)
5.4.3 Nombre d’échantillons supplémentaires

La Formule (3) peut être appliquée pour estimer le nombre d’échantillons supplémentaires lorsque le

nombre initial s’est révélé être inadéquat (voir en 7.2.4 et 7.3.5) (voir également l’Annexe D).

 s 
n=4 (3)
 
 
n est le nombre d’échantillons requis;
s est l’écart-type de la différence relative;
y est la plus grande des deux grandeurs:
yx=
yx=− 2L
dans lequel

2L est la limite stipulée prédéfinie à partir de 0 dans le cas où les méthodes sont «sans

différence» en %;
est la moyenne arithmétique de la différence relative, en %.

NOTE Dans le cas d’une évaluation unilatérale (7.3) basée sur la Formule (3), y est calculé par la formule y =

2 2
x - 2L, avec prise en compte des signes algébriques de 2L et de x .
5.5 Comptage et confirmation
5.5.1 Comptages

Les comptages doivent être enregistrés jusqu’au dernier chiffre significatif observé. Ne pas arrondir des

comptages à deux chiffres significatifs, comme cela est souvent spécifié pour la notation des résultats de

routine. Les résultats du NPP doivent être arrondis à l’entier le plus proche.
5.5.2 Confirmation

La plupart des méthodes sont d’un type qui nécessite la confirmation des observations présumées.

Bien que cela soit souvent ignoré dans la pratique de routine de tous les jours, la règle de base de la

confirmation dans le cadre des essais comparatifs de méthodes consiste à confirmer chaque comptage

en vérifiant chaque observation positive présumée (colonie ou tube).

Des conseils détaillés relatifs à la confirmation doivent être fournis dans les instructions issues du jury

d’experts (voir l’Annexe B).

Pour confirmer un comptage de colonie de manière fiable, il convient de bien séparer les colonies

présumées les unes des autres et par rapport aux colonies interférentes. Pour des raisons pratiques

et statistiques, la plage idéale est comprise entre 10 et 30 colonies cibles par boîte. Il convient que la

dilution des échantillons soit choisie en conséquence.
-1 -1

Il convient d’utiliser des dilutions de 3 à 2 ou même moins. Cela permettra de choisir la (les) boîte(s)

qui satisfait (satisfont) aux critères fondamentaux de qualité de comptages confirmés fiables. Si le plan

ne permet pas d’obtenir des boîtes de colonies bien isolées, l’échantillon doit être rejeté. Il convient de

prélever un autre échantillon de la même provenance (si cela est considéré indispensable) et de le diluer

de façon à pouvoir parvenir à un comptage fiable.
© ISO 2014 – Tous droits réservés 7
---------------------- Page: 12 ----------------------
ISO 17994:2014(F)

Il convient de confirmer chaque observation positive présumée. Une confirmation partielle doit être

justifiée et un nombre suffisant d’observations confirmées doit être effectué pour s’assurer qu’elles

reflètent vraiment les taux de confirmation des méthodes évaluées.

Il y a lieu d’enregistrer et de consigner par écrit les comptages présumés et les comptages confirmés.

Cela constitue des données qui permett
...

Questions, Comments and Discussion

Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.