ISO 16140:2003

Microbiology of food and animal feeding stuffs - Protocol for the validation of alternative methods

ISO 16140:2003 defines the general principle and the technical protocol for the validation of alternative methods in the field of microbiological analysis of food, animal feeding stuffs and environmental and veterinary samples for the validation of alternative methods which can be used in particular in the framework of the official control, and the international acceptance of the results obtained by the alternative method. It also establishes the general principles of certification of these alternative methods, based on the validation protocol defined in ISO 16140:2003. Where an alternative method is used on a routine basis for internal laboratory use without the requirement to meet (higher) external criteria of quality assurance, a less stringent comparative validation of the alternative method than that set in ISO 16140:2003 may be appropriate.

Microbiologie des aliments — Protocole pour la validation des méthodes alternatives

L'ISO 16140:2003 établit le principe général ainsi que le protocole technique de validation des méthodes alternatives dans le domaine de l'analyse microbiologique des aliments, des produits alimentaires pour animaux et des échantillons environnementaux et vétérinaires, en vue de la validation des méthodes alternatives pouvant être utilisées en particulier dans le cadre du contrôle officiel et de l'acceptation internationale des résultats obtenus avec la méthode alternative. L'ISO 16140:2003 établit également les principes généraux régissant la certification de ces méthodes alternatives, sur la base du protocole de validation défini dans le présent document. Lorsqu'une méthode alternative est utilisée de façon routinière en laboratoire sans qu'il soit nécessaire de répondre à des critères extérieurs (plus exigeants) en matière d'assurance qualité, une validation comparative de la méthode alternative moins restrictive que ce que prévoit l'ISO 16140:2003 peut convenir.

General Information

• Status: Withdrawn
• Publication Date: 29-Apr-2003
• Withdrawal Date: 29-Apr-2003
• ICS: 07.100.30 - Food microbiology
• Technical Committee: ISO/TC 34/SC 9 - Microbiology
• Drafting Committee: ISO/TC 34/SC 9/WG 3 - Method validation
• Current Stage: 9599 - Withdrawal of International Standard
• Start Date: 17-Jun-2016
• Completion Date: 13-Dec-2025

Relations

• Amended By: ISO 16140:2003/Amd 1:2011 - Microbiology of food and animal feeding stuffs - Protocol for the validation of alternative methods - Amendment 1
• Effective Date: 14-Jul-2018
• Revised: ISO 16140-4:2020 - Microbiology of the food chain - Method validation - Part 4: Protocol for method validation in a single laboratory
• Effective Date: 29-Mar-2014
• Revised: ISO 16140-3:2021 - Microbiology of the food chain - Method validation - Part 3: Protocol for the verification of reference methods and validated alternative methods in a single laboratory
• Effective Date: 29-Mar-2014
• Revised: ISO 16140-6:2019 - Microbiology of the food chain - Method validation - Part 6: Protocol for the validation of alternative (proprietary) methods for microbiological confirmation and typing procedures
• Effective Date: 29-Mar-2014
• Revised: ISO 16140-5:2020 - Microbiology of the food chain - Method validation - Part 5: Protocol for factorial interlaboratory validation for non-proprietary methods
• Effective Date: 29-Mar-2014
• Revised: ISO 16140-1:2016 - Microbiology of the food chain - Method validation - Part 1: Vocabulary
• Effective Date: 18-Jul-2009
• Revised: ISO 16140-2:2016 - Microbiology of the food chain - Method validation - Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method
• Effective Date: 18-Jul-2009

Standards Content (Sample)

INTERNATIONAL ISO
STANDARD 16140
First edition
2003-05-01
Microbiology of food and animal feeding
stuffs — Protocol for the validation of
alternative methods
Microbiologie des aliments — Protocole pour la validation des
méthodes alternatives
Reference number
©
ISO 2003
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat
accepts no liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In
the unlikely event that a problem relating to it is found, please inform the Central Secretariat at the address given below.

©  ISO 2003
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail [e-mail]
Web www.iso.org
Published in Switzerland
ii © ISO 2003 – All rights reserved

Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this International Standard may be the
subject of patent rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 16140 was prepared by the European Committee for Standardization (CEN) in collaboration with
Technical Committee ISO/TC 34, Food products, Subcommittee SC 9, Microbiology, in accordance with the
Agreement on technical cooperation between ISO and CEN (Vienna Agreement).
Throughout the text of this document, read ".this European Standard." to mean ".this International
Standard.".
Contents
page
Foreword. v
Introduction . vi
1 Scope. 1
2 Normative references . 1
3 Terms and definitions. 2
4 General principles for the validation and the certification of alternative methods. 3
5 Qualitative methods - Technical protocol for their validation.4
6 Quantitative methods -Technical protocol for their validation . 14
Annex A (normative)  Specific rules for the acceptance of external results already obtained in a prior
validation scheme . 29
Annex B (informative)  Classification of sample types for validation studies . 31
Annex C (normative)  Use of naturally contaminated samples and preparation of artificially
contaminated samples in validation studies. 34
Annex D (normative)  Duplication of samples for the determination of relative accuracy and of relative
detection level for qualitative methods . 36
Annex E (normative)  Calculation of the confidence intervals associated with the number of samples
tested. 38
Annex F (normative)  Test applied to the examination of discordant results. 39
Annex G (normative)  Points to be considered when selecting strains for testing selectivity . 40
Annex H (normative)  Guidelines for the organisation and conducting collaborative studies. 42
Annex I (normative)  Determination that negative controls are free of target analyte. 45
Annex J (normative)  Replication of samples for interlaboratory studies of qualitative methods . 46
Annex K (normative)  Consideration of data . 48
Annex L (informative)  Interlaboratory study of qualitative methods: criteria of accordance,
concordance and concordance odds ratio . 49
Annex M (normative)  Replication of samples for the determination of relative accuracy of quantitative
methods . 54
Annex N (normative)  Examples of acceptable and unacceptable situations and range of
measurements for the estimation of the regression line for quantitative methods. 56
Annex O (normative)  Assessment of the linearity of quantitative methods by graphical representation. 58
Annex P (normative)  Detection and quantification limits for counts. 59
Annex Q (normative) Robust estimator of dispersion based on the recursive median Sn from
Rousseeuw [6]. 61
Annex R (normative)  Calculations with the regression method. 62
Annex S (normative)  Examples of calculations for quantitative methods . 67
Annex T (normative)  Collaborative study – Ring test results with duplicates. 72
Annex U (informative)  List of symbols and abbreviations . 73
Bibliography . 74
iv © ISO 2003 – All rights reserved

Foreword
This document (EN ISO 16140:2003) has been prepared by Technical Committee CEN/TC 275 "Food analysis -
Horizontal methods", the secretariat of which is held by DIN, in collaboration with Technical Committee ISO/TC 34
"Agricultural food products".
This European Standard shall be given the status of a national standard, either by publication of an identical text or
by endorsement, at the latest by November 2003, and conflicting national standards shall be withdrawn at the latest
by November 2003.
The annexes A, C to K and M to T are normative. The annexes B, L and U are informative.
This document contains also a Bibliography.
According to the CEN/CENELEC Internal Regulations, the national standards organizations of the following coun-
tries are bound to implement this European Standard: Austria, Belgium, Czech Republic, Denmark, Finland,
France, Germany, Greece, Hungary, Iceland, Ireland, Italy, Luxembourg, Malta, Netherlands, Norway, Portugal,
Slovakia, Spain, Sweden, Switzerland and the United Kingdom.
Introduction
The need for the food industry to rapidly assess the microbiological quality of raw materials and finished products
and the microbiological status of manufacturing procedures, has led to the development and refinement of alterna-
tive microbiological methods of analysis that are quicker and/or easier to perform than the corresponding reference
method; some can also be automated.
Among these alternative methods, some can yield results that are equivalent to those provided by the reference
method, while others can lead to results that differ appreciably.
The suppliers/producers of the alternative methods, the food and drink industry, the public health services and
other authorities need a reliable common protocol for the validation of such alternative methods. The data gener-
ated can also be the basis for the certification of a method by an independent organisation.
Because of the extent of the methods comparative study described in this standard for use by the organising labo-
ratory, the procedure is sometimes not appropriate for use as an "in house" method for the validation of an alterna-
tive method by an individual laboratory.
vi © ISO 2003 – All rights reserved

1 Scope
This document establishes the general principle and the technical protocol for the validation of alter-
native methods in the field of microbiological analysis of food, animal feeding stuff and environmental
and veterinary samples (see 5.1.1.2.1) for:
 the validation of alternative methods which can be used in particular in the framework of the offi-
cial control;
 the international acceptance of the results obtained by the alternative method.
It also establishes the general principles of certification of these alternative methods, based on the
validation protocol defined in this document (see 4.2).
Where an alternative method is used on a routine basis for internal laboratory use without the re-
quirement to meet (higher) external criteria of quality assurance, a less stringent comparative valida-
tion of the alternative method than that set in this standard may be appropriate.
2 Normative references
This European Standard incorporates by dated or undated reference, provisions from other publica-
tions. These normative references are cited at the appropriate places in the text, and the publications
are listed hereafter. For dated references, subsequent amendments to or revisions of any of these
publications apply to this European Standard only when incorporated in it by amendment or revision.
For undated references the latest edition of the publication referred to applies (including amend-
ments).
ISO 3534-1, Statistics – Vocabulary and symbols – Part 1: Probability and general statistical terms.
ISO 5725, Accuracy (trueness and precision) of measurement methods and results.
3 Terms and definitions
For the purposes of this European Standard, the following terms and definitions apply:
3.1
alternative method
method of analysis that demonstrates or estimates, for a given category of products, the same analyte
(3.4) as is measured using the corresponding reference method (3.2).
NOTE 1 The method can be proprietary or non commercial, and does not need to cover an entire analysis pro-
cedure, that is from the preparation of samples to the test report.
NOTE 2 The alternative method exhibits attributes appropriate to the users' needs, for example:
 speed of analysis and/or response;
 ease of execution and/or automation;
 analytical properties (precision, accuracy, limit of detection, etc.);
 miniaturisation;
 reduction of cost.
NOTE 3 The term "alternative" is used to refer to the entire "test procedure and reaction system". This term
includes all ingredients whether material or otherwise, required for implementing the method.
3.2
reference method
internationally recognised method and widely accepted.
NOTE For the purpose of this standard, these are International and European Standards and if not existing,
certain national standards of equivalent standing.
3.3
validation of an alternative method
demonstration that adequate confidence is provided that the results obtained by the alternative
method are comparable to those obtained using the reference method
NOTE The word "comparable" is defined in this EN ISO 16140 by a technical protocol adapted to each type
of method (see clauses 5 and 6).
3.4
analyte
component measured by the method of analysis. It may be the microorganism
3.5
qualitative method
method of analysis whose response is either the presence or absence of the analyte (3.4) detected
either directly or indirectly in a certain amount of sample
3.6
quantitative method
method of analysis whose response is the amount of the analyte (3.4) measured either directly (enu-
meration in a mass or a volume), or indirectly (colour absorbance, impedance, etc.) in a certain
amount of sample
2 © ISO 2003 – All rights reserved

3.7
methods comparison study
study, performed by the organising laboratory of the alternative method against the reference method
3.8
inter-laboratory study
study of the method’s performance using common samples in several laboratories and under the con-
trol of the organising laboratory
3.9
organising laboratory
laboratory having the qualified staff and skills to perform the method comparison study and organise
the interlaboratory study.
NOTE The availability of an experienced statistician is essential for the analysis of the results.
4 General principles for the validation and the certification of alternative
methods
4.1 Validation protocol
The validation protocol comprises two phases:
 a methods comparison study (3.7) of the alternative method (3.1) against the reference method
(3.2) carried out in the organizing laboratory;
 an interlaboratory study (3.8) of each of the two methods.
If appropriate, the two phases may be undertaken in parallel.
The technical rules for performing the methods comparison study and the interlaboratory study are
given in clauses 5 and 6, depending upon whether the alternative method is qualitative or quantitative
in nature.
If the alternative method has already been validated and meets the requirements set by another or-
ganisation, specific rules are defined in annex A for accepting the results of this prior validation.
4.2 Principles of the certification
4.2.1 If a subsequent certification of the alternative method is required, the two following principles
shall also be applied (in addition to 4.1):
Details on the organisation of the certification (management of the method comparison study and the
interlaboratory study, all the different bodies involved including the expert laboratory – designated in
this standard as the "organising laboratory"- the reviewers, the certification body, etc) are provided [8]
by the certification body.
4.2.2 The manufacturer shall apply a quality system covering the production line of the product for
which the certification is sought and based on the appropriate European Standard relative to quality
systems or other equivalent international standard (for example EN ISO 9001).
In granting the certification, the certification organisation shall take into account the existence of any
quality system certificate issued by a certification body accredited for quality systems.
4.2.3 A regular verification of the quality of the certified method shall be undertaken after the certi-
fication is granted. An audit is to be performed regularly to verify that the following are still met:
 the quality assurance requirements, (see 4.2.1);
 the product's production control requirements, (see 4.2.1).
In addition to the general requirements of the appropriate European Standard relative to the quality
system, the manufacturer presents regularly to the certification organisation updated documentation
that take into account any modification made to the product or production process which may affect
the instructions for using the method and/or the method’s performance. The certification organisation
then decides whether these modifications affect the certification.
5 Qualitative methods - Technical protocol for their validation
5.1 Methods comparison study
5.1.1 Relative accuracy, relative specificity and relative sensitivity
5.1.1.1 Terms and definitions
For the purposes of this European Standard, the following terms and definitions apply.
AC
5.1.1.1.1 relative accuracy ( )
degree of correspondence between the response obtained by the reference method and the response
1)
obtained by the alternative method on identical samples (see 5.1.1.3.1.).
NOTE The term "relative accuracy" used here is complementary to the "accuracy" and “trueness” as defined in
ISO 5725-1 and ISO 3534-1. These state that accuracy is "the closeness of agreement between a test result and
the accepted reference value", and that the trueness is "the closeness of agreement between the average value
obtained from a large series of test results and an accepted reference value". For the purpose of this standard,
the accepted reference value is chosen as the value obtained by the reference method. Thus, the term "relative"
implies that the reference method does not automatically provide the accepted reference value.
5.1.1.1.2 positive deviation (PD)
The alternative method becomes a false positive when it presents a positive deviation if it gives a
positive result when the reference method gives a negative result.
A positive deviation becomes a false positive result when the true result can be proven as being nega-
tive.
A positive deviation is considered as a true positive when the true result can be proven as being posi-
tive.
5.1.1.1.3 negative deviation (ND)
The alternative method presents a negative deviation if it gives a negative result when the reference
method gives a positive result.
A negative deviation becomes a false negative result when the true result can be proved as being
positive.
1)
Difficult to achieve if the pre-enrichment steps are different.
4 © ISO 2003 – All rights reserved

5.1.1.1.4 relative sensitivity (SE)
ability of the alternative method to detect the analyte when it is detected by the reference method
(see 5.1.1.3.1.).
5.1.1.1.5 relative specificity (SP)
ability of the alternative method to not detect the analyte when it is not detected by the reference
method (see 5.1.1.3.1.).
5.1.1.2 Measurement protocol
5.1.1.2.1 Food samples
It is of the highest priority to find food samples naturally contaminated with the analyte to be detected
for the validation.
If it is sought to validate the method for all foods, study five categories of food. This number may be
reduced to 1, 2, 3 or 4 categories if the validation of alternative method is restricted to these stated
categories, at the producer's request. The recommended categories are listed in annex B.
Appropriate environmental samples may be included as one category. Veterinary samples may be
treated as another category (see annex B).
It is desirable that food samples come from as wide a distribution as possible in order to reduce any
bias from local food specialities and broaden the range of validation.
When analysing naturally contaminated samples, the range and distribution of contamination of the
samples should be representative of the levels usually found in that product but with emphasis on
smaller numbers.
If it is not possible to acquire a sufficient number of naturally contaminated foods for each of the cate-
gories, artificial contamination of food samples is permissible. The method and levels of contamination
should result in samples behaving similarly to naturally contaminated ones. See methods of inocula-
tion and restrictions in annex C.
5.1.1.2.2 Number of samples
The total number of test portions to be analysed is 60 for each food category chosen from the catego-
ries stated in annex B. Within each category, select representative food types and analyse 20 test
portions of each food type by the proposed method and the reference method to produce at least
60 total results for each category by each method. For naturally contaminated food types prepare the
sample as described in annex D. For artificially contaminated food type adjust the inoculation levels to
achieve fractional positive recovery of the test portions analysed by at least one of the methods. Frac-
tional recovery is achieved when some number, but not all, of the test portions are determined to be
positive by one or both methods, alternative method or reference method.
It is desirable to produce approximately 50 % of the results that are positive and 50 % that are nega-
tive. This is, however, a recommendation, not an absolute percentage, provided that some number of
the test portions are positive and some number are negative for the same food type.
5.1.1.2.3 Test sample preparation
The reference and alternative methods shall be performed with, as far as possible, exactly the same
sample.
Thus, if the first stage of the two methods is the same (for example the same pre-enrichment broth),
perform the replication at the second step (case 1, annex D).
If this is not the situation, that is the first culture media, methodology or dilutions are different, prepare
paired test portions for analysis. There are two primary methodologies for such preparations.
In the first instance, mix a double weight of sample with an equal weight/volume of sterile water or
other suitable diluents and homogenize very thoroughly. Then divide into two portions taking particular
care to increase the concentration of the primary enrichment by (approximately 10 %) to compensate
for the dilution effect of the diluted, homogenised sample (case 2, annex D).
In the second instance, directly inoculate the food type with a starting inoculum sufficient to allow a
fractional recovery of the micro-organisms in the test portions analysed by at least one of the methods
after the microorganisms have equilibrated in the food type. Then weigh 25 g test portions and pro-
ceed as described in annex D. This may be preferred for liquid products but is acceptable for any food
type provided that the food is properly homogenised.
5.1.1.3 Calculation and interpretation
5.1.1.3.1 Treatment of data
Tabulate the data of the paired results of the reference and alternative methods and calculate the fol-
lowing parameters for each food category (60 samples) according to the Table 1.
Table 1 - Paired results of the reference and alternative method
Responses Reference method positive (R+) Reference method negative (R-)
Alternative method posi- +/+ positive agreement (PA) -/+ positive deviation (PD) (R-/A+)
tive (A+)
Alternative method nega- +/- negative deviation (ND) (A-/R+) -/- negative agreement (NA)
tive (A-)
The calculations shall be performed on a number of negative results obtained by the reference method
which for the results in Table 1 cannot exceed twice the number of positive results; the negative re-
sults being selected if necessary as immediately following a positive result, in the order of analysis of
the samples.
Express the three criteria as follows:
()PA + NA
 AC = ·100 % ;
Relative accuracy:
N
NA
 SP = ·100 % ;
Relative specificity:
N
-
PA
 Relative sensitivity: SE = ·100%
N
+
where
N is the total number of samples (NA + PA + PD +ND);
N is the total number of negative results with the reference method (NA + PD);
-
N is the total number of positive results with the reference method (PA + ND).
+
6 © ISO 2003 – All rights reserved

5.1.1.3.2 Confidence intervals
The calculation of confidence intervals associated with the number of samples tested is given in an-
nex E.
5.1.1.3.3 Discordant results
Examine the discordant results as described in annex F (The McNemar test), by using the count of PD
and ND (see 5.1.1.3.1).
When the values for PD and ND are high and almost equal, no statistical difference between the
methods can be detected using the McNemar test. In this case, the organising laboratory shall pay
further attention to explain the reasons for the high values of PD and ND. Moreover, it shows that the
relative accuracy of a method shall never be interpreted by taking into account only the McNemar test.
5.1.1.3.4 Summary of calculation
All the calculations shall be summarised in Table 2:
Table 2 - Calculation of the relative accuracy, the relative sensitivity and the relative specificity
Matrices PA NA ND PD Sum Relative Accuracy N Relative sensitivity N Relative
+ -
AC (%) SE (%) specificity SP
(%)
100·()PA + NA 100·PA 100·NA
N PA + ND NA + PD
N N+ N-
Food cat. 1
Food cat. 2
Food cat. 3
Food cat. 4
Food cat. 5
TOTAL
5.1.1.3.5 Interpretation
A table giving the raw results (that is all the positive and negative results, Table 1) shall be provided.
Taking into account the number of positive deviations and the number of negative deviations, the ca-
pability of the alternative method to give more or fewer true positive results than the reference method
is evaluated.
The report of the study shall distinguish the results obtained with naturally contaminated and artificially
contaminated samples.
The procedure for the artificial contamination of test samples shall be described in the report of the
study.
Data published elsewhere and meeting the conditions defined in annex A may be used for evaluating
the relative accuracy.
5.1.2 Relative detection level
5.1.2.1 Definition
For the purpose of this standard, the relative detection level is the smallest number of culturable mi-
croorganisms (3.4) that can be detected in the sample in 50 % of occasions by the alternative and ref-
erence methods.
5.1.2.2 Measurement protocol
Test the following:
 use one food product within each food category chosen from 5.1.1.2.1, depending of the scope of
the validation (see annex B);
 use five different target microorganisms (or less, depending on the scope of the validation) each
one associated with one food category, if possible. (See annex G.1 for the definition of the target
microorganism);
 preferably test five levels (but a minimum of three levels) of one target microorganism per food,
including the negative control, etc. The first level shall be the negative control. The second level
shall be the theoretical detection level. The third level shall be just above the theoretical detection
threshold and any further levels shall be higher than the previous one. A factor of about three
between each concentration in the upper levels could be applied;
 replicate each combination (food product, level of contamination) six times by both the alternative
and reference methods. Perform the division at the level where the two methods differ as illus-
st
trated in annex D. Thus, if the 1 stage of each method is the same (for example the same pre-
nd
enrichment broth), perform the division at the 2 step (case 1, annex D). If this is not the case, i.e.
the first culture media, methodology or dilutions being different, mix a double weight of sample
with an equal w/v of sterile water or other suitable diluent and then divide into two portions;
 apply the complete procedure of the alternative method and the reference method, including the
preparation of the sample. Inoculation of each food sample may be prior to its addition to the cul-
ture medium or afterwards.
If necessary, for assuring a better precision of the lowest inoculum level, increase the amount of food
sample or the number of replicate samples. For example, 75 g of food sample contaminated with three
cells instead of 25 g contaminated with one cell.
The greater the number of inoculum levels used the more precise is the determination of the detection
threshold.
5.1.2.3 Calculation
For each level L (i = 0 to 3) and each food/strain combination (j = 1 to 5), compare both methods as
i
stated in Table 3:
Table 3 - Calculation of relative detection level
Results
Negatives (-) Positives (+) Total
Method
Reference an - an=6
Alternative b n – bn=6
a+b 2n - (a + b)2n=12
Total
8 © ISO 2003 – All rights reserved

For small 2 by 2 tables, perform exact Fisher tests [8].
Comparisons
Instead of only comparing both methods at each level and each food/strain, the same test to compare
two food/strains at the same level can be used.
If food/strains seem to be comparable, the same test is available with n > 6 in pooling food/strains for
each level L .
i
The levels can also be pooled to do checks, but using the ranking order: L + L , L + L + L , L + L , L
0 1 0 1 2 1 2 0
+ L + L + L , L + L + L , L + L … with or without pooling the food/strains.
1 2 3 1 2 3 2 3
Report all the significant differences between methods, food/strains and/or levels.
5.1.2.4 Interpretation
The interpretation shall be done by the organising laboratory in charge of the methods comparison
study.
The relative detection level lies between the two contamination levels giving respectively less and
more than 50 % detection level. The relative detection level is therefore expressed as a range.
5.1.3 Inclusivity and exclusivity
5.1.3.1 Definition
Inclusivity is the ability of an alternative method to detect the target analyte from a wide range of
strains.
Exclusivity is the lack of interference from a relevant range of non-target strains of the alternative
method.
5.1.3.2 Measurement protocol
5.1.3.2.1 Selection of test strains
5.1.3.2.1.1 General
For microorganisms a range of strains is chosen to avoid any local bias.
Criteria for selecting test strains are given in annex G.
Each strain shall be characterised biochemically, serologically and if relevant genetically, in sufficient
detail for its identity to be established and should be preferentially isolated from food. Also the food
material from which it was originally isolated shall be known and recorded.
5.1.3.2.1.2 Target microorganisms
Select at least 50 pure cultures of microorganisms relevant to the alternative method and the food
product being used (see G.3), except for Salmonella.
For Salmonella methods, select at least 30 pure cultures of microorganisms.
5.1.3.2.1.3 Non-target microorganisms
Select at least 30 pure cultures of microorganisms chosen from both the strains known to cause in-
terference with the target microorganism and from strains naturally present in each food test material
included in the validation (see G.4).
5.1.3.2.2 Inoculation
5.1.3.2.2.1 General
Each test is performed once. Inoculation of the growth medium is carried out using a dilution of a pure
culture of each test strain. No food sample is added.
5.1.3.2.2.2 Target microorganisms
The inoculum level shall be 10 times to 100 times greater than the minimum relative detection level of
the alternative method and the complete protocol of the alternative method shall be used, including
pre-enrichment if stipulated. When false negative or doubtful results are obtained, the strain shall be
tested once more together with the reference method.
5.1.3.2.2.3 Non-target microorganisms
The inoculum level of a strain shall be similar to the greatest level of contamination expected to occur
in all the food categories being used.
The exclusivity shall be established. If the final nutrient medium of the culture medium is a selective
broth this would be replaced by an appropriate non selective broth medium. When the alternative
method gives positive or doubtful results with non-target microorganisms, the test shall be repeated
using the complete protocol. The reference method shall be performed only once.
5.1.3.3 Expression of the results
Tabulate the results as in Table 4:
Table 4 - Presentation of the results for the selectivity
Microorganisms Results
Reference method Alternative method
Expected result Actual result Expected result Actual result
Target strains
etc.
Non target strains
etc.
5.1.3.4 Interpretation
The interpretation shall be done by the laboratory in charge of the methods comparison study, as both
quantitative and qualitative aspects (that is pathogenicity, prevalence, cultural aspects of test strains,
for example motility, sensitivity to inimical agents etc.) shall be taken into account.
10 © ISO 2003 – All rights reserved

Other published data on the alternative method that meets the requirements of this EN ISO 16140,
may also be used by the laboratory in charge of the methods comparison study, to provide further in-
formation on the above criteria. (See annex A that provides criteria for the acceptance of external re-
sults).
5.2 Interlaboratory study
NOTE The aim of the collaborative study is to determine the variability of the results obtained in different
laboratories using identical samples and to compare these results with those obtained in the methods comparison
study.
5.2.1 Measurement protocol
5.2.1.1 The interlaboratory study shall produce at least 10 collaborative laboratories having re-
sults without outliers.
Guidelines and requirements for the organisation, dispatching and conducting the interlaboratory
studies are given in annex H.
It is necessary for the analyst in each collaborating laboratory to demonstrate his competence in the
use of the alternative method and of the reference method prior to participating in the study proper.
5.2.1.2 The protocol is the following:
 one relevant food matrix (annex B) is used to prepare the test samples;
 the protocol for artificial contamination of the food sample shall be appropriate for the selected
food substrate. Each sample shall be individually inoculated. Each blind replicate shall be pre-
pared to ensure homogeneity between samples by the individual inoculation of each one. An ap-
propriate number of samples shall be analysed to determine homogeneity (see annex H);
 at least three different levels of contamination shall be used: a negative control (L ), one level
slightly above the detection level of the alternative method (L ), and one about 10 times greater
than the detection level (L ) (for example 0; 3; and 30 cells/25g);
 at least 8 blind replicates at each level of contamination are analysed by both reference and alter-
native methods by each collaborative laboratory;
 a suspension of the whole of each sample is prepared for analysis;
 the analysis of samples shall be performed in each laboratory at the stipulated date;
st
 the test samples are cultured according to annex J. Thus if the 1 culture step is common to both
reference and alternative methods use this culture to inoculate each of the next stages (case 1,
annex J). If the primary cultures of each method differ, then replicate by setting up each method
individually (case 2, annex J);
 in either case, the combination "number of levels of contamination/number of replicates/number of
non-outlier laboratories" shall be selected so that at least 480 results (240 by each method) are
generated for use in the calculations.
The organising laboratory using all recorded data (see H.3) shall determine which results
5.2.1.3
are suitable and which are outliers for use in calculating the precision data. See annex K, that provides
guidelines defining microbiological conditions for disregarding data.
WARNING Outliers: Do not exclude participating laboratory results if there is no clear expla-
nation or gross error to explain them.
5.2.2 Calculation
5.2.2.1 For each level, put the positive results obtained with each method as in Tables 5 and 6:
Table 5 – Positive results by the reference method
Contamination level
Laboratories L L L
0 1 2
Laboratory 1 /8 /8 /8
Laboratory 2 /8 /8 /8
Laboratory 3 /8 /8 /8
etc. /8 /8 /8
a b c
Total FP TP TP
1 2
a
False positive by the reference method
b
True positive at level 1 by the reference method
c
True positive at level 2 by the reference method
Table 6 – Positive results by the alternative method
Contamination level
Laboratories L L L
0 1 2
Laboratory 1 /8 /8 /8
Laboratory 2 /8 /8 /8
Laboratory 3 /8 /8 /8
etc. /8 /8 /8
a b c
Total FP TP1 TP2
a
False positive by the alternative method
b
True positive at level 1 by the alternative method
c
True positive at level 2 by the alternative method
5.2.2.2 For level L and for each method, calculate the percentage specificity SP as in equation
(1):
 FP 
 
SP= 1-·100 % (1)
 
 
N-ŁłŁł
where
N is the total number of all L tests;
- 0
FP is the number of false positive.
5.2.2.3 For each contamination level and for each method, calculate the percentage of sensitivity
SE as in equation (2):
12 © ISO 2003 – All rights reserved

TP
SE=·100 % (2)
N
+
where
N is the total number of all L or L tests respectively;
+ 1 2
TP is the number of true positive.
5.2.2.4 For each level of contamination and the totality of the results, compare the alternative
method and the reference method in order to calculate the relative accuracy and to examine the dis-
cordant results.
Each pair of results from a sample measured by the alternative and the reference method shall be re-
ported as in Table 7:
Table 7 - Paired results of the alternative method and the reference method by the interlabora-
tory study
Alternative Reference method Total
method
+-
+PA PD
-ND NA
Total N N N
+ -
Calculate the relative accuracy AC expressed in percentage, as in equation (3):
(PA + NA)
AC =·100 % (3)
N
where
N is the number of tested samples (for the level L or all levels);
i
PA is the number of positive agreement;
NA is the number of negative agreement.
5.2.2.5 Calculate the confidence intervals for each proportion (see 5.1.1.3.2).
5.2.2.6 Examine the discordant results as described in annex F, by using the counts of PD and
ND (see Table 8).
5.2.3 Interpretation
Compare AC (Table 7), SE and SP (Tables 5 and 6) with their relative counterparts obtained within the
comparative study including the naturally contaminated samples and the relative detection level.
These criteria do not really address the variability within a laboratory and between laboratories of the
method (notions of repeatability and reproducibility). Annex L provides further criteria (accordance,
concordance and concordance odds ratio) which may help to address this variability (the criteria of
repeatability and reproducibility have been defined for quantitative methods and cannot be used as
such for qualitative methods).
6 Quantitative methods - Technical protocol for their validation
6.1 General
Colony counts from a given sample are the most common output from reference quantitative methods
and all information should be recorded – sample weight, dilution series, inoculum volume and colony
counts at each dilution. In microbiology, these discrete data are often truncated, for example by only
counting plates with no more than 300 colonies and then applying an expansion factor inverse to the
dilution factor to obtain the result. For this reason and other factors involving the growing process of
the microorganisms, and also in order to obtain a symmetric distribution or a near normal one, the
counting data are often transformed into their logarithms, or a square-root transformation. This trans-
formation can be checked by using histograms of many data points (30 or more) all gathered under
the same conditions.
In 6.2 and 6.3 for the validation of quantitative methods the gathering of continuous data (or interval
data) is mainly described; however remarks about counts are included as a particular category.
6.2 Methods comparison study
6.2.1 Linearity and relative accuracy
6.2.1.1 Definitions
6.2.1.1.1 Linearity
Ability of the method when used with a given matrix to give results that are in proportion to the amount
of analyte present in the sample, that is an increase in analyte corresponds to a linear or proportional
increase in results.
NOTE 1 A response curve or a signal function is obtained when measuring the relationship between the
signal or the method’s response and the analyte concentration (doses) in different samples of reference ma-
terials (RM) having known values. In microbiology, where practically no stable reference material is available,
these "known values” can be obtained after many replicated measurements using the reference method.
After data fitting, smoothing or another algorithm, the alternative method provider should establish a monotonic
model over the whole application domain of the method in order to transform the measurements into the nearest
values to the reference ones. The fitted model is a first (or original) calibration curve and in collecting all the
calibration factors over the concentration domain; it is often not linear. But this is not included in the validation
study.
A part of the validation is the verification of the calibration, which gives a final calibration curve setting the
2)
relationship between the transformed measurements and the corresponding "reference values" , with the same
unit system. With the same scales on the axes, this curve should be linear, having a null intercept (same lowest
values), and a slope of 1 (same axes units) and with well estimated characteristics of spread. Extrapolation above
and below the tested concentrations should not be performed, except if it is necessary to examine the behaviour
near the concentration "zero”.
NOTE 2 Counts by the following regression method the linearity is not correctly obtained for counts with low
levels or with wide ranges. These counts have quasi-poissonian distributions with repeatability standard devia-
tions proportional to the square root of the mean counts. It involves the same kind of estimation difficulty as men-
tioned under note in 6.2.3.1.
2)
They are derived from the reference method with naturally contaminated samples, if RM's and «known» val-
ues are not available.
14 © ISO 2003 – All rights reserved

----
...

NORME ISO
INTERNATIONALE 16140
Première édition
2003-05-01
Microbiologie des aliments — Protocole
pour la validation des méthodes
alternatives
Microbiology of food and animal feeding stuffs — Protocol for the
validation of alternative methods

Numéro de référence
©
ISO 2003
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute
responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation,
veuillez en informer le Secrétariat central à l'adresse donnée ci-dessous.

©  ISO 2003
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l’adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax. + 41 22 749 09 47
E-mail [e-mail]
Web www.iso.org
Publié en Suisse
ii © ISO 2003 – Tous droits réservés

Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 16140 a été élaborée par le Comité européen de normalisation (CEN) en collaboration avec le comité
technique ISO/TC 34, Produits alimentaires, sous-comité SC 9, Microbiologie, conformément à l'Accord de
coopération technique entre l'ISO et le CEN (Accord de Vienne).
Tout au long du texte du présent document, lire «… la présente Norme européenne …» avec le sens de
«… la présente Norme internationale …».

Sommaire
Avant-propos vi
Introduction vii
1 Domaine d'application 1
2 Références normatives 1
3 Termes et définitions 1
4 Principes généraux de la validation et de la certification des méthodes
alternatives 3
5 Méthodes qualitatives – Protocole technique de validation 5
6 Méthodes quantitatives – Protocole technique de validation 18
Annexe A (normative) Règles spécifiques relatives à l'acceptation de résultats
externes obtenus dans le cadre d'un programme de validation antérieur 38
Annexe B (informative) Classification des types d'échantillons pour les études
de validation 40
Annexe C (normative) Utilisation d'échantillons naturellement contaminés et
préparation d'échantillons artificiellement contaminés dans les études
de validation 43
Annexe D (normative) Duplication des échantillons pour la détermination de
l'exactitude relative et du niveau de détection relatif des méthodes
qualitatives 45
Annexe E (normative) Calcul des intervalles de confiance associés au nombre
d'échantillons soumis à essai 47
Annexe F (normative) Essai utilisé pour l'examen des résultats discordants 48
Annexe G (normative) Aspects à prendre en compte lors du choix des souches
pour établir la sélectivité 49
Annexe H (normative) Lignes directrices relatives à l'organisation et à la
gestion des études collaboratives 51
Annexe I (normative) Détermination de l'absence de l'analyte cible dans les
témoins négatifs 54
Annexe J (normative) Réplication des échantillons pour les études
interlaboratoires des méthodes qualitatives 55
Annexe K (normative) Examen des données 57
Annexe L (informative) Etude interlaboratoire de méthodes qualitatives : critères
d’accord, de concordance et de ratio de chances de concordance 58
Annexe M (normative) Réplication des échantillons pour la détermination de
l'exactitude relative des méthodes quantitatives 64
iv © ISO 2003 – Tous droits réservés

Annexe N (normative) Exemples de répartitions acceptables et inacceptables et
domaines de mesures pour l'estimation de la droite de régression dans
le cadre des méthodes quantitatives 66
Annexe O (normative) Evaluation de la linéarité des méthodes quantitatives par
représentation graphique 68
Annexe P (normative) Limites de détection et de quantification des
dénombrements 69
Annexe Q (normative) Estimateur robuste de la dispersion sur la base de la
médiane récursive S de Rousseeuw [6] 71
n
Annexe R (normative) Calculs avec la méthode de régression 72
Annexe S (normative) Exemples de calculs pour les méthodes quantitatives 78
Annexe T (normative) Etude collaborative - Résultats d'essai circulaire avec
réplicats 83
Annexe U (informative) Liste des symboles 84
Bibliographie 85
Avant-propos
Le présent document (EN ISO 16140:2003) a été élaboré par le Comité Technique
CEN/TC 275 “Analyse des produits alimentaires - Méthodes horizontales”, dont le
secrétariat est tenu par le DIN, en collaboration avec le Comité Technique ISO/TC 34
“Produits alimentaires”.
Cette Norme européenne devra recevoir le statut de norme nationale, soit par publication
d'un texte identique, soit par entérinement, au plus tard en novembre 2003, et toutes les
normes nationales en contradiction devront être retirées au plus tard en novembre 2003.
Les annexes A, C à K et M à T sont normatives. Les annexes B, L et U sont informatives.
La présente norme européenne contient également une bibliographie.
Selon le Règlement Intérieur du CEN/CENELEC, les instituts de normalisation nationaux
des pays suivants sont tenus de mettre cette Norme européenne en application :
Allemagne, Autriche, Belgique, Danemark, Espagne, Finlande, France, Grèce, Hongrie,
Irlande, Islande, Italie, Luxembourg, Malte, Norvège, Pays-Bas, Portugal, République
Tchèque, Royaume-Uni, Slovaquie, Suède et Suisse.
vi © ISO 2003 – Tous droits réservés

Introduction
Le besoin que connaît l’industrie alimentaire d'évaluer rapidement la qualité
microbiologique des produits bruts, des produits finis et l’état microbiologique des
méthodes de fabrication (procédé de fabrication et environnement), a mené à l'élaboration
et au perfectionnement des méthodes d’analyse microbiologiques alternatives plus rapides
et plus faciles à réaliser que la méthode de référence correspondante. Certaines méthodes
peuvent même être automatisées.
Certaines méthodes alternatives peuvent aboutir à des résultats identiques à ceux obtenus
avec la méthode de référence. D’autres en revanche peuvent aboutir à des résultats
sensiblement différents.
Les fournisseurs / producteurs des méthodes alternatives, l’industrie des aliments et des
boissons, les services de santé publique et les autorités compétentes en matière
d’agriculture ont besoin d’un protocole commun et fiable permettant de valider ces
méthodes alternatives. Les données obtenues peuvent également constituer la base de la
certification d’une méthode par un organisme indépendant.
La longueur de l’étude comparative des méthodes décrite ci-après à l’usage des
laboratoires organisateurs, rend parfois le présent document peu pratique pour un usage
par un laboratoire individuel en vue de la mise en place d’une validation interne de
méthode alternative.
1 Domaine d'application
Le présent document établit le principe général ainsi que le protocole technique de
validation des méthodes alternatives dans le domaine de l’analyse microbiologique des
aliments, des produits alimentaires pour animaux, et des échantillons environnementaux et
vétérinaires (5.1.1.2.1) en vue de :
 la validation des méthodes alternatives pouvant être utilisées en particulier dans le
cadre du contrôle officiel ;
 l'acceptation internationale des résultats obtenus avec la méthode alternative.
Elle établit également les principes généraux régissant la certification de ces méthodes
alternatives, sur la base du protocole de validation défini dans le présent document (voir
4.2).
Lorsqu’une méthode alternative est utilisée de façon routinière en laboratoire sans qu’il soit
nécessaire de répondre à des critères extérieurs (plus exigeants) en matière d’assurance
qualité, une validation comparative de la méthode alternative moins restrictive que ce que
prévoit la présente norme peut convenir.
2 Références normatives
Cette Norme européenne comporte par référence datée ou non datée des dispositions
d'autres publications. Ces références normatives sont citées aux endroits appropriés dans
le texte et les publications sont énumérées ci-après. Pour les références datées, les
amendements ou révisions ultérieurs de l'une quelconque de ces publications ne
s'appliquent à cette norme que s'ils y ont été incorporés par amendement ou révision. Pour
les références non datées, la dernière édition de la publication à laquelle il est fait
référence s'applique (y compris les amendements).
ISO 3534-1, Statistiques – Vocabulaire et symboles – Partie 1 : Probabilité et termes
statistiques généraux.
ISO 5725, Application de la statistique – Exactitude (justesse et fidélité) des résultats et
méthodes de mesure.
3 Termes et définitions
Pour les besoins de la présente Norme européenne, les termes et définitions suivants
s'appliquent.
3.1
méthode alternative
méthode d’analyse permettant de déterminer ou d’estimer, pour une catégorie de produits
donnée, le même analyte (3.4) que celui mesuré avec la méthode de référence
correspondante (3.2).
NOTE 1 La méthode peut être breveté ou non. Il n’est pas nécessaire qu’elle couvre l’intégralité du
mode opératoire d’analyse, c'est-à-dire de la préparation des échantillons à la rédaction du rapport
d’essai.
NOTE 2 Une méthode alternative se caractérise par des propriétés adaptées aux besoins des
utilisateurs, par exemple :
 la vitesse d’analyse et/ou de réponse ;
 la facilité de réalisation et/ou d’automatisation ;
 les propriétés analytiques (fidélité, exactitude , limite de détection, etc.) ;
 la miniaturisation ;
 la réduction des coûts.
NOTE 3 L’adjectif « alternatif » se réfère à la totalité du « mode opératoire d’analyse et du
système de réaction ». Ce terme recouvre tous les éléments nécessaires à la mise en œuvre de la
méthode, qu'ils soient matériels ou autre.
3.2
méthode de référence
méthode reconnue internationalement et largement acceptée.
NOTE Pour les besoins de la présente norme, il s’agit des méthodes ISO et CEN, et si elles
n’existent pas, de certaines normes nationales de niveau équivalent.
3.3
validation d’une méthode alternative
démonstration selon laquelle ladite méthode apporte un niveau de confiance approprié, sur
le fait que les résultats obtenus avec la méthode alternative sont comparables aux
résultats obtenus avec la méthode de référence
NOTE Le mot « comparable » est défini dans le présent document par un protocole technique
adapté à chaque type de méthode (voir articles 5 et 6).
3.4
analyte
composant mesuré à l’aide de la méthode d’analyse. Il peut s’agir de microorganismes
2 © ISO 2003 – Tous droits réservés

3.5
méthode qualitative
méthode d’analyse dont la réponse est soit la présence, soit l’absence de l’analyte (3.4)
détecté soit directement soit indirectement dans une quantité d’échantillon donnée
3.6
méthode quantitative
méthode d’analyse dont la réponse est la quantité de l’analyte (3.4) mesurée soit
directement (dénombrement, masse ou volume), soit indirectement (absorption
colorimétrique , impédance, etc.) dans une quantité d’échantillon donnée
3.7
étude comparative des méthodes
étude réalisée par le laboratoire organisateur consistant à comparer la méthode alternative
à la méthode de référence
3.8
étude interlaboratoire
validation des performances de la méthode par l’analyse d’échantillons courants dans
plusieurs laboratoires et sous le contrôle du laboratoire organisateur
3.9
laboratoire organisateur
laboratoire ayant l’expérience et les capacités nécessaires pour réaliser l’étude
comparative des méthodes et organiser l’étude interlaboratoire.
NOTE La présence d’un statisticien expérimenté est essentielle pour l’analyse des résultats.
4 Principes généraux de la validation et de la certification des
méthodes alternatives
4.1 Protocole de validation
Le protocole de validation comprend deux étapes :
 une étude comparative (3.7) de la méthode alternative (3.1) par rapport à la méthode
de référence (3.2), réalisée au sein du laboratoire organisateur ;
 une étude interlaboratoire (3.8) de chacune des deux méthodes.
Si nécessaire, ces deux phases peuvent être menées en parallèle.
Les règles techniques de réalisation de l’étude comparative des méthodes et de l’étude
interlaboratoire sont données en 5 et 6, en fonction de la nature qualitative ou quantitative
de la méthode alternative.
Si la méthode alternative a déjà été préalablement validée et si elle est conforme aux
exigences requises par un autre organisme, des règles spécifiques sont définies en
annexe A afin de tenir compte des résultats de cette validation antérieure.
4.2 Principes de la certification
4.2.1 Lorsqu’une certification ultérieure de la méthode alternative est nécessaire, les
deux principes suivants doivent également être appliqués (en sus de 4.1).
Les détails concernant l’organisation de la certification (déroulement de l’étude
comparative des méthodes et de l’étude interlaboratoire, l’ensemble des différents
participants incluant le laboratoire expert – désigné dans la présente norme sous le nom
de laboratoire organisateur, les auditeurs, l’organisme de certification, etc.) sont donnés
par l’organisme de certification [8].
4.2.2 Le fabricant doit appliquer un système qualité couvrant la ligne de production du
produit à certifier, et reposant sur la norme européenne appropriée en matière de
systèmes qualité ou sur une norme internationale équivalente (par exemple EN ISO 9001).
Pour accorder la certification, l’organisme de certification doit tenir compte de l’existence
éventuelle de tout certificat de système de qualité, délivré par un organisme de certification
agréé pour les systèmes qualité.
4.2.3 Une vérification régulière de la qualité de la méthode certifiée doit être effectuée
après que la certification a été délivrée. Un audit doit être réalisé régulièrement pour
vérifier que les exigences suivantes sont respectées :
 les exigences relatives à l’assurance qualité (voir 4.2.1) ;
 les exigences relatives au contrôle de la production du produit (voir 4.2.1).
En plus des exigences générales en matière de système qualité relatives à la norme
européenne ou internationale appropriée, le fabricant soumet régulièrement à l’organisme
de certification une documentation mise à jour qui tient compte des modifications
apportées au produit ou au processus de fabrication, modifications susceptibles d’influer
sur les instructions relatives à l’utilisation de la méthode et/ou aux performances de cette
dernière. L’organisme de certification décide alors si ces modifications affectent la
certification.
4 © ISO 2003 – Tous droits réservés

5 Méthodes qualitatives – Protocole technique de validation
5.1 Etude comparative des méthodes
5.1.1 Exactitude relative, spécificité relative et sensibilité relative
5.1.1.1 Termes et définitions
Pour les besoins de la présente norme européenne, les termes et définitions suivantes
s’appliquent :
5.1.1.1.1 Exactitude relative (AC)
Niveau de correspondance entre la réponse obtenue avec la méthode de référence et la
1)
réponse obtenue avec la méthode alternative sur des échantillons identiques .(voir en
5.1.1.3.1).
NOTE Le terme de "exactitude relative" utilisé dans ce contexte vient compléter « l’exactitude »
et la « justesse » définies dans les ISO 5725-1 et ISO 3534-1. Ces dernières définissent l’exactitude
comme « l'étroitesse de l'accord entre le résultat d’essai et la valeur de référence acceptée », et la
justesse comme « l'étroitesse de l'accord entre la valeur moyenne obtenue à partir d’une large série
de résultats d’essai et la valeur de référence acceptée ». Pour les besoins de la présente norme, la
valeur de référence acceptée est choisie comme étant la valeur obtenue par la méthode de
référence. Le terme « relatif » implique donc que la méthode de référence ne fournit pas
automatiquement la valeur de référence acceptée.
5.1.1.1.2 Déviation positive (PD)
La méthode alternative présente une déviation positive si elle donne un résultat positif
lorsque la méthode de référence donne un résultat négatif.
Une déviation positive devient un faux résultat positif lorsqu'il peut être démontré que le
vrai résultat est négatif.
Une déviation positive est considérée comme vrai positif lorsqu'il peut être démontré que
le vrai résultat est positif.
5.1.1.1.3 Déviation négative (ND)
La méthode alternative présente une déviation négative si elle donne un résultat négatif
lorsque la méthode de référence donne un résultat positif.
Une déviation négative devient un faux résultat négatif lorsqu'il peut être démonté que le
vrai résultat est positif.
1)
Difficile à réaliser si les étapes de préenrichissement sont différentes.
5.1.1.1.4 Sensibilité relative (SE)
Capacité de la méthode alternative à détecter l'analyte lorsque la méthode de référence le
détecte (voir 5.1.1.3.1).
5.1.1.1.5 Spécificité relative (SP)
Capacité de la méthode alternative à ne pas détecter l'analyte lorsque la méthode de
référence ne le détecte pas. (voir 5.1.1.3.1).
5.1.1.2 Protocole de mesure
5.1.1.2.1 Echantillons d’aliments
Il est très important de trouver des échantillons d’aliments naturellement contaminés par
l’analyte à mesurer pour la validation.
Si l’on cherche à valider la méthode pour tous les aliments, étudier 5 catégories d’aliments.
Ce nombre peut être ramené à 1, 2, 3 ou 4 catégories si la validation de la méthode
alternative est limitée à ces catégories, à la demande du fabricant. Les catégories
recommandées sont énumérées en annexe B.
Les échantillons environnementaux peuvent être inclus comme une catégorie. Les
échantillons vétérinaires peuvent être traités comme un autre catégorie (voir annexe B).
Il est recommandé que l'origine des échantillons d’aliments soit la plus variée possible afin
de limiter les erreurs systématiques liées aux spécialités alimentaires locales et élargir la
plage de validation.
Dans le cadre de l’analyse d’échantillons naturellement contaminés, il convient que la
plage et la répartition de la contamination des échantillons soient représentatives des
niveaux normalement relevés dans ces produits, en se concentrant cependant sur les plus
petits nombres.
S’il est impossible de réunir un nombre suffisant d’aliments naturellement contaminés dans
chacune des catégories, il est autorisé de recourir à la contamination artificielle
d’échantillons d’aliments. Il convient que la méthode et les niveaux de contamination
permettent d’obtenir des échantillons dont le comportement soit identique à celui des
échantillons naturellement contaminés. Voir les méthodes d’ensemencement et les
restrictions en annexe C.
5.1.1.2.2 Nombre d’échantillons
Le nombre total de prises d’essai à analyser est de 60 par catégorie d’aliments choisie
dans les catégories proposées en annexe B. Au sein de chaque catégorie, sélectionner
des types d’aliments représentatifs et analyser 20 prises d’essai à la fois par la méthode
proposée et par la méthode de référence afin d’obtenir au moins 60 résultats par catégorie
et par méthode. Les échantillons de types d’aliments naturellement contaminés doivent
6 © ISO 2003 – Tous droits réservés

être préparés selon le protocole donné en annexe D. Pour les échantillons de types
d’aliments artificiellement contaminés, ajuster le niveau des ensemencements afin
d’obtenir un taux de récupération positif des prises d’essai analysées par au moins une
des méthodes. Le taux de récupération est considéré comme atteint quand un certain
nombre de prises d’essai, pas la totalité, est déterminé comme étant positif par l’une ou les
deux méthodes (méthode de référence et méthode alternative).
Il est préférable d’obtenir environ 50 % de résultats positifs et 50 % de résultats négatifs.
Ceci n’est toutefois qu’une recommandation et non un pourcentage fixe à condition que
certaines prises d’essai soient positives et d’autres négatives pour le même type
d’aliments.
5.1.1.2.3 Préparation de l’échantillon pour essai
Dans la mesure du possible, les méthodes de référence et alternative doivent être
réalisées avec exactement le même échantillon.
Donc, si la première étape des deux méthodes est la même (par exemple même bouillon
de préenrichissement), réaliser la réplication lors de la deuxième étape (cas 1, annexe D).
Si tel n’est pas le cas, c’est-à-dire lorsque les premiers milieux de culture, la méthodologie
ou les dilutions diffèrent, préparer en double des prises d’essai à analyser. Pour ces types
de préparation, il existe deux méthodologies primaires.
Dans le premier cas, mélanger deux fois la masse de l’échantillon à une masse/volume
égale d’eau stérilisée ou d'un autre diluant approprié et homogénéiser de façon
appropriée. Diviser ensuite l’échantillon en deux parts, en prenant particulièrement soin
d’augmenter la concentration de l’enrichissement primaire du milieu (d’environ 10 %) afin
de compenser les effets de dilution de l’étape d’homogénéisation (cas 2, annexe D).
Dans le second cas, ensemencer directement le type d’aliment avec une culture de départ
suffisante pour permettre un taux de récupération des microorganismes dans les prises
d’essai analysées à l’aide d’au moins une des deux méthodes, une fois les
microorganismes bien répartis dans le type d’aliment. Peser ensuite 25 g de prise d’essai
et suivre le protocole décrit en annexe D. Cette façon de faire peut être préférable pour les
produits liquides mais acceptable pour tout autre type d’aliment pour peu que l’aliment ait
été convenablement homogénéisé.
5.1.1.3 Calcul et interprétation
5.1.1.3.1 Traitement des données
Répertorier sous forme de tableau les couples de résultats obtenus avec les méthodes
alternative et de référence et calculer les paramètres suivants pour chaque catégorie
d’aliments (60 échantillons), conformément au Tableau 1.
Tableau 1 — Couples de résultats des méthodes de référence et alternative
Réponses Méthode de référence Méthode de référence
positive (R+) négative (R-)
Méthode alternative positive (A+) accord positif +/+ (PA) déviation positive -/+ (PD) (R-/
A+)
Méthode alternative négative (A-) déviation négative +/- (ND) accord négatif -/- (NA)
(A-/ R+)
Le nombre de résultats négatifs obtenus avec la méthode de référence et utilisés pour les
calculs ne doit pas être supérieur au double du nombre de résultats positifs. Si nécessaire,
les résultats négatifs sélectionnés sont ceux qui suivent immédiatement un résultat positif,
dans l’ordre d’analyse des échantillons.
Exprimer les trois critères de la manière suivante :
()PA + NA
 exactitude relative : AC = 100 % ;·
N
NA
 SP = % ;
spécificité relative :·100
N -
PA
 sensibilité relative : SE = 100 %.·
N +
où
N est le nombre total d’échantillons (NA + PA + PD +ND) ;
N- est le nombre total de résultats négatifs obtenus avec la méthode de
référence (NA + PD) ;
N+ est le nombre total de résultats positifs obtenus avec la méthode de référence
(PA + ND).
5.1.1.3.2 Intervalles de confiance
La méthode de calcul des intervalles de confiance associés au nombre d’échantillons
soumis à l'essai figure en annexe E.
5.1.1.3.3 Résultats discordants
Etudier les résultats discordants, comme décrit en annexe F (Test de Nc Nemar), à l’aide
du décompte de PD et de ND (voir en 5.1.1.3.1).
8 © ISO 2003 – Tous droits réservés

Quand les valeurs de PD et ND sont élevées et quasiment équivalentes, aucune différence
statistique entre les deux méthodes ne peut être mise en évidence par l’utilisation du test
Nc Nemar. Dans ce cas, le laboratoire organisateur doit porter une attention particulière
quant à la raison de ces valeurs de PD et ND élevées. De plus, il est montré que
l’exactitude relative de la méthode ne doit jamais être interprétée en tenant compte
uniquement du test de Nc Nemar.
5.1.1.3.4 Résumé des calculs
Tous les calculs doivent être récapitulés dans le Tableau 2 .
Tableau 2 — Calcul de l'exactitude relative, de la sensibilité relative et de la
spécificité relative
Exactitude Sensibilité Spécificité
relative relative relative
Matrices PA NA ND PD Somme N+ N-
AC (%) SE (%) SP (%)
100·()PA +NA 100·PA 100·NA
N PA + ND NA+PD
N N + N-
Cat. d’alim. 1
Cat. d’alim. 2
Cat. d’alim. 3
Cat. d’alim. 4
Cat. d’alim. 5
TOTAL
5.1.1.3.5 Interprétation
Un tableau présentant les résultats bruts (c’est-à-dire tous les résultats positifs et négatifs,
Tableau 1) doit être fourni.
La capacité de la méthode alternative à donner un nombre de résultats positifs supérieur
ou inférieur à la méthode de référence est évaluée, en tenant compte du nombre de
déviations positives et du nombre de déviations négatives.
Le rapport de l’étude doit présenter de manière distincte les résultats obtenus sur des
échantillons naturellement et artificiellement contaminés.
Le mode opératoire de contamination artificielle des échantillons pour essai doit être décrit
dans le rapport de l’étude.
Des données publiées par d’autres sources et conformes aux conditions décrites à
l’annexe A peuvent être utilisées pour procéder à l’évaluation de l'exactitude relative.
5.1.2 Niveau de détection relatif
5.1.2.1 Définition
Pour les besoins de la présente norme, le niveau de détection relatif correspond au
nombre le plus petit de microorganismes cultivables (3.4) qu'il est possible de détecter
dans l'échantillon, avec une probabilité de 50 %, à l'aide des méthodes alternative et de
référence.
5.1.2.2 Protocole de mesure
Soumettre à l'essai ce qui suit :
 utiliser un produit alimentaire de chacune des catégories choisies en 5.1.1.2.1 en
fonction du domaine d’application de la validation (voir annexe B) ;
 utiliser 5 (ou moins, dépendant du domaine d’application de la validation)
microorganismes cible différents, chacun d'eux étant associé à une catégorie
d'aliments, si possible. (Voir annexe G.1 pour la définition du microorganisme cible) ;
 utiliser de préférence 5 niveaux (au minimum 3) d'un microorganisme cible par
aliment, plus le contrôle négatif, etc. Le premier niveau doit être le niveau de contrôle
négatif. Le second niveau doit être le niveau de détection théorique. Le troisième
niveau doit se situer juste au-dessus du seuil de détection théorique et tout autre
niveau doivent être plus élevés que le précédent. Dans les niveaux supérieurs, il est
possible d'appliquer un facteur de 3 entre chaque niveau de concentration ;
 répliquer chaque combinaison (aliment, niveau de contamination) 6 fois avec la
méthode alternative et avec la méthode de référence. Continuer la réplication jusqu’au
niveau de séparation des deux méthodes, comme illustré à l'annexe D. Donc, si la
première étape de chaque méthode est identique (par exemple même bouillon de
préenrichissement), effectuer la réplication à la deuxième étape (cas 1, annexe D). Si
ce n'est pas le cas, c'est-à-dire si les premiers milieux de culture, la méthodologie ou
les dilutions sont différents, mélanger deux fois le volume de l'échantillon à une
masse/volume égale d'eau stérilisée ou autre diluant approprié puis séparer le tout en
deux parts ;
 appliquer l'intégralité de la méthode alternative et de la méthode de référence, y
compris la préparation de l'échantillon. L'ensemencement de chaque échantillon
d'aliment peut être effectué avant l'ajout de l'échantillon au milieu de culture, ou après.
Afin de garantir une meilleure précision du niveau d'inoculum le plus faible, augmenter, si
nécessaire, la quantité de l'échantillon d'aliment. Par exemple, 75 g d'échantillon d'aliment
contaminés par 3 cellules au lieu de 25 g contaminés par une cellule.
Plus le nombre de niveaux d'inoculum utilisés est élevé, plus la détermination du seuil de
détection est précise.
10 © ISO 2003 – Tous droits réservés

5.1.2.3 Calcul
Pour chaque niveau Li (i = 0 à 3) et chaque combinaison aliment / souche (j = 1 à 5),
comparer les deux méthodes comme indiqué au Tableau 3 :
Tableau 3 —Calcul du niveau de détection relatif
Résultats
Positifs (+) Total
Négatifs (-)
Méthode Référence a n – a n=6
Alternative b n – b n=6
Total a + b 2n - (a + b) 2n=12
Pour les petits tableaux de 2 sur 2, réaliser des tests de Fisher exacts [8].
Comparaisons
Plutôt que de comparer uniquement les deux méthodes pour chaque niveau et chaque
aliment / souche, il est possible d'utiliser le même test pour comparer 2 aliments /
souches de même niveau.
Si les aliments / souches semblent comparables, on peut effectuer le même test avec
n > 6 en regroupant les aliments / souches pour chaque niveau L .
i
Il est également possible de regrouper les niveaux pour effectuer des vérifications, mais en
utilisant l'ordre de classement : L +L , L +L +L , L +L , L +L +L +L , L +L +L , L +L …
0 1 0 1 2 1 2 0 1 2 3 1 2 3 2 3
en regroupant ou non les aliments / souches.
Indiquer toutes les différences significatives entre les méthodes, les aliments / souches et /
ou les niveaux.
5.1.2.4 Interprétation
L'interprétation doit être réalisée par le laboratoire organisateur chargé de l'étude
comparative des méthodes.
Le niveau de détection relatif s’étend entre deux niveaux de contamination donnant
respectivement plus ou moins 50 % du niveau de détection. Le niveau de détection relatif
s’exprime donc comme un intervalle.
5.1.3 Inclusivité et exclusivité
5.1.3.1 Définition
L'inclusivité est la capacité de la méthode alternative à détecter l'analyte cible à partir d'un
large éventail de souches.
L'exclusivité est l’absence d'interférences par un éventail approprié de souches non cibles
de la méthode alternative.
5.1.3.2 Protocole de mesure
5.1.3.2.1 Sélection des souches d'essai
5.1.3.2.1.1 Généralités
Pour les microorganismes, un éventail de souches est choisi pour éviter toute erreur
systématique locale.
Les critères de sélection des souches d'essai sont indiqués en annexe G.
Chaque souche doit être suffisamment caractérisée au niveau biochimique, sérologique et
éventuellement génétique, pour que son identité soit sûre ; il convient, de préférence,
d’isoler cette souche de l’aliment. Le produit alimentaire dont elle a été isolée doit
également être connu et enregistré.
5.1.3.2.1.2 Microorganismes cibles
Choisir un minimum de 50 cultures pures de microorganismes appropriés à la méthode
alternative et au produit alimentaire utilisé (voir annexe G.3), à l’exception des Salmonella.
Pour les Salmonella, choisir au moins 30 cultures pures de microorganismes.
5.1.3.2.1.3 Microorganismes non cible
Choisir au moins 30 cultures pures de microorganismes choisis parmi les souches
connues pour interférer avec le microorganisme cible et parmi les souches naturellement
présentes dans les produits alimentaires d'essai pris en compte dans la validation
(annexe G.4).
12 © ISO 2003 – Tous droits réservés

5.1.3.2.2 Ensemencement
5.1.3.2.2.1 Généralités
Effectuer chaque essai une fois. L'ensemencement du milieu de croissance s'effectue à
l'aide d'une dilution d'une culture pure de chaque souche d'essai. Aucun échantillon
d'aliment n'est ajouté.
5.1.3.2.2.2 Microorganismes cible
Le niveau d'inoculum doit être égal à 10 fois à 100 fois le niveau de détection relatif
minimal de la méthode alternative et le protocole complet de la méthode alternative doit
être utilisé, y compris le préenrichissement si nécessaire. Lorsque de faux négatifs ou des
résultats douteux sont obtenus, la souche doit être soumise une fois de plus à des essais
avec la méthode de référence.
5.1.3.2.2.3 Microorganismes non cible
Le niveau d'inoculum d'une souche doit être proche du niveau de contamination le plus
élevé prévu dans toutes les catégories d'aliments utilisées.
Etablir l’exclusivité. Si le milieu nutritif final du milieu de culture est un bouillon sélectif, le
remplacer par un bouillon approprié non sélectif. Lorsque la méthode alternative donne
des résultats positifs ou douteux avec les microorganismes non cibles, l'essai doit être
répété en suivant le protocole complet. La méthode de référence doit être réalisée une fois
seulement.
5.1.3.3 Expression des résultats
Présenter les résultats sous forme de tableau conformément au Tableau 4.
Tableau 4 — Présentation des résultats de sélectivité
Résultats
Microorganismes
Méthode de référence Méthode alternative
Résultat attendu Résultat obtenu Résultat attendu Résultat obtenu
Souches cible
etc.
Souches non cible
etc.
5.1.3.4 Interprétation
L'interprétation doit être réalisée par le laboratoire chargé de l'étude comparative des
méthodes, les aspects quantitatifs et qualitatifs (c'est-à-dire pathogénicité, prévalence,
aspects de la culture des souches d'essai, par exemple motilité, sensibilité aux agents
défavorables, etc.) devant être pris en compte.
Le laboratoire chargé de l'étude comparative des méthodes peut également utiliser
d'autres données publiées sur la méthode alternative et conformes aux exigences de la
présente EN ISO 16140, afin de fournir de plus amples informations sur les critères ci-
dessus. (voir annexe A pour les critères d'acceptation des résultats externes).
5.2 Etude interlaboratoire
NOTE L'objectif de l'étude collaborative est de déterminer la variabilité des résultats obtenus
dans différents laboratoires utilisant des échantillons identiques, et de comparer ces résultats à ceux
obtenus dans le cadre de l'étude comparative des méthodes.
5.2.1 Protocole de mesure
5.2.1.1 L'étude interlaboratoire doit présenter au minimum 10 laboratoires
collaborateurs dont les résultats ne présentent aucune valeur aberrante.
Les lignes directrices et les exigences relatives à l'organisation, à la répartition et à la
gestion des études interlaboratoires sont indiquées en annexe H.
Il est nécessaire que l'analyste de chaque laboratoire collaborateur fasse la preuve de ses
compétences quant à l'utilisation de la méthode alternative et de la méthode de référence
pour pouvoir participer à l'étude.
14 © ISO 2003 – Tous droits réservés

5.2.1.2 Le protocole est le suivant :
 une matrice d'aliment appropriée (voir annexe B) est utilisée pour préparer les
échantillons d'essai ;
 le protocole de contamination artificielle de l'échantillon d'aliment doit convenir au
substrat d'aliment choisi. Chaque échantillon doit être ensemencé individuellement.
Chaque réplicat en aveugle doit être préparé de façon à assurer une homogénéité
entre échantillons par ensemencement individuel de chacun d’entre eux. Un nombre
approprié d’échantillons doit être analysé afin de déterminer l’homogénéité (voir
annexe H) ;
 un minimum de 3 niveaux de contamination différents doit être utilisé : un contrôle
négatif (L ), un niveau légèrement supérieur au niveau de détection relatif de la
méthode alternative (L ), et un niveau égal à 10 fois environ le niveau de détection
(L ) (par exemple 0, 3 et 30 cellules / 25g) ;
 au moins 8 réplicats en aveugle de chaque niveau de contamination sont analysés
avec la méthode de référence et avec la méthode alternative dans chacun des
laboratoires collaborateurs ;
 une suspension de chaque échantillon dans sa totalité est préparée en vue de
l’analyse ;
 l'analyse des échantillons doit être réalisée dans chaque laboratoire à la date
stipulée ;
 les échantillons pour essai sont cultivés comme indiqué à l'annexe J. Ainsi, si la
première étape de culture est commune aux méthodes alternative et de référence,
utiliser cette culture pour l'ensemencement lors des étapes suivantes (cas 1,
annexe J). Si les cultures primaires des deux méthodes sont différentes, procéder à
une réplication en préparant chaque méthode individuellement (cas 2, annexe J) ;
 dans un cas comme dans l'autre, la combinaison "nombre de niveaux de
contamination / nombres de réplications / nombre de laboratoires sans valeur
aberrante" doit être choisie pour que 480 résultats (240 par méthode) au moins
soient obtenus et puissent être utilisés pour les calculs.
5.2.1.3 Le laboratoire organisateur exploitant toutes les données consignées
(voir H.3) doit déterminer quels résultats sont corrects et lesquels sont des valeurs
aberrantes pour le calcul des données de fidélité. Voir l'annexe K pour les lignes
directrices définissant les conditions microbiologiques de rejet des données.
AVERTISSEMENT — Valeurs aberrantes : Ne pas exclure les résultats de laboratoire
s'il n'y a pas d'explication claire ou d'erreur grossière pour les expliquer.
5.2.2 Calcul
5.2.2.1 Classer les résultats positifs obtenus à chaque niveau par chacune des
méthodes comme illustré au Tableaux 5 et 6.
Tableau 5 — Résultats positifs obtenus avec la méthode de référence
Niveau de contamination
Laboratoires
L L L
0 1 2
Laboratoire 1 / 8 / 8 / 8
Laboratoire 2 / 8 / 8 / 8
Laboratoire 3 / 8 / 8 / 8
Etc. / 8 / 8 / 8
a b c
Total
FP TP TP
1r 2r
a
Faux positif obtenu avec la méthode de référence.
b
Vrai positif obtenu au niveau 1 avec la méthode de référence.
c
Vrai positif obtenu au niveau 2 avec la méthode de référence.
Tableau 6 — Résultats positifs obtenus avec la méthode alternative
Laboratoires Niveau de contamination
L L L
0 1 2
Laboratoire1 / 8 / 8 / 8
Laboratoire 2 / 8 / 8 / 8
Laboratoire 3 / 8 / 8 / 8
Etc. / 8 / 8 / 8
a b c
Total
FPa TP1a TP2a
a
Faux positif obtenu avec la méthode alternative.
b
Vrai positif obtenu au niveau 1 avec la méthode alternative.
c
Vrai positif obtenu au niveau 2 avec la méthode alternative
16 © ISO 2003 – Tous droits réservés

5.2.2.2 Calculer le pourcentage de spécificité SP pour le niveau L et pour chaque
méthode à l'aide de l'équation (1) :
 FP 
 
 
SP= 1- ·100 %
 
N-ŁłŁł
où
N - est le nombre total de tous les essais L ;
FP est le nombre de faux positifs.
5.2.2.3 Calculer le pourcentage de sensibilité SE pour chaque niveau de
contamination positif et chaque méthode à l'aide de l'équation (2) :
TP
SE =·100 %
N +
où
N+ est le nombre total des essais L ou L respectivement ;
1 2
TP est le nombre de vrais positifs.
5.2.2.4 Comparer la méthode alternative et la méthode de référence pour chaque
niveau de contamination et pour la totalité des résultats afin de calculer l'exactitude relative
et d'étudier les résultats discordants.
Les couples de résultats d'un échantillon mesuré avec la méthode alternative et la
méthode de référence doivent être consignés comme illustré au Tableau 7.
Tableau 7 — Couples de résultats de la méthode alternative et de la méthode de
référence dans le cadre de l'étude interlaboratoire
Méthode de référence
Méthode alternative Total
+-
+PA PD
-ND NA
Total N+ N- N
Calculer l'exactitude relative AC, exprimée en pourcentage, à l'aide de l'équation (3) :
( PA + NA )
AC 100 %
=·
N
où
N est le nombre d'échantillons soumis à essai (pour le niveau L ou tous les
i
niveaux) ;
PA est le nombre d’accords positifs ;
NA est le nombre d’accords négatifs.
5.2.2.5 Calculer les intervalles de confiance pour chaque proportion (voir 5.1.1.3.2).
5.2.2.6 Etudier les résultats discordants comme indiqué en annexe F, en utilisant les
décomptes de PD et de ND (voir Tableau 8).
5.2.3 Interprétation
Comparer AC (Tableau 7), SE et SP (Tableaux 5 et 6) avec leurs valeurs correspondantes,
obtenues dans le cadre de l'étude comparative, y compris pour les échantillons
naturellement contaminés et le niveau de détection relatif.
Ces critères ne traitent pas réellement de la variabilité de la méthode au sein d’un
laboratoire et entre laboratoires (notions de répétabilité et de reproductibilité). L’annexe L
introduit des critères supplémentaires (degré d’accord, concordance et odds ratio) qui
peuvent aider à approcher cette variabilité (les critères de répétabilité et de reproductibilité
ont été définis pour les méthodes quantitatives et ne peuvent pas être utilisés tels quels
pour les méthodes qualitatives).
6 Méthodes quantitatives – Protocole technique de validation
6.1 Généralités
Les dénombrements de colonies dans un échantillon donné constituent le résultat le plus
courant des méthodes quantitatives de référence et il convient de consigner toutes les
informations ( poids de l'échantillon, séries de dilution, volume d'inoculum et
dénombrements de colonies à chaque dilution). En microbiologie, ces données discrètes
sont souvent tronquées, par exemple en ne dénombrant que les plaques qui ne
contiennent pas plus de 300 colonies ; on les multiplie ensuite par un facteur d'expansion ,
inverse du coefficient de dilution, pour obtenir le résultat. Pour cette raison ainsi que pour
d'autres facteurs impliquant le processus de croissance des microorganismes et en vue
d’obtenir une distribution symétrique quasi normale, les données de dénombrement sont
souvent transformées à l'aide d'un logarithme ou d'une racine carrée. Cette transformation
peut être vérifiée à l'aide d'histogrammes impliquant de nombreuses données (30 ou plus),
toutes obtenues dans les mêmes conditions.
18 © ISO 2003 – Tous droits réservés

-
...