ISO 16140-2:2016

Microbiology of the food chain - Method validation - Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method

ISO 16140-2:2016 specifies the general principle and the technical protocol for the validation of alternative, mostly proprietary, methods for microbiology in the food chain. Validation studies according to ISO 16140-2:2016 are intended to be performed by organizations involved in method validation. It is applicable to the validation of methods for the analysis (detection or quantification) of microorganisms in - products intended for human consumption, - products intended for animal feeding, - environmental samples in the area of food and feed production, handling, and - samples from the primary production stage. It is in particular applicable to bacteria and fungi. Some clauses of ISO 16140-2:2016 could be applicable to other (micro) organisms or their metabolites on a case-by-case-basis. In the future, guidance for other organisms (e.g. viruses and parasites) will be included in ISO 16140:2016 (all parts).

Microbiologie de la chaîne alimentaire — Validation des méthodes — Partie 2: Protocole pour la validation de méthodes alternatives (commerciales) par rapport à une méthode de référence

L'ISO 16140-2 :2016 établit le principe général ainsi que le protocole technique de validation des méthodes alternatives, qui sont pour la plupart commerciales, dans le domaine de la microbiologie de la chaîne alimentaire. Les études de validation conformément à l'ISO 16140-2 :2016 sont destinées à être effectuées par des organismes impliqués dans la validation de méthode. Elle est applicable à la validation de méthodes pour l'analyse (détection ou quantification) de micro-organismes présents dans: - les produits destinés à la consommation humaine, - les produits destinés à l'alimentation animale, - les échantillons environnementaux dans le domaine de la production et de la manutention de produits alimentaires, et - les échantillons au stade de la production primaire. L'ISO 16140-2 :2016 est notamment applicable aux bactéries et aux champignons. Certains paragraphes de l'ISO 16140-2 :2016 peuvent être applicables à d'autres micro-organismes ou à leurs métabolites au cas par cas. À l'avenir, des préconisations concernant d'autres organismes (par exemple, virus et parasites) seront incluses dans l'ISO 16140 (toutes les parties).

General Information

• Status: Published
• Publication Date: 16-Jun-2016
• ICS: 07.100.30 - Food microbiology
• Technical Committee: ISO/TC 34/SC 9 - Microbiology
• Drafting Committee: ISO/TC 34/SC 9/WG 3 - Method validation
• Current Stage: 9093 - International Standard confirmed
• Start Date: 21-Oct-2024
• Completion Date: 13-Dec-2025

Relations

• Amended By: ISO 16140-2:2016/Amd 1:2024 - Microbiology of the food chain - Method validation - Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method - Amendment 1: Revision of qualitative method comparison study data evaluation, relative level of detection calculations in the interlaboratory study, calculation and interpretation of the relative trueness study, and inclusion of a commercial sterility testing protocol for specific products
• Effective Date: 06-Jun-2022
• Revises: ISO 16140:2003/Amd 1:2011 - Microbiology of food and animal feeding stuffs - Protocol for the validation of alternative methods - Amendment 1
• Effective Date: 05-Nov-2015
• Revises: ISO 16140:2003 - Microbiology of food and animal feeding stuffs - Protocol for the validation of alternative methods
• Effective Date: 18-Jul-2009

Overview - ISO 16140-2:2016 (Method validation for microbiology of the food chain)

ISO 16140-2:2016 establishes a harmonized protocol for the validation of alternative (mostly proprietary) microbiological methods against a reference method. It is part of the ISO 16140 series (Microbiology of the food chain - Method validation) and is intended for organizations conducting validation studies. The standard covers both qualitative (detection) and quantitative (enumeration) methods used for microorganisms in foods, feeds, environmental samples in production/processing, and primary production samples. It is especially applicable to bacteria and fungi, with some clauses applicable to other organisms (viruses, parasites) on a case-by-case basis.

Key technical topics and requirements

• Two-phase validation approach
  • Method comparison study (performed in the organizing laboratory)
  • Interlaboratory study (multi-lab evaluation)
• Protocols for qualitative and quantitative methods
  • Qualitative: sensitivity study, Relative Level of Detection (RLOD), inclusivity/exclusivity testing
  • Quantitative: relative trueness, accuracy profile, limit of quantification (LOQ), inclusivity/exclusivity
• Paired vs unpaired study designs
  • Guidance when methods share the same initial test portion (paired) or require separate portions (unpaired)
• Statistical and interpretative tools
  • Use of Acceptability Limits (AL), RLOD models, accuracy profile methodology and interlaboratory variance assessment
• Annexes and supporting guidance
  • Classification of sample types, contamination protocols, strain selection criteria, RLOD calculation models, and worked examples of accuracy profile application

Practical applications - who uses ISO 16140-2:2016

• Method developers validating proprietary rapid tests or novel assays for market adoption
• Independent validation bodies and accredited laboratories conducting method validation studies
• Food and feed industry laboratories assessing alternative methods for routine monitoring and quality control
• Regulators and certification bodies evaluating method performance data for acceptance or recognition
• Researchers and contract testing labs designing comparative studies and interlaboratory trials

Using ISO 16140-2 helps produce reproducible, auditable validation data for adoption of faster or easier alternatives to reference methods, supporting risk-based testing and regulatory acceptance.

Related standards

• ISO 16140-1 - Vocabulary for method validation (normative reference)
• Other parts of ISO 16140 (in preparation): verification, single-lab validation, factorial interlaboratory validation, and validation for confirmation/typing

Keywords: ISO 16140-2:2016, method validation, microbiology of the food chain, alternative methods, proprietary methods, method comparison study, interlaboratory study, RLOD, accuracy profile, inclusivity exclusivity.

Standards Content (Sample)

INTERNATIONAL ISO
STANDARD 16140-2
First edition
2016-06-15
Microbiology of the food chain —
Method validation —
Part 2:
Protocol for the validation of
alternative (proprietary) methods
against a reference method
Microbiologie de la chaîne alimentaire — Validation des méthodes —
Partie 2: Protocole pour la validation de méthodes alternatives
(commerciales) par rapport à une méthode de référence
Reference number
©
ISO 2016
© ISO 2016, Published in Switzerland
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. [phone]
Fax [phone]
[e-mail]
www.iso.org
ii © ISO 2016 – All rights reserved

Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 General principles for the validation of alternative methods . 1
5 Qualitative methods — Technical protocol for validation . 2
5.1 Method comparison study . 2
5.1.1 General considerations . 2
5.1.2 Paired or unpaired study . 2
5.1.3 Sensitivity study . 2
5.1.4 Relative level of detection study . 7
5.1.5 Inclusivity and exclusivity study . 9
5.2 Interlaboratory study .10
5.2.1 General considerations .10
5.2.2 Measurement protocol .10
5.2.3 Calculations and summary of data .12
5.2.4 Interpretation of data .15
6 Quantitative methods — Technical protocol for validation .16
6.1 Method comparison study .16
6.1.1 General considerations .16
6.1.2 Relative trueness study .16
6.1.3 Accuracy profile study.20
6.1.4 Limit of quantification study .24
6.1.5 Inclusivity and exclusivity study .24
6.2 Interlaboratory study .26
6.2.1 General considerations .26
6.2.2 Measurement protocol .26
6.2.3 Calculations, summary, and interpretation of data .27
Annex A (informative) Classification of sample types and suggested target combinations for
validation studies .30
Annex B (normative) Order of preference for use of naturally and artificially contaminated
samples in validation studies .46
Annex C (informative) General protocols for contamination by mixture and artificial
contamination of foods .47
Annex D (informative) Models for RLOD calculations using data from the method
comparison study .50
Annex E (normative) Points to be considered when selecting strains for testing inclusivity
and exclusivity .52
Annex F (informative) Considerations for calculations of the relative level of detection
(RLOD) between laboratories as obtained in an interlaboratory study .54
Annex G (informative) Principle of the accuracy profile for validation of quantitative models .57
Annex H (informative) Application of the accuracy profile in the method comparison study .59
Annex I (informative) Example of the application of the accuracy profile for an
interlaboratory study .62
Bibliography .66
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical
Barriers to Trade (TBT) see the following URL: Foreword - Supplementary Information
The committee responsible for this document is ISO/TC 34, Food products, Subcommittee SC 9,
Microbiology.
This first edition of ISO 16140-2, together with ISO 16140-1, cancels and replaces ISO 16140:2003, which
has been technically revised. It also incorporates the Amendment ISO 16140:2003:Amd.1:2011.
ISO 16140 consists of the following parts, under the general title Microbiology of the food chain —
Method validation:
— Part 1: Vocabulary
— Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method
The following parts are under preparation:
— Part 3: Protocol for the verification of reference and validated alternative methods implemented in a
single laboratory
— Part 4: Protocol for single-laboratory (in-house) method validation
— Part 5: Protocol for factorial interlaboratory validation of non-proprietary methods
— Part 6: Protocol for the validation of alternative (proprietary) methods for microbiological confirmation
and typing
iv © ISO 2016 – All rights reserved

Introduction
Today, many alternative, mostly proprietary, methods exist that are used to assess the microbiological
quality of raw materials and finished products and the microbiological status of manufacturing
procedures. These methods are often faster and easier to perform than the corresponding standardized
method. The developers, end users, and authorities need a reliable common protocol for the validation
of such alternative methods. The data generated will also provide potential end users with performance
data for a given method, thus, enabling them to make an informed choice on the adoption of a particular
method. The data generated can also be the basis for the certification of a method by an independent
organization.
This part of ISO 16140
— is intended to provide a specific protocol and guidelines for the validation of proprietary
methods intended to be used as a rapid and/or easier method to perform than the corresponding
reference method,
— can also be used for the validation of other non-proprietary methods that are used instead of the
reference method,
— is intended as the successor of the validation protocol published in the first version of ISO 16140
(ISO 16140:2003), and
— is mainly written for the validation of methods that are capable of culturing the target microorganism,
but can also be applied to methods for microorganisms that cannot be cultured such as viruses (e.g.
Norovirus) and protozan parasites (e.g. Cryptosporidium or Giardia). In these cases, some wordings
are to be interpreted so as to fit the situation for non-culturable organisms.
The use of this part of ISO 16140 involves expertise on relevant areas such as microbiology, statistical
design, and analysis as indicated in the respective sections. The statistical expertise encompasses
overview of sampling theory and design of experiments, statistical analysis of (qualitative and
quantitative) microbiological data, and overview of statistical concepts on random sampling, sample
heterogeneity, sample stability, design of experiments, and variance components.
When this part of ISO 16140 is next reviewed, account will be taken of all information then available
regarding the extent to which the guidelines have been followed and the reasons for deviation from
them in the case of particular products.
The harmonization of validation methods cannot be immediate and for certain groups of products,
International Standards and/or national standards may already exist that do not comply with this part
of ISO 16140. It is hoped that when such standards are reviewed, they will be changed to comply with
ISO 16140 so that eventually, the only remaining departures from this part of ISO 16140 will be those
[3]
necessary for well-established technical reasons. For example, ISO 16297 deals with a very specific
validation for a specific subject (the hygienic status of raw milk samples) and will remain as a vertical
standard besides ISO 16140. If such a validation is needed, the vertical standard is more important.
INTERNATIONAL STANDARD ISO 16140-2:2016(E)
Microbiology of the food chain — Method validation —
Part 2:
Protocol for the validation of alternative (proprietary)
methods against a reference method
1 Scope
This part of ISO 16140 specifies the general principle and the technical protocol for the validation
of alternative, mostly proprietary, methods for microbiology in the food chain. Validation studies
according to this part of ISO 16140 are intended to be performed by organizations involved in method
validation.
This part of ISO 16140 is applicable to the validation of methods for the analysis (detection or
quantification) of microorganisms in
— products intended for human consumption,
— products intended for animal feeding,
— environmental samples in the area of food and feed production, handling, and
— samples from the primary production stage.
This part of ISO 16140 is in particular applicable to bacteria and fungi. Some clauses of this part of
ISO 16140 could be applicable to other (micro) organisms or their metabolites on a case-by-case-basis.
In the future, guidance for other organisms (e.g. viruses and parasites) will be included in either this
part or a separate part of ISO 16140.
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated
references, the latest edition of the referenced document (including any amendments) applies.
ISO 16140-1, Microbiology of the food chain— Method validation — Part 1: Vocabulary
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 16140-1 apply.
4 General principles for the validation of alternative methods
The validation protocol comprises two phases:
— a method comparison study of the alternative (proprietary) method against the reference method
carried out in the organizing laboratory;
— an interlaboratory study of the alternative (proprietary) method against the reference method
carried out in different laboratories.
The technical rules for performing the method comparison study and the interlaboratory study are
given in Clause 5 and Clause 6, depending upon whether the alternative (proprietary) method is
qualitative or quantitative in nature. The data generated in some parts of the validation study are
evaluated using the so-called Acceptability Limits (AL) and no statistical evaluation of the data are
conducted. These AL are based on experts’ opinion and data generated in existing validation studies.
5 Qualitative methods — Technical protocol for validation
5.1 Method comparison study
5.1.1 General considerations
The method comparison study is the part of the validation process that is performed in the organizing
laboratory. It consists of three parts namely the following:
— a comparative study of the results of the reference method to the results of the alternative method
in (naturally and/or artificially) contaminated samples (so-called sensitivity study);
— a comparative study to determine the relative level of detection (RLOD) in artificially contaminated
samples (so-called RLOD study);
— an inclusivity/exclusivity study of the alternative method.
The results (tables and calculations) of the different parts and the interpretation of the results, including
discrepant results, shall be given in a study report.
Test portions size shall be used as written in the reference method.
5.1.2 Paired or unpaired study
The reference and alternative methods shall be performed with, as far as possible, exactly the same
sample (same test portion). However, a distinction is made between studies where the same test portion
can be used for both the reference and the alternative method due to both methods having exactly the
same first step in the (enrichment) procedure and those where different test portions need to be used
for the reference and the alternative method (e.g. due to different enrichment broths). In the case where
the same test portion is used for both methods, the results from both methods are highly related to
each other. For example, when the sample is not contaminated, both methods should find the result of
that sample negative. Due to this relationship, the data produced by the reference and the alternative
method are named paired or matched. In this part of ISO 16140, the wording “paired study” will be
used for this type of study.
The opposite situation where there is no shared initial (enrichment) step for both the reference and
the alternative method is also possible. In this case, different test portions coming from the same batch
or lot of product have to be used for the two methods and the resulting data are named unpaired or
unmatched. In this part of ISO 16140, the word “unpaired study” will be used for this type of study. The
choice of having a paired study or an unpaired study depends on the protocols of the reference and
alternative method. If there is a common initial step in the (enrichment) procedures, a paired study
design is mandatory.
This clause describes the method comparison study if the reference and alternative method have a
joint initial step in the (enrichment) procedures (paired study) and if the reference and alternative
method do not have a joint initial (enrichment) step (unpaired study). Differences between both types
of studies are indicated in the text where appropriate.
5.1.3 Sensitivity study
The sensitivity study aims to determine the difference in sensitivity between the reference and the
alternative method. This study is conducted using naturally and/or artificially contaminated samples.
Different categories and types shall be tested for this. Acceptability Limits have been defined for the
2 © ISO 2016 – All rights reserved

maximum acceptable difference depending on the type of study (paired/unpaired) and the number of
categories tested.
5.1.3.1 Selection of categories to be used
The selection of categories and types used within the validation will depend on the type or group of
microorganism and the scope of the validation.
If the method is to be applied for a broad range of foods, then at least five categories of food shall be
studied. The validation study report shall state the food categories used in the study. If the method
is to be validated for a restricted number of food categories, e.g. “ready-to-eat, ready-to-reheat meat
products”, and “heat-processed milk and dairy products”, then only these categories need to be studied.
In addition to food, feed samples, environmental samples, and primary production stage samples can be
included as additional categories. This will broaden the application of the use of the alternative method
for these additional categories.
For all selected categories (food and others), at least three different types per category shall be
included in the study. Annex A presents an overview of the relevant types and categories for specific
microorganisms that might be relevant for the validation. Annex A should be used to facilitate the
selection of categories, types, and items for the specific microorganism involved. It should not be
regarded as a mandatory choice.
When selecting samples for the study, it is of the highest priority to find those that are naturally
contaminated. If it is not possible to acquire a sufficient number of naturally contaminated samples,
artificial contamination of samples is permissible (see Annex B and Annex C). Details on the preparation
of the artificially inoculated samples should be given in the validation study report. It is desirable that
food samples come from as wide a distribution as possible in order to reduce any bias from local food
specialities and to broaden the range of validation.
It shall be ensured that with the selection of the different types, both high and low (natural) background
microflora, different types of stresses due to processing, and raw (unprocessed) items are included in
the study.
EXAMPLE For the validation of a method for detection of Listeria monocytogenes and the category “ready-
to-eat, ready-to-reheat meat products”, the types can be (1) cooked meat products (lower background flora, heat
stress), (2) fermented or dried meat products (high background flora, pH stress), and (3) raw cured (smoked)
(a <0,92) (intermediate background flora, a stress).
w w
In some cases, for example, for an alternative method that is applicable for a broad range of foods, it is
possible to combine the “ready-to-eat” and “raw” categories from the same product group. For example,
the categories raw and ready-to-eat meat (products) can be combined into one category having
three types divided over relevant raw and ready-to-eat food types. The selection of (combined) food
categories should be based on risk analysis.
5.1.3.2 Number of samples
For each category being examined, a minimum of 60 individual samples shall be tested made up of
at least three types with at least 20 samples representative for each type (three types × 20 samples
for each type = 60 samples). Fractional positive results by either the reference or alternative method
(i.e. samples should not be all positive or all negative) shall be obtained for each type tested. In the
ideal situation, 10 samples (50 %) tested per type should be positive and 10 negative, but should range
between 25 % and 75 %. For each category, at least 30 samples shall have a positive result by the
reference and/or the alternative method.
5.1.3.3 Alternative-method result and confirmation
Many alternative-method protocols contain two steps, the first being the enrichment and detection
step and the second being the confirmation of the detection result from step one. The end result
of the alternative method is the result after step two. The end result will be the same as the result
after enrichment and detection in case there is no confirmation step included in the protocol of the
alternative method.
The (end) result of the alternative method shall be confirmed for the sensitivity study part. All results
obtained with the alternative method in an unpaired study shall be confirmed. In a paired study, only
the positive results obtained with the alternative method, for which the corresponding result with the
reference method was negative, shall be confirmed. This confirmation is needed to determine whether
the result is a true-positive or false-positive result. The confirmation test or tests shall be able to recover
and confirm the identity of the isolate as being the target of the method. These test(s) can be based on
the confirmation procedure of the reference method, the confirmation step of the alternative method
in case this procedure is able to isolate and confirm the identity of the target analyte, a combination of
both, or by any other means that is able to isolate and confirm the identity of the target analyte.
If the enrichments of the reference and alternative methods differ in terms of the number of enrichments
(i.e. primary/non-selective and secondary/selective) or total duration of incubation, an additional
confirmation pathway is necessary for the validation study. The first pathway shall be that to be used
with the alternative method according to its procedure/instructions (regular testing conditions by the
alternative method according to the kit insert procedure; this does not include the complementary tests
which can be performed during the validation study). The second pathway shall divert a portion of the
alternative method’s incubated enrichment to that of the reference method such that at minimum, the
total duration of incubation of the reference method enrichment(s) is/are respected. The results of the
two confirmation pathways are to be reported separately.
5.1.3.4 Calculation and interpretation for sensitivity
In general, the data shall be presented in a report in order to have an overview of the raw data
obtained. Information shall be given on the type of contamination (naturally contaminated or
artificially contaminated) of the samples used, the type of study design that was used (e.g. paired
study or unpaired study), and the confirmation test(s) used to confirm the alternative-method result.
For artificially contaminated samples, the (reference to the) procedure used for preparation shall be
specified (see also Annex C).
The results obtained for the reference and alternative methods originating from the same sample,
meaning from one test portion in case of a paired study or two test portions in case of an unpaired
study, shall be described for a paired study according to Table 1 and for an unpaired study according
to Table 2. Table 3 is prepared for the summarized sample results for all categories per category (≥60
samples) and per type (≥20 samples) for both a paired and unpaired study.
4 © ISO 2016 – All rights reserved

Table 1 — Comparison and interpretation of sample results between the reference and
alternative methods for a paired study
Result of the (reference or alternative) method per sample
Reference Alternative method Confirmed Interpretation
method (including any confirmations alternative (based on the confirmed
as described in the method alternative-method result)
a
alternative-method protocol) (by any means)
b
+ + Not needed Positive Agreement (PA)
b
- - Not needed Negative Agreement (NA)
Negative Deviation due to false
b
+ - Not needed negative alternative-method result
(ND)
- + + Positive Deviation (PD)
Negative Agreement due to false
- + - positive alternative-method result
c
(NA)
a
Confirmation of the alternative-method result is done according to 5.1.3.3.
b
No need for additional confirmation test(s). Confirmed alternative-method result is the same as the alternative-
method result.
c
This false-positive result (FP) shall also be used to calculate the false positive ratio.
Table 2 — Comparison and interpretation of sample results between the reference and
alternative methods for an unpaired study
Result of the (reference or alternative) method per sample
Reference Alternative method Confirmed Interpretation
method (including any confirmations alternative method (based on the confirmed
a
as described in the (by any means) alternative-method result)
alternative-method protocol)
+ + + Positive Agreement (PA)
Negative Deviation due to false
+ + - positive alternative-method result
b
(ND)
- - - Negative Agreement (NA)
Negative Agreement due to false
- - + negative alternative-method result
(NA)
+ - - Negative Deviation (ND)
Negative Deviation due to false
+ - + negative alternative-method result
(ND)
- + + Positive Deviation (PD)
Negative Agreement due to false
- + - positive alternative-method result
b
(NA)
a
Confirmation of the alternative-method result is done according to 5.1.3.3
b
These false-positive results (FP) shall also be used to calculate the false positive ratio.
Table 3 — Summary of results obtained with the reference and alternative methods of all
samples for each category
Reference-method positive Reference-method negative
(R+) (R-)
Alternative-method positive +/+ -/+
(A+) Positive Agreement (PA) Positive Deviation (PD)
Alternative-method negative +/- −/−
(A-) Negative Deviation (ND) Negative Agreement (NA)
Based on data summarized in Table 3 for the combined categories per category and per type, calculate
the values for sensitivity of the alternative method (1) and of the reference method (2), as well as the
relative trueness (3) and false positive ratio for the alternative method after the additional confirmation
of the results (4) as follows:
PA+PD
()
Sensitivity for the alternative method: SE = ×100% (1)
alt
()PA++ND PD
PA+ND
()
Sensitivity for the reference method: SE = ×100% (2)
ref
()PA++ND PD
PA +NA
()
Relative trueness: RT = ×100% (3)
N
FP
False positive ratio for the alternative method: FPR=×100% (4)
NA
where N is the total number of samples (NA + PA + PD + ND) and FP is the false-positive results. For
explanation of the abbreviations used, see Table 1 to Table 3.
The confirmed alternative-method results shall be used to determine whether the alternative method
produces comparable results to the reference method.
Calculate the difference between (ND – PD) for both paired and unpaired studies and the sum of
(ND + PD) for paired studies. Check whether the difference and/or sum of PD and ND conform to the
Acceptability Limit (AL) stated in Table 4 with respect to the type of study (paired or unpaired) and
the number of categories used in the evaluation.
NOTE Acceptability Limits (AL) are based on data and consensus expert opinion. The AL are not based on
statistical analysis of the data.
The interpretation of results shall be done per category and for all categories used in the validation
study. An interpretation of results shall also be done per enrichment protocol in case different
protocols are used for different types of samples. The AL is not met when the observed value is higher
than the AL. When the AL is not met, investigations should be made (e.g. root cause analysis) in order
to provide an explanation of the observed results. Based on the AL and the additional information, it is
decided whether the alternative method is regarded as not fit for purpose for the category or categories
involved. The reasons for acceptance of the alternative method in case the AL is not met shall be stated
in the study report.
6 © ISO 2016 – All rights reserved

Table 4 — Acceptability limit parameters and values for a paired and unpaired study design in
relation to the number of categories used
Number of Paired study Unpaired study
categories
a b
(ND - PD ) (ND + PD) (ND - PD)
1 3 6 3
2 4 8 4
3 5 10 5
4 5 12 5
5 5 14 5
6 6 16 6
7 6 18 7
8 6 20 7
a
ND = number of samples with Negative Deviation results.
b
PD = number of samples with Positive Deviation results.
NOTE Information on differences observed between results of the alternative method before and after
confirmation of the results (step 1 and step 2) according to the alternative-method protocol should be presented
in the validation report as additional information, but is not used in the overall assessment of the alternative-
method performance.
5.1.4 Relative level of detection study
A comparative study is conducted to evaluate the level of detection (LOD) of the alternative method
against the reference method. The evaluation is based on the calculation of the relative level of detection
(RLOD). In the study, replicates of artificially contaminated samples are used at three or more levels of
contamination. Preferably, the levels are known as it allows calculation of the LOD. However, this is not
required.
5.1.4.1 Selection of categories, number of samples, and replicates tested
For the selection of categories and types, see 5.1.3.1. The same categories will be used as selected for
the sensitivity study (see 5.1.3). For each category, one relevant type is selected. In order to have a
better representation of the evaluated category, this type should be different from those used in
the sensitivity study (if possible). The samples shall be artificially inoculated. Procedures for the
preparation of artificially inoculated samples are presented in Annex C. Each type will be inoculated
with a different strain.
A minimum of three levels per type will be prepared consisting of at least a negative control level, a
low level, and a higher level. Ideally, the low level shall be the theoretical detection level (i.e. 0,7 cfu
per test portion) and the higher level just above the theoretical detection level (e.g. 1 cfu to 1,5 cfu per
test portion). At least the low level should have fractional recovery by the reference method (fractional
recovery at the low level should be between 25 % and 75 % of the number of samples tested). An
estimate for the level of contamination (except for the negative control) should be made. At the negative
control level, at least five replicate samples should be tested by both methods. For the second (low)
level (theoretical detection level), at least 20, and for the third (higher) level, at least five replicates
samples should be tested by both methods. The negative control level shall not produce positive results.
When positive results are obtained, the experiments have to be repeated for all levels.
Positive deviating test results obtained with the alternative method shall be additionally confirmed
(see 5.1.3.3). The RLOD shall be evaluated after confirmation.
NOTE 1 In order to have a better assurance that fractional recovery will be obtained, more levels of
contamination can be produced and tested.
NOTE 2 The level of contamination needed targets the LOD of the reference method if the alternative method
has a lower LOD than the reference method.
5.1.4.2 Calculation and interpretation of the RLOD
The RLOD is defined as the ratio of the LODs of the alternative method and the reference method:
LOD
alt
RLOD= (5)
LOD
ref
For each category, at least the RLODs shall be estimated by fitting a complementary-log-log (CLL) model
to the combined absence/presence data of both methods as a function of method. The contamination
levels are not needed for the calculations of the RLOD since they are included in the model resulting in
curves in a graph of probability of detection versus log dose (contamination level). The statistical model
1) ®
and the calculations are worked out in Annex D. Calculations can be performed with the Excel ®
spreadsheet of this part of ISO 16140. The Excel spreadsheet for calculating RLOD values is freely
available for download at http://standards.iso.org/iso/16140 and then select the RLOD file. For ®
calculations using this Excel spreadsheet, the option of “unknown concentration” shall be used.
Calculate for each item i theRLOD . Tabulate the results as indicated in Table 5.
i
Table 5 — Presentation of RLOD before and after confirmation of the alternative-method results
RLOD using the RLOD using the confirmed

alternative-method results alternative-method results
Item
(category) RLOD RLOD
i i
(i)
…
k
Combined
An Acceptability Limit (AL) for the RLOD based on the confirmed alternative-method results specifies
the maximum increase in LOD of the alternative versus the reference method that would not be
considered as relevant in consideration of the fitness for purpose of the method. Consequently, AL will
be a value >1. The interpretation should be made for each item.
The AL for paired study data are set at 1,5, meaning that the LOD for the alternative method shall not be
higher than 1,5 times the LOD of the reference method. An LOD value for the alternative method smaller
than the LOD value for the reference method is always accepted as this means that the alternative
method is likely to detect lower levels of contamination than the reference method.
The AL for unpaired study data are set at 2,5, meaning that the LOD for the alternative method
shall not be higher than 2,5 times the LOD of the reference method. An LOD value for the alternative
method smaller than the LOD value for the reference method is always accepted as this means that the
alternative method is likely to detect lower levels of contamination than the reference method.
The AL is not met when the observed value is higher than the AL. When the AL is not met, investigations
should be made (e.g. root cause analysis) in order to provide an explanation of the observed results.
Based on the AL and the additional information, it is decided whether the alternative method is
regarded as not fit for purpose for the item or category involved. The reasons for acceptance of the
alternative method in case the AL is not met shall be stated in the study report.
In addition to the calculation of the RLOD, the data may be evaluated using the AOAC probability of
[6]
detection (POD) model described in Reference [14] and included in the AOAC validation guidelines.
The evaluation using the POD model can give additional information on the equivalence of the methods.
1) Excel is an example of a suitable product available commercially. This information is given for the convenience
of users of this document and does not constitute an endorsement by ISO of this product.
8 © ISO 2016 – All rights reserved

5.1.5 Inclusivity and exclusivity study
5.1.5.1 Selection and number of strains
A range of strains shall be used. Criteria for selecting test strains are given in Annex E. The strains
used should take into account the measurement principle of the alternative method (e.g. culture-based,
immunoassay-based, and molecular). Different measurement principles may require the use of different
test panels of strains.
Each strain used shall be characterized biochemically and/or serologically and/or genetically in
sufficient detail for its identity to be known. Strains used should preferentially have been isolated from
foods, feeds, the food-processing environment, or primary production taking into account the scope
of the validation. However, clinical, environmental, and culture collection strains can be used. The
original source of all isolates should be known and they should be held in a local (e.g. expert laboratory),
national, or international culture collection to enable them to be used in future testing, if required.
For inclusivity testing, at least 50 pure cultures of (target) microorganisms shall be tested. For testing
the inclusivity for Salmonella methods, at least 100 pure cultures of different serotypes of Salmonella
shall be tested.
For exclusivity testing, at least 30 pure cultures of (non-target) microorganisms shall be tested.
Some microorganisms will be difficult or impossible to culture like viruses or protozan parasites.
Where the target organism cannot be cultured, pure suspensions of the test strains should be used for
spiking at the earliest appropriate step of the method.
NOTE 1 For some microorganisms, it will be difficult to obtain the required number of strains for inclusivity
and exclusivity. In these cases, an agreed set of test strains should be selected by the parties involved in the
validation study.
NOTE 2 Guidelines for the preservation and maintenance of strains in (local) collections can be found in
[2]
ISO 11133.
5.1.5.2 Inoculation of target strains (inclusivity)
Each test is performed once and only with the alternative method (including a confirmation step if
prescribed in the alternative-method protocol). Inoculation of a suitable growth medium is carried out
with a dilution of a pure culture of each test strain. This culture is used for testing the inclusivity. No
sample is added.
The pure culture should be grown in a non-selective broth under optimal conditions of growth to
provide high cell populations in a stationary phase. The inoculum level shall be 10 times to 100 times
greater than the minimum detection level of the alternative method being validated and the protocol
of the alternative method shall be used including all (enrichments) detailed in the instructions of the
alternative method. If the alternative method includes more than one (enrichment) protocol (e.g. for
different sample types), then use the most challenging one with the complete panel of test strains.
When negative or doubtful results are obtained, the test should be repeated and with the reference
method included, checking that the strain could be detected with the appropriate reference method. If
results are negative, consideration could be given to repeat the test with the addition of a food item. If
the alternative protocol includes a confirmation step, the confirmation tests shall be included in testing
the selected strains.
5.1.5.3 Inoculation of non-target strains (exclusivity)
Each test is performed once and only with the alternative method (including a confirmation step if
prescribed in the alternative-method protocol). Inoculation of a suitable growth medium is carried out
with a dilution of a pure culture of each test strain. This culture is used for testing the exclusivity. No
sample is added.
The pure culture should be grown in a non-selective broth under optimal conditions of growth to
provide high cell populations in a stationary phase. If the method involves a growth in a selective
medium before a detection step, then for the purposes of exclusivity testing, the selective medium
should be replaced by a non-selective medium. If the alternative method gives a positive or doubtful
result, then the test should be repeated using the complete (enrichment) protocol recommended in the
instructions of the alternative method using selective enrichments if these are noted in the instructions.
If the alternative method includes more than one type of enrichment (e.g. for different sample types),
...

NORME ISO
INTERNATIONALE 16140-2
Première édition
2016-06-15
Microbiologie de la chaîne
alimentaire — Validation des
méthodes —
Partie 2:
Protocole pour la validation de
méthodes alternatives (commerciales)
par rapport à une méthode de
référence
Microbiology of the food chain — Method validation —
Part 2: Protocol for the validation of alternative (proprietary)
methods against a reference method
Numéro de référence
©
ISO 2016
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2016, Publié en Suisse
Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur
l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à
l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. [phone]
Fax [phone]
[e-mail]
www.iso.org
ii © ISO 2016 – Tous droits réservés

Sommaire Page
Avant-propos .v
Introduction .vi
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Principes généraux de la validation des méthodes alternatives . 1
5 Méthodes qualitatives — Protocole technique de validation . 2
5.1 Étude comparative des méthodes . 2
5.1.1 Considérations générales . 2
5.1.2 Étude de méthodes appariées ou non appariées . 2
5.1.3 Étude de sensibilité . 3
5.1.4 Étude de niveau relatif de détection . 7
5.1.5 Étude d’inclusivité et étude d’exclusivité. 9
5.2 Étude interlaboratoires .11
5.2.1 Considérations générales .11
5.2.2 Protocole de mesure .11
5.2.3 Calculs et récapitulatif des données .12
5.2.4 Interprétation des données .15
6 Méthodes quantitatives — Protocole technique de validation .17
6.1 Étude comparative des méthodes .17
6.1.1 Considérations générales .17
6.1.2 Étude de justesse relative .17
6.1.3 Étude du profil d’exactitude .21
6.1.4 Étude de la limite de quantification .25
6.1.5 Étude d’inclusivité et étude d’exclusivité.26
6.2 Étude interlaboratoires .27
6.2.1 Considérations générales .27
6.2.2 Protocole de mesure .28
6.2.3 Calculs, récapitulatif et interprétation des données .29
Annexe A (informative) Classification de types d’échantillon et suggestions de
combinaisons cibles pour les études de validation.32
Annexe B (normative) Ordre de préférence pour l’utilisation d’échantillons naturellement
et artificiellement contaminés dans les études de validation .48
Annexe C (informative) Protocoles généraux de contamination par mélange et de
contamination artificielle d’aliments .49
Annexe D (informative) Modèles de calcul de RLOD en utilisant les données provenant de
l’étude comparative des méthodes .52
Annexe E (normative) Aspects à prendre en compte lors du choix des souches pour les
études d’inclusivité et d’exclusivité .54
Annexe F (informative) Considérations pour les calculs du niveau de détection relatif
(RLOD) entre laboratoires effectués dans le cadre d’une étude interlaboratoires .56
Annexe G (informative) Principe du profil d’exactitude pour la validation de
modèles quantitatifs .59
Annexe H (informative) Application du profil d’exactitude dans l’étude comparative
des méthodes .61
Annexe I (informative) Exemple d’application du profil d’exactitude pour une
étude interlaboratoires .64
Bibliographie .68
iv © ISO 2016 – Tous droits réservés

Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www.
iso.org/directives).
L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de
brevets reçues par l’ISO (voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la signification des termes et expressions spécifiques de l’ISO liés à
l’évaluation de la conformité, ou pour toute information au sujet de l’adhésion de l’ISO aux principes
de l’OMC concernant les obstacles techniques au commerce (OTC), voir le lien suivant: Avant-propos —
Informations supplémentaires.
Le comité chargé de l’élaboration du présent document est l’ISO/TC 34, Produits alimentaires, sous-
comité SC 9, Microbiologie.
Cette première édition de l’ISO 16140-2, conjointement avec l’ISO 16140-1, annule et remplace
l’ISO 16140:2003. Cette édition constitue une révision technique. Elle incorpore également
l’Amendement ISO 16140:2003:Amd.1:2011.
L’ISO 16140 comprend les parties suivantes, présentées sous le titre général Microbiologie de la chaîne
alimentaire — Validation des méthodes:
— Partie 1: Vocabulaire
— Partie 2: Protocole pour la validation de méthodes alternatives (commerciales) par rapport à une
méthode de référence
Les parties suivantes sont en cours de préparation:
— Partie 3: Protocole de vérification de méthodes de référence et alternatives validées appliquées dans un
laboratoire
— Partie 4: Protocole pour la validation de méthodes de laboratoire (internes)
— Partie 5: Protocole pour la validation interlaboratoires de méthodes non commerciales par plan factoriel
— Partie 6: Protocole pour la validation de méthodes alternatives (commerciales) pour la confirmation
microbiologique et le typage
Introduction
De nombreuses méthodes alternatives, qui sont pour la plupart commerciales, sont actuellement
utilisées pour évaluer la qualité microbiologique de matières premières et de produits finis ainsi que
l’état microbiologique de l’environnement de production. Ces méthodes sont souvent plus rapides
et plus faciles à mettre en œuvre que la méthode normalisée correspondante. Les développeurs, les
utilisateurs finaux et les autorités ont besoin d’un protocole commun et fiable permettant de valider ces
méthodes alternatives. Les données obtenues fourniront également aux utilisateurs finaux potentiels
des données de performance pour une méthode donnée, leur permettant ainsi de faire un choix réfléchi
concernant l’adoption d’une méthode particulière. Ces données obtenues peuvent également constituer
la base de la certification d’une méthode par un organisme indépendant.
La présente partie de l’ISO 16140:
— vise à fournir un protocole et des lignes directrices spécifiques pour la validation des méthodes
commerciales plus rapides et plus faciles à mettre en œuvre que la méthode de référence
correspondante,
— peut également être appliquée pour la validation d’autres méthodes non commerciales, utilisées à la
place de la méthode de référence,
— vise à remplacer le protocole de validation publié dans la première version de l’ISO 16140
(ISO 16140:2003), et
— est principalement rédigée pour la validation de méthodes permettant de cultiver le micro-
organisme cible, mais peut également être appliquée aux méthodes relatives aux micro-organismes
non cultivables, notamment les virus (par exemple le norovirus) et les parasites protozoaires (par
exemple Cryptosporidium ou Giardia). Dans ces cas-là, certaines expressions doivent être interprétées
pour s’adapter à la situation des organismes non cultivables.
L’application de la présente partie de l’ISO 16140 requiert une expertise des domaines tels que la
microbiologie, la réalisation de plans d’expérience et l’analyse statistiques, comme indiqué dans les
parties respectives. L’expertise statistique comprend un aperçu de la théorie de l’échantillonnage,
des plans d’expériences, des analyses statistiques de données microbiologiques (qualitatives et
quantitatives) et un aperçu de concepts statistiques relatifs à l’échantillonnage aléatoire, l’hétérogénéité
de l’échantillon, la stabilité de l’échantillon, les plans d’expériences et les composantes de la variance.
Lorsque la présente partie de l’ISO 16140 sera réexaminée, il sera tenu compte de tous les renseignements
disponibles à ce moment-là, à savoir dans quelle mesure les lignes directrices auront été suivies et les
raisons pour lesquelles il aura été nécessaire d’y déroger dans le cas de produits particuliers.
L’harmonisation des méthodes de validation ne peut pas être immédiate. Pour certains groupes de
produits, des Normes internationales et/ou nationales dont les méthodes ne sont pas conformes à la
présente partie de l’ISO 16140, peuvent déjà avoir été publiées. Il y a lieu d’espérer que les révisions de
ces normes conduiront à leur modification afin d’être en conformité avec l’ISO 16140 et que, dans le
futur, les écarts restants par rapport à la présente partie de l’ISO 16140 seront uniquement des écarts
[3]
justifiés sur le plan technique. Par exemple, l’ISO 16297 traite d’une validation très particulière pour
un produit donné (l’état hygiénique des échantillons de lait cru) et conservera son statut de norme
verticale en parallèle de l’ISO 16140. Si cette validation est nécessaire, la norme verticale prévaut.
vi © ISO 2016 – Tous droits réservés

NORME INTERNATIONALE ISO 16140-2:2016(F)
Microbiologie de la chaîne alimentaire — Validation des
méthodes —
Partie 2:
Protocole pour la validation de méthodes alternatives
(commerciales) par rapport à une méthode de référence
1 Domaine d’application
La présente partie de l’ISO 16140 établit le principe général ainsi que le protocole technique de validation
des méthodes alternatives, qui sont pour la plupart commerciales, dans le domaine de la microbiologie
de la chaîne alimentaire. Les études de validation conformément à la présente partie de l’ISO 16140 sont
destinées à être effectuées par des organismes impliqués dans la validation de méthode.
La présente partie de l’ISO 16140 est applicable à la validation de méthodes pour l’analyse (détection ou
quantification) de micro-organismes présents dans:
— les produits destinés à la consommation humaine,
— les produits destinés à l’alimentation animale,
— les échantillons environnementaux dans le domaine de la production et de la manutention de
produits alimentaires, et
— les échantillons au stade de la production primaire.
La présente partie de l’ISO 16140 est notamment applicable aux bactéries et aux champignons. Certains
paragraphes de la présente partie de l’ISO 16140 peuvent être applicables à d’autres micro-organismes
ou à leurs métabolites au cas par cas. À l’avenir, des préconisations concernant d’autres organismes
(par exemple, virus et parasites) seront incluses dans la présente partie ou dans une partie distincte de
l’ISO 16140.
2 Références normatives
Les documents suivants sont cités en référence de manière normative, en intégralité ou en partie, dans
le présent document et sont indispensables pour son application. Pour les références datées, seule
l’édition citée s’applique. Pour les références non datées, la dernière édition du document de référence
s’applique (y compris les éventuels amendements).
ISO 16140-1, Microbiologie de la chaîne alimentaire — Validation des méthodes — Partie 2: Vocabulaire
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 16140-1 s’appliquent.
4 Principes généraux de la validation des méthodes alternatives
Le protocole de validation comprend deux étapes:
— une étude comparative de la méthode alternative (commerciale) par rapport à la méthode de
référence, réalisée au sein du laboratoire organisateur,
— une étude interlaboratoires de la méthode alternative (commerciale) par rapport à la méthode de
référence, réalisée au sein de différents laboratoires.
Les règles techniques de réalisation de l’étude comparative des méthodes et de l’étude interlaboratoires
sont données dans l’Article 5 et dans l’Article 6, en fonction de la nature qualitative ou quantitative
de la méthode alternative (commerciale). Les données obtenues dans certaines parties de l’étude de
validation sont évaluées à l’aide des limites d’acceptabilité (AL) et aucune évaluation statistique des
données n’est effectuée. Ces AL reposent sur le jugement des experts et sur les données obtenues lors
des études de validation existantes.
5 Méthodes qualitatives — Protocole technique de validation
5.1 Étude comparative des méthodes
5.1.1 Considérations générales
L’étude comparative des méthodes est la partie du processus de validation effectuée au sein du
laboratoire organisateur. Elle comprend trois parties, à savoir:
— une étude comparative des résultats de la méthode de référence par rapport aux résultats de la
méthode alternative des échantillons (naturellement et/ou artificiellement) contaminés (appelée
étude de sensibilité),
— une étude comparative permettant de déterminer le niveau de détection relatif (RLOD) dans des
échantillons artificiellement contaminés (appelée étude RLOD),
— une étude d’inclusivité/d’exclusivité de la méthode alternative.
Les résultats (tableaux et calculs) des différentes parties et l’interprétation des résultats, y compris des
résultats divergents, doivent être consignés dans un rapport d’étude.
La taille des prises d’essai utilisées doit être celle indiquée dans la méthode de référence.
5.1.2 Étude de méthodes appariées ou non appariées
Les méthodes de référence et alternative doivent être réalisées avec, dans la mesure du possible, avec
un échantillon exactement identique (même prise d’essai). Cependant, il existe une distinction entre les
études dans lesquelles la même prise d’essai peut être utilisée pour la méthode de référence et pour la
méthode alternative, puisque les deux méthodes comportent exactement la même étape initiale dans le
protocole (d’enrichissement) et les études dans lesquelles deux prises d’essais sont nécessaires afin d’en
utiliser une pour la méthode de référence et une pour la méthode alternative (par exemple, en raison
de bouillons d’enrichissement différents). Dans le cas où la même prise d’essai est utilisée pour les deux
méthodes, les résultats desdites méthodes sont étroitement liés les uns aux autres. Par exemple, pour
un échantillon non contaminé, il convient que les deux méthodes aboutissent à un résultat négatif. En
raison de cette relation, les données produites par la méthode de référence et la méthode alternative
sont nommées «données appariées». Dans la présente partie de l’ISO 16140, l’expression «étude de
méthodes appariées» sera utilisée pour ce type d’étude.
La situation contraire est également possible lorsque l’étape (d’enrichissement) initiale des méthodes
de référence et alternative n’est pas commune. Dans ce cas, deux prises d’essai, prélevées du même
lot de produit, doivent être utilisées pour les deux méthodes et les données obtenues sont nommées
«données non appariées». Dans la présente partie de l’ISO 16140, l’expression «étude de méthodes
non appariées» sera utilisée pour ce type d’étude. Le fait d’obtenir une étude de méthodes appariées
ou non appariées dépend des protocoles de la méthode de référence et de la méthode alternative. Si
l’étape initiale des protocoles (d’enrichissement) est commune aux deux méthodes, le modèle d’étude de
méthodes appariées est obligatoire.
Ce paragraphe décrit l’étude comparative des méthodes pour le cas où l’étape initiale du protocole
(d’enrichissement) de la méthode de référence et de la méthode alternative est identique (étude de
2 © ISO 2016 – Tous droits réservés

méthodes appariées) et pour le cas contraire (étude de méthodes non appariées). Les différences
entre ces deux types d’études sont spécifiées dans le texte, lorsque nécessaire.
5.1.3 Étude de sensibilité
L’étude de sensibilité vise à déterminer la différence de sensibilité entre la méthode de référence
et la méthode alternative. Cette étude est effectuée en utilisant des échantillons naturellement
et/ou artificiellement contaminés. Différents types et catégories doivent être soumis à essai à cette
fin. Des limites d’acceptabilité ont été définies pour la différence maximale acceptable en fonction du
type d’étude (études de méthodes appariées/études de méthodes non appariées) et du nombre de
catégories soumises à essai.
5.1.3.1 Sélection des catégories devant être utilisées
La sélection des catégories et des types utilisés pour la validation dépendra du type ou du groupe du
micro-organisme et du domaine d’application de la validation.
Si la méthode est destinée à être appliquée à une vaste gamme d’aliments, alors au moins cinq catégories
d’aliment doivent être étudiées. Le rapport d’étude de validation doit mentionner les catégories
d’aliment utilisées dans cette étude. Si la méthode doit être validée pour un nombre limité de catégories
d’aliment, par exemple pour les catégories «produits à base de viande prêts à consommer ou prêts à
réchauffer» et «lait et produits laitiers pasteurisés traités thermiquement», alors seules ces catégories
ont besoin d’être étudiées. Outre les aliments, des échantillons prélevés sur des aliments pour animaux,
dans l’environnement et au stade de la production primaire peuvent être inclus comme catégories
supplémentaires. Cela permettra d’élargir l’application de l’utilisation de la méthode alternative pour
ces catégories supplémentaires.
Pour toutes les catégories sélectionnées (aliments et autres), au moins trois types différents par
catégorie doivent être compris dans l’étude. L’Annexe A présente un aperçu des catégories et des types
par micro-organisme particulier pouvant être pertinents pour la validation. Il convient d’utiliser
l’Annexe A pour faciliter la sélection des catégories, des types et des matrices en fonction du micro-
organisme particulier impliqué. Il convient de ne pas la considérer comme étant obligatoire.
Lors de la sélection des échantillons pour l’étude, trouver les échantillons naturellement contaminés est
une priorité absolue. S’il n’est pas possible d’obtenir un nombre suffisant d’échantillons naturellement
contaminés, l’utilisation d’échantillons artificiellement contaminés est permise (voir les Annexes B
et C). Il convient de fournir tous les détails relatifs à la préparation des échantillons artificiellement
ensemencés dans le rapport d’étude de validation. Il est souhaitable que la nature des échantillons
d’aliment choisis soient aussi diversifiée que possible afin de réduire tout biais lié aux spécialités
alimentaires locales et d’élargir le domaine de validation.
La sélection des différents types doit permettre d’inclure dans l’étude à la fois des échantillons
présentant une microflore annexe (naturelle) élevée ou faible, ainsi que différents types de stress, en
fonction de la transformation ou non des produits.
EXEMPLE Pour la validation d’une méthode pour le dénombrement de Listeria monocytogenes et de la
catégorie «produits à base de viande prêts à consommer ou prêts à réchauffer», les types peuvent être (1) produits
cuits (flore annexe faible, stress à la chaleur), (2) produits de salaison ou fermentés (flore annexe élevée, stress au
pH) et (3) viandes crues de salaison (fumées) (a < 0,92) (flore annexe intermédiaire, stress osmotique a ).
w w
Dans certains cas, par exemple pour une méthode alternative applicable à une vaste gamme d’aliments,
il est possible de combiner les catégories «prêt à consommer» et «cru» à partir d’un même groupe
de produit. Par exemple, les catégories de viandes (ou de produits à base de viande) crues et prêtes
à consommer peuvent être combinées en seule catégorie sous-divisée en trois types divisés selon
les types d’aliment pertinents crus et prêts à consommer. Il convient que la sélection des catégories
d’aliment (combinées) repose sur l’analyse des risques.
5.1.3.2 Nombre d’échantillons
Pour chaque catégorie soumise à examen, un minimum de 60 échantillons individuels constitués d’au
moins trois types contenant au moins 20 échantillons représentatifs par type doit être soumis à essai
(trois types × 20 échantillons pour chaque type = 60 échantillons). Des résultats positifs partiels doivent
être obtenus pour chaque type soumis à essai, avec la méthode de référence ou alternative (c’est-à-dire
qu’il convient que les échantillons ne soient pas tous positifs ou tous négatifs). Idéalement, il convient
que 10 échantillons (50 %) soumis à essai par type soient positifs et que 10 échantillons soient négatifs,
l’intervalle devant s’étendre de 25 % à 75 %. Pour chaque catégorie, au moins 30 échantillons doivent
avoir un résultat positif par la méthode de référence et/ou alternative.
5.1.3.3 Résultat de la méthode alternative et confirmation
De nombreux protocoles de méthodes alternatives comprennent deux étapes, la première étant l’étape
d’enrichissement et de détection, et la deuxième étant la confirmation du résultat de détection obtenu
lors de la première étape. Le résultat final de la méthode alternative est le résultat obtenu après la
deuxième étape. Le résultat final sera identique au résultat obtenu après enrichissement et détection si
aucune étape de confirmation n’est incluse dans le protocole de la méthode alternative.
Dans l’étude de sensibilité, le résultat (final) de la méthode alternative doit être confirmé. Dans l’étude
de méthodes non appariées, tous les résultats obtenus avec la méthode alternative doivent être
confirmés. Dans l’étude de méthodes appariées, seuls les résultats positifs obtenus avec la méthode
alternative, pour lesquels le résultat correspondant avec la méthode de référence était négatif, doivent
être confirmés. Cette confirmation est nécessaire pour déterminer si le résultat est un vrai positif
ou un faux positif. Le ou les essai(s) de confirmation doit/doivent permettre de récupérer un isolat et
de le confirmer comme étant la cible de la méthode. Ce(s) essai(s) peut/peuvent reposer sur le mode
opératoire de confirmation de la méthode de référence, sur l’étape de confirmation de la méthode
alternative si ce mode opératoire permet d’isoler et de confirmer l’identité de l’analyte cible, sur
une combinaison des deux, ou sur tout autre moyen permettant d’isoler et de confirmer l’identité de
l’analyte cible.
Si les bouillons d’enrichissement des méthodes de référence et alternative diffèrent en termes de
nombre de bouillons d’enrichissement (par exemple, primaires/non sélectifs et secondaires/sélectifs)
ou de durée totale d’incubation, une voie de confirmation supplémentaire de l’étude de validation est
nécessaire. La première voie doit être celle utilisée dans la méthode alternative en fonction de son
mode opératoire/ses instructions (conditions d’essai en analyse de routine par la méthode alternative
selon le mode opératoire de la notice de la trousse, n’incluant pas les essais complémentaires qui
peuvent être mis en œuvre pendant l’étude de validation). Pour la deuxième voie, une partie du bouillon
d’enrichissement incubé de la méthode alternative doit être transférée dans celui de la méthode de
référence de sorte qu’au moins la durée totale d’incubation du ou des bouillon(s) d’enrichissement
de la méthode de référence soit respectée. Les résultats des deux voies de confirmation doivent être
consignés séparément.
5.1.3.4 Calcul et interprétation de la sensibilité
En général, les données doivent être présentées dans un rapport de manière à avoir une vue globale des
données brutes obtenues. Des informations sur le type de contamination (échantillons naturellement
ou artificiellement contaminés) des échantillons utilisés, sur le type de plan d’étude utilisé (par
exemple, étude de méthodes appariées ou non appariées) et sur le(s) essai(s) de confirmation utilisé(s)
pour confirmer le résultat de la méthode alternative, doivent être indiquées. Pour les échantillons
artificiellement contaminés, le mode opératoire (ou une référence au mode opératoire) utilisé pour la
préparation doit être spécifié (voir également l’Annexe C).
Les résultats obtenus pour les méthodes de référence et alternative sur un même échantillon, c’est-à-
dire une prise d’essai en cas d’étude de méthodes appariées ou deux prises d’essai en cas d’étude de
méthodes non appariées, doivent être décrits pour une étude de méthodes appariées conformément
Tableau 1 et pour une étude de méthodes non appariées conformément au Tableau 2. Le Tableau 3
est préparé pour les résultats d’échantillons récapitulés pour toutes les catégories en fonction de la
4 © ISO 2016 – Tous droits réservés

catégorie (≥ 60 échantillons) et du type (≥ 20 échantillons) pour une étude de méthodes appariées et
non appariées.
Tableau 1 — Comparaison et interprétation de résultats des échantillons entre la méthode de
référence et la méthode alternative pour une étude de méthodes appariées
Résultat de la méthode (de référence ou alternative) en fonction de l’échantillon
Méthode de Méthode alternative Méthode alterna- Interprétation
référence (incluant les confirmations tive après confir- (sur la base du résultat de la méthode
décrites dans le protocole de la mation alternative après confirmation)
méthode alternative) (par n’importe quel
a
moyen)
b
+ + Non requis Accord positif (PA)
b
- - Non requis Accord négatif (NA)
Déviation négative due à un résultat faux
b
+ - Non requis
négatif de la méthode alternative (ND)
- + + Déviation positive (PD)
Accord négatif dû à un résultat faux
- + -
c
positif de la méthode alternative (NA)
a
La confirmation du résultat de la méthode alternative est effectuée selon 5.1.3.3.
b
Aucun essai de confirmation supplémentaire n’est nécessaire. Le résultat de la méthode alternative après confirmation
est identique au résultat de la méthode alternative.
c
Ce résultat faux positif (FP) doit également être utilisé pour calculer le rapport des résultats faux positifs.
Tableau 2 — Comparaison et interprétation de résultats des échantillons entre la méthode de
référence et la méthode alternative pour une étude de méthodes non appariées
Résultat de la méthode (de référence ou alternative) en fonction de l’échantillon
Méthode de Méthode alternative Méthode alternative Interprétation
référence (incluant les confirmations après confirmation (sur la base du résultat de la méthode
décrites dans le protocole de la (par n’importe quel alternative après confirmation)
a
méthode alternative) moyen)
+ + + Accord positif (PA)
Déviation négative due à un résultat
+ + - faux positif de la méthode alternative
b
(ND)
- - - Accord négatif (NA)
Accord négatif dû à un résultat faux
- - +
négatif de la méthode alternative (NA)
+ - - Déviation négative (ND)
Déviation négative due à un résultat
+ - + faux négatif de la méthode alterna-
tive (ND)
- + + Déviation positive (PD)
Accord négatif dû à un résultat faux
- + -
b
positif de la méthode alternative (NA)
a
La confirmation du résultat de la méthode alternative est effectuée selon 5.1.3.3.
b
Ces résultats faux positifs (FP) doivent également être utilisés pour calculer le rapport des résultats faux positifs.
Tableau 3 — Récapitulatif des résultats obtenus avec la méthode de référence et la méthode
alternative de tous les échantillons pour chaque catégorie
Résultat positif de la méthode de Résultat négatif de la méthode de
référence référence
(R+) (R-)
Résultat positif de la méthode
+/+ -/+
alternative
Accord positif (PA) Déviation positive (PD)
(A+)
Résultat négatif de la méthode
+/- −/−
alternative
Déviation négative (ND) Accord négatif (NA)
(A-)
D’après les données récapitulées dans le Tableau 3, pour l’ensemble des catégories combinées, pour
chaque catégorie et pour chaque type, calculer les valeurs de sensibilité de la méthode alternative (1) et
de la méthode de référence (2), ainsi que la justesse relative (3) et le rapport de résultats faux positifs
pour la méthode alternative après confirmation supplémentaire des résultats (4), comme suit:
PA+PD
()
Sensibilité de la méthode alternative: SE = ×100% (1)
alt
()PA++ND PD
PA+ND
()
Sensibilité de la méthode de référence: SE = ×100% (2)
ref
()PA++ND PD
PA +NA
()
Justesse relative: RT = ×100% (3)
N
FP
Rapport des résultats faux positifs pour la méthode alternative: FPR=×100% (4)
NA
où N est le nombre total d’échantillons (NA + PA + PD + ND) et FP correspond aux résultats faux positifs.
Pour une explication des abréviations utilisées, voir les Tableaux 1 à 3.
Les résultats de la méthode alternative après confirmation doivent être utilisés pour déterminer si la
méthode alternative produit des résultats comparables à ceux de la méthode de référence.
Calculer la différence entre (ND – PD) pour des études de méthodes appariées et non appariées, et la
somme de (ND + PD) pour des études de méthodes appariées. Vérifier si cette différence et/ou cette
somme de PD et ND sont conformes à la limite d’acceptabilité (AL) donnée dans le Tableau 4 en tenant
compte du type d’étude (méthodes appariées ou non appariées) et du nombre de catégories utilisé
lors de l’évaluation.
NOTE Les limites d’acceptabilité (AL) sont basées sur des données et reposent sur un consensus d’experts.
Les AL ne reposent pas sur l’analyse statistique des données.
L’interprétation des résultats doit être effectuée pour chaque catégorie et pour l’ensemble des catégories
utilisées lors de l’étude de validation. Une interprétation des résultats doit également être réalisée pour
chaque protocole d’enrichissement au cas où différents protocoles sont utilisés pour différents types
d’échantillons. Les conditions ne sont pas acceptables lorsque la valeur observée est supérieure à l’AL.
Dans ce cas, il convient de mener des investigations (par exemple, une analyse des causes) pour expliquer
les résultats observés. La non-conformité de la méthode alternative pour l’analyse de la catégorie ou
des catégories étudiée(s) est basée sur l’AL et sur des informations supplémentaires collectées. Si la
méthode alternative est acceptée avec une AL non conforme, les raisons de son acceptation doivent être
indiquées dans le rapport d’étude.
6 © ISO 2016 – Tous droits réservés

Tableau 4 — Paramètres et valeurs de limite d’acceptabilité pour des études de méthodes
appariées et non appariées en fonction du nombre de catégories utilisé
Nombre de caté- Méthodes appariées Méthodes non appariées
gories
a b
(ND - PD ) (ND + PD) (ND - PD)
1 3 6 3
2 4 8 4
3 5 10 5
4 5 12 5
5 5 14 5
6 6 16 6
7 6 18 7
8 6 20 7
a
ND = nombre d’échantillons ayant des résultats de déviation négative.
b
PD = nombre d’échantillons ayant des résultats de déviation positive.
NOTE Il convient de présenter les informations sur les différences observées entre les résultats de la
méthode alternative avant et après confirmation (étapes 1 et 2) selon le protocole de la méthode alternative,
dans le rapport de validation, sous forme d’informations supplémentaires. Elles ne sont cependant pas utilisées
dans l’évaluation globale de la performance de la méthode alternative.
5.1.4 Étude de niveau relatif de détection
Une étude comparative est menée pour évaluer le niveau de détection (LOD) de la méthode alternative
par rapport à la méthode de référence. L’évaluation est fondée sur le calcul du niveau de détection relatif
(RLOD). Lors de l’étude, des réplicats préparés à partir d’échantillons artificiellement contaminés sont
utilisés à trois niveaux de contamination ou plus. De préférence, les niveaux sont connus afin de pouvoir
calculer le LOD. Néanmoins, cela n’est pas une exigence.
5.1.4.1 Sélection des catégories, nombre d’échantillons et de réplicats soumis à essai
Pour la sélection des catégories et des types, voir en 5.1.3.1. Les mêmes catégories que celles
sélectionnées pour l’étude de sensibilité (voir en 5.1.3) seront utilisées. Pour chaque catégorie, un
seul type pertinent est sélectionné. De manière à avoir une meilleure représentation de la catégorie
évaluée, il convient que ce type soit différent de ceux utilisés dans l’étude de sensibilité (si possible).
Les échantillons doivent être artificiellement contaminés. Les modes opératoires de préparation
d’échantillons artificiellement contaminés sont présentés dans l’Annexe C. Chaque type sera ensemencé
avec une souche différente.
Au moins trois niveaux par type seront préparés, parmi lesquels au moins un niveau de témoin négatif,
un niveau bas et un niveau supérieur. Idéalement, le niveau bas doit être le niveau de détection théorique
(par exemple 0,7 UFC par prise d’essai) et le niveau élevé doit être légèrement supérieur au niveau de
détection théorique (par exemple, de 1 UFC à 1,5 UFC par prise d’essai). Il convient que le niveau bas
permette a minima d’obtenir des résultats positifs partiels pour la méthode de référence (il convient que
les résultats positifs partiels au niveau bas soient compris entre 25 % et 75 % du nombre d’échantillons
soumis à essai). Il est recommandé d’effectuer une estimation du niveau de contamination (sauf pour
le témoin négatif). Il convient de soumettre à essai par les deux méthodes au moins cinq réplicats du
témoin négatif. Au deuxième niveau (bas) (niveau de détection théorique), il convient de soumettre à
essai par les deux méthodes au moins vingt réplicats, et au troisième niveau (élevé), au moins cinq. Le
niveau de témoin négatif ne doit pas produire de résultats positifs. Lorsque des résultats positifs sont
obtenus, les expériences doivent être répétées pour tous les niveaux.
Les résultats d’essai de déviation positive obtenus avec la méthode alternative doivent être en outre
confirmés (voir en 5.1.3.3). Le RLOD doit être évalué après confirmation.
NOTE 1 De manière à avoir une meilleure garantie d’obtention de résultats positifs partiels, plusieurs niveaux
de contamination peuvent être soumis à essai.
NOTE 2 Dans le cas où la méthode alternative présente un LOD inférieur à celui de la méthode de référence, le
niveau de contamination requis cible celui de la méthode de référence.
5.1.4.2 Calcul et interprétation du niveau RLOD
Le RLOD est défini comme étant le rapport du LOD de la méthode alternative sur celui de la méthode de
référence:
LOD
alt
RLOD= (5)
LOD
ref
Pour chaque catégorie, au moins les RLOD doivent être estimés par ajustement à un modèle logarithme-
logarithme complémentaire (LLC) des données d’absence/de présence combinées pour chacune des
deux méthodes. Les niveaux de contamination ne sont pas nécessaires aux calculs de RLOD, car ils sont
inclus dans le modèle, ce qui permet de présenter des courbes dans un graphique représentant la
probabilité de détection en fonction du logarithme de la dose (niveau de contamination). Le modèle
statistique et les calculs sont détaillés dans l’Annexe D. Les calculs peuvent être effectués à l’aide de la
1)
® ®
feuille de calcul Excel de la présente partie de l’ISO 16140. La feuille de calcul Excel destinée à
calculer des valeurs RLOD peut être téléchargée gratuitement via le lien http://standards.iso.
org/iso/16140 à partir duquel le fichier relatif au RLOD peut ensuite être sélectionné. Pour les calculs ®
utilisant cette feuille de calcul Excel , l’option «concentration inconnue» doit être utilisée. Calculer,
pour chaque matrice i, le RLOD . Présenter les résultats sous forme de tableau conformément au
i
Tableau 5.
Tableau 5 — Présentation du RLOD avant et après confirmation des résultats de la méthode
alternative
RLOD en utilisant les résul-
RLOD en utilisant les résul-
tats de la méthode alternative
tats de la méthode alternative
après confirmation
Catégorie
RLOD RLOD
i i
(i)
…
k
Combinées
Une limite d’acceptabilité (AL) pour le RLOD, fondée sur les résultats de la méthode alternative après
confirmation, spécifie l’augmentation maximale de LOD de la méthode alternative par rapport à la
méthode de référence, qui ne sera pas considérée comme appropriée au vu de l’adéquation avec l’objectif
de la méthode. Par conséquent, la limite AL sera une valeur > 1. Il convient d’interpréter les résultats
pour chaque matrice.
La limite AL pour des données d’étude de méthodes appariées est établie à 1,5, ce qui signifie que le
LOD de la méthode alternative ne doit pas être supérieur de plus de 1,5 fois le LOD de la méthode de
référence. Une valeur de LOD de la méthode alternative inférieure à la valeur de LOD de la méthode de
référence est toujours acceptée, car cela signifie que la méthode alternative est susceptible de détecter
des niveaux de contamination inférieurs à ceux de la méthode de référence.
La limite AL pour des données d’étude de méthodes non appariées est établie à 2,5, ce qui signifie que
le LOD de la méthode alternative ne doit pas être supérieur de plus de 2,5 fois le LOD de la méthode de
référence. Une valeur de LOD de la méthode alternative inférieure à la valeur de LOD de la méthode de
1) Excel est un exemple d’un produit approprié disponible dans le commerce. Cette information est donnée par
souci de commodité à l’intention des utilisateurs du présent document et ne saurait constituer un engagement de
l’ISO à l’égard de ce produit.
8 © ISO 2016 – Tous droits réservés

référence
...