Microbiology of the food chain — Method validation — Part 5: Protocol for factorial interlaboratory validation for non-proprietary methods

This document specifies the general principles and the technical protocols (based on orthogonal, factorial studies) for the validation of non-proprietary methods for microbiology of the food chain. This document is applicable to the validation of methods used for the analysis (detection or quantification) of microorganisms in: — products intended for human consumption; — products intended for animal feeding; — environmental samples in the area of food and feed production, handling; — samples from the primary production stage. This document is, in particular, applicable to bacteria and fungi. Some clauses can be applicable to other (micro)organisms or their metabolites, to be determined on a case-by-case basis. This document specifies protocols for the validation against a reference method for both quantitative and qualitative methods. This document also provides a protocol for the validation of quantitative methods without a reference method. Qualitative methods cannot be validated without a reference method in accordance with this document. NOTE ISO 16140-2 specifies the general principle and the technical protocol for the validation of alternative, mostly proprietary, methods against a reference method. This document is only applicable to the validation of methods that are fully specified with regard to all relevant parameters (including tolerances on temperatures and specifications on culture media) and that have already been optimized. Methods that have been validated in accordance with this document can be used by the laboratories of the specified population of laboratories.

Microbiologie de la chaîne alimentaire — Validation des méthodes — Partie 5: Protocole pour la validation interlaboratoires de méthodes non commerciales par plan factoriel

Le présent document établit les principes généraux ainsi que les protocoles techniques (fondé sur des études factorielles orthogonales) de validation de méthodes non commerciales, dans le domaine de la microbiologie de la chaîne alimentaire. Le présent document est applicable à la validation de méthodes utilisées pour l'analyse (détection ou quantification) de micro-organismes présents dans: — les produits destinés à la consommation humaine; — les produits destinés à l'alimentation animale; — les échantillons environnementaux dans les domaines de la production et de la manutention de produits alimentaires; — les échantillons au stade de la production primaire. Le présent document est notamment applicable aux bactéries et aux champignons. Certains articles peuvent être applicables à d'autres (micro-)organismes ou à leurs métabolites, qui doivent être déterminés au cas par cas. Le présent document spécifie des protocoles pour la validation de méthodes quantitatives et qualitatives par rapport à une méthode de référence. Il établit également un protocole pour la validation de méthodes quantitatives sans méthode de référence. Les méthodes qualitatives ne peuvent pas être validées sans méthode de référence conformément au présent document. NOTE L'ISO 16140‑2 spécifie le principe général et le protocole technique pour la validation de méthodes alternatives, majoritairement commerciales, par rapport à une méthode de référence. Le présent document est uniquement applicable à la validation de méthodes dont les paramètres pertinents sont intégralement spécifiés (notamment les tolérances sur les températures et les spécifications sur les milieux de culture) et qui ont déjà été optimisées. Les méthodes qui ont été validées conformément au présent document peuvent être utilisées par les laboratoires de la population de laboratoires spécifiée.

General Information

Status
Published
Publication Date
08-Jul-2020
Current Stage
6060 - International Standard published
Start Date
25-Apr-2020
Completion Date
09-Jul-2020
Ref Project

RELATIONS

Buy Standard

Standard
ISO 16140-5:2020 - Microbiology of the food chain -- Method validation
English language
34 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 16140-5:2020 - Microbiology of the food chain -- Method validation
English language
34 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 16140-5:2020 - Microbiologie de la chaîne alimentaire -- Validation des méthodes
French language
38 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 16140-5:2020 - Microbiologie de la chaîne alimentaire -- Validation des méthodes
French language
38 pages
sale 15% off
Preview
sale 15% off
Preview

Standards Content (sample)

INTERNATIONAL ISO
STANDARD 16140-5
First edition
2020-07
Microbiology of the food chain —
Method validation —
Part 5:
Protocol for factorial interlaboratory
validation for non-proprietary
methods
Microbiologie de la chaîne alimentaire — Validation des méthodes —
Partie 5: Protocole pour la validation interlaboratoires de méthodes
non commerciales par plan factoriel
Reference number
ISO 16140-5:2020(E)
ISO 2020
---------------------- Page: 1 ----------------------
ISO 16140-5:2020(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2020

All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may

be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting

on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address

below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii © ISO 2020 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 16140-5:2020(E)
Contents Page

Foreword ........................................................................................................................................................................................................................................iv

Introduction ..................................................................................................................................................................................................................................v

1 Scope ................................................................................................................................................................................................................................. 1

2 Normative references ...................................................................................................................................................................................... 1

3 Terms and definitions ..................................................................................................................................................................................... 2

4 General principles for the factorial interlaboratory validation of non-proprietary

methods ......................................................................................................................................................................................................................... 3

4.1 General ........................................................................................................................................................................................................... 3

4.2 Validation against a reference method ............................................................................................................................... 3

4.3 Validation without a reference method ............................................................................................................................. 3

5 Qualitative methods — Technical protocol for factorial interlaboratory validation ....................3

5.1 In-house validation study .............................................................................................................................................................. 3

5.2 Interlaboratory validation study against a reference method ....................................................................... 4

5.2.1 General considerations ............................................................................................................................................... 4

5.2.2 Measurement protocol ............................................................................................................................................... 4

5.2.3 Selection of the factors to be studied ............................................................................................................. 5

5.2.4 Experimental design ..................................................................................................................................................... 6

5.3 Calculations and summary of data ......................................................................................................................................... 6

5.4 Interpretation of data ........................................................................................................................................................................ 8

5.4.1 Paired study ......................................................................................................................................................................... 8

5.4.2 Unpaired study .................................................................................................................................................................. 9

5.4.3 Analysis of factorial effects with respect to RLOD .............................................................................. 9

6 Quantitative methods — Technical protocol for factorial interlaboratory validation .............10

6.1 In-house validation study ...........................................................................................................................................................10

6.2 Interlaboratory validation study against a reference method ....................................................................10

6.2.1 General considerations ............................................................................................................................................10

6.2.2 Measurement protocol ............................................................................................................................................10

6.2.3 Experimental design ..................................................................................................................................................11

6.3 Calculations, summary, and interpretation of data ..............................................................................................12

6.3.1 Summary of test results ..........................................................................................................................................12

6.3.2 Precision data ..................................................................................................................................................................13

6.3.3 Accuracy profile .............................................................................................................................................................14

6.4 Interlaboratory validation study without a reference method ..................................................................14

Annex A (informative) List of factors and factor levels for factorial validation....................................................15

Annex B (informative) Example of a factorial interlaboratory study for a quantitative method .......17

Annex C (informative) Example of a factorial interlaboratory study for a qualitative method ...........28

Bibliography .............................................................................................................................................................................................................................34

© ISO 2020 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 16140-5:2020(E)
Foreword

ISO (the International Organization for Standardization) is a worldwide federation of national standards

bodies (ISO member bodies). The work of preparing International Standards is normally carried out

through ISO technical committees. Each member body interested in a subject for which a technical

committee has been established has the right to be represented on that committee. International

organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.

ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of

electrotechnical standardization.

The procedures used to develop this document and those intended for its further maintenance are

described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the

different types of ISO documents should be noted. This document was drafted in accordance with the

editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/ directives).

Attention is drawn to the possibility that some of the elements of this document may be the subject of

patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of

any patent rights identified during the development of the document will be in the Introduction and/or

on the ISO list of patent declarations received (see www .iso .org/ patents).

Any trade name used in this document is information given for the convenience of users and does not

constitute an endorsement.

For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and

expressions related to conformity assessment, as well as information about ISO’s adherence to the

World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see www .iso .org/

iso/ foreword .html.

This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 9,

Microbiology, in collaboration with the European Committee for Standardization (CEN) Technical

Committee CEN/TC 463, Microbiology of the food chain, in accordance with the Agreement on technical

cooperation between ISO and CEN (Vienna Agreement).
A list of all parts in the ISO 16140 series can be found on the ISO website.

Any feedback or questions on this document should be directed to the user’s national standards body. A

complete listing of these bodies can be found at www .iso .org/ members .html.
iv © ISO 2020 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 16140-5:2020(E)
Introduction
0.1 The ISO 16140 series

The ISO 16140 series has been expanded in response to the need for various ways to validate or verify

test methods. It is the successor to ISO 16140:2003. The ISO 16140 series consists of six parts with the

general title, Microbiology of the food chain — Method validation:
— Part 1: Vocabulary;

— Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method;

— Part 3: Protocol for the verification of reference methods and validated alternative methods in a single

laboratory;
— Part 4: Protocol for method validation in a single laboratory;

— Part 5: Protocol for factorial interlaboratory validation for non-proprietary methods;

— Part 6: Protocol for the validation of alternative (proprietary) methods for microbiological confirmation

and typing procedures.

ISO 17468 is a closely linked International Standard, which establishes technical rules for the

development and validation of standardized methods.
In general, two stages are needed before a method can be used in a laboratory.

— The first stage is the validation of the method. Validation is conducted using a study in a single

laboratory followed by an interlaboratory study (see ISO 16140-2, ISO 16140-6, and as described in

this document). In the case when a method is validated within one laboratory (see ISO 16140-4), no

interlaboratory study is conducted.

— The second stage is method verification, where a laboratory demonstrates that it can satisfactorily

perform a validated method. This is described in ISO 16140-3. Verification is only applicable to

methods that have been validated using an interlaboratory study.

In general, two types of methods are distinguished: reference methods and alternative methods.

A reference method is defined in ISO 16140-1:2016, 2.59, as an “internationally recognized and widely

accepted method”. The note to entry clarifies that “these are ISO standards and standards jointly

published by ISO and CEN or other regional/national standards of equivalent standing”.

In the ISO 16140 series, reference methods include standardized reference (ISO and CEN) methods as

defined in ISO 17468:2016, 3.5, as a “reference method described in a standard”.

An alternative method (method submitted for validation) is defined in ISO 16140-1:2016, 2.4, as a

“method of analysis that detects or quantifies, for a given category of products, the same analyte as

is detected or quantified using the corresponding reference method”. The note to entry clarifies that:

“The method can be proprietary. The term ‘alternative’ is used to refer to the entire ‘test procedure

and reaction system’. This term includes all ingredients, whether material or otherwise, required for

implementing the method.”.

ISO 16140-4 addresses validation within a single laboratory. The results are therefore only valid for

the laboratory that conducted the study. In this case, verification (as described in ISO 16140-3) is not

applicable. This document, ISO 16140-5, describes protocols for non-proprietary methods where a

more rapid validation is required or when the method to be validated is highly specialized and the

number of participating laboratories required by ISO 16140-2 cannot be reached. ISO 16140-4 and this

document can be used for validation against a reference method. ISO 16140-4 (regarding qualitative

and quantitative methods) and this document (regarding quantitative methods only) can also be used

for validation without a reference method.
© ISO 2020 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO 16140-5:2020(E)

The flow chart in Figure 1 gives an overview of the links between the different parts mentioned above.

It also guides the user in selecting the right part of the ISO 16140 series, taking into account the purpose

of the study and the remarks given above.
Figure 1 — Flow chart for application of the ISO 16140 series

NOTE In this document, the words “category”, “type” and/or “item” are sometimes combined with “(food)”

to improve readability. However, the word “(food)” is interchangeable with “(feed)” and other areas of the food

chain as mentioned in Clause 1.

ISO 16140-6 is somewhat different from the other parts in the ISO 16140 series in that it relates to

a very specific situation where only the confirmation procedure of a method is to be validated [e.g.

the biochemical confirmation of Enterobacteriaceae (see ISO 21528-2)]. The confirmation procedure

advances a suspected (presumptive) result to a confirmed positive result. The validation of alternative

typing techniques (e.g. serotyping of Salmonella) is also covered by ISO 16140-6. The validation study

in ISO 16140-6 clearly defines the selective agar(s) from which strains can be confirmed using the

alternative confirmation method. If successfully validated, the alternative confirmation method can

only be used if strains are recovered on an agar that was used and shown to be acceptable within the

validation study. Figure 2 shows the possibilities where an alternative confirmation method validated

in accordance with ISO 16140-6 can be applied (see text in the boxes).
vi © ISO 2020 – All rights reserved
---------------------- Page: 6 ----------------------
ISO 16140-5:2020(E)
Figure 2 — Use of validated alternative confirmation methods (see ISO 16140-6)

EXAMPLE An example application of a validated alternative confirmation method is as follows.

An alternative confirmation method based on ELISA has been validated (in accordance with ISO 16140-6) to

replace the biochemical confirmation for Salmonella as described in ISO 6579-1. In the validation study, XLD

(mandatory agar in accordance with ISO 6579-1) plus BGA and a specified chromogenic agar (two optional agars

for second plating in accordance with ISO 6579-1) were used as the agars to start the confirmation. The validated

confirmation method can be used to replace the biochemical confirmation under the following conditions:

— by laboratories using the ISO 6579-1; or

— by laboratories using an ISO 16140-2 validated alternative method that refers to ISO 6579-1 for confirmation; or

— by laboratories using an ISO 16140-2 validated alternative method that starts the confirmation from XLD

and/or BGA agar and/or the specified chromogenic agar.
The validated confirmation method cannot be used under the following conditions:

— by laboratories using an ISO 16140-2 validated alternative method that refers only to agars other than those

included in the validation to start the confirmation (e.g. Hektoen agar and SS agar only); or

— by laboratories using an ISO 16140-2 validated alternative method that refers only to a confirmation

procedure that does not require isolation on agar.
0.2 Validation protocols in the ISO 16140 series

An interlaboratory validation study, in accordance with ISO 16140-2, requires at least eight laboratories

for quantitative methods and at least ten laboratories for qualitative methods.

This document provides a protocol that addresses the special case where the number of laboratories

required in an interlaboratory validation of a method by ISO 16140-2 cannot be achieved. The protocol

allows a method validation based on a minimum of four laboratories. It applies, for example, in situations

where there is an urgent need for a validated method but the in-house and interlaboratory studies in

accordance with ISO 16140-2 take too long to complete. This document also addresses the problem of

method validation of highly specialized methods, for which only a few laboratories might be available

for a validation study. This document can only be used for non-proprietary methods. Table 1 provides

an overview of the different protocols.
© ISO 2020 – All rights reserved vii
---------------------- Page: 7 ----------------------
ISO 16140-5:2020(E)

Table 1 — Overview of different validation protocols described in the ISO 16140 series

Number of participating
With reference method Without reference method
laboratories
1 ISO 16140-4 ISO 16140-4

4 to 7 (quantitative method)/ This document: for non-proprietary This document: for non-proprietary

4 to 9 (qualitative method) methods only quantitative methods only
≥ 8 (quantitative method)/ ISO 16140-2: for the interlaboratory
Not applicable
≥ 10 (qualitative method) study part

In order to reduce the number of required laboratories to a minimum of four, while maintaining the

applicability of the validation to all laboratories, the protocol is based on a factorial experimental design.

In the factorial design, factors such as the technician or culture medium are altered simultaneously,

and the method is used in a range of different factor settings. This approach allows a more detailed

analysis of the precision parameters of the method while, at the same time, requiring a smaller number

of laboratories and tests.
viii © ISO 2020 – All rights reserved
---------------------- Page: 8 ----------------------
INTERNATIONAL STANDARD ISO 16140-5:2020(E)
Microbiology of the food chain — Method validation —
Part 5:
Protocol for factorial interlaboratory validation for non-
proprietary methods
1 Scope

This document specifies the general principles and the technical protocols (based on orthogonal,

factorial studies) for the validation of non-proprietary methods for microbiology of the food chain.

This document is applicable to the validation of methods used for the analysis (detection or

quantification) of microorganisms in:
— products intended for human consumption;
— products intended for animal feeding;
— environmental samples in the area of food and feed production, handling;
— samples from the primary production stage.

This document is, in particular, applicable to bacteria and fungi. Some clauses can be applicable to other

(micro)organisms or their metabolites, to be determined on a case-by-case basis.

This document specifies protocols for the validation against a reference method for both quantitative

and qualitative methods. This document also provides a protocol for the validation of quantitative

methods without a reference method. Qualitative methods cannot be validated without a reference

method in accordance with this document.

NOTE ISO 16140-2 specifies the general principle and the technical protocol for the validation of alternative,

mostly proprietary, methods against a reference method.

This document is only applicable to the validation of methods that are fully specified with regard to all

relevant parameters (including tolerances on temperatures and specifications on culture media) and

that have already been optimized.

Methods that have been validated in accordance with this document can be used by the laboratories of

the specified population of laboratories.
2 Normative references

The following documents are referred to in the text in such a way that some or all of their content

constitutes requirements of this document. For dated references, only the edition cited applies. For

undated references, the latest edition of the referenced document (including any amendments) applies.

ISO 7218, Microbiology of food and animal feeding stuffs — General requirements and guidance for

microbiological examinations

ISO 16140-1:2016, Microbiology of the food chain — Method validation — Part 1: Vocabulary

ISO 16140-2:2016, Microbiology of the food chain — Method validation — Part 2: Protocol for the validation

of alternative (proprietary) methods against a reference method
© ISO 2020 – All rights reserved 1
---------------------- Page: 9 ----------------------
ISO 16140-5:2020(E)
3 Terms and definitions

For the purposes of this document, the terms and definitions given in ISO 16140-1 and the following apply.

ISO and IEC maintain terminological databases for use in standardization at the following addresses:

— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at http:// www .electropedia .org/
3.1
factor

qualitative or quantitative parameter within the method that can be varied at two or more levels within

the limits of the specified method
EXAMPLE Technician.

Note 1 to entry: In this document, only those factors that are in line with the protocol of the method are

considered.
3.2
factor level
value of the factors (3.1) within the experimental design
EXAMPLE Technician “a”, technician “b”, etc.

Note 1 to entry: In this document, each factor is varied at two factor levels: “a” and “b”.

Note 2 to entry: This definition is based on how ISO 3534-3:2013, 3.1.12, defines “factor level”. In ISO 3534-3:2013,

3.1.12, the definition is more general, but the statistical meaning is the same.
3.3
orthogonal design

factorial design, in which for every pair of factors (3.1), each combination of factor levels (3.2) occurs the

same number of times across the possible factor levels

Note 1 to entry: This definition is based on how ISO 3534-3:2013, 3.1.31, defines “orthogonal array”, but for

“orthogonal design”, a more general and more theoretical definition is used.
3.4
reference value

estimated concentration level obtained with the reference method

3.5
reference value

estimated concentration

level obtained from the concentration level of the inoculum
3.6
setting
combination of factor levels (3.2)
EXAMPLE Technician “a” + culture media “b” + temperature “a” + etc.

Note 1 to entry: These conditions can be described by the combination of levels of factors varied within the study.

2 © ISO 2020 – All rights reserved
---------------------- Page: 10 ----------------------
ISO 16140-5:2020(E)
4 General principles for the factorial interlaboratory validation of non-
proprietary methods
4.1 General

This document uses a protocol based on orthogonal, factorial studies. A high certainty of the determined

method validation parameters is achieved by focusing on suitable factors (e.g. technician, culture media,

sample preparation, temperature, test duration) that can influence the test result. This allows the

number of required laboratories to be reduced to a minimum of four. General concepts and considerations

given in ISO 16140-2 shall apply, unless explicitly excluded. The validation can be conducted against a

reference method or, in the case of a quantitative method, without a reference method.

The outcome of the validation study applies to:

— any laboratory: if the four laboratories can be considered a “random sample” of independent

laboratories from different organizations;

— all laboratories within an organization: if the four laboratories can be considered a “random sample”

of laboratories at different sites from one organization.
4.2 Validation against a reference method
The validation protocol comprises two phases:

— an in-house validation study of the non-proprietary method against the reference method carried

out in the organizing laboratory (see ISO 16140-1:2016, 2.45);

— an interlaboratory study of the non-proprietary method against the reference method carried out

in different laboratories.

The technical protocol for performing the in-house validation study and the interlaboratory study are

given in Clauses 5 and 6, depending upon whether the test method is qualitative or quantitative in nature.

The selected factors for the factorial interlaboratory study should be relevant and applied to both the

reference and the alternative method.
4.3 Validation without a reference method

The validation protocol applies to the validation of quantitative methods only. It comprises two phases:

— an in-house validation study of the non-proprietary method against the reference value carried out

in the organizing laboratory;

— an interlaboratory study of the non-proprietary method against the reference value carried out in

different laboratories.

The technical protocol for performing the in-house validation study and the interlaboratory study for

quantitative methods are given in Clause 6.
5 Qualitative methods — Technical protocol for factorial interlaboratory
validation
5.1 In-house validation study

The in-house validation study is the part of the validation process that is performed in the organizing

laboratory. It can be conducted in accordance with the conventional approach or the factorial approach,

as described in ISO 16140-4.
© ISO 2020 – All rights reserved 3
---------------------- Page: 11 ----------------------
ISO 16140-5:2020(E)

An in-house validation study can be used to demonstrate the performance of the method for the

laboratory that conducted the study. It is the first step in the framework of general method validation.

The in-house validation study assesses the performance of the method across (food) categories, (food)

types and (food) items, whereas the interlaboratory study assesses the performance of the method

across laboratories.
5.2 Interlaboratory validation study against a reference method
5.2.1 General considerations

The aim of the interlaboratory study is to compare the performance of the reference method to the

alternative method in terms of the RLOD obtained by different laboratories. The results of the same

set of samples, examined under reproducibility conditions, are compared with pre-set criteria for the

acceptable difference between the reference method and the alternative method. Wherever possible,

the study conditions should reflect the normal variation between laboratories.

The interlaboratory study is planned by the organizing laboratory. The organizing laboratory prepares

the samples and a data sheet for the recording of all experimental data and critical experimental

conditions used by each laboratory. Each laboratory shall demonstrate its competence in the use of the

alternative and the reference method in accordance with ISO 7218 prior to participating in the study.

Technicians involved in the preparation of the samples used in the interlaboratory study shall not take

part in the testing of the samples in the interlaboratory study.
5.2.2 Measurement protocol

A minimum of four independent laboratories are required to conduct the test series.

The laboratories shall belong to different organizations or shall be located at different sites.

If all laboratories belong to one organization or network, results of the validation study can only be

used by laboratories belonging to this organization or network.
EXAMPLE 1 Laboratories belonging to one public or private organization.
EXAMPLE 2 Network of federal, state and/or provincial laboratories.

EXAMPLE 3 Network of national reference laboratories coordinated by a European Union reference

laboratory.

If possible, more than four laboratories should participate, so that results from at least eight technicians

are available for analysis even if, for some reason, certain data cannot be used.

The protocol is as follows.

— In cases where different enrichment protocols for the alternative method exist, the most challenging

enrichment protocol shall be selected, e.g. the protocol having the shortest incubation time or the

most selective enrichment conditions. The selected (food) type shall be relevant for the chosen

enrichment protocol. The (food) item, which is used to prepare the test samples, should contain

natural background microbiota.

— The selected (food) item shall be artificially contaminated with the target organism. The protocol

for inoculation of the samples shall be appropriate for the selected (food
...

DRAFT INTERNATIONAL STANDARD
ISO/DIS 16140-5
ISO/TC 34/SC 9 Secretariat: AFNOR
Voting begins on: Voting terminates on:
2017-12-15 2018-03-09
Microbiology of the food chain — Method validation —
Part 5:
Protocol for factorial interlaboratory validation of non-
proprietary methods
Microbiologie de la chaîne alimentaire — Validation des méthodes —

Partie 5: Protocole pour la validation interlaboratoires de méthodes non propriétaires par plan factoriel

ICS: 07.100.30
THIS DOCUMENT IS A DRAFT CIRCULATED
This document is circulated as received from the committee secretariat.
FOR COMMENT AND APPROVAL. IT IS
THEREFORE SUBJECT TO CHANGE AND MAY
NOT BE REFERRED TO AS AN INTERNATIONAL
STANDARD UNTIL PUBLISHED AS SUCH.
IN ADDITION TO THEIR EVALUATION AS
ISO/CEN PARALLEL PROCESSING
BEING ACCEPTABLE FOR INDUSTRIAL,
TECHNOLOGICAL, COMMERCIAL AND
USER PURPOSES, DRAFT INTERNATIONAL
STANDARDS MAY ON OCCASION HAVE TO
BE CONSIDERED IN THE LIGHT OF THEIR
POTENTIAL TO BECOME STANDARDS TO
WHICH REFERENCE MAY BE MADE IN
Reference number
NATIONAL REGULATIONS.
ISO/DIS 16140-5:2017(E)
RECIPIENTS OF THIS DRAFT ARE INVITED
TO SUBMIT, WITH THEIR COMMENTS,
NOTIFICATION OF ANY RELEVANT PATENT
RIGHTS OF WHICH THEY ARE AWARE AND TO
PROVIDE SUPPORTING DOCUMENTATION. ISO 2017
---------------------- Page: 1 ----------------------
ISO/DIS 16140-5:2017(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2017, Published in Switzerland

All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form

or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior

written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of

the requester.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. +41 22 749 01 11
Fax +41 22 749 09 47
copyright@iso.org
www.iso.org
ii © ISO 2017 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/DIS 16140-5:2017(E)
Contents

Foreword ............................................................................................................................................................... 5

Introduction ............................................................................................................................................................... 6

1 Scope ............................................................................................................................................................... 9

2 Normative references ............................................................................................................................................... 9

3 Terms and definitions .............................................................................................................................................. 9

4 General principles for the factorial interlaboratory validation of non-proprietary methods ... 10

4.1 General ................................................................................................................................................................................... 10

4.2 Validation against a reference method .................................................................................................................... 11

4.3 Validation without reference method ...................................................................................................................... 11

5 Qualitative methods - Technical protocol for factorial interlaboratory validation ....................... 11

5.1 In-house validation study .............................................................................................................................................. 11

5.2 Interlaboratory study ...................................................................................................................................................... 12

5.2.1 General considerations ........................................................................................................................................... 12

5.2.2 Measurement protocol ........................................................................................................................................... 12

5.2.3 Experimental design ................................................................................................................................................ 14

5.3 Calculations and summary of data ............................................................................................................................. 14

5.4 Interpretation of data ...................................................................................................................................................... 16

5.4.1 Paired study ................................................................................................................................................................ 16

5.4.2 Unpaired study .......................................................................................................................................................... 16

5.4.3 Analysis of factorial effects ................................................................................................................................... 17

6 Quantitative methods - Technical protocol for factorial interlaboratory validation..................... 17

6.1 In-house validation study .............................................................................................................................................. 17

6.2 Interlaboratory study ...................................................................................................................................................... 18

6.2.1 General considerations ........................................................................................................................................... 18

6.2.3 Measurement protocol ........................................................................................................................................... 18

6.2.3 Experimental design ................................................................................................................................................ 19

6.3 Calculations and summary of data ............................................................................................................................. 19

6.4 Precision study without a reference value ............................................................................................................. 22

Annex A (normative) — List of factors for factorial study design ............................................................. 23

Annex B (informative) — Example of a factorial interlaboratory study for a quantitative method .

............................................................................................................................................................ 25

B.1 Study design ........................................................................................................................................................................ 25

B.2 Calculations and summary of data ............................................................................................................................. 27

B.2.1 Summary of the results of laboratories 1 to 5 of the interlaboratory study .................................... 27

B.2.2 Precision data ............................................................................................................................................................. 28

B.2.3 Accuracy profile ........................................................................................................................................................ 30

Annex C (informative) — Example of a factorial interlaboratory study for a qualitative method ....

............................................................................................................................................................ 34

Bibliography ............................................................................................................................................................ 42

© ISO 2017 – All rights reserved 3
---------------------- Page: 3 ----------------------
ISO/DIS 16140-5:2017(E)
Foreword

ISO (the International Organization for Standardization) is a worldwide federation of national

standards bodies (ISO member bodies). The work of preparing International Standards is normally

carried out through ISO technical committees. Each member body interested in a subject for which a

technical committee has been established has the right to be represented on that committee.

International organizations, governmental and non-governmental, in liaison with ISO, also take part in

the work. ISO collaborates closely with the International Electrotechnical Commission (IEC) on all

matters of electrotechnical standardization.

The procedures used to develop this document and those intended for its further maintenance are

described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the

different types of ISO documents should be noted. This document was drafted in accordance with the

editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).

Attention is drawn to the possibility that some of the elements of this document may be the subject of

patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of

any patent rights identified during the development of the document will be in the Introduction and/or

on the ISO list of patent declarations received (see www.iso.org/patents).

Any trade name used in this document is information given for the convenience of users and does not

constitute an endorsement.

For an explanation on the voluntary nature of standards, the meaning of ISO specific terms and

expressions related to conformity assessment, as well as information about ISO’s adherence to the

World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see the following

URL: www.iso.org/iso/foreword.html.

This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 9,

Microbiology (Working Group WG 3, Method validation).
A list of all parts of the ISO 16140 series can be found on the ISO website.
© ISO 2017 – All rights reserved 5
---------------------- Page: 4 ----------------------
ISO/DIS 16140-5:2017(E)
Introduction

The ISO 16140 series has been elaborated in response to the need for various ways to validate or verify

test methods. It is the successor of ISO 16140:2003, Microbiology of food and animal feeding stuffs —

Protocol for the validation of alternative methods. ISO 16140 series consists of several parts with the

general title, Microbiology of the food chain — Method validation:
 Part 1: Vocabulary

 Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method

 Part 3: Protocol for the verification of reference and validated alternative methods implemented in a

single laboratory
 Part 4: Protocol for single-laboratory (in-house) method validation

 Part 5: Protocol for factorial interlaboratory validation for non-proprietary methods

 Part 6: Protocol for the validation of alternative (proprietary) methods for microbiological

confirmation and typing procedures

ISO 17468, Microbiology of the food chain — Technical requirements and guidance on establishment or

[2]

revision of a standardized reference method , is a closely linked International Standard. This

International Standard, which establishes technical rules for the development and validation of

standardized methods, is intended for the development of standardized methods by ISO/TC 34, Food

products, Subcommittee SC 9, Microbiology and CEN/TC 275/WG 6, Microbiology of the food chain.

In general two stages are needed before a method can be used in a laboratory:

 The first stage is the validation of the method. This is either conducted in several laboratories

(parts 2 and 5 of ISO 16140) or in one laboratory (part 4 of ISO 16140).

 The second stage is method verification, where a laboratory demonstrates that it can satisfactorily

perform a validated method. This is described in part 3 of ISO 16140 (method verification). In

part 3, a separation is made between verification of (food) items that are included in the validation

study and (food) items that are not tested in the validation study but belong within the scope of

validation.

NOTE 1 Standardized reference methods (with and without published validation data) only require verification

before implementation in the laboratory.

NOTE 2 In this part of ISO 16140, the words ‘category’, ‘type’ and ‘item’ are sometimes combined with ‘food’ to

improve the readability of this document. However, the word ‘food’ is interchangeable with ‘feed’ and the other

areas of the food chain as mentioned in the Scope of ISO 16140-5.

Part 4 of ISO 16140 addresses validation within a single laboratory. The results are therefore only valid

in the laboratory which conducted the study. In this case, verification (part 3 of ISO 16140) is not

required.

Part 5 of ISO 16140 describes protocols for situations where a more rapid validation is required or

when the method to be validated is highly specialised, and, the number of participating laboratories

required by ISO 16140-2 cannot be reached.
6 © ISO 2017 – All rights reserved
---------------------- Page: 5 ----------------------
ISO/DIS 16140-5:2017(E)

The flow chart in Figure 1 gives an overview of the links between the different parts mentioned above.

It also guides the users in selecting the right part of the ISO 16140 series, taking into account the

purpose of the study and the remarks given above. For this, it is important to distinguish between

'reference method' and 'standardized reference method'. A reference method is an internationally

recognized and widely accepted method (term 2.59 of ISO 16140-1:2016) and a standardized reference

method is a reference method described in a standard (term 3.5 of ISO 17468:2016). In the ISO 16140

series, reference method includes standardized reference method. The flow diagram acknowledges that

published validation data may not be available for some standardized reference methods.

Figure 1 — Flow chart for application of the different parts of the ISO 16140-series

Part 6 of ISO 16140, is somewhat different from the other parts in the ISO 16140 series in that it relates

to a very specific situation where only the confirmation procedure of a method is validated. The

confirmation procedure advances a suspected (presumptive) result to a confirmed positive result. The

typing of pure strains (e.g. serotyping of Salmonella) is included in part 6 of ISO 16140.

An interlaboratory study, according to ISO 16140-2 (proprietary methods), requires at least

8 laboratories for quantitative methods and 10 laboratories for qualitative methods. ISO 16140-5 is

intended to be used for interlaboratory studies comprising 4-7 laboratories for quantitative methods

and 4-9 laboratories for qualitative methods. ISO 16140-5 can only be used for non-proprietary

methods. Table 1 provides an overview of the different protocols.
© ISO 2017 – All rights reserved 7
---------------------- Page: 6 ----------------------
ISO/DIS 16140-5:2017(E)
Table 1 — Overview of different validation protocols described in ISO 16140
Number of laboratories With reference method Without reference method

1 Part 4 of ISO 16140: factorial or conventional Part 4 of ISO 16140: factorial or conventional

4 to 7 (quantitative method)/ Part 5 of ISO 16140: for non-proprietary Part 5 of ISO 16140: for non-proprietary

4 to 9 (qualitative method) methods only methods only

≥ 8 (quantitative method)/ Part 2 of ISO 16140 (for the interlaboratory Not available

≥ 10 (qualitative method) study part)

This part of ISO 16140 provides a protocol that addresses the special case where the number of

laboratories (8 for quantitative methods and 10 for qualitative methods) required in an interlaboratory

validation of a method by ISO 16140-2 cannot be achieved. The protocol allows a method validation

based on only 4 laboratories. It applies, for example, in situations where there is an urgent need for a

validated method but the protocols of ISO 16140-2 take too long to complete. This part of ISO 16140

also addresses the problem of method validation of highly specialised methods, for which only a few

laboratories might be available for a validation study.

In order to reduce the number of required laboratories to 4 while maintaining the generalizability of

the validation to all laboratories, the protocol is based on a factorial experimental design. In the

factorial design, several factors such as the technician or culture medium are altered simultaneously

and the method is used in a range of different factor settings. This approach allows a more detailed

analysis of the precision parameters of the method while, at the same time, requiring a smaller number

of laboratories and tests.
8 © ISO 2017 – All rights reserved
---------------------- Page: 7 ----------------------
ISO/DIS 16140-5:2017(E)
Microbiology of the food chain — Method validation — Part 5:
Protocol for factorial interlaboratory validation of non-
proprietary methods
1 Scope

This part of ISO 16140 describes the general principle and the technical protocol (based on orthogonal,

factorial studies) for the validation of non-proprietary methods for microbiology of the food chain.

This part of ISO 16140 is applicable to the validation of non-proprietary methods used in the analysis

(detection or quantification) of microorganisms in
 products intended for human consumption,
 products intended for animal feeding,
 environmental samples in the area of food and feed production, handling, and
 samples from the primary production stage.

This part of ISO 16140 is in particular applicable to bacteria and fungi. Some clauses can be applicable

to other (micro)organisms or their metabolites, to be determined on a case-by-case-basis.

This part of ISO 16140 only applies to the validation of methods that are fully specified with regard to

all relevant parameters (including tolerances on temperatures and specifications on culture media) and

which have already been optimised.
2 Normative references

The following documents are referred to in the text in such a way that some or all of their content

constitutes requirements of this document. For dated references, only the edition cited applies. For

undated references, the latest edition of the referenced document (including any amendments) applies.

ISO 7218, Microbiology of food and animal feeding stuffs — General requirements and guidance for

microbiological examinations

ISO 16140-1:2016, Microbiology of the food chain — Method validation — Part 1: Vocabulary

ISO 16140-2:2016, Microbiology of the food chain — Method validation — Part 2: Protocol for the

validation of alternative (proprietary) methods against a reference method
3 Terms and definitions

For the purposes of this document, the terms and definitions given in ISO 16140-1 and the following

apply. ISO and IEC maintain terminological databases for use in standardization at the following

addresses:
— IEC Electropedia: available at http://www.electropedia.org/
— ISO Online browsing platform: available at http://www.iso.org/obp
© ISO 2017 – All rights reserved 9
---------------------- Page: 8 ----------------------
ISO/DIS 16140-5:2017(E)
3.1
block

group of settings which have to be conducted in parallel or in a short time interval, and which are used

for the same samples
EXAMPLE Block = settings conducted in parallel =
Technician ‘a’ + culture medium ‘b’ + temperature ‘a’ + incubator ‘a’
AND
Technician ‘b’ + culture medium ‘a’ + temperature ‘b’ + incubator ‘b’
3.2
factor

qualitative or quantitative parameter within the method that can be varied at two or more levels within

the limits of the specified method
EXAMPLE Technician.

Note 1 to entry: In this part of ISO 16140, only those factors that are in line with the prescription of the method

are considered.
3.3
factor level
value of the factors within the experimental design
EXAMPLE Technician ‘a’, technician ‘b’, etc.

Note 1 to entry: In this part of ISO 16140, each factor is varied at two factor levels ‘a’ and ‘b’.

3.4
setting
combination of factor levels
EXAMPLE Technician ‘a’ + culture media ‘b’ + temperature ‘a’ + etc.

Note 1 to entry: These conditions can be described by the combination of levels of factors varied within the study.

4 General principles for the factorial interlaboratory validation of non-
proprietary methods
4.1 General

This part of ISO 16140 uses a protocol based on orthogonal, factorial studies. A high certainty of the

determined method validation parameters is obtained, by focussing on suitable factors (e.g. technician,

culture media, sample preparation, temperature, duration) that can influence the test result. This allows

the number of required laboratories to be reduced to a minimum of 4. General concepts and

considerations given in ISO 16140-2 shall be used, unless explicitly excluded. The validation can be

conducted against a reference method or by the use of appropriate reference materials.

This validation protocol can be used in different ways:

 For all laboratories: if 4 laboratories can be considered a ‘random sample’ of independent

laboratories from different organizations, the test method can be considered to be validated for all

laboratories in that accurate and precise measurements are to be expected from any laboratory.

 For laboratories within an organization: if 4 laboratories can be considered a ‘random sample’ of

independent laboratories from one organization, the test method can be considered to be validated

10 © ISO 2017 – All rights reserved
---------------------- Page: 9 ----------------------
ISO/DIS 16140-5:2017(E)

for this organization in that accurate and precise measurements are to be expected from any

laboratory in the organization.
4.2 Validation against a reference method
The validation protocol comprises two phases:

 an in-house validation study of the non-proprietary method against the reference method carried

out in the organizing laboratory;

 an interlaboratory study of the non-proprietary method against the reference method carried out

in different laboratories.

The technical protocol for performing the in-house validation study and the interlaboratory study are

given in Clause 5 and 6, depending upon whether the test method is qualitative or quantitative in

nature.

The selected factors for the factorial interlaboratory study should be relevant to both the reference and

the alternative method.
4.3 Validation without reference method
The validation protocol comprises two phases:

 an in-house validation study of the non-proprietary method against the reference value carried out

in the organizing laboratory;

 an interlaboratory study of the non-proprietary method against the reference value carried out in

different laboratories.

The technical protocol for performing the in-house validation study and the interlaboratory study for

quantitative test methods are given in Clause 6.

Qualitative test methods cannot be validated without a reference method according to this part of

ISO 16140.

5 Qualitative methods - Technical protocol for factorial interlaboratory validation

5.1 In-house validation study

The in-house validation study is the part of the validation process that is performed in the organizing

laboratory. It can be conducted according to the conventional approach or the factorial approach, as

described in part 4 of ISO 16140.

An in-house validation study can be used in order to demonstrate the performance of the method for

the laboratory that conducted the study. In the framework of general method validation, it is the first

step and is needed for assessing the performance of the method across a large number of (food) types

and samples, whereas in the interlaboratory study, the performance of the method is assessed across a

larger number of laboratories.
© ISO 2017 – All rights reserved 11
---------------------- Page: 10 ----------------------
ISO/DIS 16140-5:2017(E)
5.2 Interlaboratory study
5.2.1 General considerations

The aim of the interlaboratory study is to compare the performance of the reference method to the

alternative method in terms of the RLOD obtained by different laboratories, using the same set of

samples examined under reproducibility conditions and to compare these results with pre-set criteria

for the acceptable difference between the reference method and the alternative method. The

interlaboratory study is planned by the organizing laboratory.

The organizing laboratory prepares the samples and a data sheet for the recording of all experimental

data and critical experimental conditions used by each laboratory. It is necessary for each laboratory to

demonstrate its competence in the use of the alternative and the reference method according to

ISO 7218 prior to participating in the study.

Technicians, involved in the preparation of the samples used in the interlaboratory study, shall not take

part in the testing of the samples of the interlaboratory study.
5.2.2 Measurement protocol

Four or more independent laboratories are required to conduct the measurement series. These

laboratories shall be representative of the population of laboratories and shall belong to a minimum

of 3, but preferably 4 different organizations, excluding the organizing laboratory.

NOTE 1 Laboratories in different locations, but belonging to one company or institute, are accepted as different

organizations.

NOTE 2 If the 4 laboratories are independent and representative of the population of laboratories within one

organization, the outcome of the validation study applies only to laboratories within that organization.

If possible, more than 4 laboratories should participate, so that results from at least 8 technicians

remain even if, for some reason, certain data cannot be used.
The protocol is as follows:

 In cases where different enrichment protocols for the alternative method exist, the most

challenging enrichment protocol shall be selected, e.g. the protocol having the shortest incubation

time or the most selective enrichment conditions. The selected (food) item shall be relevant for the

chosen enrichment protocol. This relevant (food) type, which is used to prepare the test samples,

should contain a natural background microflora.

 The selected (food) item shall be inoculated with the target organism. The protocol for inoculation

of the samples shall be appropriate for the selected food. Samples shall be prepared by the

organizing laboratory to ensure homogeneity between and within samples using preparation

protocols contained in Annex B and Annex C of ISO 16140-2:2016.

 At least three different levels of contamination shall be used: a negative control (L ) and two levels

(L and L ). Level L should be between the LOD of the reference method (LOD ) and the LOD

1 2 1 50 50,ref 50

of the alternative method (LOD = RLOD · LOD ). Level L should be 1 log level above L .

50,alt 50,ref 2 10 1

 For the selected (food) item, for each setting and for each laboratory, 4 replicates shall be

conducted at level L Only 1 test is conducted at the two other levels L and L .
1. 0 2
12 © ISO 2017 – All rights reserved
---------------------- Page: 11 ----------------------
ISO/DIS 16140-5:2017(E)

 According to the factorial, orthogonal design, 8 settings have to be conducted by each laboratory for

both test methods and for all levels of contamination (L , L and L ). In total 96 results

0 1 2
(1  4  1 tests × 8 settings × 2 methods) are conducted in each laboratory.

 All samples should be blind-coded to ensure that the analysts are not aware of their level of

contamination.

 For tests which give paired results (paired result occurs when the primary enrichment is the same

for the alternative and reference method), one test portion is required to obtain a result for the

alternative and the reference method. For tests which give unpaired results (unpaired result occurs

when the alternative and reference methods start from different primary enrichments), two sets of

test portions are required. One test portion is analysed by the alternative method and another test

portion by the reference method.

 The data are reported in two tables, giving the results from the reference method and from the

alternative method before and after confirmation of the results. If the results for alternative and

reference methods have been obtained from the same initial enrichment broth (paired data), there

is no need to confirm the results of the alternative method if the results agree with that obtained

with the reference method. In cases when the reference method gives a negative result and the

alternative method gives a positive result, then confirmation of the positive result is required. If the

results for alternative and reference methods have been obtained from different enrichments

(unpaired data), then all enrichments obtained with the alternative method shall be taken forward

for confirmation. Confirmation pathways are described in 5.1.3
...

NORME ISO
INTERNATIONALE 16140-5
Première édition
2020-07
Microbiologie de la chaîne
alimentaire — Validation des
méthodes —
Partie 5:
Protocole pour la validation
interlaboratoires de méthodes non
commerciales par plan factoriel
Microbiology of the food chain — Method validation —
Part 5: Protocol for factorial interlaboratory validation for non-
proprietary methods
Numéro de référence
ISO 16140-5:2020(F)
ISO 2020
---------------------- Page: 1 ----------------------
ISO 16140-5:2020(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2020

Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette

publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,

y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut

être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.

ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii © ISO 2020 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 16140-5:2020(F)
Sommaire Page

Avant-propos ..............................................................................................................................................................................................................................iv

Introduction ..................................................................................................................................................................................................................................v

1 Domaine d’application ................................................................................................................................................................................... 1

2 Références normatives ................................................................................................................................................................................... 1

3 Termes et définitions ....................................................................................................................................................................................... 2

4 Principes généraux pour la validation interlaboratoires de méthodes non

commerciales par plan factoriel .......................................................................................................................................................... 3

4.1 Généralités .................................................................................................................................................................................................. 3

4.2 Validation par rapport à une méthode de référence .............................................................................................. 3

4.3 Validation sans méthode de référence ............................................................................................................................... 3

5 Méthodes qualitatives — Protocole technique de validation interlaboratoires par

plan factoriel ............................................................................................................................................................................................................. 4

5.1 Étude de validation interne .......................................................................................................................................................... 4

5.2 Étude de validation interlaboratoires par rapport à une méthode de référence .......................... 4

5.2.1 Considérations générales ......................................................................................................................................... 4

5.2.2 Protocole de mesure ..................................................................................................................................................... 4

5.2.3 Sélection des facteurs à étudier .......................................................................................................................... 6

5.2.4 Plan d’expérience ............................................................................................................................................................ 6

5.3 Calculs et résumé des données ................................................................................................................................................. 7

5.4 Interprétation des données.......................................................................................................................................................... 9

5.4.1 Étude de méthodes appariées .............................................................................................................................. 9

5.4.2 Étude de méthodes non appariées ................................................................................................................... 9

5.4.3 Analyse des effets factoriels en fonction du RLOD ..........................................................................10

6 Méthodes quantitatives — Protocole technique de validation interlaboratoires par

plan factoriel ..........................................................................................................................................................................................................10

6.1 Étude de validation interne .......................................................................................................................................................10

6.2 Étude de validation interlaboratoires par rapport à une méthode de référence .......................10

6.2.1 Considérations générales ......................................................................................................................................10

6.2.2 Protocole de mesure ..................................................................................................................................................11

6.2.3 Plan d’expérience .........................................................................................................................................................12

6.3 Calculs, résumé et interprétation des données ........................................................................................................12

6.3.1 Résumé des résultats d’essai ..............................................................................................................................12

6.3.2 Données de fidélité .....................................................................................................................................................13

6.3.3 Profil d’exactitude ........................................................................................................................................................15

6.4 Étude de validation interlaboratoires sans méthode de référence .........................................................15

Annexe A (informative) Liste des facteurs et niveaux de facteurs relatifs à la validation par

plan factoriel ..........................................................................................................................................................................................................16

Annexe B (informative) Exemple d’étude factorielle interlaboratoires applicable à une

méthode quantitative ...................................................................................................................................................................................18

Annexe C (informative) Exemple d’étude factorielle interlaboratoires applicable à une

méthode qualitative .......................................................................................................................................................................................30

Bibliographie ...........................................................................................................................................................................................................................38

© ISO 2020 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 16140-5:2020(F)
Avant-propos

L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes

nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est

en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude

a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,

gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.

L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui

concerne la normalisation électrotechnique.

Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont

décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents

critères d’approbation requis pour les différents types de documents ISO. Le présent document a été

rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www

.iso .org/ directives).

L’attention est attirée sur le fait que certains des éléments du présent document peuvent faire l’objet de

droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable

de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant

les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de

l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de

brevets reçues par l’ISO (voir www .iso .org/ brevets).

Les appellations commerciales éventuellement mentionnées dans le présent document sont données

pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un

engagement.

Pour une explication de la nature volontaire des normes, la signification des termes et expressions

spécifiques de l’ISO liés à l’évaluation de la conformité, ou pour toute information au sujet de l’adhésion

de l’ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles

techniques au commerce (OTC), voir www .iso .org/ avant -propos.

Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-

comité SC 9, Microbiologie, en collaboration avec le comité technique CEN/TC 463, Microbiologie

de la chaîne alimentaire, du Comité européen de normalisation (CEN) conformément à l’Accord de

coopération technique entre l’ISO et le CEN (Accord de Vienne).

Une liste de toutes les parties de la série ISO 16140 se trouve sur le site web de l’ISO.

Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent

document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes

se trouve à l’adresse www .iso .org/ fr/ members .html.
iv © ISO 2020 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 16140-5:2020(F)
Introduction
0.1 Série ISO 16140

La série ISO 16140 a été étendue en réponse à la nécessité de disposer de différents protocoles pour la

validation ou la vérification des méthodes d’essai. Elle succède à l’ISO 16140:2003. La série ISO 16140

comprend six parties ayant le titre général, Microbiologie de la chaîne alimentaire — Validation des

méthodes:
— Partie 1: Vocabulaire;

— Partie 2: Protocole pour la validation de méthodes alternatives (commerciales) par rapport à une

méthode de référence;

— Partie 3: Protocole pour la vérification de méthodes de référence et de méthodes alternatives validées

dans un seul laboratoire;
— Partie 4: Protocole pour la validation de méthodes dans un seul laboratoire;

— Partie 5: Protocole pour la validation interlaboratoires de méthodes non commerciales par plan

factoriel;

— Partie 6: Protocole pour la validation de méthodes alternatives (commerciales) pour la confirmation

microbiologique et le typage.

L’ISO 17468 est une Norme internationale étroitement liée, qui établit les règles techniques pour le

développement et la validation de méthodes normalisées.

En général, deux étapes sont nécessaires avant de pouvoir utiliser une méthode en laboratoire.

— La première étape est la validation de la méthode. Celle-ci est effectuée à l’aide d’une étude dans un

seul laboratoire suivie d’une étude interlaboratoires (voir l’ISO 16140-2, l’ISO 16140-6, et le présent

document). Dans le cas où une méthode est validée dans un seul laboratoire (voir l’ISO 16140-4),

aucune étude interlaboratoires n’est effectuée.

— La deuxième étape est la vérification des méthodes, au cours de laquelle un laboratoire prouve qu’il

peut effectuer une méthode validée de manière satisfaisante. Celle-ci est décrite dans l’ISO 16140-3.

La vérification est uniquement applicable aux méthodes qui ont été validées à l’aide d’une étude

interlaboratoires.

On distingue en général deux types de méthodes: les méthodes de référence et les méthodes alternatives.

Une méthode de référence est définie dans l’ISO 16140-1:2016, 2.59, comme étant une «méthode

reconnue internationalement et largement acceptée». La note à l’article clarifie que «ces normes sont

des normes ISO et des normes publiées conjointement par l’ISO et le CEN ou d’autres normes régionales/

nationales de niveau équivalent».

Dans la série ISO 16140, les méthodes de référence comprennent les méthodes de référence normalisées

(ISO et CEN) telles que définies dans l’ISO 17468:2016, 3.5, en tant que «méthode de référence décrite

dans une norme».

Une méthode alternative (méthode soumise à validation) est définie dans l’ISO 16140-1:2016, 2.4, en

tant que «méthode d’analyse permettant de détecter ou de quantifier, pour une catégorie de produits

donnée, le même analyte que celui détecté ou quantifié avec la méthode de référence correspondante».

La note à l’article clarifie que: «La méthode peut être commerciale. L’adjectif «alternatif» se réfère à la

totalité du «mode opératoire d’analyse et du système réactionnel». Ce terme recouvre tous les éléments

nécessaires à la mise en œuvre de la méthode, qu’ils soient matériels ou autres.»

L’ISO 16140-4 traite de la validation dans un seul laboratoire. Par conséquent, les résultats sont

uniquement valides pour le laboratoire effectuant l’étude. Dans ce cas, aucune vérification (comme

décrit dans l’ISO 16140-3) n’est applicable. Le présent document, l’ISO 16140-5, décrit les protocoles

© ISO 2020 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO 16140-5:2020(F)

applicables aux méthodes non commerciales dans lesquelles une validation plus rapide est nécessaire

ou dans lesquelles la méthode à valider est hautement spécialisée, et le nombre de laboratoires

participants requis par l’ISO 16140-2 ne peut pas être atteint. L’ISO 16140-4 et le présent document

peuvent être utilisés pour la validation avec méthode de référence. L’ISO 16140-4 (pour les méthodes

qualitatives et quantitatives) et le présent document (pour les méthodes quantitatives uniquement)

peuvent également être utilisés pour la validation sans méthode de référence.

Le logigramme de la Figure 1 donne une vue d’ensemble des relations entre les différentes parties

susmentionnées. Il aide également l’utilisateur à choisir la partie appropriée de la série ISO 16140, en

tenant compte de l’objectif de l’étude et des remarques énoncées ci-dessus.
Figure 1 — Logigramme relatif à l’application de la série ISO 16140

NOTE Dans le présent document, les termes «catégorie», «type» et/ou «élément» sont parfois associés au

terme «(aliment)» pour une meilleure compréhension. Cependant, le terme «(aliment)» peut être remplacé par

«(aliment pour animaux)» et par les autres secteurs de la chaîne alimentaire tels que mentionnés à l’Article 1.

L’ISO 16140-6 est quelque peu différente des autres parties de la série ISO 16140 car elle concerne une

situation très spécifique dans laquelle seul le mode opératoire de confirmation d’une méthode doit

être validé [par exemple, la confirmation biochimique des Enterobacteriaceae (voir l’ISO 21528-2)].

Le mode opératoire de confirmation modifie un résultat suspecté (présomptif) en un résultat positif

confirmé. La validation des méthodes alternatives de typage (par exemple, sérotypage de Salmonella)

est également couverte par l’ISO 16140-6. L’étude de validation de l’ISO 16140-6 définit clairement la ou

les gélose(s) sélective(s) à partir de laquelle/desquelles les souches peuvent être confirmées en utilisant

la méthode alternative de confirmation. Lorsque la méthode alternative de confirmation est validée,

elle ne peut être appliquée que si les souches sont cultivées sur une gélose utilisée et jugée acceptable

lors de l’étude de validation. La Figure 2 illustre les situations dans lesquelles une méthode alternative

de confirmation validée conformément à l’ISO 16140-6 peut être appliquée (voir le texte dans les cases).

vi © ISO 2020 – Tous droits réservés
---------------------- Page: 6 ----------------------
ISO 16140-5:2020(F)

Figure 2 — Utilisation de méthodes alternatives de confirmation (voir ISO 16140-6)

EXEMPLE Un exemple d’application d’une méthode alternative de confirmation validée est donné ci-après.

Une méthode alternative de confirmation fondée sur un ELISA a été validée (conformément à

l’ISO 16140-6) pour remplacer la confirmation biochimique de Salmonella tel qu’il est décrit dans

l’ISO 6579-1. Lors de l’étude de validation, la gélose XLD (gélose obligatoire conformément à l’ISO 6579-1)

ainsi que la gélose BGA et une gélose chromogène spécifiée (deux géloses facultatives pour le deuxième

ensemencement conformément à l’ISO 6579-1) ont été utilisées pour commencer la confirmation. La

méthode de confirmation validée peut être utilisée pour remplacer la confirmation biochimique dans

les conditions suivantes:
— par des laboratoires utilisant l’ISO 6579-1; ou

— par des laboratoires utilisant une méthode alternative validée de l’ISO 16140-2 faisant référence à

l’ISO 6579-1 pour la confirmation; ou

— par des laboratoires utilisant une méthode alternative validée de l’ISO 16140-2 qui commence la

confirmation à partir de la gélose XLD et/ou la gélose BGA et/ou la gélose chromogène spécifiée.

La méthode de confirmation validée ne peut pas être utilisée dans les conditions suivantes:

— par des laboratoires utilisant une méthode alternative validée selon l’ISO 16140-2 faisant uniquement

référence à des géloses autres que celles incluses dans la validation pour commencer la confirmation

(par exemple, la gélose Hektoen et la gélose SS uniquement); ou

— par des laboratoires utilisant une méthode alternative validée de l’ISO 16140-2 faisant uniquement

référence à un mode opératoire de confirmation ne nécessitant pas d’isolement sur gélose.

0.2 Protocoles de validation dans la série ISO 16140

Une étude de validation interlaboratoires, conformément à l’ISO 16140-2, requiert au moins

huit laboratoires pour les méthodes quantitatives et dix laboratoires pour les méthodes qualitatives.

Le présent document fournit un protocole applicable au cas particulier dans lequel le nombre de

laboratoires requis lors d’une validation interlaboratoires d’une méthode selon l’ISO 16140-2 ne peut

pas être atteint. Le protocole comprend une validation des méthodes fondée sur au moins quatre

laboratoires. Il s’applique, par exemple, dans les cas où il est urgent de disposer d’une méthode validée

mais où la réalisation des études internes et interlaboratoires selon l’ISO 16140-2 prend trop de

© ISO 2020 – Tous droits réservés vii
---------------------- Page: 7 ----------------------
ISO 16140-5:2020(F)

temps. Le présent document concerne également le problème de validation des méthodes hautement

spécialisées, pour lesquelles seuls quelques laboratoires peuvent être disponibles pour une étude de

validation. Le présent document ne peut être utilisé que pour des méthodes non commerciales. Le

Tableau 1 donne une vue d’ensemble des différents protocoles.

Tableau 1 — Vue d’ensemble des différents protocoles de validation décrits dans la série

ISO 16140
Nombre de laboratoires
Avec la méthode de référence Sans la méthode de référence
participants
1 ISO 16140-4 ISO 16140-4
Le présent document: pour les Le présent document: pour les
4 à 7 (méthode quantitative)/
méthodes non commerciales méthodes quantitatives non
4 à 9 (méthode qualitative)
uniquement commerciales uniquement

≥ 8 (méthode quantitative)/ ISO 16140-2: pour la partie de l’étude Non applicable

≥ 10 (méthode qualitative) interlaboratoires

Pour réduire le nombre de laboratoires requis à un minimum de quatre tout en conservant la validation

applicable à tous les laboratoires, le protocole repose sur un plan d’expérience factoriel. Dans le plan

factoriel, plusieurs facteurs tels que le technicien ou le milieu de culture sont simultanément modifiés

et la méthode est utilisée dans une gamme de différentes configurations de facteurs. Cette approche

permet d’analyser plus en détails les paramètres de fidélité de la méthode tout en ayant recours à un

nombre moins élevé de laboratoires et d’essais.
viii © ISO 2020 – Tous droits réservés
---------------------- Page: 8 ----------------------
NORME INTERNATIONALE ISO 16140-5:2020(F)
Microbiologie de la chaîne alimentaire — Validation des
méthodes —
Partie 5:
Protocole pour la validation interlaboratoires de méthodes
non commerciales par plan factoriel
1 Domaine d’application

Le présent document établit les principes généraux ainsi que les protocoles techniques (fondé sur des

études factorielles orthogonales) de validation de méthodes non commerciales, dans le domaine de la

microbiologie de la chaîne alimentaire.

Le présent document est applicable à la validation de méthodes utilisées pour l’analyse (détection ou

quantification) de micro-organismes présents dans:
— les produits destinés à la consommation humaine;
— les produits destinés à l’alimentation animale;

— les échantillons environnementaux dans les domaines de la production et de la manutention de

produits alimentaires;
— les échantillons au stade de la production primaire.

Le présent document est notamment applicable aux bactéries et aux champignons. Certains articles

peuvent être applicables à d’autres (micro-)organismes ou à leurs métabolites, qui doivent être

déterminés au cas par cas.

Le présent document spécifie des protocoles pour la validation de méthodes quantitatives et

qualitatives par rapport à une méthode de référence. Il établit également un protocole pour la validation

de méthodes quantitatives sans méthode de référence. Les méthodes qualitatives ne peuvent pas être

validées sans méthode de référence conformément au présent document.

NOTE L’ISO 16140-2 spécifie le principe général et le protocole technique pour la validation de méthodes

alternatives, majoritairement commerciales, par rapport à une méthode de référence.

Le présent document est uniquement applicable à la validation de méthodes dont les paramètres

pertinents sont intégralement spécifiés (notamment les tolérances sur les températures et les

spécifications sur les milieux de culture) et qui ont déjà été optimisées.

Les méthodes qui ont été validées conformément au présent document peuvent être utilisées par les

laboratoires de la population de laboratoires spécifiée.
2 Références normatives

Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur

contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.

Pour les références non datées, la dernière édition du document de référence s’applique (y compris les

éventuels amendements).
ISO 7218, Microbiologie des aliments — Exigences générales et recommandations
© ISO 2020 – Tous droits réservés 1
---------------------- Page: 9 ----------------------
ISO 16140-5:2020(F)

ISO 16140-1:2016, Microbiologie de la chaîne alimentaire — Validation des méthodes — Partie 1:

Vocabulaire

ISO 16140-2:2016, Microbiologie de la chaîne alimentaire — Validation des méthodes — Partie 2: Protocole

pour la validation de méthodes alternatives (commerciales) par rapport à une méthode de référence

3 Termes et définitions

Pour les besoins du présent document, les termes et les définitions de l’ISO 16140-1 ainsi que les

suivants s’appliquent.

L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en

normalisation, consultables aux adresses suivantes:

— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp

— IEC Electropedia: disponible à l’adresse http:// www .electropedia .org/
3.1
facteur

paramètre qualitatif ou quantitatif de la méthode, qui peut être modifié à deux niveaux ou plus, dans les

limites de la méthode spécifiée
EXEMPLE Technicien.

Note 1 à l'article: à l’article Dans le présent document, seuls les facteurs conformes au protocole de la méthode

sont pris en compte.
3.2
niveau de facteur
valeur des facteurs (3.1) du plan d’expérience
EXEMPLE Technicien «a», technicien «b», etc.

Note 1 à l'article: à l’article Dans le présent document, chaque facteur est modifié à deux niveaux de facteurs:

«a» et «b».

Note 2 à l'article: à l’article Cette définition repose sur la façon dont l’ISO 3534-3:2013, 3.1.12, définit le «niveau de

facteur». Dans l’ISO 3534-3:2013, 3.1.12, la définition est plus générale, mais la signification statistique est la même.

3.3
plan orthogonal

plan factoriel, dans lequel pour chaque paire de facteurs (3.1), chaque combinaison de niveaux de facteur

(3.2) apparaît autant de fois parmi les niveaux de facteur possibles

Note 1 à l'article: à l’article Cette définition repose sur la façon dont l’ISO 3534-3:2013, 3.1.31, définit

l’«arrangement orthogonal», mais pour le «plan orthogonal», une définition plus générale et plus théorique est

utilisée.
3.4
valeur de référence

niveau de concentration estimé obtenu avec la méthode de

référence
3.5
valeur de référence

uniquement> niveau de concentration estimé obtenu à partir du niveau de concentration de l’inoculum

2 © ISO 2020 – Tous droits réservés
---------------------- Page: 10 ----------------------
ISO 16140-5:2020(F)
3.6
configuration
combinaison de niveaux de facteurs (3.2)
EXEMPLE Technicien «a» + milieu de culture «b» + température «a» + etc.

Note 1 à l'article: à l’article Ces conditions peuvent être décrites par la combinaison des niveaux de facteurs

modifiés lors de l’étude.
4 Principes généraux pour la validation interlaboratoires de méthodes non
commerciales par plan factoriel
4.1 Généralités

Le présent document utilise un protocole reposant sur des études orthogonales factorielles. Une

haute certitude est obtenue pour les paramètres de validation des méthodes déterminés, en ciblant

des facteurs appropriés (par exemple, technicien, milieu de culture, préparation des échantillons,

température, durée de l’essai) et susceptibles d’influencer le résultat d’essai. Cela permet de réduire

le nombre de laboratoires requis à un minimum de quatre. Les concepts généraux et considérations

donnés dans l’ISO 16140-2 doivent s’appliquer, sauf s’ils sont explicitement exclus. La validation peut

être effectuée par rapport à une méthode de référence ou, dans le cas d’une méthode quantitative, sans

méthode de référence.
Le résultat de l’étude de validation s’applique à:

— tout laboratoire: si les quatre laboratoires peuvent être considérés comme un «échantillon aléatoire»

de laboratoires indépendants provenant de différents organismes;

— tous les laboratoires d’un organisme: si les quatre laboratoires peuvent être considérés comme un

«échantillon aléatoire» de laboratoires sur différents sites d’un organisme.
4.2 Validation par rapport à une méthode de référence
Le protocole de validation comprend deux étapes:

— une étude de validation interne de la méthode non commerciale par rapport à la méthode de

référence réalisée dans le laboratoire organisateur (voir l’ISO 16140-1:2016, 2.45);

— une étude interlaboratoires de la méthode non commerciale par rapport à la méthode de référence

réalisée dans des laboratoires différents.

Le protocole technique pour la réalisation de l’étude de validation interne et de l’étude interlaboratoires

est donné dans les Articles 5 et 6, en fonction de la nature qualitative ou quantitative de la méthode

d’essai.

Il convient que les facteurs choisis pour l’étude factorielle interlaboratoires soient pertinents et

appliqués à la méthode de référence et à la méthode alternative.
4.3 Validation sans méthode de référence

Le protocole de validation s’applique uniquement à la validation de méthodes quantitatives. Il comprend

deux étapes:

— une étude de validation interne de la méthode non commerciale par rapport à la valeur de référence,

réalisée dans le laboratoire organisateur;

— une étude interlaboratoires de la méthode non commerciale par rapport à la valeur de référence,

réalisée dans des laboratoires différents.
© ISO 2020 – Tous droits réservés 3
---------------------- Page: 11 ----------------------
ISO 16140-5:2020(F)
Le protocole technique pour la réalisation de l’
...

PROJET DE NORME INTERNATIONALE
ISO/DIS 16140-5
ISO/TC 34/SC 9 Secrétariat: AFNOR
Début de vote: Vote clos le:
2017-12-15 2018-03-10
Microbiologie de la chaîne alimentaire — Validation des
méthodes —
Partie 5:
Protocole pour la validation interlaboratoires de méthodes
non propriétaires par plan factoriel
Microbiology of the food chain — Method validation —

Part 5: Protocol for factorial interlaboratory validation of non-proprietary methods

ICS: 07.100.30
CE DOCUMENT EST UN PROJET DIFFUSÉ POUR
OBSERVATIONS ET APPROBATION. IL EST DONC
SUSCEPTIBLE DE MODIFICATION ET NE PEUT

Le présent document est distribué tel qu’il est parvenu du secrétariat du comité.

ÊTRE CITÉ COMME NORME INTERNATIONALE
AVANT SA PUBLICATION EN TANT QUE TELLE.
OUTRE LE FAIT D’ÊTRE EXAMINÉS POUR
ÉTABLIR S’ILS SONT ACCEPTABLES À DES
FINS INDUSTRIELLES, TECHNOLOGIQUES ET
COMMERCIALES, AINSI QUE DU POINT DE VUE TRAITEMENT PARALLÈLE ISO/CEN
DES UTILISATEURS, LES PROJETS DE NORMES
INTERNATIONALES DOIVENT PARFOIS ÊTRE
CONSIDÉRÉS DU POINT DE VUE DE LEUR
POSSIBILITÉ DE DEVENIR DES NORMES
POUVANT SERVIR DE RÉFÉRENCE DANS LA
RÉGLEMENTATION NATIONALE.
Numéro de référence
LES DESTINATAIRES DU PRÉSENT PROJET
ISO/DIS 16140-5:2017(F)
SONT INVITÉS À PRÉSENTER, AVEC LEURS
OBSERVATIONS, NOTIFICATION DES DROITS
DE PROPRIÉTÉ DONT ILS AURAIENT
ÉVENTUELLEMENT CONNAISSANCE ET À
FOURNIR UNE DOCUMENTATION EXPLICATIVE. ISO 2017
---------------------- Page: 1 ----------------------
ISO/DIS 16140-5:2017(F) ISO/DIS 16140-5:2017(F)
Sommaire Page

Avant-propos ................................................................................................................................................................. iv

Introduction ..................................................................................................................................................................... v

1 Domaine d’application ................................................................................................................................... 1

2 Références normatives .................................................................................................................................. 1

3 Termes et définitions ..................................................................................................................................... 2

4 Principes généraux pour la validation interlaboratoires de méthodes non

commerciales par plan factoriel ................................................................................................................ 3

4.1 Généralités ......................................................................................................................................................... 3

4.2 Validation par rapport à une méthode de référence .......................................................................... 3

4.3 Validation sans la méthode de référence ................................................................................................ 3

5 Méthodes qualitatives - Protocole technique de validation interlaboratoires par plan

factoriel ............................................................................................................................................................... 4

5.1 Étude de validation interne ......................................................................................................................... 4

5.2 Étude interlaboratoires ................................................................................................................................. 4

5.2.1 Considérations générales ............................................................................................................................. 4

5.2.2 Protocole de mesure ....................................................................................................................................... 4

5.2.3 Plan d’expérimentation ................................................................................................................................. 7

5.3 Calculs et résumé des données ................................................................................................................... 7

5.4 Interprétation des données ......................................................................................................................... 9

5.4.1 Étude de méthodes appariées ..................................................................................................................... 9

5.4.2 Étude de méthodes non appariées ......................................................................................................... 10

5.4.3 Analyse des effets factoriels ..................................................................................................................... 10

6 Méthodes quantitatives - Protocole technique de validation interlaboratoires par

plan factoriel .................................................................................................................................................. 11

6.1 Étude de validation interne ...................................................................................................................... 11

6.2 Étude interlaboratoires .............................................................................................................................. 11

6.2.1 Considérations générales .......................................................................................................................... 11

6.2.2 Protocole de mesure .................................................................................................................................... 11

6.2.3 Plan d’expérimentation .............................................................................................................................. 13

6.3 Calculs et résumé des données ................................................................................................................ 13

6.4 Étude de fidélité sans valeur de référence .......................................................................................... 16

Annexe A (normative) Liste des facteurs relatifs au plan d’étude factoriel ........................................... 17

Annexe B (informative) Exemple d’étude interlaboratoires factorielle applicable à une

méthode quantitative .................................................................................................................................. 19

B.1 Plan d’étude .................................................................................................................................................... 19

DOCUMENT PROTÉGÉ PAR COPYRIGHT

B.2 Calculs et résumé des données ................................................................................................................ 22

B.2.1 Résumé des résultats des laboratoires 1 à 5 de l’étude interlaboratoires .............................. 22

© ISO 2017

B.2.2 Données de fidélité ...................................................................................................................................... 23

Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en oeuvre, aucune partie de cette

B.2.3 Profil d’exactitude ........................................................................................................................................ 25

publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,

y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut

Annexe C (informative) Exemple d’étude interlaboratoires factorielle applicable à une

être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.

méthode qualitative ..................................................................................................................................... 30

ISO copyright office
CP 401 • Ch. de Blandonnet 8

Bibliographie ................................................................................................................................................................ 38

CH-1214 Vernier, Geneva, Switzerland
Tel. +41 22 749 01 11
Fax +41 22 749 09 47
copyright@iso.org
www.iso.org
Publié en Suisse
© ISO 2017 – Tous droits réservés
iii
ii © ISO 2017 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO/DIS 16140-5:2017(F)
Sommaire Page

Avant-propos ................................................................................................................................................................. iv

Introduction ..................................................................................................................................................................... v

1 Domaine d’application ................................................................................................................................... 1

2 Références normatives .................................................................................................................................. 1

3 Termes et définitions ..................................................................................................................................... 2

4 Principes généraux pour la validation interlaboratoires de méthodes non

commerciales par plan factoriel ................................................................................................................ 3

4.1 Généralités ......................................................................................................................................................... 3

4.2 Validation par rapport à une méthode de référence .......................................................................... 3

4.3 Validation sans la méthode de référence ................................................................................................ 3

5 Méthodes qualitatives - Protocole technique de validation interlaboratoires par plan

factoriel ............................................................................................................................................................... 4

5.1 Étude de validation interne ......................................................................................................................... 4

5.2 Étude interlaboratoires ................................................................................................................................. 4

5.2.1 Considérations générales ............................................................................................................................. 4

5.2.2 Protocole de mesure ....................................................................................................................................... 4

5.2.3 Plan d’expérimentation ................................................................................................................................. 7

5.3 Calculs et résumé des données ................................................................................................................... 7

5.4 Interprétation des données ......................................................................................................................... 9

5.4.1 Étude de méthodes appariées ..................................................................................................................... 9

5.4.2 Étude de méthodes non appariées ......................................................................................................... 10

5.4.3 Analyse des effets factoriels ..................................................................................................................... 10

6 Méthodes quantitatives - Protocole technique de validation interlaboratoires par

plan factoriel .................................................................................................................................................. 11

6.1 Étude de validation interne ...................................................................................................................... 11

6.2 Étude interlaboratoires .............................................................................................................................. 11

6.2.1 Considérations générales .......................................................................................................................... 11

6.2.2 Protocole de mesure .................................................................................................................................... 11

6.2.3 Plan d’expérimentation .............................................................................................................................. 13

6.3 Calculs et résumé des données ................................................................................................................ 13

6.4 Étude de fidélité sans valeur de référence .......................................................................................... 16

Annexe A (normative) Liste des facteurs relatifs au plan d’étude factoriel ........................................... 17

Annexe B (informative) Exemple d’étude interlaboratoires factorielle applicable à une

méthode quantitative .................................................................................................................................. 19

B.1 Plan d’étude .................................................................................................................................................... 19

B.2 Calculs et résumé des données ................................................................................................................ 22

B.2.1 Résumé des résultats des laboratoires 1 à 5 de l’étude interlaboratoires .............................. 22

B.2.2 Données de fidélité ...................................................................................................................................... 23

B.2.3 Profil d’exactitude ........................................................................................................................................ 25

Annexe C (informative) Exemple d’étude interlaboratoires factorielle applicable à une

méthode qualitative ..................................................................................................................................... 30

Bibliographie ................................................................................................................................................................ 38

© ISO 2017 – Tous droits réservés
iii
---------------------- Page: 3 ----------------------
ISO/DIS 16140-5:2017(F)
Avant-propos

L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes

nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est

en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le

droit de faire partie du comité technique créé à cet effet. Les organisations internationales,

gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.

L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui

concerne la normalisation électrotechnique.

Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont

décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents

critères d’approbation requis pour les différents types de documents ISO. Le présent document a été

rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir

www.iso.org/directives).

L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet

de droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour

responsable de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails

concernant les références aux droits de propriété intellectuelle ou autres droits analogues identifiés

lors de l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations

de brevets reçues par l’ISO (voir www.iso.org/brevets).

Les appellations commerciales éventuellement mentionnées dans le présent document sont données

pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un

engagement.

Pour une explication de la signification des termes et expressions spécifiques de l’ISO liés à l’évaluation

de la conformité, ou pour toute autre information au sujet de l’adhésion de l’ISO aux principes de

l’Organisation mondiale du commerce (OMC) concernant les obstacles techniques au commerce (OTC),

voir le lien suivant : www.iso.org/iso/foreword.html.

Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires,

sous‐comité SC 9, Microbiologie (Groupe de travail GT 3, Validation des méthodes).

Une liste de toutes les parties de la série ISO 16140 est disponible sur le site Internet de l’ISO.

© ISO 2017 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO/DIS 16140-5:2017(F)
Introduction

La série ISO 16140 a été élaborée en réponse à la nécessité de disposer de différentes techniques de

validation ou de vérification des méthodes d’essai. Elle succède à l’ISO 16140:2003, Microbiologie des

aliments — Protocole pour la validation des méthodes alternatives. La série ISO 16140 comprend

plusieurs parties ayant le titre général Microbiologie de la chaîne alimentaire — Validation des

méthodes :
 Partie 1 : Vocabulaire

 Partie 2 : Protocole pour la validation de méthodes alternatives (commerciales) par rapport à une

méthode de référence

 Partie 3 : Protocole pour la vérification des méthodes de référence et des méthodes alternatives

validées appliquées dans un laboratoire

 Partie 4 : Protocole pour la validation de méthodes internes dans un laboratoire

 Partie 5 : Protocole pour la validation interlaboratoires de méthodes non commerciales par plan

factoriel

 Partie 6 : Protocole pour la validation de méthodes alternatives (commerciales) pour la confirmation

microbiologique et le typage

L’ISO 17468, Microbiologie de la chaîne alimentaire — Exigences et recommandations techniques pour le

[2]

développement ou la révision d’une méthode de référence normalisée , est une Norme internationale

étroitement liée. La présente Norme internationale, qui établit les règles techniques pour le

développement et la validation de méthodes normalisées, est destinée au développement de méthodes

normalisées par l’ISO/TC 34, Produits alimentaires, sous‐comité SC 9, Microbiologie et le

CEN/TC 275/GT 6, Microbiologie de la chaîne alimentaire.

En général, deux étapes sont nécessaires avant de pouvoir utiliser une méthode en laboratoire.

 La première étape est la validation de la méthode. Celle‐ci est effectuée dans plusieurs laboratoires

(parties 2 et 5 de l’ISO 16140) ou dans un laboratoire (partie 4 de l’ISO 16140).

 La deuxième étape est la vérification des méthodes, au cours de laquelle un laboratoire prouve qu’il

peut effectuer une méthode validée de manière satisfaisante. Celle‐ci est décrite dans la partie 3

de l’ISO 16140 (vérification des méthodes). Dans la partie 3, une distinction est faite entre la

vérification des éléments (d’aliments) inclus dans l’étude de validation et les produits

(alimentaires) qui ne sont pas soumis à essai dans l’étude de validation mais qui font partie du

domaine d’application de la validation.

NOTE 1 Les méthodes de référence normalisées (avec et sans données de validation publiées) doivent

seulement être vérifiées avant d’être appliquées en laboratoire.

NOTE 2 Dans la présente partie de l’ISO 16140, les termes « catégorie », « type » et « élément » sont parfois

associés au terme « aliment » pour mieux comprendre le présent document. Cependant, le terme « aliment » peut

être remplacé par « aliment pour animaux » et par les autres secteurs de la chaîne alimentaire tels que

mentionnés dans le domaine d’application de l’ISO 16140‐5.
© ISO 2017 – Tous droits réservés
---------------------- Page: 5 ----------------------
ISO/DIS 16140-5:2017(F)

La partie 4 de l’ISO 16140 traite de la validation dans un seul laboratoire. Par conséquent, les résultats

sont uniquement valides dans le laboratoire effectuant l’étude. Dans ce cas, aucune vérification (partie 3

de l’ISO 16140) n’est requise.

La partie 5 de l’ISO 16140 décrit les protocoles applicables aux situations dans lesquelles une validation

plus rapide est nécessaire ou dans lesquelles la méthode à valider est hautement spécialisée, et le

nombre de laboratoires participants requis par l’ISO 16140‐2 ne peut pas être atteint.

Le logigramme de la Figure 1 donne un aperçu des relations entre les différentes parties

susmentionnées. Il aide également les utilisateurs à choisir la partie appropriée de la série ISO 16140,

en tenant compte de l’objectif de l’étude et des remarques énoncées ci‐dessus. Pour cela, il est

important de faire la distinction entre la « méthode de référence » et la « méthode de référence

normalisée ». Une méthode de référence est une méthode reconnue internationalement et largement

acceptée (terme 2.59 de l’ISO 16140‐1:2016) et une méthode de référence normalisée est une méthode

de référence décrite dans une norme (terme 3.5 de l’ISO 17468:2016). Dans la série ISO 16140, la

méthode de référence inclut la méthode de référence normalisée. Le logigramme admet que les données

de validation publiées peuvent ne pas être disponibles pour certaines méthodes de référence

normalisées.
© ISO 2017 – Tous droits réservés
---------------------- Page: 6 ----------------------
ISO/DIS 16140-5:2017(F)

Figure 1 — Logigramme relatif à l’application de différentes parties de la série ISO 16140

La partie 6 de l’ISO 16140 est quelque peu différente des autres parties de la série ISO 16140 car elle

concerne une situation très spécifique dans laquelle le mode opératoire de confirmation d’une méthode

est validé. Le mode opératoire de confirmation modifie un résultat suspecté (présomptif) en un résultat

positif confirmé. Le typage de souches pures (par exemple, sérotypage de Salmonella) est inclus dans la

partie 6 de l’ISO 16140.

Une étude interlaboratoires, conformément à l’ISO 16140‐2 (méthodes commerciales), requiert au

moins 8 laboratoires pour les méthodes quantitatives et 10 laboratoires pour les méthodes qualitatives.

L’ISO 16140‐5 est destinée à être utilisée lors d’études interlaboratoires comprenant 4 à 7 laboratoires

pour les méthodes quantitatives et 4 à 9 laboratoires pour les méthodes qualitatives. L’ISO 16140‐5 ne

peut être utilisée que pour des méthodes non commerciales. Le Tableau 1 donne un aperçu des

différents protocoles.
© ISO 2017 – Tous droits réservés
vii
---------------------- Page: 7 ----------------------
ISO/DIS 16140-5:2017(F)

Tableau 1 — Aperçu des différents protocoles de validation décrits dans l’ISO 16140

Nombre de laboratoires Avec la méthode de référence Sans la méthode de référence

Partie 4 de l’ISO 16140 : factorielle ou Partie 4 de l’ISO 16140 : factorielle ou

conventionnelle conventionnelle

4 à 7 (méthode quantitative)/ Partie 5 de l’ISO 16140 : pour les méthodes Partie 5 de l’ISO 16140 : pour les méthodes

4 à 9 (méthode qualitative) non commerciales uniquement non commerciales uniquement

≥ 8 (méthode quantitative)/ Partie 2 de l’ISO 16140 (pour la partie de
Non disponible
≥ 10 (méthode qualitative) l’étude interlaboratoires)

La présente partie de l’ISO 16140 fournit un protocole applicable au cas particulier dans lequel le

nombre de laboratoires (8 pour les méthodes quantitatives et 10 pour les méthodes qualitatives) requis

lors d’une validation interlaboratoires d’une méthode selon l’ISO 16140‐2 ne peut pas être atteint. Le

protocole comprend une validation des méthodes fondée sur seulement 4 laboratoires. Il s’applique, par

exemple, dans les cas où il est urgent de disposer d’une méthode validée mais où l’application des

protocoles de l’ISO 16140‐2 prend trop de temps. La présente partie de l’ISO 16140 concerne également

le problème de validation des méthodes hautement spécialisées, pour lesquelles seuls quelques

laboratoires peuvent être disponibles pour une étude de validation.

Pour réduire le nombre de laboratoires requis à 4 tout en conservant la possibilité de généraliser la

validation à tous les laboratoires, le protocole repose sur un plan d’expérimentation factoriel. Dans le

plan factoriel, plusieurs facteurs tels que le technicien ou le milieu de culture sont simultanément

modifiés et la méthode est utilisée dans une gamme de configurations de facteurs différentes. Cette

approche permet d’analyser plus en détails les paramètres de fidélité de la méthode tout en ayant

recours à un nombre moins élevé de laboratoires et d’essais.
© ISO 2017 – Tous droits réservés
viii
---------------------- Page: 8 ----------------------
PROJET DE NORME INTERNATIONALE ISO/DIS 16140-5:2017(F)
Microbiologie de la chaîne alimentaire — Validation des
méthodes — Partie 5: Protocole pour la validation
interlaboratoires de méthodes non commerciales par plan
factoriel
1 Domaine d’application

La présente partie de l’ISO 16140 décrit le principe général ainsi que le protocole technique (fondé sur

des études factorielles orthogonales) de validation de méthodes non commerciales, dans le domaine de

la microbiologie de la chaîne alimentaire.

La présente partie de l’ISO 16140 est applicable à la validation de méthodes non commerciales utilisées

pendant l’analyse (détection ou quantification) de micro‐organismes présents dans :

 les produits destinés à la consommation humaine,
 les produits destinés à l’alimentation animale,

 les échantillons environnementaux dans le domaine de la production et de la manutention de

produits alimentaires, et
 les échantillons au stade de la production primaire.

La présente partie de l’ISO 16140 est notamment applicable aux bactéries et aux champignons. Certains

articles peuvent être applicables à d’autres (micro)organismes ou à leurs métabolites, qui doivent être

déterminés au cas par cas.

La présente partie de l’ISO 16140 s’applique uniquement à la validation de méthodes qui sont

intégralement spécifiées par rapport à tous les paramètres pertinents (notamment les tolérances sur les

températures et les spécifications sur les milieux de culture) et qui ont déjà été optimisées.

2 Références normatives

Les documents suivants sont référencés dans le texte de telle sorte qu’une partie ou la totalité de leur

contenu constitue les exigences du présent document. Pour les références datées, seule l'édition citée

s'applique. Pour les références non datées, la dernière édition du document de référence s'applique (y

compris les éventuels amendements).

ISO 7218, Microbiologie des aliments — Exigences générales et recommandations pour les examens

microbiologiques

ISO 16140‐1:2016, Microbiologie de la chaîne alimentaire — Validation des méthodes —

Partie 1 : Vocabulaire
© ISO 2017 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO/DIS 16140-5:2017(F)

ISO 16140‐2:2016, Microbiologie de la chaîne alimentaire — Validation des méthodes —

Partie 2 : Protocole pour la validation de méthodes alternatives (commerciales) par rapport à une

méthode de référence
3 Termes et définitions

Pour les besoins du présent document, les termes et définitions donnés dans l'ISO 16140‐1 ainsi que les

suivants s’appliquent. L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à

être utilisées en normalisation, consultables aux adresses suivantes :
— IEC Electropedia : disponible à l’adresse http://www.electropedia.org/

— ISO Online Browsing Platform (OBP) : disponible à l’adresse http://www.iso.org/obp

3.1
bloc

groupe de configurations qui doivent être effectuées en parallèle ou dans un court laps de temps, et qui

sont utilisées pour les mêmes échantillons
EXEMPLE Bloc = configurations effectuées en parallèle =
Technicien ‘a’ + milieu de culture ‘b’ + température ‘a’ + incubateur ‘a’
ET
Technicien ‘b’ + milieu de culture ‘a’ + température ‘b’ + incubateur ‘b’
3.2
facteur

paramètre qualitatif ou quantitatif de la méthode, qui peut être modifié à deux niveaux ou plus, dans les

limites de la méthode spécifiée
EXEMPLE Technicien.

Note 1 à l’article Dans la présente partie de l’ISO 16140, seuls les facteurs conformes aux exigences de la

méthode sont pris en compte.
3.3
niveau de facteur
valeur des facteurs du plan d’expérimentation
EXEMPLE Technicien ‘a’, technicien ‘b’, etc.

Note 1 à l’article Dans la présente partie de l’ISO 16140, chaque facteur est modifié à deux niveaux de facteur, ‘a’

et ‘b’.
3.4
configuration
combinaison de niveaux de facteurs
EXEMPLE Technicien ‘a’ + milieu de culture ‘b’ + température ‘a’ + etc.

Note 1 à l’article Ces conditions peuvent être décrites par la combinaison des niveaux de facteurs modifiés lors

de l’étude.
© ISO 2017 – Tous droits réservés
---------------------- Page: 10 ----------------------
ISO/DIS 16140-5:2017(F)
4 Principes généraux pour la validation interlaboratoires de méthodes non
commerciales par plan factoriel
4.1 Généralités
La présente partie de l’
...

Questions, Comments and Discussion

Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.