ISO/TS 16393:2019

Molecular biomarker analysis - Determination of the performance characteristics of qualitative measurement methods and validation of methods

This document specifies methods that yield a binary result and are used for the determination in food or food products (including seeds of food crops) of the presence of molecular biomarkers. These methods are typically used where the measurand is expected to be present in very small amounts and concentrations at the limit of detection (LOD). Methods are validated in terms of the probability of detection (POD) and of the precision of the POD. They do not rely on the concept of false positive/false-negative results, or the concept of LOD. However, inferences about the precision of the classical LOD can be made. This document describes the extent of method validation. The annexes provide different statistical models that can be considered depending on the analytical method, structure of data and statistical experience. This document does not apply to quantitative methods that are used to make a detection decision by comparing the value of a response to a cut-off value using a quantitative method, where the methods are validated by using quantitative statistics on the responses. This document also does not apply to microbiological test methods, starch, essential oils or quantitative methods.

Analyse de biomarqueurs moléculaires — Détermination des caractéristiques de performance des méthodes de mesure qualitatives et validation des méthodes

Le présent document spécifie des méthodes qui produisent un résultat binaire et sont utilisées afin de déterminer la présence de biomarqueurs moléculaires dans les aliments ou les produits alimentaires (y compris les graines des cultures vivrières). Ces méthodes sont généralement appliquées lorsque le mesurande est censé être présent en très petites quantités et à des concentrations proches de la limite de détection (LOD). Les méthodes sont validées en termes de probabilité de détection (POD) et de fidélité de la POD. Elles ne reposent ni sur le concept de résultats faux positifs/négatifs, ni sur le concept de LOD. Il est toutefois possible de déduire la fidélité de la LOD classique. Le présent document décrit l'étendue de la validation des méthodes. Les annexes fournissent différents modèles statistiques qui peuvent être pris en compte en fonction de la méthode d'analyse, de la structure des données et de l'expérience statistique. Le présent document ne s'applique pas aux méthodes quantitatives utilisées pour prendre une décision de détection en comparant la valeur d'une réponse à une valeur limite déterminée à l'aide d'une méthode quantitative, validée à partir de statistiques quantitatives sur les réponses. Le présent document ne s'applique pas non plus aux méthodes d'analyse en microbiologie, sur l'amidon, sur les huiles essentielles ou aux méthodes quantitatives.

General Information

• Status: Published
• Publication Date: 28-Feb-2019
• ICS: 67.050 - General methods of tests and analysis for food products
• Technical Committee: ISO/TC 34/SC 16 - Horizontal methods for molecular biomarker analysis
• Drafting Committee: ISO/TC 34/SC 16 - Horizontal methods for molecular biomarker analysis
• Current Stage: 9093 - International Standard confirmed
• Start Date: 16-Dec-2024
• Completion Date: 13-Dec-2025

Overview

ISO/TS 16393:2019 - Molecular biomarker analysis provides guidance for evaluating and validating qualitative (binary) measurement methods used to determine the presence or absence of molecular biomarkers in food and food products (including seeds). Rather than relying on classical false‑positive/false‑negative rates or a single limit of detection (LOD), this technical specification characterizes method performance by the probability of detection (POD) and the precision of the POD across laboratories (LPOD). The standard includes statistical approaches and practical design elements for validation experiments, with annexes that present different modelling options.

Key topics and requirements

• Scope and exclusions: Applies to binary molecular assays for food/seed matrices; does not cover quantitative assays used to make detection decisions, microbiological methods, starch, essential oils or purely quantitative methods.
• POD-based validation: Defines POD (per laboratory) and LPOD (mean POD across laboratories) as primary performance metrics instead of classical LOD or simple binary error rates.
• Experimental design: Guidance for planning validation experiments including selection of test materials (naturally incurred or spiked), replicate test samples, robustness (ruggedness) checks, applicability and selectivity assessments, and multi‑laboratory study design considerations (number of participating labs, concentration levels and replicates).
• Data presentation: Recommends graphical POD response curves (POD vs concentration) with confidence/error bars and procedures for expressing validation results.
• Statistical models: Annexes provide different models and estimation methods (e.g., probit models, beta-binomial, modified Wilson intervals, maximum likelihood approaches) for confidence and prediction intervals for POD and for deriving inferences about LOD precision.
• Reporting: Emphasis on expressing mean POD, confidence intervals for LPOD and prediction intervals for future laboratory-specific PODs.

Applications and users

ISO/TS 16393:2019 is intended for:

• Diagnostic and analytical laboratories validating screening assays that yield yes/no outcomes.
• Food industry and seed testing labs assessing presence of GMO markers, allergens, trace contaminants or other molecular biomarkers at very low concentrations.
• Method developers, validation study coordinators and accreditation bodies needing a POD‑centric framework for multi‑laboratory validation.
• Regulators and standards bodies requiring harmonized evidence of method performance for decision‑making.

Related standards

• ISO 5725-1 and ISO 5725-2 (accuracy, repeatability and reproducibility) are referenced as foundational documents for precision assessment.
• Annexes in ISO/TS 16393 provide multiple statistical modeling options to suit varying analytical methods, data structures and statistical expertise.

Keywords: ISO/TS 16393:2019, molecular biomarker analysis, qualitative measurement methods, probability of detection, POD, LPOD, validation, food testing, binary assays, limit of detection, multi‑laboratory validation.

Standards Content (Sample)

TECHNICAL ISO/TS
SPECIFICATION 16393
First edition
2019-02
Molecular biomarker analysis —
Determination of the performance
characteristics of qualitative
measurement methods and validation
of methods
Analyse de biomarqueurs moléculaires — Détermination des
caractéristiques de performance des méthodes de mesure qualitatives
et validation des méthodes
Reference number
©
ISO 2019
© ISO 2019
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting
on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address
below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: [phone]
Fax: [phone]
Email: [e-mail]
Website: www.iso.org
Published in Switzerland
ii © ISO 2019 – All rights reserved

Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Characterization of a qualitative method via a validation experiment .3
4.1 Criteria for a standard measurement method . 3
4.2 Performance of a validation experiment . 3
4.3 Nature of test materials . 4
4.4 Requirements for replicate test samples . 4
4.5 Robustness (ruggedness) . 5
4.6 Applicability . 5
4.7 Selectivity . 6
4.8 Experimental design for a multi-laboratory study . 6
4.8.1 Participating laboratories . 6
4.8.2 Number of laboratories . 6
4.8.3 Number of levels . 6
4.8.4 Number of replicates per level and laboratory . 7
4.9 Validation experiment under intermediate conditions . 7
4.10 Expressing the results of a validation experiment . 7
4.10.1 General . 7
4.10.2 Graphical representation of the data.10
4.11 Calculation of the confidence interval for the general mean, confidence interval
and prediction interval .12
4.12 Calculation of prediction interval for PODs in each laboratory .13
5 Statistical model for test result .13
5.1 General .13
5.2 Basic model .13
5.3 Constraints in the model .13
5.4 General mean, m .14
5.5 Variance parameters .14
5.6 Relationship of qualitative model to the quantitative model.14
5.7 Derivation of a limit of detection .15
Annex A (informative) Estimation of the mean and variance .16
Annex B (informative) Hybrid modified Wilson interval model .18
Annex C (informative) Maximum profile likelihood based on the probit model .20
Annex D (informative) Maximum likelihood estimate based on beta binomial distribution .22
Annex E (informative) Testing of the models via simulation .24
Bibliography .27
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO’s adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see www .iso
.org/iso/foreword .html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 16,
Horizontal methods for molecular biomarker analysis.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www .iso .org/members .html.
iv © ISO 2019 – All rights reserved

Introduction
Qualitative (binary) analytical methods (e.g. applied to screening tests) for use in the analysis of food or
food products (including seeds of food crops) with the purpose of demonstrating the presence/absence
of a given measurand in a sample should provide objective evidence that they are adequate for their
intended use. A validated test method is much preferred over one that has not undergone studies to
determine its accuracy and reliability for its specific purpose. These methods that yield a binary result
(yes/no, positive/negative, etc.) are referred to as “qualitative” or “binary” methods.
As with quantitative methods, qualitative method performance has to be characterized with respect to
the concentration of the measurand. However, only two conditions are indicated in the result: either the
measurand is detected (a positive result) or it is not detected (a negative result). While internationally
recognized guidelines (e.g. ISO 5725-2, References [7] and [16]) have been produced over the years
to harmonize the validation of quantitative analytical methods, no consensus is yet available among
stakeholders on a practical implementation of the performance criteria approach to the validation of
qualitative methods for use in food and food products.
Conceptual approaches for validating qualitative methods classically focused on parameters such as
sensitivity, selectivity, false positive rate and false negative rate, based on detection/non-detection
of the measurand in the test sample. The limitation of this approach was the underlying assumption
that the method had a predictable response to the presence of a measurand present at a non-zero
concentration. In practice, however, a non-zero concentration can result in a variable probability of
a positive result in the assay. Treating the concentration of measurand as a continuous variable with
reasonable and/or previously determined confidence in a defined matrix using a specific analytical
method is a better predictor of measurement response than a two-state, zero/non-zero variable.
This document describes the assessment of probability of detection (POD). This approach allows
for comparison of probabilities across concentrations and further allows for a simple graphical
representation of validation data as a POD response curve graphed by concentration with associated
error bars of the mean POD value. This approach expresses the POD as dependent on concentration; the
goal of validation is to characterize the response probability curve as a function of measurand mass or
concentration.
A number of models have been described in the literature for the calculations of the confidence intervals
of the POD and confidence intervals or predictive ranges for concentrations in case of a positive or
negative result, e.g. References [4], [8], [9], [11], [17], [19] and [20]. Whereas qualitative methods are
often evaluated at 50 %, they are used close to 100 %, or at levels where the sample size is adjusted so
as to always obtain a clear positive or negative result. The present specification is therefore the result
of an extensive discussion of the possible improved models for characterization of qualitative methods,
particularly focused on the characterization of the methods close to the 0 and 100 % POD cases. The
performance characteristics include:
a) the mean POD across laboratories (LPOD);
b) the corresponding confidence interval of the LPOD, which is the interval estimate of the mean POD;
c) the prediction interval for future observations of laboratory specific PODs.
An advanced statistical method allows the user to calculate confidence and/or prediction intervals for
the concentrations where the user would expect positive or negative results. To do so is particularly
challenging where the POD is close to 0 % or 100 %.
TECHNICAL SPECIFICATION ISO/TS 16393:2019(E)
Molecular biomarker analysis — Determination of the
performance characteristics of qualitative measurement
methods and validation of methods
1 Scope
This document specifies methods that yield a binary result and are used for the determination in
food or food products (including seeds of food crops) of the presence of molecular biomarkers. These
methods are typically used where the measurand is expected to be present in very small amounts and
concentrations at the limit of detection (LOD).
Methods are validated in terms of the probability of detection (POD) and of the precision of the POD.
They do not rely on the concept of false positive/false-negative results, or the concept of LOD. However,
inferences about the precision of the classical LOD can be made.
This document describes the extent of method validation. The annexes provide different statistical
models that can be considered depending on the analytical method, structure of data and statistical
experience.
This document does not apply to quantitative methods that are used to make a detection decision by
comparing the value of a response to a cut-off value using a quantitative method, where the methods
are validated by using quantitative statistics on the responses. This document also does not apply to
microbiological test methods, starch, essential oils or quantitative methods.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 5725-1:1994, Accuracy (trueness and precision) of measurement methods and results — Part 1: General
principles and definitions
ISO 5725-2:1994, Accuracy (trueness and precision) of measurement methods and results — Part 2: Basic
method for the determination of repeatability and reproducibility of a standard measurement method
3 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https: //www .iso .org/obp
— IEC Electropedia: available at http: //www .electropedia .org/
3.1
binary result
result from a method (3.6) of analysis where there are only two possible outcomes
3.2
intraclass correlation coefficient
ICC
measure of the reliability of measurements (between laboratories)
Note 1 to entry: The coefficient represents agreements between two or more results measured on identical
samples.
3.3
identical test item
sample that is prepared and can be presumed to be identical for the intended purpose of measurement
of the measurand (and can be presumed to be identical for the intended purpose)
[SOURCE: ISO 3534-2:2006, 1.2.34, modified — “and can be presumed to be identical purpose of
measurement of the measurand” has been added and Note 1 to entry has been deleted.]
3.4
lower confidence limit
LCL
ˆ
μ
L
lower value of a range containing the true value of the measurand with a specified probability
Note 1 to entry: The symbol for LCL is taken from Reference [5].
3.5
mean probability of detection across laboratories
LPOD
P
αλ
probability of a positive analytical outcome of a qualitative method (3.9) for a given matrix at a given
concentration in multiple laboratories
Note 1 to entry: Throughout this document, when used in mathematical formulae, P refers to the estimator
αλ
for the probability of detection (POD) (3.8) parameter across laboratories.
Note 2 to entry: The symbol for LPOD is the symbol for POD with the lowercase Greek letter ʎ (lambda) to indicate
laboratory-wide.
3.6
method
procedure that includes sample processing, assay and data interpretation
3.7
naturally incurred sample
sample that contains the measurand by virtue of its inherent characteristics rather than the measurand
being intentionally added
3.8
probability of detection
POD
P
α
probability of a positive analytical outcome of a qualitative method (3.9) for a given matrix at a given
concentration in a single laboratory
Note 1 to entry: Throughout this document, when used in mathematical formulae, P refers to the estimator for
α
the probability of detection parameter.
Note 2 to entry: The symbol for POD is drawn from the term P for probability and the first letter of the Greek
term for detection, ανίχνευση.
2 © ISO 2019 – All rights reserved

3.9
qualitative method
method (3.6) of analysis with two possible outcomes
Note 1 to entry: Qualitative method is an alternative terminology to binary method.
3.10
replicate test sample
sample taken from a bulk sample such that the replicate test samples are as close to identical as
achievable, in order to constitute identical test items (3.3)
3.11
validation experiment
determination of method (3.6) performance parameters from a series of test results reported by one or
more usually a number of participating laboratories
3.12
upper confidence limit
UCL
ˆ
μ
U
upper value of a range containing the true value of the measurand with a specified probability
Note 1 to entry: The symbol for UCL is taken from Reference [5].
4 Characterization of a qualitative method via a validation experiment
4.1 Criteria for a standard measurement method
The following criteria should be taken into consideration when validating a qualitative method of
analysis:
— applicability;
— robustness;
— selectivity;
— POD related to the measurand concentration.
All measurements shall be carried out according to a standard method based on a written document
that describes in full detail how the measurement shall be carried out, including the applicability and
selectivity of the method. It shall incorporate information based on the robustness testing of the method
established at the single laboratory level when developing the method. The standard method may be
modified by the result of experiments to determine the intermediate precision and/or the results of
collaborative multi-laboratory trial(s).
4.2 Performance of a validation experiment
The estimates of performance parameters derived from a validation experiment are valid only for tests
carried out according to the standard measurement method. A validation experiment can be considered
to be a practical test of the adequacy of the standard measurement method. One of the main purposes of
standardization is to standardize how methods are characterized, and eliminate differences between
users (laboratories) as far as possible. The data provided by a validation experiment will reveal how
effectively this purpose has been achieved. Pronounced differences between the laboratories often
indicate that the measurement method can be improved.
From a practical point of view, it is important and desirable to carry out a number of steps before
proceeding with the validation experiment. This includes: a) measurement of several replicates by one
operator to establish suitable test materials that will cover the desired POD levels, followed by: b) a
mini validation experiment to establish that the instructions for the experiment are clear and sufficient
and that the test materials are suitable for the full validation experiment.
4.3 Nature of test materials
Validation of qualitative methods requires the use of known positive (low and high POD) and negative
(effectively as close as possible to zero POD) materials. Special challenges arise when a biological
material is being tested, and pure reference material (CRM traceable back to SI units) may not be
readily available. For some biomolecular methods, naturally incurred samples may be the only source
of materials for validation. The preparation and source of each material shall be documented. Wherever
possible, a quantitative method can be used to confirm the concentration of the measurand.
4.4 Requirements for replicate test samples
In a validation experiment, a number of replicate test samples of a specific material or specimens of
a specific product are typically sent from a central point to a number of laboratories. The definition
of repeatability conditions states that the measurements in these laboratories shall be performed on
identical test items and refers to the moment when these measurements are actually carried out.
The test materials will ideally be evaluated for homogeneity before preparing the replicate laboratory
samples to be sent to the laboratories, or by testing a number of the replicate test samples if a suitable
method is available. Furthermore, the replicate test samples shall be identical test items (under the
definition of ISO 5725-1) when dispatched to the laboratories and the replicate samples shall be stable
and remain identical during transport and during the different time intervals that can elapse before the
measurements are actually performed.
NOTE 1 The terms “identical” and “identical test items” are not the same as “identical test portions” (see
ISO 5725-2:1994, Clause 5). There will always be some level of variation between replicate test samples (i.e.
the actual materials sent), and this is an integral part of testing method repeatability. Test portion variability
is dependent on concentration, test portion size and matrix homogeneity. When preparing the replicate test
samples for a collaborative study, the concept of identical test items is to be interpreted as each test sample
having an equal probability of producing a positive test result. This means that all laboratories receive essentially
the same test items. The test portions will always have some level of variation, which is an inherent part of the
measurement variation.
NOTE 2 The number of replicate samples required to get a good estimation (at 95 % confidence) of the LPOD
for a two-sided coverage is 12 per level for the range 25 % to 75 % LPOD for the case where 8 laboratories are
included (see Table E.2). If more participants are available, the number of replicate samples can be lowered in
consultation with a statistician. However, the larger numbers needed to get ideal estimates of the LPOD at high
and low measurand concentrations may not be practicable to achieve in a multi-laboratory trial.
Conditions should be representative of the use of the method in the laboratory. It shall be clearly
stated when reporting the results if an intermediate material, such as a ground sample or an extract,
is distributed for this purpose. Moreover, it shall be shown that the intermediate materials are stable
under shipping conditions.
NOTE 3 While the replicate test samples supplied at each concentration would preferably consist of
unprocessed material (such as whole grain or seeds) in order to test the whole method from sample to result, this
is, in most cases, impractical. Therefore, it is most practical to grind the material and distribute a typical powder
that would be obtained under typical conditions.
Test materials are prepared and divided into test samples before these replicate test samples are
shipped to the participating laboratories. The replicate test samples may be reduced to test portions in
the laboratory or analysed directly. The relationship is given in Figure 1.
4 © ISO 2019 – All rights reserved

Figure 1 — Relationship between the test materials, replicate test samples and test portions
4.5 Robustness (ruggedness)
The method developer is expected to evaluate the robustness of the method against small changes in
analytical conditions and external influences, and identify variables which could have a significant
effect on method performance. Critical variables should be included in the standard measurement
method (e.g. by including an acceptable temperature range).
4.6 Applicability
The user should be able to determine whether the method will be appropriate for the desired application
(fit for purpose) and if there will be limitations to its use. Applicability is the analytes, matrices and
concentrations for which a method of analysis may be used satisfactorily. An applicability statement
shall therefore be provided by the method developer. It should include a list of the known analyte(s)
or measurand(s) that can be determined by the method, and the form in which analyte(s) can be
determined, e.g. speciation, total/available, the sample matrix(es) within which those analyte(s) can
be determined. In addition to a statement of the range of capability of satisfactory performance for
each factor, the statement of applicability may also include warnings as to known interference by other
analytes, or inapplicability to certain matrices and situations. For example, concentrations that may
lead to reduced POD at concentrations higher than those normally expected should also be specified, as
certain methods (such as those depending on antibodies) have the possibility of giving a negative result
at very high concentrations of the measurand (the hook effect).
NOTE Applicability outside of the food sector can be referred to as “scope”.
4.7 Selectivity
Determination of selectivity is a single laboratory study designed to demonstrate that a method does
not detect non-target measurands expected to erroneously give a positive result due to chemical or
structural similarities.
The method should be shown to give a positive result for claimed measurands. Each measurand from
the selectivity test panel should be tested at the appropriate target concentration for each measurand.
4.8 Experimental design for a multi-laboratory study
4.8.1 Participating laboratories
Ideally, the chosen laboratories should be a random sampling of all potential method users. Laboratories
participating in any validation study for qualitative methods should have experience and training in
performing the type of method being tested. However, the participating laboratories should not consist
exclusively of those that have gained special experience during the process of standardizing the method.
Neither should they consist (exclusively) of specialist reference laboratories, in order to demonstrate
the accuracy to which the method can perform in expert hands.
Estimating the POD at applicable measurand concentrations can be carried out provided that an
adequate number of replicate test samples are analysed across a suitable number of concentrations
and a sufficient number of laboratories. The number of replicates per laboratory and the number of
laboratories should be chosen with consideration of the effect of the size of the validation experiment
on the size of the confidence intervals that will be obtained.
4.8.2 Number of laboratories
The purpose of involving a large number of laboratories in the study is to get a wider subset of potential
method users to contribute data to the study. Using a large number of laboratories will reduce the
subsampling error and will mean that the estimates that are obtained in the study will be less biased.
In addition, with more laboratories, it will be easier to detect a laboratory effect in the data, if it is
significant. The absolute minimum number of laboratories reporting and included in the final statistical
analysis of the study is eight.
4.8.3 Number of levels
The minimum number of concentration levels to study should be five.
The experiment should verify that the method is sensitive to concentration, so that at low levels there
is a low POD and that at a high concentration there is a POD. The experiment shall be designed to best
characterize the POD curve, in as efficient a manner as possible.
One concentration level should be chosen where the expected POD is close to zero. This will demonstrate
the method will not give a positive response at low, near-zero concentrations.
There should be a second concentration level where the method is expected to give > 95 % of positive
responses.
There will be some concentration levels where the POD is expected to be in a marginal range (0,85
to 0,95 or 0,05 to 0,15), which is important to identify so that the response curve can be better
characterized and the transition concentration from medium POD to high POD can be identified. In
addition, a sample in the mid-range (35 % POD to 65 % POD) will allow the experiment to expose cases
where there is a large difference in sensitivity between participating laboratories.
6 © ISO 2019 – All rights reserved

Alterations to the above basic scheme may be advised. Five levels would be optimal, including those in
the marginal range to increase the confidence in estimation of the detection limit of the method. If the
high or low POD (e.g. POD of 0,95, or 0,05) is deemed to be more important, many replicates at the high
or low POD may be performed at the expense of replicates at the intermediate POD in order to focus the
confidence interval of the high or low POD estimates.
4.8.4 Number of replicates per level and laboratory
In order to obtain sufficient information and maintain the required statistical confidence and accuracy
of the confidence intervals, there should be at least 12 replications per level at each laboratory (for the
case where there are 8 laboratories participating).
NOTE 1 The number of replicates required when characterizing a qualitative method is higher than required
for quantitative methods, due to the reduced level of information provided by a qualitative method as compared
to a quantitative method.
NOTE 2 Both quantitative and qualitative methods have, in practice, commonly observed systematic
dependencies between mean measurand level and variance. For the qualitative case, at concentrations where the
observed POD values are close to 0 or 1, very little variation will be observed in the data sets, as observations will
be either mostly positive or mostly negative. At concentrations where POD values fall in the fractional range (e.g.
between 0,15 and 0,85), more variation will be observed within and between the laboratories. Thus, the number
of replications required by each collaborator will depend upon the range of POD of interest. Ranges approaching
0 and 1 will require more replicates as the number of positive or negative results respectively approach zero.
For example, at least 12 replicates could be required for a range of 0,25 to 0,75. For a range of 0,20 to 0,80, at
least 16 replicates could be required, and for a range of 0,50 to 0,90, at least 35 replicates could be desired.
Thus, depending on applicability, the collaborative study could use different numbers of replicates at different
concentration levels.
For PODs of 0,95 or 0,05, it would be optimal to have at least 60 replicates per laboratory, and for POD of
0,01 or 0,99, to have 300 replicates. This is not practicable in many cases. If less than the ideal number
of replicates are used, the confidence intervals around the POD will be greater than if the optimum
number of replicates were used. It is recognized that the recommendations stated above are sometimes
not achievable in a multi-laboratory validation experiment.
The purpose of this repetition is to estimate repeatability, so these replicates should be analysed under
repeatability conditions
4.9 Validation experiment under intermediate conditions
A single laboratory validation can be used when it is not practicable to carry out a full multi-laboratory
collaborative study. This study should consider intermediate precision conditions, in which observations
are carried out in the same laboratory, but one or more of the factors of time, operator or equipment is
allowed to vary. In establishing the precision of a measurement method, it is very important to define
the appropriate observation conditions, i.e. whether the above three factors should be constant or
not. The statistical treatment of intermediate precision data is the same as data derived from a multi-
laboratory experiment, treating multiple days, trials and/or operators as the laboratory equivalent.
4.10 Expressing the results of a validation experiment
4.10.1 General
Data from a validation experiment can be expressed in tabular form or as a graph or figure. Tables 1
and 2 show some examples for illustrative purposes.
The (tabular) data should include POD estimate and confidence interval for every level.
Table 1 — Examples of tabular results summaries for validation experiments
Conc N x POD 95 % LCL 95 % UCL
0 32 1 0,031 3 0,000 0 0,157 4
0,1 320 30 0,093 8 0,066 5 0,130 7
5 320 239 0,746 9 0,696 5 0,791 4
10 320 293 0,915 6 0,880 0 0,941 4
20 320 307 0,959 4 0,931 7 0,976 1
100 32 32 1,000 0 0,892 8 1,000 0
8 © ISO 2019 – All rights reserved

Table 2 — Example of POD values for peanut allergen test kits
KIT A KIT B dPOD (A-B)
Conc
(parts per N x POD(A) 95 % LCL 95 % UCL N x POD(B) 95 % LCL 95 % UCL dPOD 95 % LCL 95 % UCL
million)
0 630 2 0,003 175 0,000 871 0,011 5 630 15 0,023 81 0,014 481 0,038 91 −0,020 63 −0,035 91 −0,008 13
1,5 630 541 0,858 73 0,829 353 0,883 759 630 601 0,953 968 0,934 672 0,967 761 −0,095 24 −0,127 69 −0,063 64
4 630 543 0,861 905 0,832 763 0,886 659 630 618 0,980 952 0,967 004 0,989 071 −0,119 05 −0,149 3 −0,090 63
8,2 630 563 0,893 651 0,867 146 0,915 384 630 626 0,993 651 0,983 789 0,997 528 −0,1 −0,126 79 −0,076 13
14 630 604 0,958 73 0,940 217 0,971 683 630 629 0,998 413 0,991 064 1 −0,039 68 −0,058 26 −0,024 79
21 630 628 0,996 83 0,988 499 0,999 129 630 630 1 0,993 939 1 −0,003 17 −0,011 5 0,003 309
30 630 630 1 0,993 939 1 630 629 0,998 413 0,991 064 1 0,001 587 −0,004 68 0,008 936
NOTE  Data from Reference [18]. It shows the differences between the POD values and confidence intervals thereof.

4.10.2 Graphical representation of the data
Results of a validation experiment can be graphically presented as a plot of POD as a function of
concentration (see Figures 2 and 3), with 95 % confidence intervals or via a dot plot (see Figure 4). This
[13]
can be conveniently done in the R software , although other approaches may be possible. Details of
the approaches for analysis of results of the validation experiment are described in the annex(es).

Key
kit A X concentration (mg/kg)
kit B Y LPOD (%)
NOTE 1 LPOD is plotted against concentration in parts per million of peanut flour.
NOTE 2 Kit A (blue circles) has lower LPOD values than Kit B (red squares).
NOTE 3 Data from Reference [18].
Figure 2 — Examples of POD curves for two peanut allergen test kits showing 95 %
confidence limits
10 © ISO 2019 – All rights reserved

Key
X DNA copies/aliquot
y POD (%)
NOTE 1 POD is plotted against the number of DNA copies per aliquot.
NOTE 2 Unpublished data from Reference [6].
Figure 3 — Examples of POD curves for a PCR reaction, showing 95 % confidence limits
calculated according to Annex B

Key
X gluten concentration (mg/kg)
y POD (%)
NOTE 1 Number stated at each circle represents the number of laboratories with the same POD. The areas of
circles are proportional to number of this number. Ten replicates were analysed per laboratory.
NOTE 2 Data from Reference [14].
Figure 4 — Percent POD observed by each of 17 participating laboratories for replicate samples
with a measurand concentration of between 0,4 mg/kg and 47,1 mg/kg gluten
4.11 Calculation of the confidence interval for the general mean, confidence interval and
prediction interval
Confidence limits for the general mean allow calculating limits for the POD. Confidence limits for the
general mean can also be used to compare different qualitative test methods.
The raw data from all laboratories shall be analysed by a statistical model for estimating the confidence
limits of estimates of the LPOD. Models that can be considered for the characterization of methods
based on multi-laboratory validation based on publications and submissions by the WG experts:
— modified Wilson interval model;
— degrees of freedom, ν = Λ − 1 (Λ = number of laboratories) – hybrid model (see Annex B);
— maximum likelihood approaches;
— probit model as latent variable using profile likelihood (see Annex C);
— beta binomial as latent function using approximate likelihood (see Annex D).
These models described in Annexes B to D are applicable to cases where there is no clear scalar or
concentration relationship between the concentrations of measurand in the samples provided at each
POD. In cases where there is information about the scalar relationship of the samples at the PODs
tested, it may be possible to use this additional information to reduce the size of the estimates of the
confidence intervals, especially at the high and low PODs. Additional information will be available
where the methods used are quantitative methods used to make a binary decision.
12 © ISO 2019 – All rights reserved

The results of using a beta binomial approach or probit approach to determine the confidence intervals
of the POD may be significant in some levels of POD and not significant at other levels. The modelling
experiment described in Annex E was designed to test for this situation.
NOTE At some levels, the differences between the results using a beta binomial approach and probit
approach can be small enough that there is not a significant practical difference in using the two models to
describe the confidence intervals.
4.12 Calculation of prediction interval for PODs in each laboratory
In addition to a confidence interval for the mean probability of a positive response across laboratories,
the interval which is expected to contain the PODs of each of the laboratories that use the method is
estimated. If this entire interval is inside an acceptable range for the value of the POD (e.g. if the bottom
end of the interval at a particular measurand concentration is greater than the required POD at that
concentration) then fit for purpose performance is expected in a sufficiently high proportion of all of
the laboratories that use the method. Technically, this kind of interval is called a tolerance interval. It
is analogous to intervals that describe expected measurement uncertainty for quantitative analytical
methods.
This approach can also be applied to examine the effect of intermediate precision on POD. Intervals can
be derived for PODs across days, operators, equipment, etc.
5 Statistical model for test result
5.1 General
The statistical model used to characterize qualitative (binary) methods is based on the POD.
5.2 Basic model
For a particular material/level combination, it is useful to assume that every test result y is the sum of
three components, as shown by Formula (1):
ym=+Be+ (1)
where
y is the test result (limited to values 0 or 1);
m is the overall mean expected response;
B is the laboratory component of bias under repeatability conditions;
e is the random error occurring in every measurement under repeatability conditions.
5.3 Constraints in the model
In the qualitative model, there is a special case constraint for y in the binary case, as shown by
Formula (2):
y∈ 01, (2)
}
{
In this case, with the constraint placed on y, the practical implication is that m, B and e will also be
constrained for an individual replicate.

0 ≤ m ≤ 1
−1 ≤ B ≤ 1
−1 ≤ e ≤ 1
5.4 General mean, m
For quantitative methods, if m is in units of concentration, it is generally expected that m = c, where c
is the concentration. If m is not a concentration (or amount) of measurand, m and c can be related by a
calibration function.
For qualitative methods, this calibration cannot be easily achieved without replication, so the mean, m,
has a special connotation in the binary model. With the coding convention (i.e. 0 = “negative” and
1 = “positive”), the mean is the mean probability of a positive response at the concentration tested. This
probability is the probability of a positive response at a given concentration or POD ( P ). See
α
Formula (3):
mP== P +|c (3)
()
α
5.5 Variance parameters
Formulae (4) to (8) for the variance parameters still apply as given in the general model of ISO 5725-1:
σ =varB (between-laboratory variance) (4)
()
λ
σ =vare (5)
()
W
σ =vare (repeatability variance) (6)
()
r
σ = vare (7)
()
r
σσ=+σ (reproducibility variance) (8)
Rrλ
[17]
NOTE It can be shown that σ =−mm1 , i.e. the reproducibility variance is directly related to the POD.
()
R
5.6 Relationship of qualitative model to the quantitative model
The qualitative model is not necessarily a separate model distinct from the quantitative model, but
could be considered a special case or subset of the basic quantitative model (see ISO 5725-1).
Results of a validation experiment can be graphically presented as a plot of POD as a function of
concentration, with 95 % confidence intervals. Some examples of POD curves are given in Figure 2.
Variance component estimation via ANOVA with an additive model is not strictly correct for random
laboratory variation adding to binary within-laboratory variation for
...

SPÉCIFICATION ISO/TS
TECHNIQUE 16393
Première édition
2019-02
Analyse de biomarqueurs
moléculaires — Détermination des
caractéristiques de performance des
méthodes de mesure qualitatives et
validation des méthodes
Molecular biomarker analysis — Determination of the performance
characteristics of qualitative measurement methods and validation
of methods
Numéro de référence
©
ISO 2019
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2019
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: [phone]
Fax: [phone]
E-mail: [e-mail]
Web: www.iso.org
Publié en Suisse
ii © ISO 2019 – Tous droits réservés

Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Caractérisation d’une méthode qualitative par une expérience de validation .3
4.1 Critères de validation d’une méthode de mesure normalisée . 3
4.2 Performances d’une expérience de validation. 3
4.3 Nature des matériaux d’essai . 4
4.4 Exigences relatives aux réplicats d’échantillons d’essai . 4
4.5 Robustesse (résistance) . 5
4.6 Applicabilité . 5
4.7 Sélectivité . 6
4.8 Plan expérimental d’une étude interlaboratoires . 6
4.8.1 Laboratoires participants . 6
4.8.2 Nombre de laboratoires . 6
4.8.3 Nombre de niveaux . 6
4.8.4 Nombre de réplicats par niveau et par laboratoire . 7
4.9 Expérience de validation dans des conditions intermédiaires. 7
4.10 Expression des résultats d’une expérience de validation . 8
4.10.1 Généralités . 8
4.10.2 Représentation graphique des données .10
4.11 Calcul de l’intervalle de confiance pour la moyenne générale, de l’intervalle de
confiance et de l’intervalle de fluctuation.12
4.12 Calcul de l’intervalle de fluctuation pour les POD de chaque laboratoire .13
5 Modèle statistique pour les résultats d’essai .13
5.1 Généralités .13
5.2 Modèle de base .13
5.3 Contraintes dans le modèle .14
5.4 Moyenne générale, m . 14
5.5 Paramètres de variance .14
5.6 Relation entre le modèle qualitatif et le modèle quantitatif .15
5.7 Détermination d’une limite de détection .15
Annexe A (informative) Estimation de la moyenne et de la variance .16
Annexe B (informative) Modèle d’intervalle de Wilson modifié .18
Annexe C (informative) Maximum de vraisemblance de profil fondé sur le modèle probit .20
Annexe D (informative) Estimation par maximum de vraisemblance fondée sur une
distribution bêta-binomiale .22
Annexe E (informative) Essai des modèles par simulation .24
Bibliographie .28
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes
nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/directives).
L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de
brevets reçues par l'ISO (voir www .iso .org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion
de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir www .iso .org/avant -propos.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-
comité SC 16, Méthodes horizontales pour l’analyse moléculaire de biomarqueurs.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www .iso .org/fr/members .html.
iv © ISO 2019 – Tous droits réservés

Introduction
Il convient que les méthodes d’analyse (binaire) qualitative (par exemple appliquées aux essais de
criblage) destinées à l’analyse d’aliments ou de produits alimentaires (y compris des graines de culture
vivrière) en vue de démontrer la présence/l’absence d’un mesurande donné dans un échantillon
apportent des preuves objectives de leur adéquation à l’usage prévu. Une méthode d’essai validée est
toujours privilégiée par rapport à une autre qui n’a pas fait l’objet d’études visant à déterminer son
exactitude et sa fiabilité pour un objectif spécifié. Ces méthodes qui produisent un résultat binaire (oui/
non, positif/négatif, etc.) sont dites «qualitatives» ou «binaires».
À l’instar des méthodes quantitatives, les performances des méthodes qualitatives doivent être
caractérisées eu égard à la concentration du mesurande. Cependant, seules deux conditions sont
indiquées dans le résultat: soit le mesurande est détecté (résultat positif) soit il ne l’est pas (résultat
négatif). Bien que des lignes directrices reconnues à l’échelle internationale (par exemple ISO 5725-2,
Références [7] et [16]) aient été établies au fil des ans pour harmoniser la validation des méthodes
d’analyse quantitatives, aucun consensus n’existe pour le moment entre les parties prenantes sur
la mise en œuvre pratique de la détermination des critères de performance pour la validation des
méthodes qualitatives destinées aux aliments et aux produits alimentaires.
Certaines approches conceptuelles de validation des méthodes qualitatives tendaient à se concentrer
sur des paramètres tels que la sensibilité, la sélectivité, le taux de faux positifs ou de faux négatifs,
en fonction de la détection/non-détection du mesurande dans l’échantillon d’essai. Cette approche
était limitée car elle s’appuyait sur l’hypothèse que la méthode fournissait une réponse prévisible à
la présence d’un mesurande à une concentration non nulle. Mais dans la pratique, une concentration
non nulle peut entraîner une probabilité variable d’obtention d’un résultat positif lors de l’essai. Une
approche considérant la concentration du mesurande comme une variable continue associée à un
niveau de confiance raisonnable et/ou préalablement déterminé, dans une matrice définie, à l’aide d’une
méthode d’analyse spécifique permet de mieux prédire la réponse de mesure qu’une variable binaire,
nulle ou non nulle.
Le présent document décrit l’évaluation de la probabilité de détection (POD). Cette approche permet de
comparer les probabilités en fonction des concentrations, mais aussi de représenter dans un graphique
simple les données de validation sous forme de courbe modélisant la POD selon la concentration,
accompagnée de barres représentant les écarts-types pour la valeur moyenne de la POD. Cette approche
exprime la POD comme une variable dépendant de la concentration; l’objectif de la validation est de
caractériser la courbe de probabilité de réponse en fonction de la masse ou de la concentration du
mesurande.
Un certain nombre de modèles ont été décrits dans la littérature pour les calculs des intervalles de
confiance de la POD et des intervalles de confiance des plages de concentration prévisionnelles en cas
de résultat positif ou négatif (voir par exemple les Références [4], [8], [9], [11], [17], [19] et [20]). Tandis
que les méthodes qualitatives sont souvent évaluées à 50 %, elles sont utilisées à près de 100 % ou à
des niveaux où la taille de l’échantillon est ajustée afin de toujours obtenir un résultat positif ou négatif
clair. La présente spécification est donc le fruit d’une discussion approfondie sur l’amélioration possible
des modèles de caractérisation des méthodes qualitatives, notamment axés sur la caractérisation des
méthodes en cas de POD proches de 0 % et de 100 %. Les caractéristiques de performance comprennent:
a) la POD moyenne entre laboratoires (LPOD);
b) l’intervalle de confiance de la LPOD, c’est-à-dire l’estimation de l’intervalle de la POD moyenne;
c) l’intervalle de fluctuation pour de futures observations des POD propres à différents laboratoires.
Une méthode statistique avancée permet à l’utilisateur de calculer les intervalles de confiance et/ou de
fluctuation pour les concentrations auxquelles l’utilisateur pourrait s’attendre à des résultats positifs ou
négatifs. Cette tâche se révèle particulièrement délicate lorsque la POD est proche de 0 % ou de 100 %.
SPÉCIFICATION TECHNIQUE ISO/TS 16393:2019(F)
Analyse de biomarqueurs moléculaires — Détermination
des caractéristiques de performance des méthodes de
mesure qualitatives et validation des méthodes
1 Domaine d’application
Le présent document spécifie des méthodes qui produisent un résultat binaire et sont utilisées afin de
déterminer la présence de biomarqueurs moléculaires dans les aliments ou les produits alimentaires
(y compris les graines des cultures vivrières). Ces méthodes sont généralement appliquées lorsque le
mesurande est censé être présent en très petites quantités et à des concentrations proches de la limite
de détection (LOD).
Les méthodes sont validées en termes de probabilité de détection (POD) et de fidélité de la POD. Elles
ne reposent ni sur le concept de résultats faux positifs/négatifs, ni sur le concept de LOD. Il est toutefois
possible de déduire la fidélité de la LOD classique.
Le présent document décrit l’étendue de la validation des méthodes. Les annexes fournissent différents
modèles statistiques qui peuvent être pris en compte en fonction de la méthode d’analyse, de la
structure des données et de l’expérience statistique.
Le présent document ne s’applique pas aux méthodes quantitatives utilisées pour prendre une décision
de détection en comparant la valeur d’une réponse à une valeur limite déterminée à l’aide d’une méthode
quantitative, validée à partir de statistiques quantitatives sur les réponses. Le présent document ne
s’applique pas non plus aux méthodes d’analyse en microbiologie, sur l’amidon, sur les huiles essentielles
ou aux méthodes quantitatives.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.
Pour les références non datées, la dernière édition du document de référence s'applique (y compris les
éventuels amendements).
ISO 5725-1:1994, Exactitude (justesse et fidélité) des résultats et méthodes de mesure — Partie 1: Principes
généraux et définitions
ISO 5725-2:1994, Exactitude (justesse et fidélité) des résultats et méthodes de mesure — Partie 2:
Méthode de base pour la détermination de la répétabilité et de la reproductibilité d'une méthode de mesure
normalisée
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https: //www .iso .org/obp
— IEC Electropedia: disponible à l’adresse http: //www .electropedia .org/
3.1
résultat binaire
résultat d’une méthode (3.6) d’analyse qui ne peut donner que deux résultats possibles
3.2
coefficient de corrélation intraclasse
CCI
mesure de la fiabilité de mesurages (entre laboratoires)
Note 1 à l'article: Le coefficient représente la concordance entre au moins deux résultats mesurés sur des
échantillons identiques.
3.3
individu d’essai identique
échantillon qui est préparé et peut être supposé identique pour les besoins souhaités de mesurage du
mesurande (et peut être supposé identique pour les besoins souhaités)
[SOURCE: ISO 3534-2:2006, 1.2.34, modifiée — «de mesurage du mesurande (et peut être supposé
identique pour les besoins souhaités)» a été ajouté et la Note 1 à l’article a été supprimée.]
3.4
limite de confiance inférieure
LCI
ˆ
μ
L
valeur inférieure d’un intervalle contenant la valeur vraie du mesurande avec une probabilité spécifiée
Note 1 à l'article: Le symbole de la LCI est extrait de la Référence [5].
3.5
probabilité de détection moyenne entre laboratoires
LPOD
P
αλ
probabilité d’obtenir un résultat d’analyse positif à partir d’une méthode qualitative (3.9) pour une
matrice donnée à une concentration donnée dans plusieurs laboratoires
Note 1 à l'article: Tout au long du présent document, lorsqu’il est utilisé dans des formules mathématiques, P
αλ
fait référence à l’estimateur du paramètre de probabilité de détection (POD) (3.8) entre les laboratoires.
Note 2 à l'article: Le symbole de la LPOD est celui de la POD accompagné de la lettre grecque ʎ (lambda) en
minuscule pour indiquer l’échelle étendue à plusieurs laboratoires.
3.6
méthode
mode opératoire incluant la préparation de l’échantillon, l’essai et l’interprétation des données
3.7
échantillon naturel
échantillon qui contient le mesurande en vertu de ses caractéristiques inhérentes et non par ajout
intentionnel
3.8
probabilité de détection
POD
P
α
probabilité d’obtenir un résultat d’analyse positif à partir d’une méthode qualitative (3.9) pour une
matrice donnée à une concentration donnée dans un seul laboratoire
Note 1 à l'article: Tout au long du présent document, lorsqu’il est utilisé dans des formules mathématiques, P
α
fait référence à l’estimation du paramètre de probabilité de détection.
Note 2 à l'article: Le symbole pour la POD utilise l’initiale du terme «probabilité» (P) associée à la première lettre
du mot grec ανίχνευση («détection»).
2 © ISO 2019 – Tous droits réservés

3.9
méthode qualitative
méthode (3.6) d’analyse à deux résultats possibles
Note 1 à l'article: Les termes «méthode qualitative» et «méthode binaire» sont synonymes.
3.10
réplicat d’échantillon d’essai
échantillon prélevé sur un échantillon global de sorte que les réplicats d’échantillons d’essai soient les
plus identiques possible afin d’obtenir des individus d’essai identiques (3.3)
3.11
expérience de validation
détermination des paramètres de performance d’une méthode (3.6) à partir d’une série de résultats
d’essai transmis par un seul ou, en général, un certain nombre de laboratoires participants
3.12
limite de confiance supérieure
LCS
ˆ
μ
U
valeur supérieure d’un intervalle contenant la valeur vraie du mesurande avec une probabilité spécifiée
Note 1 à l'article: Le symbole de la LCS est extrait de la Référence [5].
4 Caractérisation d’une méthode qualitative par une expérience de validation
4.1 Critères de validation d’une méthode de mesure normalisée
Il convient de prendre en compte les critères suivants lors de la validation d’une méthode d’analyse
qualitative:
— applicabilité;
— robustesse;
— sélectivité;
— POD relative à la concentration du mesurande.
Tous les mesurages doivent être réalisés conformément à une méthode normalisée s’appuyant sur un
document écrit qui décrit en détail la façon dont le mesurage doit être effectué, y compris l’applicabilité
et la sélectivité de la méthode. Il doit également inclure des informations fondées sur les essais de
robustesse de la méthode établie au niveau d’un seul laboratoire lors de l’élaboration de la méthode.
La méthode normalisée peut être modifiée à la suite d’expériences visant à déterminer la fidélité
intermédiaire et/ou les résultats d’essai(s) comparatif(s) interlaboratoires.
4.2 Performances d’une expérience de validation
Les estimations des paramètres de performance établies à partir d’une expérience de validation ne
sont valables que pour les essais effectués conformément à la méthode de mesure normalisée. Une
expérience de validation peut être considérée comme un essai pratique de l’adéquation de la méthode
de mesure normalisée. L’un des principaux objectifs de la normalisation est de normaliser la manière
dont les méthodes sont caractérisées et d’éliminer, dans la mesure du possible, les différences entre les
utilisateurs (laboratoires). Les données fournies par une expérience de validation révèlent avec quelle
efficacité cet objectif est atteint. Des différences marquées entre laboratoires indiquent souvent que la
méthode de mesure peut être améliorée.
D’un point de vue pratique, il est important et souhaitable d’exécuter un certain nombre d’étapes avant
de procéder à l’expérience de validation, notamment: a) un mesurage de plusieurs réplicats par un
même opérateur afin de déterminer des matériaux d’essai adaptés qui couvriront les niveaux de POD
souhaités, suivi b) d’une expérience de validation à petite échelle pour s’assurer que les instructions
de l’expérience sont claires et suffisantes et que les matériaux d’essai sont adaptés à l’ensemble de
l’expérience de validation.
4.3 Nature des matériaux d’essai
La validation de méthodes qualitatives nécessite l’utilisation de matériaux aux résultats positifs
(POD faible et élevée) et négatifs (le plus proche possible d’une POD nulle) connus. Des difficultés
particulières surviennent lorsqu’un matériau biologique est soumis à essai et que le matériau de
référence (MRC traçable jusqu’aux unités SI) peut être difficile à trouver. Dans le cadre de certaines
méthodes biomoléculaires, les échantillons naturels peuvent être la seule source de matériaux en vue
d’une validation. La préparation et l’origine de chaque matériau doivent être documentées. Dans la
mesure du possible, une méthode quantitative peut être utilisée pour confirmer la concentration du
mesurande.
4.4 Exigences relatives aux réplicats d’échantillons d’essai
Lors d’une expérience de validation, un certain nombre de réplicats d’échantillons d’essai d’un matériau
spécifique ou d’échantillons issus d’un produit spécifique sont généralement envoyés d’un point central
à un certain nombre de laboratoires. La définition des conditions de répétabilité stipule que les mesures
dans ces laboratoires doivent être effectuées sur des individus d’essai identiques fait référence au
moment où ces essais sont réellement effectués.
L’homogénéité des matériaux d’essai est, dans l’idéal, évaluée avant de préparer les réplicats
d’échantillons de laboratoire qui sont ensuite envoyés aux laboratoires, ou en soumettant à essai
un nombre donné de réplicats d’échantillons d’essai si une méthode adaptée est disponible. De plus,
les réplicats d’échantillons d’essai doivent être des individus d’essai identiques (conformément à la
définition fournie dans l’ISO 5725-1) lors de leur expédition aux laboratoires et ils doivent être stables
et rester identiques pendant le transport et au cours des différentes périodes qui peuvent s’écouler
avant que les mesurages ne soient réellement effectués.
NOTE 1 Les termes «identique» et «individus d’essai identiques» ne sont pas identiques à «prises d’essai
identiques» (voir ISO 5725-2:1994, Article 5). Il subsistera toujours un certain niveau de variation entre les
réplicats d’échantillons d’essai (c’est-à-dire les matériaux envoyés) et cette variation fait partie intégrante de la
répétabilité de la méthode d’essai. La variabilité des prises d’essai dépend de la concentration, de la taille de la
prise d’essai et de l’homogénéité de la matrice. Lors de la préparation des réplicats d’échantillons d’essai en vue
d’une étude comparative, il convient de tenir compte du concept d’individus d’essai identiques afin que chaque
échantillon d’essai ait une probabilité égale de produire un résultat d’essai positif. En d’autres termes, tous les
laboratoires doivent recevoir des individus d’essai globalement identiques. Les prises d’essai présentent toujours
un certain niveau de variation, ce qui constitue une partie inhérente de la variation de mesure.
NOTE 2 Le nombre de réplicats d’échantillons permettant d’obtenir une bonne estimation (à un niveau
de confiance de 95 %) de la LPOD pour une couverture bilatérale est de 12 par niveau pour un intervalle de
LPOD allant de 25 % à 75 % lorsque 8 laboratoires participent à l’étude (voir Tableau E.2). Si l’étude compte
davantage de participants, le nombre de réplicats d’échantillons peut être revu à la baisse en consultation avec
un statisticien. Cependant, il peut se révéler difficile de préparer un plus grand nombre de réplicats nécessaires
pour obtenir des estimations idéales de la LPOD à des concentrations de mesurande faibles et élevées dans le
cadre d’un essai interlaboratoires.
Il convient que les conditions soient représentatives de l’utilisation de la méthode en laboratoire. En cas
de distribution d’un matériau intermédiaire, tel qu’un échantillon broyé ou un extrait, cette information
doit être clairement indiquée lors de la présentation des résultats. Par ailleurs, il doit être montré que
les matériaux intermédiaires sont stables dans les conditions d’expédition.
NOTE 3 Bien qu’il soit préférable que les réplicats d’échantillons d’essai fournis à diverses concentrations
soient composés de matériaux non transformés (comme des graines ou des grains entiers) afin de contrôler
l’intégralité de la méthode, de l’échantillon au résultat, cette solution se révèle peu pratique dans la plupart des
cas. Par conséquent, il vaut mieux broyer le matériau et distribuer une poudre type pouvant être obtenue dans
des conditions types.
4 © ISO 2019 – Tous droits réservés

Les matériaux soumis à essai sont préparés et divisés en échantillons pour essai avant que ces réplicats
ne soient expédiés aux laboratoires participants. Les réplicats d’échantillons d’essai peuvent être réduits
en prises d’essai en laboratoire ou être analysés directement. La relation est indiquée à la Figure 1.
Figure 1 — Relation entre les matériaux soumis à essai, les réplicats d’échantillons d’essai et les
prises d’essai
4.5 Robustesse (résistance)
Le concepteur de la méthode est censé évaluer la robustesse de la méthode face à de petites variations
liées aux conditions d’analyse et aux influences externes, ainsi qu’identifier les variables susceptibles
d’avoir des répercussions significatives sur les performances de la méthode. Il convient d’inclure des
variables critiques dans la méthode de mesure normalisée (par exemple en incluant une plage de
température acceptable).
4.6 Applicabilité
Il convient que l’utilisateur soit en mesure de déterminer si la méthode est appropriée à l’application
envisagée (adéquation à l’usage prévu) et si certaines limites restreindront son utilisation. L’applicabilité
correspond aux analytes, matrices et concentrations pour lesquels une méthode d’analyse peut se
révéler satisfaisante. Une déclaration d’applicabilité doit, par conséquent, être fournie par le concepteur
de la méthode. Il convient que cette déclaration contienne une liste du ou des analyte(s) ou du ou des
mesurande(s) connu(s) pouvant être déterminé(s) par la méthode, ainsi que la forme sous laquelle le ou
les analyte(s) peu(ven)t être déterminé(e), comme la spéciation, total/disponible, la ou les matrice(s)
d’échantillon au sein de laquelle ou desquelles le(s) analyte(s) peuvent être déterminé(s). Outre
l’indication de la plage de performance satisfaisante pour chaque facteur, la déclaration d’applicabilité
peut comprendre des avertissements concernant des interférences connues provenant d’autres analytes
ou l’inapplicabilité à certaines matrices ou situations. Par exemple, il convient aussi de spécifier toute
concentration pouvant entraîner une POD réduite à des concentrations supérieures à celle attendue,
certaines méthodes (telles que celles dépendant d’anticorps) pouvant donner un résultat négatif à des
concentrations très élevées de mesurande (l’effet crochet).
NOTE L’applicabilité en dehors du secteur agroalimentaire peut être désignée par «domaine d’application».
4.7 Sélectivité
La détermination de la sélectivité est une étude menée par un seul laboratoire visant à démontrer
qu’une méthode ne détecte pas des mesurandes non ciblés, entraînant un résultat positif erroné en
raison de similitudes chimiques ou structurelles.
Il convient de montrer que la méthode donne un résultat positif pour les mesurandes allégués. Il y a
lieu de soumettre à essai chaque mesurande inclus dans les essais de sélectivité à la concentration cible
appropriée.
4.8 Plan expérimental d’une étude interlaboratoires
4.8.1 Laboratoires participants
Dans l’idéal, il est recommandé de sélectionner aléatoirement les laboratoires parmi tous les
utilisateurs potentiels de la méthode. Il convient que les laboratoires participant à toute étude de
validation de méthodes qualitatives disposent de l’expérience et de la formation nécessaires à la
réalisation du type de méthode soumise à essai. Cependant, il convient que les laboratoires participants
ne soient pas exclusivement composés des laboratoires ayant engrangé une expérience particulière au
cours du processus de normalisation de la méthode. Il est également recommandé qu’ils ne soient pas
(exclusivement) constitués de laboratoires de référence spécialisés afin de démontrer l’exactitude avec
laquelle la méthode peut fonctionner dans des mains expertes.
Il est possible d’estimer la POD aux concentrations de mesurande applicables, sous réserve qu’un nombre
adéquat de réplicats d’échantillons d’essai soient analysés à un nombre adapté de concentrations et pour
un nombre suffisant de laboratoires. Il y a lieu de choisir le nombre de réplicats par laboratoire, ainsi
que le nombre de laboratoires en tenant compte de l’effet de l’envergure de l’expérience de validation
sur la taille des intervalles de confiance qui sera obtenue.
4.8.2 Nombre de laboratoires
La participation d’un grand nombre de laboratoires à l’étude vise à élargir le sous-ensemble
d’utilisateurs potentiels de la méthode, permettant de produire des données pour l’étude. Le recours
à un grand nombre de laboratoires permet de réduire l’erreur de sous-échantillonnage, ainsi que le
biais des estimations obtenues dans le cadre de l’étude. En outre, la participation d’un grand nombre de
laboratoires facilite la détection d’un effet de laboratoire sur les données dès lors qu’il est significatif.
Le nombre minimal absolu de laboratoires participants et inclus dans l’analyse statistique finale de
l’étude est de huit.
4.8.3 Nombre de niveaux
Il est recommandé que le nombre minimal de niveaux de concentration à étudier soit de cinq.
Il convient que l’expérience permette de vérifier que la méthode est sensible à la concentration, de sorte
que de faibles niveaux de concentration produisent une POD faible et qu’un niveau élevé entraîne une
6 © ISO 2019 – Tous droits réservés

POD élevée. L’expérience doit être conçue pour caractériser la courbe de POD de la manière la plus fidèle
et la plus efficace possible.
Il convient de choisir un niveau de concentration permettant d’obtenir une POD proche de zéro. Cette
mesure permet de démontrer que la méthode ne donnera pas de réponse positive à des concentrations
faibles, quasi nulles.
Il convient de choisir un deuxième niveau de concentration auquel la méthode est censée produire > 95 %
de réponses positives.
Il faut également sélectionner d’autres niveaux de concentration permettant d’obtenir une POD dans une
plage marginale (0,85 à 0,95 ou 0,05 à 0,15), ce qui est important pour améliorer la caractérisation de
la courbe de réponse et identifier la transition de concentration d’une POD moyenne à une POD élevée.
Par ailleurs, un échantillon en milieu de plage (POD de 35 % à POD de 65 %) permet à l’expérience de
mettre en évidence des différences prononcées de sensibilité entre les laboratoires participants.
Il peut être conseillé de modifier le schéma de base ci-dessus. Dans l’idéal, il est préférable de sélectionner
cinq niveaux, y compris ceux dans la plage marginale afin de renforcer la confiance dans l’estimation de
la limite de détection de la méthode. Si la POD élevée ou faible (POD de 0,95 ou de 0,05 par exemple) est
considérée comme plus importante, de nombreux réplicats à POD élevée ou faible peuvent être soumis
à essai au détriment de réplicats à POD intermédiaire afin de se concentrer sur l’intervalle de confiance
des estimations de POD élevée ou faible.
4.8.4 Nombre de réplicats par niveau et par laboratoire
Afin d’obtenir suffisamment d’informations et de maintenir la confiance statistique requise, ainsi que
l’exactitude des intervalles de confiance, il convient de réaliser au moins 12 réplicats par niveau dans
chaque laboratoire (en partant du principe que 8 laboratoires participent à l’étude).
NOTE 1 Le nombre de réplicats requis lors de la caractérisation d’une méthode qualitative est supérieur à celui
requis pour les méthodes quantitatives, en raison du niveau limité d’informations qu’une méthode qualitative
fournit par rapport à une méthode quantitative.
NOTE 2 Dans la pratique, les méthodes qualitatives et quantitatives ont toutes deux affiché des dépendances
systématiques entre le niveau moyen de mesurande et la variance. Dans le cadre de méthodes qualitatives, à
des concentrations auxquelles les valeurs de POD observées sont proches de 0 ou de 1, très peu de variations
sont constatées dans l’ensemble de données, les observations étant soit globalement positives soit globalement
négatives. À des concentrations auxquelles les valeurs de POD tombent dans la plage fractionnaire (par exemple
entre 0,15 et 0,85), davantage de variations sont observées au sein et entre les laboratoires. Par conséquent, le
nombre de réplicats requis par chaque collaborateur dépend de la plage de POD concernée. Les plages approchant
de 0 et de 1 requièrent davantage de réplicats, le nombre de résultats positifs ou négatifs respectivement
approchant de zéro. Par exemple, il faudrait au moins 12 réplicats pour une plage comprise entre 0,25 et 0,75.
Pour une plage de 0,20 à 0,80, au moins 16 réplicats pourraient se révéler nécessaires, contre au moins 35 pour
une plage de 0,50 à 0,90. Ainsi, selon l’applicabilité, l’étude comparative pourrait impliquer différents nombres de
réplicats à différents niveaux de concentration.
Pour une POD de 0,95 ou de 0,05, l’idéal serait d’avoir au moins 60 réplicats par laboratoire et pour
une POD de 0,01 ou de 0,99, 300 réplicats. Cela n’est pas envisageable dans la plupart des cas. En cas
d’utilisation d’un nombre de réplicats inférieur au nombre idéal, les intervalles de confiance autour de
la POD seront supérieurs à ceux déterminés avec un nombre de réplicats optimal. Il est reconnu qu’il
est parfois impossible de respecter les recommandations précitées dans le cadre d’une expérience de
validation interlaboratoires.
L’objectif de cette répétition étant d’estimer la répétabilité, il convient donc d’analyser ces réplicats
dans des conditions de répétabilité.
4.9 Expérience de validation dans des conditions intermédiaires
Il est possible de recourir à une validation par un seul laboratoire lorsqu’il est impossible de procéder
à une étude comparative interlaboratoires complète. Il convient que cette étude tienne compte des
conditions de fidélité intermédiaires dans lesquelles les observations sont effectuées au sein du même
laboratoire, mais un ou plusieurs facteurs (temps, opérateur ou équipement) peuvent varier. Lors de
la détermination de la fidélité d’une méthode de mesure, il est primordial de définir les conditions
d’observation appropriées, c’est-à-dire s’il convient que les trois facteurs susmentionnés soient
constants ou non. Le traitement statistique des données de fidélité intermédiaires est identique à celui
mis en œuvre dans le cadre d’une expérience interlaboratoires, sur plusieurs jours, plusieurs essais et/
ou par plusieurs opérateurs, étant donné qu’un seul laboratoire est impliqué.
4.10 Expression des résultats d’une expérience de validation
4.10.1 Généralités
Les données issues d’une expérience de validation peuvent être représentées dans un tableau, un
graphique ou une figure. Les Tableaux 1 et 2 présentent des exemples à des fins d’illustration.
Il convient que les données (présentées dans un tableau) comprennent l’intervalle de confiance et
l’estimation de la POD pour chaque niveau.
Tableau 1 — Exemples de résumés de résultats d’expériences de validation sous forme
de tableau
Conc N x POD LCI à 95 % LCS à 95 %
0 32 1 0,031 3 0,000 0 0,157 4
0,1 320 30 0,093 8 0,066 5 0,130 7
5 320 239 0,746 9 0,696 5 0,791 4
10 320 293 0,915 6 0,880 0 0,941 4
20 320 307 0,959 4 0,931 7 0,976 1
100 32 32 1,000 0 0,892 8 1,000 0
8 © ISO 2019 – Tous droits réservés

Tableau 2 — Exemple de valeurs de POD pour les trousses d’essai d’allergènes à base d’arachides
TROUSSE A TROUSSE B dPOD (A-B)
Conc
(parties par N x POD(A) LCI à 95 % LCS à 95 % N x POD(B) LCI à 95 % LCS à 95 % dPOD LCI à 95 % LCS à 95 %
million)
0 630 2 0,003 175 0,000 871 0,011 5 630 15 0,023 81 0,014 481 0,038 91 −0,020 63 −0,035 91 −0,008 13
1,5 630 541 0,858 73 0,829 353 0,883 759 630 601 0,953 968 0,934 672 0,967 761 −0,095 24 −0,127 69 −0,063 64
4 630 543 0,861 905 0,832 763 0,886 659 630 618 0,980 952 0,967 004 0,989 071 −0,119 05 −0,149 3 −0,090 63
8,2 630 563 0,893 651 0,867 146 0,915 384 630 626 0,993 651 0,983 789 0,997 528 −0,1 −0,126 79 −0,076 13
14 630 604 0,958 73 0,940 217 0,971 683 630 629 0,998 413 0,991 064 1 −0,039 68 −0,058 26 −0,024 79
21 630 628 0,996 83 0,988 499 0,999 129 630 630 1 0,993 939 1 −0,003 17 −0,011 5 0,003 309
30 630 630 1 0,993 939 1 630 629 0,998 413 0,991 064 1 0,001 587 −0,004 68 0,008 936
NOTE  Données issues de la Référence [18]. Elle souligne les différences entre les valeurs de POD et les intervalles de confiance.

4.10.2 Représentation graphique des données
Les résultats d’une expérience de validation peuvent être présentés dans un graphique sous forme de
courbe de POD en fonction de la concentration (voir Figures 2 et 3), avec des intervalles de confiance
[13]
à 95 % ou par le biais d’un graphique à points (voir Figure 4). Le logiciel R permet de réaliser
facilement ce type de graphiques, bien que d’autres approches soient possibles. Les approches d’analyse
des résultats de l’expérience de validation sont détaillées dans les annexes.

Légende
trousse A X concentration (mg/kg)
trousse B Y LPOD (%)
NOTE 1 La courbe de LPOD est tracée par rapport à la concentration en parties par million de farine d’arachide.
NOTE 2 La trousse A (cercles bleus) présente des LPOD inférieures à celles de la trousse B (carrés rouges).
NOTE 3 Données issues de la Référence [18].
Figure 2 — Exemples de courbes de POD pour deux trousses d’essai d’allergènes à base
d’arachides affichant des limites de confiance à 95 %
10 © ISO 2019 – Tous droits réservés

Légende
X copies/aliquote d’ADN
y POD (%)
NOTE 1 La courbe de POD est tracée par rapport au nombre de copies d’ADN par aliquote.
NOTE 2 Données non publiées issues de la Référence [6].
Figure 3 — Exemples de courbes de POD pour une réaction PCR, affichant des limites de
confiance à 95 % calculées conformément à l’Annexe B
Légende
X concentration en gluten (mg/kg)
y POD (%)
NOTE 1 Le nombre indiqué à côté de chaque cercle désigne le nombre de laboratoires bénéficiant de la même
POD. Les superficies des cercles sont proportionnelles au nombre de laboratoires. Dix réplicats ont été analysés
par laboratoire.
NOTE 2 Données issues de la Référence [14].
Figure 4 — Pourcentage de POD observé par chacun des 17 laboratoires participants pour les
réplicats d’échantillons affichant une concentration en gluten comprise entre 0,4 mg/kg et
47,1 mg/kg
4.11 Calcul de l’intervalle de confiance pour la moyenne générale, de l’intervalle de
confiance et de l’intervalle de fluctuation
Les limites de confiance pour la moyenne générale permettent de calculer les limites de la POD. Les
limites de confiance pour la moyenne générale permettent également de comparer différentes méthodes
d’essai qualitatives.
Les données brutes de tous les laboratoires doivent être analysées selon un modèle statistique afin
d’estimer les limites de confiance des estimations de la LPOD. Les modèles pouvant être utilisés afin
de caractériser les méthodes fondées sur une validation interlaboratoires à partir de publications et
d’articles de spécialistes du GT sont:
— modèle d’intervalle de Wilson modifié;
— degrés de liberté, ν = Λ − 1 (Λ = nombre de laboratoires) – modèle hybride (voir Annexe B);
— approches par maximum de vraisemblance;
— modèle probit comme variable latente s’appuyant sur la vraisemblance de profil (voir Annexe C);
— bêta binomiale comme fonction latente s’appuyant sur la vraisemblance approximative
(voir Annexe D).
Ces modèles décrits aux Annexes B à D s’appliquent aux situations qui ne présentent pas de relation
de concentration ou de scalaire
...