ISO/TS 16393:2019

Molecular biomarker analysis — Determination of the performance characteristics of qualitative measurement methods and validation of methods

This document specifies methods that yield a binary result and are used for the determination in food or food products (including seeds of food crops) of the presence of molecular biomarkers. These methods are typically used where the measurand is expected to be present in very small amounts and concentrations at the limit of detection (LOD). Methods are validated in terms of the probability of detection (POD) and of the precision of the POD. They do not rely on the concept of false positive/false-negative results, or the concept of LOD. However, inferences about the precision of the classical LOD can be made. This document describes the extent of method validation. The annexes provide different statistical models that can be considered depending on the analytical method, structure of data and statistical experience. This document does not apply to quantitative methods that are used to make a detection decision by comparing the value of a response to a cut-off value using a quantitative method, where the methods are validated by using quantitative statistics on the responses. This document also does not apply to microbiological test methods, starch, essential oils or quantitative methods.

Analyse de biomarqueurs moléculaires — Détermination des caractéristiques de performance des méthodes de mesure qualitatives et validation des méthodes

Le présent document spécifie des méthodes qui produisent un résultat binaire et sont utilisées afin de déterminer la présence de biomarqueurs moléculaires dans les aliments ou les produits alimentaires (y compris les graines des cultures vivrières). Ces méthodes sont généralement appliquées lorsque le mesurande est censé être présent en très petites quantités et à des concentrations proches de la limite de détection (LOD). Les méthodes sont validées en termes de probabilité de détection (POD) et de fidélité de la POD. Elles ne reposent ni sur le concept de résultats faux positifs/négatifs, ni sur le concept de LOD. Il est toutefois possible de déduire la fidélité de la LOD classique. Le présent document décrit l'étendue de la validation des méthodes. Les annexes fournissent différents modèles statistiques qui peuvent être pris en compte en fonction de la méthode d'analyse, de la structure des données et de l'expérience statistique. Le présent document ne s'applique pas aux méthodes quantitatives utilisées pour prendre une décision de détection en comparant la valeur d'une réponse à une valeur limite déterminée à l'aide d'une méthode quantitative, validée à partir de statistiques quantitatives sur les réponses. Le présent document ne s'applique pas non plus aux méthodes d'analyse en microbiologie, sur l'amidon, sur les huiles essentielles ou aux méthodes quantitatives.

General Information

• Status: Published
• Publication Date: 28-Feb-2019
• ICS: 67.050 - General methods of tests and analysis for food products
• Technical Committee: ISO/TC 34/SC 16 - Horizontal methods for molecular biomarker analysis
• Drafting Committee: ISO/TC 34/SC 16 - Horizontal methods for molecular biomarker analysis
• Current Stage: 9092 - International Standard to be revised
• Completion Date: 06-Dec-2022

Standards Content (Sample)

TECHNICAL ISO/TS
SPECIFICATION 16393
First edition
2019-02
Molecular biomarker analysis —
Determination of the performance
characteristics of qualitative
measurement methods and validation
of methods
Analyse de biomarqueurs moléculaires — Détermination des
caractéristiques de performance des méthodes de mesure qualitatives
et validation des méthodes
Reference number
ISO/TS 16393:2019(E)
ISO 2019
---------------------- Page: 1 ----------------------
ISO/TS 16393:2019(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2019

All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may

be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting

on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address

below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: [phone]
Fax: [phone]
Email: [e-mail]
Website: www.iso.org
Published in Switzerland
ii © ISO 2019 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/TS 16393:2019(E)
Contents Page

Foreword ........................................................................................................................................................................................................................................iv

Introduction ..................................................................................................................................................................................................................................v

1 Scope ................................................................................................................................................................................................................................. 1

2 Normative references ...................................................................................................................................................................................... 1

3 Terms and definitions ..................................................................................................................................................................................... 1

4 Characterization of a qualitative method via a validation experiment .......................................................3

4.1 Criteria for a standard measurement method ............................................................................................................. 3

4.2 Performance of a validation experiment .......................................................................................................................... 3

4.3 Nature of test materials ................................................................................................................................................................... 4

4.4 Requirements for replicate test samples .......................................................................................................................... 4

4.5 Robustness (ruggedness) .............................................................................................................................................................. 5

4.6 Applicability .............................................................................................................................................................................................. 5

4.7 Selectivity .................................................................................................................................................................................................... 6

4.8 Experimental design for a multi-laboratory study .................................................................................................. 6

4.8.1 Participating laboratories ........................................................................................................................................ 6

4.8.2 Number of laboratories .............................................................................................................................................. 6

4.8.3 Number of levels .............................................................................................................................................................. 6

4.8.4 Number of replicates per level and laboratory ...................................................................................... 7

4.9 Validation experiment under intermediate conditions ....................................................................................... 7

4.10 Expressing the results of a validation experiment ................................................................................................... 7

4.10.1 General .................................................................................................................................................................................... 7

4.10.2 Graphical representation of the data...........................................................................................................10

4.11 Calculation of the confidence interval for the general mean, confidence interval

and prediction interval .................................................................................................................................................................12

4.12 Calculation of prediction interval for PODs in each laboratory .................................................................13

5 Statistical model for test result ..........................................................................................................................................................13

5.1 General .......................................................................................................................................................................................................13

5.2 Basic model .............................................................................................................................................................................................13

5.3 Constraints in the model .............................................................................................................................................................13

5.4 General mean, m ................................................................................................................................................................................14

5.5 Variance parameters .......................................................................................................................................................................14

5.6 Relationship of qualitative model to the quantitative model.......................................................................14

5.7 Derivation of a limit of detection ..........................................................................................................................................15

Annex A (informative) Estimation of the mean and variance ..................................................................................................16

Annex B (informative) Hybrid modified Wilson interval model ..........................................................................................18

Annex C (informative) Maximum profile likelihood based on the probit model ................................................20

Annex D (informative) Maximum likelihood estimate based on beta binomial distribution ................22

Annex E (informative) Testing of the models via simulation ...................................................................................................24

Bibliography .............................................................................................................................................................................................................................27

© ISO 2019 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO/TS 16393:2019(E)
Foreword

ISO (the International Organization for Standardization) is a worldwide federation of national standards

bodies (ISO member bodies). The work of preparing International Standards is normally carried out

through ISO technical committees. Each member body interested in a subject for which a technical

committee has been established has the right to be represented on that committee. International

organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.

ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of

electrotechnical standardization.

The procedures used to develop this document and those intended for its further maintenance are

described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the

different types of ISO documents should be noted. This document was drafted in accordance with the

editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/directives).

Attention is drawn to the possibility that some of the elements of this document may be the subject of

patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of

any patent rights identified during the development of the document will be in the Introduction and/or

on the ISO list of patent declarations received (see www .iso .org/patents).

Any trade name used in this document is information given for the convenience of users and does not

constitute an endorsement.

For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and

expressions related to conformity assessment, as well as information about ISO’s adherence to the

World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see www .iso

.org/iso/foreword .html.

This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 16,

Horizontal methods for molecular biomarker analysis.

Any feedback or questions on this document should be directed to the user’s national standards body. A

complete listing of these bodies can be found at www .iso .org/members .html.
iv © ISO 2019 – All rights reserved
---------------------- Page: 4 ----------------------
ISO/TS 16393:2019(E)
Introduction

Qualitative (binary) analytical methods (e.g. applied to screening tests) for use in the analysis of food or

food products (including seeds of food crops) with the purpose of demonstrating the presence/absence

of a given measurand in a sample should provide objective evidence that they are adequate for their

intended use. A validated test method is much preferred over one that has not undergone studies to

determine its accuracy and reliability for its specific purpose. These methods that yield a binary result

(yes/no, positive/negative, etc.) are referred to as “qualitative” or “binary” methods.

As with quantitative methods, qualitative method performance has to be characterized with respect to

the concentration of the measurand. However, only two conditions are indicated in the result: either the

measurand is detected (a positive result) or it is not detected (a negative result). While internationally

recognized guidelines (e.g. ISO 5725-2, References [7] and [16]) have been produced over the years

to harmonize the validation of quantitative analytical methods, no consensus is yet available among

stakeholders on a practical implementation of the performance criteria approach to the validation of

qualitative methods for use in food and food products.

Conceptual approaches for validating qualitative methods classically focused on parameters such as

sensitivity, selectivity, false positive rate and false negative rate, based on detection/non-detection

of the measurand in the test sample. The limitation of this approach was the underlying assumption

that the method had a predictable response to the presence of a measurand present at a non-zero

concentration. In practice, however, a non-zero concentration can result in a variable probability of

a positive result in the assay. Treating the concentration of measurand as a continuous variable with

reasonable and/or previously determined confidence in a defined matrix using a specific analytical

method is a better predictor of measurement response than a two-state, zero/non-zero variable.

This document describes the assessment of probability of detection (POD). This approach allows

for comparison of probabilities across concentrations and further allows for a simple graphical

representation of validation data as a POD response curve graphed by concentration with associated

error bars of the mean POD value. This approach expresses the POD as dependent on concentration; the

goal of validation is to characterize the response probability curve as a function of measurand mass or

concentration.

A number of models have been described in the literature for the calculations of the confidence intervals

of the POD and confidence intervals or predictive ranges for concentrations in case of a positive or

negative result, e.g. References [4], [8], [9], [11], [17], [19] and [20]. Whereas qualitative methods are

often evaluated at 50 %, they are used close to 100 %, or at levels where the sample size is adjusted so

as to always obtain a clear positive or negative result. The present specification is therefore the result

of an extensive discussion of the possible improved models for characterization of qualitative methods,

particularly focused on the characterization of the methods close to the 0 and 100 % POD cases. The

performance characteristics include:
a) the mean POD across laboratories (LPOD);

b) the corresponding confidence interval of the LPOD, which is the interval estimate of the mean POD;

c) the prediction interval for future observations of laboratory specific PODs.

An advanced statistical method allows the user to calculate confidence and/or prediction intervals for

the concentrations where the user would expect positive or negative results. To do so is particularly

challenging where the POD is close to 0 % or 100 %.
© ISO 2019 – All rights reserved v
---------------------- Page: 5 ----------------------
TECHNICAL SPECIFICATION ISO/TS 16393:2019(E)
Molecular biomarker analysis — Determination of the
performance characteristics of qualitative measurement
methods and validation of methods
1 Scope

This document specifies methods that yield a binary result and are used for the determination in

food or food products (including seeds of food crops) of the presence of molecular biomarkers. These

methods are typically used where the measurand is expected to be present in very small amounts and

concentrations at the limit of detection (LOD).

Methods are validated in terms of the probability of detection (POD) and of the precision of the POD.

They do not rely on the concept of false positive/false-negative results, or the concept of LOD. However,

inferences about the precision of the classical LOD can be made.

This document describes the extent of method validation. The annexes provide different statistical

models that can be considered depending on the analytical method, structure of data and statistical

experience.

This document does not apply to quantitative methods that are used to make a detection decision by

comparing the value of a response to a cut-off value using a quantitative method, where the methods

are validated by using quantitative statistics on the responses. This document also does not apply to

microbiological test methods, starch, essential oils or quantitative methods.
2 Normative references

The following documents are referred to in the text in such a way that some or all of their content

constitutes requirements of this document. For dated references, only the edition cited applies. For

undated references, the latest edition of the referenced document (including any amendments) applies.

ISO 5725-1:1994, Accuracy (trueness and precision) of measurement methods and results — Part 1: General

principles and definitions

ISO 5725-2:1994, Accuracy (trueness and precision) of measurement methods and results — Part 2: Basic

method for the determination of repeatability and reproducibility of a standard measurement method

3 Terms and definitions
For the purposes of this document, the following terms and definitions apply.

ISO and IEC maintain terminological databases for use in standardization at the following addresses:

— ISO Online browsing platform: available at https: //www .iso .org/obp
— IEC Electropedia: available at http: //www .electropedia .org/
3.1
binary result

result from a method (3.6) of analysis where there are only two possible outcomes

© ISO 2019 – All rights reserved 1
---------------------- Page: 6 ----------------------
ISO/TS 16393:2019(E)
3.2
intraclass correlation coefficient
ICC
measure of the reliability of measurements (between laboratories)

Note 1 to entry: The coefficient represents agreements between two or more results measured on identical

samples.
3.3
identical test item

sample that is prepared and can be presumed to be identical for the intended purpose of measurement

of the measurand (and can be presumed to be identical for the intended purpose)

[SOURCE: ISO 3534-2:2006, 1.2.34, modified — “and can be presumed to be identical purpose of

measurement of the measurand” has been added and Note 1 to entry has been deleted.]

3.4
lower confidence limit
LCL

lower value of a range containing the true value of the measurand with a specified probability

Note 1 to entry: The symbol for LCL is taken from Reference [5].
3.5
mean probability of detection across laboratories
LPOD

probability of a positive analytical outcome of a qualitative method (3.9) for a given matrix at a given

concentration in multiple laboratories

Note 1 to entry: Throughout this document, when used in mathematical formulae, P refers to the estimator

for the probability of detection (POD) (3.8) parameter across laboratories.

Note 2 to entry: The symbol for LPOD is the symbol for POD with the lowercase Greek letter ʎ (lambda) to indicate

laboratory-wide.
3.6
method
procedure that includes sample processing, assay and data interpretation
3.7
naturally incurred sample

sample that contains the measurand by virtue of its inherent characteristics rather than the measurand

being intentionally added
3.8
probability of detection
POD

probability of a positive analytical outcome of a qualitative method (3.9) for a given matrix at a given

concentration in a single laboratory

Note 1 to entry: Throughout this document, when used in mathematical formulae, P refers to the estimator for

the probability of detection parameter.

Note 2 to entry: The symbol for POD is drawn from the term P for probability and the first letter of the Greek

term for detection, ανίχνευση.
2 © ISO 2019 – All rights reserved
---------------------- Page: 7 ----------------------
ISO/TS 16393:2019(E)
3.9
qualitative method
method (3.6) of analysis with two possible outcomes

Note 1 to entry: Qualitative method is an alternative terminology to binary method.

3.10
replicate test sample

sample taken from a bulk sample such that the replicate test samples are as close to identical as

achievable, in order to constitute identical test items (3.3)
3.11
validation experiment

determination of method (3.6) performance parameters from a series of test results reported by one or

more usually a number of participating laboratories
3.12
upper confidence limit
UCL

upper value of a range containing the true value of the measurand with a specified probability

Note 1 to entry: The symbol for UCL is taken from Reference [5].
4 Characterization of a qualitative method via a validation experiment
4.1 Criteria for a standard measurement method

The following criteria should be taken into consideration when validating a qualitative method of

analysis:
— applicability;
— robustness;
— selectivity;
— POD related to the measurand concentration.

All measurements shall be carried out according to a standard method based on a written document

that describes in full detail how the measurement shall be carried out, including the applicability and

selectivity of the method. It shall incorporate information based on the robustness testing of the method

established at the single laboratory level when developing the method. The standard method may be

modified by the result of experiments to determine the intermediate precision and/or the results of

collaborative multi-laboratory trial(s).
4.2 Performance of a validation experiment

The estimates of performance parameters derived from a validation experiment are valid only for tests

carried out according to the standard measurement method. A validation experiment can be considered

to be a practical test of the adequacy of the standard measurement method. One of the main purposes of

standardization is to standardize how methods are characterized, and eliminate differences between

users (laboratories) as far as possible. The data provided by a validation experiment will reveal how

effectively this purpose has been achieved. Pronounced differences between the laboratories often

indicate that the measurement method can be improved.

From a practical point of view, it is important and desirable to carry out a number of steps before

proceeding with the validation experiment. This includes: a) measurement of several replicates by one

operator to establish suitable test materials that will cover the desired POD levels, followed by: b) a

© ISO 2019 – All rights reserved 3
---------------------- Page: 8 ----------------------
ISO/TS 16393:2019(E)

mini validation experiment to establish that the instructions for the experiment are clear and sufficient

and that the test materials are suitable for the full validation experiment.
4.3 Nature of test materials

Validation of qualitative methods requires the use of known positive (low and high POD) and negative

(effectively as close as possible to zero POD) materials. Special challenges arise when a biological

material is being tested, and pure reference material (CRM traceable back to SI units) may not be

readily available. For some biomolecular methods, naturally incurred samples may be the only source

of materials for validation. The preparation and source of each material shall be documented. Wherever

possible, a quantitative method can be used to confirm the concentration of the measurand.

4.4 Requirements for replicate test samples

In a validation experiment, a number of replicate test samples of a specific material or specimens of

a specific product are typically sent from a central point to a number of laboratories. The definition

of repeatability conditions states that the measurements in these laboratories shall be performed on

identical test items and refers to the moment when these measurements are actually carried out.

The test materials will ideally be evaluated for homogeneity before preparing the replicate laboratory

samples to be sent to the laboratories, or by testing a number of the replicate test samples if a suitable

method is available. Furthermore, the replicate test samples shall be identical test items (under the

definition of ISO 5725-1) when dispatched to the laboratories and the replicate samples shall be stable

and remain identical during transport and during the different time intervals that can elapse before the

measurements are actually performed.

NOTE 1 The terms “identical” and “identical test items” are not the same as “identical test portions” (see

ISO 5725-2:1994, Clause 5). There will always be some level of variation between replicate test samples (i.e.

the actual materials sent), and this is an integral part of testing method repeatability. Test portion variability

is dependent on concentration, test portion size and matrix homogeneity. When preparing the replicate test

samples for a collaborative study, the concept of identical test items is to be interpreted as each test sample

having an equal probability of producing a positive test result. This means that all laboratories receive essentially

the same test items. The test portions will always have some level of variation, which is an inherent part of the

measurement variation.

NOTE 2 The number of replicate samples required to get a good estimation (at 95 % confidence) of the LPOD

for a two-sided coverage is 12 per level for the range 25 % to 75 % LPOD for the case where 8 laboratories are

included (see Table E.2). If more participants are available, the number of replicate samples can be lowered in

consultation with a statistician. However, the larger numbers needed to get ideal estimates of the LPOD at high

and low measurand concentrations may not be practicable to achieve in a multi-laboratory trial.

Conditions should be representative of the use of the method in the laboratory. It shall be clearly

stated when reporting the results if an intermediate material, such as a ground sample or an extract,

is distributed for this purpose. Moreover, it shall be shown that the intermediate materials are stable

under shipping conditions.

NOTE 3 While the replicate test samples supplied at each concentration would preferably consist of

unprocessed material (such as whole grain or seeds) in order to test the whole method from sample to result, this

is, in most cases, impractical. Therefore, it is most practical to grind the material and distribute a typical powder

that would be obtained under typical conditions.

Test materials are prepared and divided into test samples before these replicate test samples are

shipped to the participating laboratories. The replicate test samples may be reduced to test portions in

the laboratory or analysed directly. The relationship is given in Figure 1.
4 © ISO 2019 – All rights reserved
---------------------- Page: 9 ----------------------
ISO/TS 16393:2019(E)

Figure 1 — Relationship between the test materials, replicate test samples and test portions

4.5 Robustness (ruggedness)

The method developer is expected to evaluate the robustness of the method against small changes in

analytical conditions and external influences, and identify variables which could have a significant

effect on method performance. Critical variables should be included in the standard measurement

method (e.g. by including an acceptable temperature range).
4.6 Applicability

The user should be able to determine whether the method will be appropriate for the desired application

(fit for purpose) and if there will be limitations to its use. Applicability is the analytes, matrices and

concentrations for which a method of analysis may be used satisfactorily. An applicability statement

shall therefore be provided by the method developer. It should include a list of the known analyte(s)

or measurand(s) that can be determined by the method, and the form in which analyte(s) can be

determined, e.g. speciation, total/available, the sample matrix(es) within which those analyte(s) can

be determined. In addition to a statement of the range of capability of satisfactory performance for

each factor, the statement of applicability may also include warnings as to known interference by other

analytes, or inapplicability to certain matrices and situations. For example, concentrations that may

lead to reduced POD at concentrations higher than those normally expected should also be specified, as

© ISO 2019 – All rights reserved 5
---------------------- Page: 10 ----------------------
ISO/TS 16393:2019(E)

certain methods (such as those depending on antibodies) have the possibility of giving a negative result

at very high concentrations of the measurand (the hook effect).
NOTE Applicability outside of the food sector can be referred to as “scope”.
4.7 Selectivity

Determination of selectivity is a single laboratory study designed to demonstrate that a method does

not detect non-target measurands expected to erroneously give a positive result due to chemical or

structural similarities.

The method should be shown to give a positive result for claimed measurands. Each measurand from

the selectivity test panel should be tested at the appropriate target concentration for each measurand.

4.8 Experimental design for a multi-laboratory study
4.8.1 Participating laboratories

Ideally, the chosen laboratories should be a random sampling of all potential method users. Laboratories

participating in any validation study for qualitative methods should have experience and training in

performing the type of method being tested. However, the participating laboratories should not consist

exclusively of those that have gained special experience during the process of standardizing the method.

Neither should they consist (exclusively) of specialist reference laboratories, in order to demonstrate

the accuracy to which the method can perform in expert hands.

Estimating the POD at applicable measurand concentrations can be carried out provided that an

adequate number of replicate test samples are analysed across a suitable number of concentrations

and a sufficient number of laboratories. The number of replicates per laboratory and the number of

laboratories should be chosen with consideration of the effect of the size of the validation experiment

on the size of the confidence intervals that will be obtained.
4.8.2 Number of laboratories
The purpose of involving a large number of
...

SPÉCIFICATION ISO/TS
TECHNIQUE 16393
Première édition
2019-02
Analyse de biomarqueurs
moléculaires — Détermination des
caractéristiques de performance des
méthodes de mesure qualitatives et
validation des méthodes
Molecular biomarker analysis — Determination of the performance
characteristics of qualitative measurement methods and validation
of methods
Numéro de référence
ISO/TS 16393:2019(F)
ISO 2019
---------------------- Page: 1 ----------------------
ISO/TS 16393:2019(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2019

Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette

publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,

y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut

être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.

ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: [phone]
Fax: [phone]
E-mail: [e-mail]
Web: www.iso.org
Publié en Suisse
ii © ISO 2019 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO/TS 16393:2019(F)
Sommaire Page

Avant-propos ..............................................................................................................................................................................................................................iv

Introduction ..................................................................................................................................................................................................................................v

1 Domaine d’application ................................................................................................................................................................................... 1

2 Références normatives ................................................................................................................................................................................... 1

3 Termes et définitions ....................................................................................................................................................................................... 1

4 Caractérisation d’une méthode qualitative par une expérience de validation ...................................3

4.1 Critères de validation d’une méthode de mesure normalisée ....................................................................... 3

4.2 Performances d’une expérience de validation............................................................................................................. 3

4.3 Nature des matériaux d’essai ..................................................................................................................................................... 4

4.4 Exigences relatives aux réplicats d’échantillons d’essai ..................................................................................... 4

4.5 Robustesse (résistance) .................................................................................................................................................................. 5

4.6 Applicabilité .............................................................................................................................................................................................. 5

4.7 Sélectivité ..................................................................................................................................................................................................... 6

4.8 Plan expérimental d’une étude interlaboratoires ..................................................................................................... 6

4.8.1 Laboratoires participants ......................................................................................................................................... 6

4.8.2 Nombre de laboratoires ............................................................................................................................................. 6

4.8.3 Nombre de niveaux ........................................................................................................................................................ 6

4.8.4 Nombre de réplicats par niveau et par laboratoire ............................................................................ 7

4.9 Expérience de validation dans des conditions intermédiaires...................................................................... 7

4.10 Expression des résultats d’une expérience de validation .................................................................................. 8

4.10.1 Généralités ............................................................................................................................................................................ 8

4.10.2 Représentation graphique des données ...................................................................................................10

4.11 Calcul de l’intervalle de confiance pour la moyenne générale, de l’intervalle de

confiance et de l’intervalle de fluctuation.....................................................................................................................12

4.12 Calcul de l’intervalle de fluctuation pour les POD de chaque laboratoire ........................................13

5 Modèle statistique pour les résultats d’essai ......................................................................................................................13

5.1 Généralités ...............................................................................................................................................................................................13

5.2 Modèle de base ....................................................................................................................................................................................13

5.3 Contraintes dans le modèle .......................................................................................................................................................14

5.4 Moyenne générale, m ...................................................................................................................................................................... 14

5.5 Paramètres de variance ................................................................................................................................................................14

5.6 Relation entre le modèle qualitatif et le modèle quantitatif .........................................................................15

5.7 Détermination d’une limite de détection ......................................................................................................................15

Annexe A (informative) Estimation de la moyenne et de la variance ..............................................................................16

Annexe B (informative) Modèle d’intervalle de Wilson modifié ..........................................................................................18

Annexe C (informative) Maximum de vraisemblance de profil fondé sur le modèle probit ...................20

Annexe D (informative) Estimation par maximum de vraisemblance fondée sur une

distribution bêta-binomiale ..................................................................................................................................................................22

Annexe E (informative) Essai des modèles par simulation ........................................................................................................24

Bibliographie ...........................................................................................................................................................................................................................28

© ISO 2019 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO/TS 16393:2019(F)
Avant-propos

L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes

nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est

en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude

a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,

gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.

L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui

concerne la normalisation électrotechnique.

Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont

décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents

critères d'approbation requis pour les différents types de documents ISO. Le présent document a été

rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www

.iso .org/directives).

L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet de

droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable

de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant

les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de

l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de

brevets reçues par l'ISO (voir www .iso .org/brevets).

Les appellations commerciales éventuellement mentionnées dans le présent document sont données

pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un

engagement.

Pour une explication de la nature volontaire des normes, la signification des termes et expressions

spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion

de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles

techniques au commerce (OTC), voir www .iso .org/avant -propos.

Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-

comité SC 16, Méthodes horizontales pour l’analyse moléculaire de biomarqueurs.

Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent

document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes

se trouve à l’adresse www .iso .org/fr/members .html.
iv © ISO 2019 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO/TS 16393:2019(F)
Introduction

Il convient que les méthodes d’analyse (binaire) qualitative (par exemple appliquées aux essais de

criblage) destinées à l’analyse d’aliments ou de produits alimentaires (y compris des graines de culture

vivrière) en vue de démontrer la présence/l’absence d’un mesurande donné dans un échantillon

apportent des preuves objectives de leur adéquation à l’usage prévu. Une méthode d’essai validée est

toujours privilégiée par rapport à une autre qui n’a pas fait l’objet d’études visant à déterminer son

exactitude et sa fiabilité pour un objectif spécifié. Ces méthodes qui produisent un résultat binaire (oui/

non, positif/négatif, etc.) sont dites «qualitatives» ou «binaires».

À l’instar des méthodes quantitatives, les performances des méthodes qualitatives doivent être

caractérisées eu égard à la concentration du mesurande. Cependant, seules deux conditions sont

indiquées dans le résultat: soit le mesurande est détecté (résultat positif) soit il ne l’est pas (résultat

négatif). Bien que des lignes directrices reconnues à l’échelle internationale (par exemple ISO 5725-2,

Références [7] et [16]) aient été établies au fil des ans pour harmoniser la validation des méthodes

d’analyse quantitatives, aucun consensus n’existe pour le moment entre les parties prenantes sur

la mise en œuvre pratique de la détermination des critères de performance pour la validation des

méthodes qualitatives destinées aux aliments et aux produits alimentaires.

Certaines approches conceptuelles de validation des méthodes qualitatives tendaient à se concentrer

sur des paramètres tels que la sensibilité, la sélectivité, le taux de faux positifs ou de faux négatifs,

en fonction de la détection/non-détection du mesurande dans l’échantillon d’essai. Cette approche

était limitée car elle s’appuyait sur l’hypothèse que la méthode fournissait une réponse prévisible à

la présence d’un mesurande à une concentration non nulle. Mais dans la pratique, une concentration

non nulle peut entraîner une probabilité variable d’obtention d’un résultat positif lors de l’essai. Une

approche considérant la concentration du mesurande comme une variable continue associée à un

niveau de confiance raisonnable et/ou préalablement déterminé, dans une matrice définie, à l’aide d’une

méthode d’analyse spécifique permet de mieux prédire la réponse de mesure qu’une variable binaire,

nulle ou non nulle.

Le présent document décrit l’évaluation de la probabilité de détection (POD). Cette approche permet de

comparer les probabilités en fonction des concentrations, mais aussi de représenter dans un graphique

simple les données de validation sous forme de courbe modélisant la POD selon la concentration,

accompagnée de barres représentant les écarts-types pour la valeur moyenne de la POD. Cette approche

exprime la POD comme une variable dépendant de la concentration; l’objectif de la validation est de

caractériser la courbe de probabilité de réponse en fonction de la masse ou de la concentration du

mesurande.

Un certain nombre de modèles ont été décrits dans la littérature pour les calculs des intervalles de

confiance de la POD et des intervalles de confiance des plages de concentration prévisionnelles en cas

de résultat positif ou négatif (voir par exemple les Références [4], [8], [9], [11], [17], [19] et [20]). Tandis

que les méthodes qualitatives sont souvent évaluées à 50 %, elles sont utilisées à près de 100 % ou à

des niveaux où la taille de l’échantillon est ajustée afin de toujours obtenir un résultat positif ou négatif

clair. La présente spécification est donc le fruit d’une discussion approfondie sur l’amélioration possible

des modèles de caractérisation des méthodes qualitatives, notamment axés sur la caractérisation des

méthodes en cas de POD proches de 0 % et de 100 %. Les caractéristiques de performance comprennent:

a) la POD moyenne entre laboratoires (LPOD);

b) l’intervalle de confiance de la LPOD, c’est-à-dire l’estimation de l’intervalle de la POD moyenne;

c) l’intervalle de fluctuation pour de futures observations des POD propres à différents laboratoires.

Une méthode statistique avancée permet à l’utilisateur de calculer les intervalles de confiance et/ou de

fluctuation pour les concentrations auxquelles l’utilisateur pourrait s’attendre à des résultats positifs ou

négatifs. Cette tâche se révèle particulièrement délicate lorsque la POD est proche de 0 % ou de 100 %.

© ISO 2019 – Tous droits réservés v
---------------------- Page: 5 ----------------------
SPÉCIFICATION TECHNIQUE ISO/TS 16393:2019(F)
Analyse de biomarqueurs moléculaires — Détermination
des caractéristiques de performance des méthodes de
mesure qualitatives et validation des méthodes
1 Domaine d’application

Le présent document spécifie des méthodes qui produisent un résultat binaire et sont utilisées afin de

déterminer la présence de biomarqueurs moléculaires dans les aliments ou les produits alimentaires

(y compris les graines des cultures vivrières). Ces méthodes sont généralement appliquées lorsque le

mesurande est censé être présent en très petites quantités et à des concentrations proches de la limite

de détection (LOD).

Les méthodes sont validées en termes de probabilité de détection (POD) et de fidélité de la POD. Elles

ne reposent ni sur le concept de résultats faux positifs/négatifs, ni sur le concept de LOD. Il est toutefois

possible de déduire la fidélité de la LOD classique.

Le présent document décrit l’étendue de la validation des méthodes. Les annexes fournissent différents

modèles statistiques qui peuvent être pris en compte en fonction de la méthode d’analyse, de la

structure des données et de l’expérience statistique.

Le présent document ne s’applique pas aux méthodes quantitatives utilisées pour prendre une décision

de détection en comparant la valeur d’une réponse à une valeur limite déterminée à l’aide d’une méthode

quantitative, validée à partir de statistiques quantitatives sur les réponses. Le présent document ne

s’applique pas non plus aux méthodes d’analyse en microbiologie, sur l’amidon, sur les huiles essentielles

ou aux méthodes quantitatives.
2 Références normatives

Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur

contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.

Pour les références non datées, la dernière édition du document de référence s'applique (y compris les

éventuels amendements).

ISO 5725-1:1994, Exactitude (justesse et fidélité) des résultats et méthodes de mesure — Partie 1: Principes

généraux et définitions

ISO 5725-2:1994, Exactitude (justesse et fidélité) des résultats et méthodes de mesure — Partie 2:

Méthode de base pour la détermination de la répétabilité et de la reproductibilité d'une méthode de mesure

normalisée
3 Termes et définitions

Pour les besoins du présent document, les termes et définitions suivants s’appliquent.

L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en

normalisation, consultables aux adresses suivantes:

— ISO Online browsing platform: disponible à l’adresse https: //www .iso .org/obp

— IEC Electropedia: disponible à l’adresse http: //www .electropedia .org/
3.1
résultat binaire

résultat d’une méthode (3.6) d’analyse qui ne peut donner que deux résultats possibles

© ISO 2019 – Tous droits réservés 1
---------------------- Page: 6 ----------------------
ISO/TS 16393:2019(F)
3.2
coefficient de corrélation intraclasse
CCI
mesure de la fiabilité de mesurages (entre laboratoires)

Note 1 à l'article: Le coefficient représente la concordance entre au moins deux résultats mesurés sur des

échantillons identiques.
3.3
individu d’essai identique

échantillon qui est préparé et peut être supposé identique pour les besoins souhaités de mesurage du

mesurande (et peut être supposé identique pour les besoins souhaités)

[SOURCE: ISO 3534-2:2006, 1.2.34, modifiée — «de mesurage du mesurande (et peut être supposé

identique pour les besoins souhaités)» a été ajouté et la Note 1 à l’article a été supprimée.]

3.4
limite de confiance inférieure
LCI

valeur inférieure d’un intervalle contenant la valeur vraie du mesurande avec une probabilité spécifiée

Note 1 à l'article: Le symbole de la LCI est extrait de la Référence [5].
3.5
probabilité de détection moyenne entre laboratoires
LPOD

probabilité d’obtenir un résultat d’analyse positif à partir d’une méthode qualitative (3.9) pour une

matrice donnée à une concentration donnée dans plusieurs laboratoires

Note 1 à l'article: Tout au long du présent document, lorsqu’il est utilisé dans des formules mathématiques, P

fait référence à l’estimateur du paramètre de probabilité de détection (POD) (3.8) entre les laboratoires.

Note 2 à l'article: Le symbole de la LPOD est celui de la POD accompagné de la lettre grecque ʎ (lambda) en

minuscule pour indiquer l’échelle étendue à plusieurs laboratoires.
3.6
méthode

mode opératoire incluant la préparation de l’échantillon, l’essai et l’interprétation des données

3.7
échantillon naturel

échantillon qui contient le mesurande en vertu de ses caractéristiques inhérentes et non par ajout

intentionnel
3.8
probabilité de détection
POD

probabilité d’obtenir un résultat d’analyse positif à partir d’une méthode qualitative (3.9) pour une

matrice donnée à une concentration donnée dans un seul laboratoire

Note 1 à l'article: Tout au long du présent document, lorsqu’il est utilisé dans des formules mathématiques, P

fait référence à l’estimation du paramètre de probabilité de détection.

Note 2 à l'article: Le symbole pour la POD utilise l’initiale du terme «probabilité» (P) associée à la première lettre

du mot grec ανίχνευση («détection»).
2 © ISO 2019 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO/TS 16393:2019(F)
3.9
méthode qualitative
méthode (3.6) d’analyse à deux résultats possibles

Note 1 à l'article: Les termes «méthode qualitative» et «méthode binaire» sont synonymes.

3.10
réplicat d’échantillon d’essai

échantillon prélevé sur un échantillon global de sorte que les réplicats d’échantillons d’essai soient les

plus identiques possible afin d’obtenir des individus d’essai identiques (3.3)
3.11
expérience de validation

détermination des paramètres de performance d’une méthode (3.6) à partir d’une série de résultats

d’essai transmis par un seul ou, en général, un certain nombre de laboratoires participants

3.12
limite de confiance supérieure
LCS

valeur supérieure d’un intervalle contenant la valeur vraie du mesurande avec une probabilité spécifiée

Note 1 à l'article: Le symbole de la LCS est extrait de la Référence [5].
4 Caractérisation d’une méthode qualitative par une expérience de validation
4.1 Critères de validation d’une méthode de mesure normalisée

Il convient de prendre en compte les critères suivants lors de la validation d’une méthode d’analyse

qualitative:
— applicabilité;
— robustesse;
— sélectivité;
— POD relative à la concentration du mesurande.

Tous les mesurages doivent être réalisés conformément à une méthode normalisée s’appuyant sur un

document écrit qui décrit en détail la façon dont le mesurage doit être effectué, y compris l’applicabilité

et la sélectivité de la méthode. Il doit également inclure des informations fondées sur les essais de

robustesse de la méthode établie au niveau d’un seul laboratoire lors de l’élaboration de la méthode.

La méthode normalisée peut être modifiée à la suite d’expériences visant à déterminer la fidélité

intermédiaire et/ou les résultats d’essai(s) comparatif(s) interlaboratoires.
4.2 Performances d’une expérience de validation

Les estimations des paramètres de performance établies à partir d’une expérience de validation ne

sont valables que pour les essais effectués conformément à la méthode de mesure normalisée. Une

expérience de validation peut être considérée comme un essai pratique de l’adéquation de la méthode

de mesure normalisée. L’un des principaux objectifs de la normalisation est de normaliser la manière

dont les méthodes sont caractérisées et d’éliminer, dans la mesure du possible, les différences entre les

utilisateurs (laboratoires). Les données fournies par une expérience de validation révèlent avec quelle

efficacité cet objectif est atteint. Des différences marquées entre laboratoires indiquent souvent que la

méthode de mesure peut être améliorée.

D’un point de vue pratique, il est important et souhaitable d’exécuter un certain nombre d’étapes avant

de procéder à l’expérience de validation, notamment: a) un mesurage de plusieurs réplicats par un

© ISO 2019 – Tous droits réservés 3
---------------------- Page: 8 ----------------------
ISO/TS 16393:2019(F)

même opérateur afin de déterminer des matériaux d’essai adaptés qui couvriront les niveaux de POD

souhaités, suivi b) d’une expérience de validation à petite échelle pour s’assurer que les instructions

de l’expérience sont claires et suffisantes et que les matériaux d’essai sont adaptés à l’ensemble de

l’expérience de validation.
4.3 Nature des matériaux d’essai

La validation de méthodes qualitatives nécessite l’utilisation de matériaux aux résultats positifs

(POD faible et élevée) et négatifs (le plus proche possible d’une POD nulle) connus. Des difficultés

particulières surviennent lorsqu’un matériau biologique est soumis à essai et que le matériau de

référence (MRC traçable jusqu’aux unités SI) peut être difficile à trouver. Dans le cadre de certaines

méthodes biomoléculaires, les échantillons naturels peuvent être la seule source de matériaux en vue

d’une validation. La préparation et l’origine de chaque matériau doivent être documentées. Dans la

mesure du possible, une méthode quantitative peut être utilisée pour confirmer la concentration du

mesurande.
4.4 Exigences relatives aux réplicats d’échantillons d’essai

Lors d’une expérience de validation, un certain nombre de réplicats d’échantillons d’essai d’un matériau

spécifique ou d’échantillons issus d’un produit spécifique sont généralement envoyés d’un point central

à un certain nombre de laboratoires. La définition des conditions de répétabilité stipule que les mesures

dans ces laboratoires doivent être effectuées sur des individus d’essai identiques fait référence au

moment où ces essais sont réellement effectués.

L’homogénéité des matériaux d’essai est, dans l’idéal, évaluée avant de préparer les réplicats

d’échantillons de laboratoire qui sont ensuite envoyés aux laboratoires, ou en soumettant à essai

un nombre donné de réplicats d’échantillons d’essai si une méthode adaptée est disponible. De plus,

les réplicats d’échantillons d’essai doivent être des individus d’essai identiques (conformément à la

définition fournie dans l’ISO 5725-1) lors de leur expédition aux laboratoires et ils doivent être stables

et rester identiques pendant le transport et au cours des différentes périodes qui peuvent s’écouler

avant que les mesurages ne soient réellement effectués.

NOTE 1 Les termes «identique» et «individus d’essai identiques» ne sont pas identiques à «prises d’essai

identiques» (voir ISO 5725-2:1994, Article 5). Il subsistera toujours un certain niveau de variation entre les

réplicats d’échantillons d’essai (c’est-à-dire les matériaux envoyés) et cette variation fait partie intégrante de la

répétabilité de la méthode d’essai. La variabilité des prises d’essai dépend de la concentration, de la taille de la

prise d’essai et de l’homogénéité de la matrice. Lors de la préparation des réplicats d’échantillons d’essai en vue

d’une étude comparative, il convient de tenir compte du concept d’individus d’essai identiques afin que chaque

échantillon d’essai ait une probabilité égale de produire un résultat d’essai positif. En d’autres termes, tous les

laboratoires doivent recevoir des individus d’essai globalement identiques. Les prises d’essai présentent toujours

un certain niveau de variation, ce qui constitue une partie inhérente de la variation de mesure.

NOTE 2 Le nombre de réplicats d’échantillons permettant d’obtenir une bonne estimation (à un niveau

de confiance de 95 %) de la LPOD pour une couverture bilatérale est de 12 par niveau pour un intervalle de

LPOD allant de 25 % à 75 % lorsque 8 laboratoires participent à l’étude (voir Tableau E.2). Si l’étude compte

davantage de participants, le nombre de réplicats d’échantillons peut être revu à la baisse en consultation avec

un statisticien. Cependant, il peut se révéler difficile de préparer un plus grand nombre de réplicats nécessaires

pour obtenir des estimations idéales de la LPOD à des concentrations de mesurande faibles et élevées dans le

cadre d’un essai interlaboratoires.

Il convient que les conditions soient représentatives de l’utilisation de la méthode en laboratoire. En cas

de distribution d’un matériau intermédiaire, tel qu’un échantillon broyé ou un extrait, cette information

doit être clairement indiquée lors de la présentation des résultats. Par ailleurs, il doit être montré que

les matériaux intermédiaires sont stables dans les conditions d’expédition.

NOTE 3 Bien qu’il soit préférable que les réplicats d’échantillons d’essai fournis à diverses concentrations

soient composés de matériaux non transformés (comme des graines ou des grains entiers) afin de contrôler

l’intégralité de la méthode, de l’échantillon au résultat, cette solution se révèle peu pratique dans la plupart des

cas. Par conséquent, il vaut mieux broyer le matériau et distribuer une poudre type pouvant être obtenue dans

des conditions types.
4 © ISO 2019 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO/TS 16393:2019(F)

Les matériaux soumis à essai sont préparés et divisés en échantillons pour essai avant que ces réplicats

ne soient expédiés aux laboratoires participants. Les réplicats d’échantillons d’essai peuvent être réduits

en prises d’essai en laboratoire ou être analysés directement. La relation est indiquée à la Figure 1.

Figure 1 — Relation entre les matériaux soumis à essai, les réplicats d’échantillons d’essai et les

prises d’essai
4.5 Robustesse (résistance)

Le concepteur de la méthode est censé évaluer la robustesse de la méthode face à de petites variations

liées aux conditions d’analyse et aux influences externes, ainsi qu’identifier les variables susceptibles

d’avoir des répercussions significatives sur les performances de la méthode. Il convient d’inclure des

variables critiques dans la méthode de mesure normalisée (par exemple en incluant une plage de

température acceptable).
4.6 Applicabilité

Il convient que l’utilisateur soit en mesure de déterminer si la méthode est appropriée à l’application

envisagée (adéquation à l’usage prévu) et si certaines limites restreindront son utilisation. L

...