ISO/TS 16393:2019

Molecular biomarker analysis — Determination of the performance characteristics of qualitative measurement methods and validation of methods

This document specifies methods that yield a binary result and are used for the determination in food or food products (including seeds of food crops) of the presence of molecular biomarkers. These methods are typically used where the measurand is expected to be present in very small amounts and concentrations at the limit of detection (LOD). Methods are validated in terms of the probability of detection (POD) and of the precision of the POD. They do not rely on the concept of false positive/false-negative results, or the concept of LOD. However, inferences about the precision of the classical LOD can be made. This document describes the extent of method validation. The annexes provide different statistical models that can be considered depending on the analytical method, structure of data and statistical experience. This document does not apply to quantitative methods that are used to make a detection decision by comparing the value of a response to a cut-off value using a quantitative method, where the methods are validated by using quantitative statistics on the responses. This document also does not apply to microbiological test methods, starch, essential oils or quantitative methods.

Analyse de biomarqueurs moléculaires — Détermination des caractéristiques de performance des méthodes de mesure qualitatives et validation des méthodes

Le présent document spécifie des méthodes qui produisent un résultat binaire et sont utilisées afin de déterminer la présence de biomarqueurs moléculaires dans les aliments ou les produits alimentaires (y compris les graines des cultures vivrières). Ces méthodes sont généralement appliquées lorsque le mesurande est censé être présent en très petites quantités et à des concentrations proches de la limite de détection (LOD). Les méthodes sont validées en termes de probabilité de détection (POD) et de fidélité de la POD. Elles ne reposent ni sur le concept de résultats faux positifs/négatifs, ni sur le concept de LOD. Il est toutefois possible de déduire la fidélité de la LOD classique. Le présent document décrit l'étendue de la validation des méthodes. Les annexes fournissent différents modèles statistiques qui peuvent être pris en compte en fonction de la méthode d'analyse, de la structure des données et de l'expérience statistique. Le présent document ne s'applique pas aux méthodes quantitatives utilisées pour prendre une décision de détection en comparant la valeur d'une réponse à une valeur limite déterminée à l'aide d'une méthode quantitative, validée à partir de statistiques quantitatives sur les réponses. Le présent document ne s'applique pas non plus aux méthodes d'analyse en microbiologie, sur l'amidon, sur les huiles essentielles ou aux méthodes quantitatives.

General Information

• Status: Published
• Publication Date: 28-Feb-2019
• ICS: 67.050 - General methods of tests and analysis for food products
• Technical Committee: ISO/TC 34/SC 16 - Horizontal methods for molecular biomarker analysis
• Drafting Committee: ISO/TC 34/SC 16 - Horizontal methods for molecular biomarker analysis
• Current Stage: 9093 - International Standard confirmed
• Due Date: 16-Dec-2024
• Completion Date: 16-Dec-2024

Standards Content (Sample)

TECHNICAL ISO/TS
SPECIFICATION 16393
First edition
2019-02
Molecular biomarker analysis —
Determination of the performance
characteristics of qualitative
measurement methods and validation
of methods
Analyse de biomarqueurs moléculaires — Détermination des
caractéristiques de performance des méthodes de mesure qualitatives
et validation des méthodes
Reference number
©
ISO 2019
© ISO 2019
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting
on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address
below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: [phone]
Fax: [phone]
Email: [e-mail]
Website: www.iso.org
Published in Switzerland
ii © ISO 2019 – All rights reserved

Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Characterization of a qualitative method via a validation experiment .3
4.1 Criteria for a standard measurement method . 3
4.2 Performance of a validation experiment . 3
4.3 Nature of test materials . 4
4.4 Requirements for replicate test samples . 4
4.5 Robustness (ruggedness) . 5
4.6 Applicability . 5
4.7 Selectivity . 6
4.8 Experimental design for a multi-laboratory study . 6
4.8.1 Participating laboratories . 6
4.8.2 Number of laboratories . 6
4.8.3 Number of levels . 6
4.8.4 Number of replicates per level and laboratory . 7
4.9 Validation experiment under intermediate conditions . 7
4.10 Expressing the results of a validation experiment . 7
4.10.1 General . 7
4.10.2 Graphical representation of the data.10
4.11 Calculation of the confidence interval for the general mean, confidence interval
and prediction interval .12
4.12 Calculation of prediction interval for PODs in each laboratory .13
5 Statistical model for test result .13
5.1 General .13
5.2 Basic model .13
5.3 Constraints in the model .13
5.4 General mean, m .14
5.5 Variance parameters .14
5.6 Relationship of qualitative model to the quantitative model.14
5.7 Derivation of a limit of detection .15
Annex A (informative) Estimation of the mean and variance .16
Annex B (informative) Hybrid modified Wilson interval model .18
Annex C (informative) Maximum profile likelihood based on the probit model .20
Annex D (informative) Maximum likelihood estimate based on beta binomial distribution .22
Annex E (informative) Testing of the models via simulation .24
Bibliography .27
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO’s adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see www .iso
.org/iso/foreword .html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 16,
Horizontal methods for molecular biomarker analysis.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www .iso .org/members .html.
iv © ISO 2019 – All rights reserved

Introduction
Qualitative (binary) analytical methods (e.g. applied to screening tests) for use in the analysis of food or
food products (including seeds of food crops) with the purpose of demonstrating the presence/absence
of a given measurand in a sample should provide objective evidence that they are adequate for their
intended use. A validated test method is much preferred over one that has not undergone studies to
determine its accuracy and reliability for its specific purpose. These methods that yield a binary result
(yes/no, positive/negative, etc.) are referred to as “qualitative” or “binary” methods.
As with quantitative methods, qualitative method performance has to be characterized with respect to
the concentration of the measurand. However, only two conditions are indicated in the result: either the
measurand is detected (a positive result) or it is not detected (a negative result). While internationally
recognized guidelines (e.g. ISO 5725-2, References [7] and [16]) have been produced over the years
to harmonize the validation of quantitative analytical methods, no consensus is yet available among
stakeholders on a practical implementation of the performance criteria approach to the validation of
qualitative methods for use in food and food products.
Conceptual approaches for validating qualitative methods classically focused on parameters such as
sensitivity, selectivity, false positive rate and false negative rate, based on detection/non-detection
of the measurand in the test sample. The limitation of this approach was the underlying assumption
that the method had a predictable response to the presence of a measurand present at a non-zero
concentration. In practice, however, a non-zero concentration can result in a variable probability of
a positive result in the assay. Treating the concentration of measurand as a continuous variable with
reasonable and/or previously determined confidence in a defined matrix using a specific analytical
method is a better predictor of measurement response than a two-state, zero/non-zero variable.
This document describes the assessment of probability of detection (POD). This approach allows
for comparison of probabilities across concentrations and further allows for a simple graphical
representation of validation data as a POD response curve graphed by concentration with associated
error bars of the mean POD value. This approach expresses the POD as dependent on concentration; the
goal of validation is to characterize the response probability curve as a function of measurand mass or
concentration.
A number of models have been described in the literature for the calculations of the confidence intervals
of the POD and confidence intervals or predictive ranges for concentrations in case of a positive or
negative result, e.g. References [4], [8], [9], [11], [17], [19] and [20]. Whereas qualitative methods are
often evaluated at 50 %, they are used close to 100 %, or at levels where the sample size is adjusted so
as to always obtain a clear positive or negative result. The present specification is therefore the result
of an extensive discussion of the possible improved models for characterization of qualitative methods,
particularly focused on the characterization of the methods close to the 0 and 100 % POD cases. The
performance characteristics include:
a) the mean POD across laboratories (LPOD);
b) the corresponding confidence interval of the LPOD, which is the interval estimate of the mean POD;
c) the prediction interval for future observations of laboratory specific PODs.
An advanced statistical method allows the user to calculate confidence and/or prediction intervals for
the concentrations where the user would expect positive or negative results. To do so is particularly
challenging where the POD is close to 0 % or 100 %.
TECHNICAL SPECIFICATION ISO/TS 16393:2019(E)
Molecular biomarker analysis — Determination of the
performance characteristics of qualitative measurement
methods and validation of methods
1 Scope
This document specifies methods that yield a binary result and are used for the determination in
food or food products (including seeds of food crops) of the presence of molec
...

SPÉCIFICATION ISO/TS
TECHNIQUE 16393
Première édition
2019-02
Analyse de biomarqueurs
moléculaires — Détermination des
caractéristiques de performance des
méthodes de mesure qualitatives et
validation des méthodes
Molecular biomarker analysis — Determination of the performance
characteristics of qualitative measurement methods and validation
of methods
Numéro de référence
©
ISO 2019
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2019
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: [phone]
Fax: [phone]
E-mail: [e-mail]
Web: www.iso.org
Publié en Suisse
ii © ISO 2019 – Tous droits réservés

Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Caractérisation d’une méthode qualitative par une expérience de validation .3
4.1 Critères de validation d’une méthode de mesure normalisée . 3
4.2 Performances d’une expérience de validation. 3
4.3 Nature des matériaux d’essai . 4
4.4 Exigences relatives aux réplicats d’échantillons d’essai . 4
4.5 Robustesse (résistance) . 5
4.6 Applicabilité . 5
4.7 Sélectivité . 6
4.8 Plan expérimental d’une étude interlaboratoires . 6
4.8.1 Laboratoires participants . 6
4.8.2 Nombre de laboratoires . 6
4.8.3 Nombre de niveaux . 6
4.8.4 Nombre de réplicats par niveau et par laboratoire . 7
4.9 Expérience de validation dans des conditions intermédiaires. 7
4.10 Expression des résultats d’une expérience de validation . 8
4.10.1 Généralités . 8
4.10.2 Représentation graphique des données .10
4.11 Calcul de l’intervalle de confiance pour la moyenne générale, de l’intervalle de
confiance et de l’intervalle de fluctuation.12
4.12 Calcul de l’intervalle de fluctuation pour les POD de chaque laboratoire .13
5 Modèle statistique pour les résultats d’essai .13
5.1 Généralités .13
5.2 Modèle de base .13
5.3 Contraintes dans le modèle .14
5.4 Moyenne générale, m . 14
5.5 Paramètres de variance .14
5.6 Relation entre le modèle qualitatif et le modèle quantitatif .15
5.7 Détermination d’une limite de détection .15
Annexe A (informative) Estimation de la moyenne et de la variance .16
Annexe B (informative) Modèle d’intervalle de Wilson modifié .18
Annexe C (informative) Maximum de vraisemblance de profil fondé sur le modèle probit .20
Annexe D (informative) Estimation par maximum de vraisemblance fondée sur une
distribution bêta-binomiale .22
Annexe E (informative) Essai des modèles par simulation .24
Bibliographie .28
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes
nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/directives).
L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de
brevets reçues par l'ISO (voir www .iso .org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion
de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir www .iso .org/avant -propos.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-
comité SC 16, Méthodes horizontales pour l’analyse moléculaire de biomarqueurs.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www .iso .org/fr/members .html.
iv © ISO 2019 – Tous droits réservés

Introduction
Il convient que les méthodes d’analyse (binaire) qualitative (par exemple appliquées aux essais de
criblage) destinées à l’analyse d’aliments ou de produits alimentaires (y compris des graines de culture
vivrière) en vue de démontrer la présence/l’absence d’un mesurande donné dans un échantillon
apportent des preuves objectives de leur adéquation à l’usage prévu. Une méthode d’essai validée est
toujours privilégiée par rapport à une autre qui n’a pas fait l’objet d’études visant à déterminer son
exactitude et sa fiabilité pour un objectif spécifié. Ces méthodes qui produisent un résultat binaire (oui/
non, positif/négatif, etc.) sont dites «qualitatives» ou «binaires».
À l’instar des méthodes quantitatives, les performances des méthodes qualitatives doivent être
caractérisées eu égard à la concentration du mesurande. Cependant, seules deux conditions sont
indiquées dans le résultat: soit le mesurande est détecté (résultat positif) soit il ne l’est pas (résultat
négatif). Bien que des lignes directrices reconnues à l’échelle internationale (par exemple ISO 5725-2,
Références [7] et [16]) aient été établies au fil des ans pour harmoniser la validation des méthodes
d’analyse quantitatives, aucun consensus n’existe pour le moment entre les parties prenantes sur
la mise en œuvre pratique de la détermination des critères de performance pour la validation des
méthodes qualitatives destinées aux aliments et aux produits alimentaires.
Certaines approches conceptuelles de validation des méthodes qualitatives tendaient à se concentrer
sur des paramètres tels que la sensibilité, la sélectivité, le taux de faux positifs ou de faux négatifs,
en fonction de la détection/non-détection du mesurande dans l’échantillon d’essai. Cette approche
était limitée car elle s’appuyait sur l’hypothèse que la méthode fournissait une réponse prévisible à
la présence d’un mesurande à une concentration non nulle. Mais dans la pratique, une concentration
non nulle peut entraîner une probabilité variable d’obtention d’un résultat positif lors de l’essai. Une
approche considérant la concentration du mesurande comme une variable continue associée à un
niveau de confiance raisonnable et/ou préalablement déterminé, dans une matrice définie, à l’aide d’une
méthode d’analyse spécifique permet de mieux prédire la réponse de mesure qu’une variable binaire,
nulle ou non nulle.
Le présent document décrit l’évaluation de la probabilité de détection (POD). Cette approche permet de
comparer les probabilités en fonction des concentrations, mais aussi de représenter dans un graphique
simple les données de validation sous forme de courbe modélisant la POD selon la concentration,
accompagnée de barres représentant les écarts-types pour la valeur moyenne de la POD. Cette approche
exprime la POD comme une variable dépendant de la concentration; l’objectif de la validation est de
caractériser la courbe de probabilité de réponse en fonction de la masse ou de la concentration du
mesurande.
Un certain nombre de modèles ont été décrits dans la littérature pour les calculs des intervalles de
confiance de la POD et des intervalles de confiance des plages de concentration prévisionnelles en cas
de résultat positif ou négatif (voir par exemple les Références [4], [8], [9], [11], [17], [19] et [20]). Tandis
que les méthodes qualitatives sont souvent évaluées à 50 %, elles sont utilisées à près de 100 % ou à
des niveaux où la taille de l’échantillon est ajustée afin de toujours obtenir un résultat positif ou négatif
clair. La présente spécification est donc le fruit d’une discussion approfondie sur l’amélioration possible
des modèles de caractérisation des méthodes qualitatives, notamment axés sur la caractérisation des
méthodes en cas de POD proches de 0 % et de 100 %. Les caractéristiques de performance comprennent:
a) la POD moyenne entre laboratoires (LPOD);
b) l’
...