ISO/TS 23471:2022
(Main)Experimental designs for evaluation of uncertainty — Use of factorial designs for determining uncertainty functions
Experimental designs for evaluation of uncertainty — Use of factorial designs for determining uncertainty functions
This document specifies experimental procedures and statistical analysis for the determination of measurement uncertainty in situations where the following conditions are fulfilled: Condition 1: The level of the measurand is non-negative, e.g. concentration level of a contaminant in a sample. Condition 2: Measurement error consists of two independent components: for one of these components the relative standard deviation is constant (that is, the absolute deviation is proportional to the level of the measurand), whereas for the other component the absolute standard deviation is constant (that is, independent of the level of the measurand). Condition 3: Samples for different levels of the measurand can be made available; if the level of the measurand is the concentration of a chemical substance, samples could be obtained e.g. by fortifying (spiking) blank samples. Conditions 1 and 2 are met for most applications of instrumental chemical analyses. Condition 3 can be met for chemical analyses if blank samples are available. This document can also be used to determine precision data for a particular laboratory for different technicians, different environmental conditions, the same or similar test items, with the same level of the measurand, over a certain period of time.
Plans d'expériences pour l'évaluation de l'incertitude — Utilisation de plans factoriels pour la détermination des fonctions d'incertitude
Le présent document spécifie les modes opératoires expérimentaux et les analyses statistiques pour la détermination de l’incertitude de mesure dans les situations où les conditions suivantes sont remplies: Condition 1: le niveau du mesurande est non négatif, par exemple un niveau de concentration d’un contaminant dans un échantillon. Condition 2: l’erreur de mesure comporte deux composantes indépendantes: pour l’une de ces composantes, l’écart-type relatif est constant (c'est-à-dire que l’écart absolu est proportionnel au niveau du mesurande), tandis que pour l’autre composante, l’écart-type absolu est constant (c'est-à-dire indépendant du niveau du mesurande). Condition 3: des échantillons présentant différents niveaux du mesurande peuvent être préparés; si le niveau du mesurande est la concentration d’une substance chimique, ces échantillons peuvent être obtenus, par exemple, en fortifiant (dopant) des échantillons à blanc. Les conditions 1 et 2 sont respectées pour la plupart des applications d’analyses chimiques instrumentales. La condition 3 peut être respectée pour des analyses chimiques si des échantillons à blanc sont disponibles. Le présent document peut également être utilisé pour déterminer les données de fidélité relatives à un laboratoire spécifique, pour différents techniciens, différentes conditions d’environnement, des objets d’essai identiques ou similaires, avec le même niveau du mesurande, sur une période donnée.
General Information
Relations
Standards Content (Sample)
TECHNICAL ISO/TS
SPECIFICATION 23471
First edition
2022-11
Experimental designs for evaluation of
uncertainty — Use of factorial designs
for determining uncertainty functions
Plans d'expériences pour l'évaluation de l'incertitude — Utilisation de
plans factoriels pour la détermination des fonctions d'incertitude
Reference number
© ISO 2022
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Symbols . 3
5 General principles . 5
5.1 General . 5
5.2 Principles of conventional approach . 5
5.3 Principles of factorial approach . 5
6 Conventional approach . 5
6.1 General considerations. 5
6.2 Selection of samples and levels . 5
6.3 Experimental design . 6
6.4 Statistical analysis . 6
6.4.1 Statistical model . 6
6.4.2 Calculation of in-house repeatability and in-house reproducibility . 7
6.4.3 Calculation of measurement uncertainty. 8
7 Factorial approach .9
7.1 General considerations. 9
7.2 Selection of sample materials, factors and factor levels . 10
7.3 Experimental design . 10
7.4 Statistical analysis . 10
7.4.1 Statistical model . 10
7.4.2 Calculation of in-house repeatability and in-house reproducibility . 11
7.4.3 Calculation of measurement uncertainty.13
Annex A (informative) REML estimation .14
Annex B (informative) Orthogonal design with 8 factor level combinations for 7 factors
with 2 factor levels . .15
Annex C (informative) Orthogonal design with 12 factor level combinations for 3 factors
with 2 factor levels and 1 factor with 3 factor levels .17
Annex D (informative) Orthogonal design with 9 factor level combinations for 4 factors
with 3 factor levels . .19
Annex E (informative) Asymmetric measurement uncertainty interval .21
Annex F (informative) Example .22
Bibliography .26
iii
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO's adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see the following
URL: www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,
Subcommittee SC 6, Measurement methods and results.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www.iso.org/members.html.
iv
Introduction
This document has been elaborated in response to the need for standardized single laboratory designs
[1]
to determine measurement uncertainty (JCGM 100 ) by means of experiments. It applies in situations
where the standard deviation of the observations is not constant but depends on the measurand and
where the measurement uncertainty is derived by a top-down approach. This need has been expressed
in such areas as consumer protection, food safety, environmental analytics and medical diagnostics.
Uncertainty evaluation usually requires the quantification and subsequent combination of uncertainties
arising from random variation and uncertainties associated with corrections. Random variation may
arise within a particular experiment under the same conditions, or across a range of conditions. The
former kind of variation occurs under repeatability conditions, hence usually being characterised as
repeatability standard deviation or repeatability coefficient of variation; precision across a range of
[3]
conditions is generally termed intermediate precision or reproducibility (ISO 5725 (all parts) ).
The most common experimental design for estimating the laboratory variance and the repeatability
variance is the ANOVA design described in ISO 5725-2. In this design, an equal number of observations
are collected under repeatability conditions for each participating laboratory. Alternative designs
for interlaboratory studies, in which other factors are varied in addition to the laboratory factor, are
described in ISO 5725-3. Evaluation of uncertainties based on such a study design is discussed in
[6]
ISO 21748 . Similarly, where the observations are not grouped in different laboratories but in groups
of different measurement conditions (e.g. different weeks or technicians) within the same laboratory,
the between-group variance component can be considered to represent the uncertainty contribution
arising from random variation in the measurement condition which the grouping factor represents. For
example, if test results are obtained under repeatability conditions once a week, analysis of variance
can provide an estimate of the effect of variation between weeks.
While nested designs are among the most common designs for estimating random variation, they are
not the only useful class of design. Consider, for example, an experiment conducted by using three
instruments, three batches of reagents and three batches of a solid phase extraction (SPE) cartridges,
where every possible combination is included in the design for a total 3 × 3 × 3 = 27 runs. As every
possible combination has the same number of observations, this design is called balanced, and as
factors are not nested within each other, the factors instrument, reagent and SPE cartridge are said to
[5]
be ‘crossed’. This type of experiment is considered in ISO/TS 17503 for the uncertainty evaluation of
the mean in two-factor crossed designs. Just as in the case of the nested design, the aim is to extract the
variance components corresponding to the three factors. Suitable models are available and are referred
to in the statistical literature as random-effects or (if one factor is a fixed effect) mixed-effects models.
This approach can be extended to take more than three factors into account. However, if all factor level
combinations are included in the design, the corresponding number of measurements can become
very high. For example, for five factors, each with three levels, there are already 3 = 243 factor level
combinations. If it is necessary to include five or more factors in the experiment, the number of levels
should be as low as possible (two levels), and it is recommended to implement an orthogonal design,
whereby only a selection of factor level combinations is included.
It is assumed in this document that the measured values are non-negative numbers and that all variance
components consist of two parts: one part which is proportional to the level of the measurand and
another which is constant across levels. Estimation of variance components can be achieved by several
methods. For balanced designs, computing expected mean squares from classical analysis of variance is
straightforward. Restricted (sometimes also called residual) maximum likelihood estimation (REML)
is widely recommended for estimation of variance components and is applicable to both balanced and
unbalanced designs.
v
TECHNICAL SPECIFICATION ISO/TS 23471:2022(E)
Experimental designs for evaluation of uncertainty — Use
of factorial designs for determining uncertainty functions
1 Scope
This document sp
...
SPÉCIFICATION ISO/TS
TECHNIQUE 23471
Première édition
2022-11
Plans d'expériences pour l'évaluation
de l'incertitude — Utilisation de plans
factoriels pour la détermination des
fonctions d'incertitude
Experimental designs for evaluation of uncertainty — Use of factorial
designs for determining uncertainty functions
Numéro de référence
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2022
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii
Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives .1
3 Termes et définitions . 1
4 Symboles . 3
5 Principes généraux . 5
5.1 Généralités . 5
5.2 Principes de l’approche conventionnelle . 5
5.3 Principes de l’approche factorielle . 5
6 Approche conventionnelle . 6
6.1 Considérations d’ordre général. 6
6.2 Sélection des échantillons et des niveaux . 6
6.3 Plan d’expérience . 6
6.4 Analyse statistique . 6
6.4.1 Modèle statistique . 6
6.4.2 Calcul de la répétabilité interne et de la reproductibilité interne . 7
6.4.3 Calcul de l’incertitude de mesure . 9
7 Approche factorielle.9
7.1 Considérations d’ordre général. 9
7.2 Sélection des matériaux d’échantillon, des facteurs et des niveaux de facteur . 10
7.3 Plan d’expérience . 10
7.4 Analyse statistique . 11
7.4.1 Modèle statistique . 11
7.4.2 Calcul de la répétabilité interne et de la reproductibilité interne .12
7.4.3 Calcul de l’incertitude de mesure . 13
Annexe A (informative) Estimation par la méthode REML .15
Annexe B (informative) Plan orthogonal à 8 combinaisons de niveaux de facteur
pour 7 facteurs à 2 niveaux de facteur .16
Annexe C (informative) Plan orthogonal à 12 combinaisons de niveaux de facteur
pour 3 facteurs à 2 niveaux de facteur et 1 facteur à 3 niveaux de facteur .18
Annexe D (informative) Plan orthogonal à 9 combinaisons de niveaux de facteur
pour 4 facteurs à 3 niveaux de facteur .20
Annexe E (informative) Intervalle d’incertitude de mesure asymétrique .22
Annexe F (informative) Exemple.23
Bibliographie .27
iii
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes
nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a
été rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir
www.iso.org/directives).
L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de
brevets reçues par l'ISO (voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion
de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir www.iso.org/avant-propos.
Le présent document a été élaboré par le comité technique ISO/TC 69, Application des méthodes
statistiques, sous-comité SC 6, Méthodes et résultats de mesure.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www.iso.org/fr/members.html.
iv
Introduction
Le présent document a été élaboré en réponse au besoin de plans intralaboratoires normalisés pour
[1]
déterminer l’incertitude de mesure (JCGM 100 ) au moyen d’expériences. Il s’applique aux situations
dans lesquelles l’écart-type des observations n’est pas constant mais dépend du mesurande, et où
l’incertitude de mesure est dérivée en utilisant une méthode descendante. Ce besoin a été exprimé
dans des secteurs tels que la protection des consommateurs, la sécurité alimentaire, l’analyse
environnementale et le diagnostic médical.
L’évaluation de l’incertitude requiert habituellement la quantification et la combinaison subséquente
d’incertitudes ayant pour origine une variation aléatoire et d’incertitudes associées à des corrections.
Une variation aléatoire peut survenir au sein d’une expérience spécifique sous les mêmes conditions
ou sur toute une plage de conditions. Dans le premier cas, la variation apparaît dans des conditions
de répétabilité et est, de ce fait, généralement qualifiée d’écart-type de répétabilité ou coefficient de
variation de répétabilité; la fidélité sur toute une plage de conditions est en général appelée «fidélité
[3]
intermédiaire» ou «reproductibilité» (ISO 5725 (toutes les parties) ).
Le plan d’expérience le plus courant pour l’estimation de la variance de laboratoire et de la variance de
répétabilité est le plan ANOVA, décrit dans l’ISO 5725-2. Dans ce plan, un nombre égal d’observations
est recueilli dans des conditions de répétabilité pour chaque laboratoire participant. D’autres plans
destinés aux études interlaboratoires, dans lesquels d’autres facteurs sont modifiés en plus du facteur
«laboratoire», sont décrits dans l’ISO 5725-3. L’évaluation des incertitudes fondée sur un tel plan
[6]
de l’étude est traitée dans l’ISO 21748 . De manière similaire, lorsque les observations ne sont pas
rassemblées dans différents laboratoires mais selon des groupes de différentes conditions de mesure
(par exemple semaines ou techniciens différents) au sein du même laboratoire, la composante inter-
groupes de la variance peut être considérée comme représentative de la contribution à l’incertitude
ayant pour origine la variation aléatoire de la condition de mesure représentée par le facteur «groupe».
Par exemple, si des résultats d’essai sont obtenus dans des conditions de répétabilité une fois par
semaine, l’analyse de variance peut fournir une estimation de l’effet de la variation inter-semaines.
S’ils comptent parmi les plans d’estimation de la variation aléatoire les plus courants; les plans emboîtés
ne sont pas pour autant les seuls à présenter une utilité. Considérons par exemple une expérience
menée en utilisant trois instruments, trois lots de réactifs et trois lots de cartouches d’extraction en
phase solide (SPE, de l’anglais «solid phase extraction»), où chaque combinaison possible est prise en
compte dans le plan, soit un total de 3 × 3 × 3 = 27 traitements. Étant donné que chaque combinaison
possible comprend le même nombre d’observations, ce plan est dit «équilibré» et, les facteurs n’étant
pas emboîtés les uns dans les autres, les facteurs «instrument», «réactif» et «cartouche SPE» sont dits
[5]
«croisés». Ce type d’expérience est traité dans l’ISO/TS 17503 relative à l’évaluation de l’incertitude
de la moyenne des modèles à deux facteurs croisés. Tout comme dans le cas du plan emboîté, l’objectif
est d’extraire les composantes de la variance correspondant aux trois facteurs. Il existe dans la
littérature statistique des modèles appropriés appelés «modèles à effets aléatoires» ou (si un des
facteurs a un effet fixe) «modèles à effets mixtes». Cette approche peut être étendue à plus de trois
facteurs. Cependant, si toutes les combinaisons de niveaux de facteur sont prises en compte dans le
plan, le nombre de mesurages correspondant peut devenir très élevé. Par exemple, cinq facteurs ayant
chacun trois niveaux donnent déjà 3 = 243 combinaisons de niveaux de facteur. S’il est nécessaire
d’inclure au moins cinq facteurs dans l’expérience, il convient que le nombre de niveaux soit aussi faible
que possible (deux niveaux) et il est recommandé de mettre en œuvre un plan orthogonal, incluant une
sélection limitée de combinaisons de niveaux de facteur.
Il est supposé, dans le présent document, que les valeurs mesurées sont des nombres non négatifs et
que toutes les composantes de la variance comportent deux parties: l’une qui est proportionnelle au
nivea
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.