ISO/TS 23471:2022
(Main)Experimental designs for evaluation of uncertainty — Use of factorial designs for determining uncertainty functions
Experimental designs for evaluation of uncertainty — Use of factorial designs for determining uncertainty functions
This document specifies experimental procedures and statistical analysis for the determination of measurement uncertainty in situations where the following conditions are fulfilled: Condition 1: The level of the measurand is non-negative, e.g. concentration level of a contaminant in a sample. Condition 2: Measurement error consists of two independent components: for one of these components the relative standard deviation is constant (that is, the absolute deviation is proportional to the level of the measurand), whereas for the other component the absolute standard deviation is constant (that is, independent of the level of the measurand). Condition 3: Samples for different levels of the measurand can be made available; if the level of the measurand is the concentration of a chemical substance, samples could be obtained e.g. by fortifying (spiking) blank samples. Conditions 1 and 2 are met for most applications of instrumental chemical analyses. Condition 3 can be met for chemical analyses if blank samples are available. This document can also be used to determine precision data for a particular laboratory for different technicians, different environmental conditions, the same or similar test items, with the same level of the measurand, over a certain period of time.
Plans d'expériences pour l'évaluation de l'incertitude — Utilisation de plans factoriels pour la détermination des fonctions d'incertitude
Le présent document spécifie les modes opératoires expérimentaux et les analyses statistiques pour la détermination de l’incertitude de mesure dans les situations où les conditions suivantes sont remplies: Condition 1: le niveau du mesurande est non négatif, par exemple un niveau de concentration d’un contaminant dans un échantillon. Condition 2: l’erreur de mesure comporte deux composantes indépendantes: pour l’une de ces composantes, l’écart-type relatif est constant (c'est-à-dire que l’écart absolu est proportionnel au niveau du mesurande), tandis que pour l’autre composante, l’écart-type absolu est constant (c'est-à-dire indépendant du niveau du mesurande). Condition 3: des échantillons présentant différents niveaux du mesurande peuvent être préparés; si le niveau du mesurande est la concentration d’une substance chimique, ces échantillons peuvent être obtenus, par exemple, en fortifiant (dopant) des échantillons à blanc. Les conditions 1 et 2 sont respectées pour la plupart des applications d’analyses chimiques instrumentales. La condition 3 peut être respectée pour des analyses chimiques si des échantillons à blanc sont disponibles. Le présent document peut également être utilisé pour déterminer les données de fidélité relatives à un laboratoire spécifique, pour différents techniciens, différentes conditions d’environnement, des objets d’essai identiques ou similaires, avec le même niveau du mesurande, sur une période donnée.
General Information
Relations
Standards Content (Sample)
TECHNICAL ISO/TS
SPECIFICATION 23471
First edition
2022-11
Experimental designs for evaluation of
uncertainty — Use of factorial designs
for determining uncertainty functions
Plans d'expériences pour l'évaluation de l'incertitude — Utilisation de
plans factoriels pour la détermination des fonctions d'incertitude
Reference number
© ISO 2022
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Symbols . 3
5 General principles . 5
5.1 General . 5
5.2 Principles of conventional approach . 5
5.3 Principles of factorial approach . 5
6 Conventional approach . 5
6.1 General considerations. 5
6.2 Selection of samples and levels . 5
6.3 Experimental design . 6
6.4 Statistical analysis . 6
6.4.1 Statistical model . 6
6.4.2 Calculation of in-house repeatability and in-house reproducibility . 7
6.4.3 Calculation of measurement uncertainty. 8
7 Factorial approach .9
7.1 General considerations. 9
7.2 Selection of sample materials, factors and factor levels . 10
7.3 Experimental design . 10
7.4 Statistical analysis . 10
7.4.1 Statistical model . 10
7.4.2 Calculation of in-house repeatability and in-house reproducibility . 11
7.4.3 Calculation of measurement uncertainty.13
Annex A (informative) REML estimation .14
Annex B (informative) Orthogonal design with 8 factor level combinations for 7 factors
with 2 factor levels . .15
Annex C (informative) Orthogonal design with 12 factor level combinations for 3 factors
with 2 factor levels and 1 factor with 3 factor levels .17
Annex D (informative) Orthogonal design with 9 factor level combinations for 4 factors
with 3 factor levels . .19
Annex E (informative) Asymmetric measurement uncertainty interval .21
Annex F (informative) Example .22
Bibliography .26
iii
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO's adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see the following
URL: www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,
Subcommittee SC 6, Measurement methods and results.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www.iso.org/members.html.
iv
Introduction
This document has been elaborated in response to the need for standardized single laboratory designs
[1]
to determine measurement uncertainty (JCGM 100 ) by means of experiments. It applies in situations
where the standard deviation of the observations is not constant but depends on the measurand and
where the measurement uncertainty is derived by a top-down approach. This need has been expressed
in such areas as consumer protection, food safety, environmental analytics and medical diagnostics.
Uncertainty evaluation usually requires the quantification and subsequent combination of uncertainties
arising from random variation and uncertainties associated with corrections. Random variation may
arise within a particular experiment under the same conditions, or across a range of conditions. The
former kind of variation occurs under repeatability conditions, hence usually being characterised as
repeatability standard deviation or repeatability coefficient of variation; precision across a range of
[3]
conditions is generally termed intermediate precision or reproducibility (ISO 5725 (all parts) ).
The most common experimental design for estimating the laboratory variance and the repeatability
variance is the ANOVA design described in ISO 5725-2. In this design, an equal number of observations
are collected under repeatability conditions for each participating laboratory. Alternative designs
for interlaboratory studies, in which other factors are varied in addition to the laboratory factor, are
described in ISO 5725-3. Evaluation of uncertainties based on such a study design is discussed in
[6]
ISO 21748 . Similarly, where the observations are not grouped in different laboratories but in groups
of different measurement conditions (e.g. different weeks or technicians) within the same laboratory,
the between-group variance component can be considered to represent the uncertainty contribution
arising from random variation in the measurement condition which the grouping factor represents. For
example, if test results are obtained under repeatability conditions once a week, analysis of variance
can provide an estimate of the effect of variation between weeks.
While nested designs are among the most common designs for estimating random variation, they are
not the only useful class of design. Consider, for example, an experiment conducted by using three
instruments, three batches of reagents and three batches of a solid phase extraction (SPE) cartridges,
where every possible combination is included in the design for a total 3 × 3 × 3 = 27 runs. As every
possible combination has the same number of observations, this design is called balanced, and as
factors are not nested within each other, the factors instrument, reagent and SPE cartridge are said to
[5]
be ‘crossed’. This type of experiment is considered in ISO/TS 17503 for the uncertainty evaluation of
the mean in two-factor crossed designs. Just as in the case of the nested design, the aim is to extract the
variance components corresponding to the three factors. Suitable models are available and are referred
to in the statistical literature as random-effects or (if one factor is a fixed effect) mixed-effects models.
This approach can be extended to take more than three factors into account. However, if all factor level
combinations are included in the design, the corresponding number of measurements can become
very high. For example, for five factors, each with three levels, there are already 3 = 243 factor level
combinations. If it is necessary to include five or more factors in the experiment, the number of levels
should be as low as possible (two levels), and it is recommended to implement an orthogonal design,
whereby only a selection of factor level combinations is included.
It is assumed in this document that the measured values are non-negative numbers and that all variance
components consist of two parts: one part which is proportional to the level of the measurand and
another which is constant across levels. Estimation of variance components can be achieved by several
methods. For balanced designs, computing expected mean squares from classical analysis of variance is
straightforward. Restricted (sometimes also called residual) maximum likelihood estimation (REML)
is widely recommended for estimation of variance components and is applicable to both balanced and
unbalanced designs.
v
TECHNICAL SPECIFICATION ISO/TS 23471:2022(E)
Experimental designs for evaluation of uncertainty — Use
of factorial designs for determining uncertainty functions
1 Scope
This document specifies experimental procedures and statistical analysis for the determination of
measurement uncertainty in situations where the following conditions are fulfilled:
Condition 1: The level of the measurand is non-negative, e.g. concentration level of a contaminant in
a sample.
Condition 2: Measurement error consists of two independent components: for one of these components
the relative standard deviation is constant (that is, the absolute deviation is proportional
to the level of the measurand), whereas for the other component the absolute standard
deviation is constant (that is, independent of the level of the measurand).
Condition 3: Samples for different levels of the measurand can be made available; if the level of the
measurand is the concentration of a chemical substance, samples could be obtained e.g.
by fortifying (spiking) blank samples.
Conditions 1 and 2 are met for most applications of instrumental chemical analyses. Condition 3 can be
met for chemical analyses if blank samples are available.
This document can also be used to determine precision data for a particular laboratory for different
technicians, different environmental conditions, the same or similar test items, with the same level of
the measurand, over a certain period of time.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in
probability
ISO 3534-2, Statistics — Vocabulary and symbols — Part 2: Applied statistics
ISO 3534-3, Statistics — Vocabulary and symbols — Part 3: Design of experiments
ISO 3534-4, Statistics — Vocabulary and symbols — Part 4: Survey sampling
ISO/IEC Guide 98-3, Uncertainty of measurement — Part 3: Guide to the expression of uncertainty in
me a s ur ement (GUM: 1995)
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 3534-1, ISO 3534-2, ISO 3534-3,
ISO 3534-4, ISO/IEC Guide 98-3 and the following apply. ISO and IEC maintain terminological databases
for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at https:// www .electropedia .org/
3.1
block
group of settings which are conducted in parallel or in a short time interval, and which are used for the
same samples
EXAMPLE Two settings:
Technician 1 + culture medium 2 + temperature 1 + incubator 1
AND
Technician 2 + culture medium 1 + temperature 2 + incubator 2
3.2
factor
qualitative or quantitative parameter that is varied with the intent of assessing its effect on the
response variable
Note 1 to entry: A factor may provide an assignable cause for the outcome of an experiment.
Note 2 to entry: The use of factor here is more specific than its generic use as a synonym for predictor variable.
Note 3 to entry: A factor may be associated with the creation of blocks.
3.3
factor level
value or assignment of a factor
EXAMPLE Ordinal-scale levels of a catalyst may be presence and absence. Four levels of a heat treatment
may be 100 °C, 120 °C, 140 °C and 160 °C. The nominal-scale variable for a laboratory can have levels A, B and C,
corresponding to three facilities.
Note 1 to entry: A synonym is the value of a predictor variable.
Note 2 to entry: The term “level” is normally associated with a quantitative characteristic. However, it also serves
as the term describing the version or setting of qualitative characteristics.
Note 3 to entry: Responses observed at the various levels of a factor provide information for determining the
effect of the factor within the range of levels of the experiment. Extrapolation beyond the range of these levels is
usually inappropriate without a firm basis for assuming model relationships. Interpolation within the range may
depend on the number of levels and the spacing of these levels. It is usually reasonable to interpolate, although
it is possible to have discontinuous or multi-modal relationships that cause abrupt changes within the range of
the experiment. The levels may be limited to certain selected fixed values (whether these values are or are not
known) or they may represent a purely random selection over the range to be studied.
3.4
in-house repeatability
measurement precision under a set of in-house repeatability conditions of measurement in a particular
laboratory
Note 1 to entry: In-house repeatability conditions include the same measurement procedure, same technicians,
same measuring system, same operating conditions and same location, and replicate measurements on the same
or similar objects over a short period of time in a particular laboratory.
3.5
in-house reproducibility
measurement precision under in-house reproducibility conditions of measurement in a particular
laboratory
Note 1 to entry: In-house reproducibility conditions include different technicians, operating conditions, and
replicate measurements on the same or similar test items over a certain period of time in a particular laboratory.
3.6
sample material
material from which the samples are made
Note 1 to entry: The choice of sample material can have an effect on the bias of the measurement procedure.
3.7
factor level combination
combination of factor levels
EXAMPLE Technician 1 + culture medium 2 + temperature 1 + etc.
Note 1 to entry: These conditions can be described by the combination of factor levels corresponding to those
factors varied within the study.
3.8
test portion
quantity of material, of proper size for measurement of the concentration or other property of interest,
removed from the test sample, used for a particular measurement
[4]
[SOURCE: ISO 11074:2015 , 4.3.15, modified — “used for a particular measurement" has been added,
and Note 1 to entry and Note 2 to entry have been deleted.]
4 Symbols
Absolute component of the linear block effect j
A
j
Absolute component of the effect of factor level combination j
Aj
()
a Absolute component of the repeatability error for measurement result Y
ijk ijk
Relative component of the linear block effect j
B
j
Relative component of the effect of factor level combination j
Bj
()
b Relative component of the repeatability error for measurement result Y
ijk ijk
Effective degrees of freedom at level x
df ()x
i
Identifier for a particular level
Identifier for a particular measurement (see Annex F)
j
Identifier for a particular sample or block or factor level combination
Identifier for a particular measurement (see Annex F)
Log-likelihood for variance components θθ
L()θ
Identifier for a particular measurement result at level im=…1, , in block jn=…1, ,
k
Coverage factor for measurement uncertainty
M
Transformation matrix used in REML estimation
m
Number of levels of the measurand
n
Number of samples or blocks or factor level combinations at one level of the measurand
p
Number of measurement results obtained at one level and one sample, block or factor level
combination
q
Number of factors
REML Estimate arising from a restricted maximum likelihood calculation
sj() Factor level of factor fq=…1, , at factor level combination j
f
Standard measurement uncertainty of the estimated value of the level x
uxˆ
()
ij
Standard measurement uncertainty of the measured value Y for the true level x
uY
()
Expanded measurement uncertainty of the measured value Y for the true level x
UY()
V()θθ
Covariance matrix used in REML estimation
X
Design matrix for REML estimation
x
True value of the level of the measurand
ˆ
x
Estimated value of the level of the measurand
True value of the level of the sample at level im=…1, , in block jn=…1, , .
x
ij
x
Lower limit of measurement uncertainty interval
L
x
Upper limit of measurement uncertainty interval
U
Y Measurement result of the test portion ()ij,,k at level im=…1, , in block jn=…1, , for
ijk
replicate kp=…1, ,
Y
Measured value
Y Vector of measured values for REML estimation
Y
Corrected measured value (recovery correction)
corr
α
True value of absolute component of method bias
αˆ
Estimated value of absolute component of method bias
β
True value of relative component of method bias plus 1 (relative recovery)
Vector of true value of absolute component of method bias and true value of relative compo-
nent of method bias plus 1 for REML estimation
ˆ
β Estimated value of relative component of method bias plus 1 (relative recovery)
θθ
Vector of variance components used in REML estimation
μ()x Expected measured value at level x, μα()xx=+β
σ True value of a standard deviation
True value of a variance
σ
σˆ
Estimated value of a standard deviation
Estimated value of a variance
σˆ
2 True value of a variance function under in-house repeatability conditions at level x
σ x
()
ri
2 True value of a variance function under in-house reproducibility conditions at level x
σ ()x
Ri
True value of the standard variance of the linear function of the expected measured value
σ x
()
μˆ
5 General principles
5.1 General
Top-down procedures for the determination of measurement uncertainty depend on whether a
conventional approach (see 5.2) or a factorial approach (see 5.3) is chosen. In any case, all results are
valid only for the laboratory within which the study was conducted.
5.2 Principles of conventional approach
The conventional approach assumes that all measurements can be grouped in blocks. For measurements
within a block, in-house repeatability conditions are fulfilled. For measurements between blocks, in-
house reproducibility conditions are fulfilled. Thus, between blocks, there is variation with respect
e.g. to time of measurement, technician, environmental conditions, batches of reagents or measuring
instruments.
5.3 Principles of factorial approach
Compared to the conventional approach where measurement conditions vary randomly from one
measurement block to the other, in the factorial approach at least some of these measurement conditions
are controlled. For instance, half the measurements are conducted with reagents from batch A, and the
other half with reagents from batch B. In contrast, the conventional approach where, apart from the
grouping factor (e.g. day 1 and day 2), there is no control of measurement conditions. The factorial
approach allows the assessment of the measurement uncertainty of the test results obtained under a
variety of typical test conditions in a given laboratory, such as different analysts, different instruments,
different lots of reagents, different elapsed assay times and different assay temperatures. The factorial
approach aims at establishing reliable precision data and measurement data by simultaneous controlled
variation of the selected factors. It allows the evaluation of the combined impact of factorial effects.
6 Conventional approach
6.1 General considerations
The conventional approach consists of the following parts:
— selection of levels of the measurand (for example concentration levels) and sample materials;
— design of study and allocation of test portions to different blocks;
— conducting the measurement;
— statistical analyses.
The results (tables and calculations), including discrepant results, if any, shall be given in a study report.
6.2 Selection of samples and levels
The study is typically conducted using m = 4,., 8 homogeneous sample materials at different levels of
the measurand from the same sample type. Samples should differ only with regard to the level of the
measurand. The ratio of the maximum level divided by the minimum level should be at least 1,5 but
not larger than 50. If the ratio exceeds 4, additional testing of statistical model assumptions (linearity,
homoscedasticity) and examination of effective degrees of freedom is required.
6.3 Experimental design
The sample material is available in m different levels of the measurand. For each level, n samples are
randomly allocated to n blocks (where n ≥ 8). Thus, each of the n blocks consists of m samples, each
sample with a different level of the measurand. Each sample consists of p test portions, i.e. p represents
the number of replicates at each level and each block. There is no limit on the number of replicates p;
even without replication (p = 1) precision and uncertainty can be computed, although better reliability
is obtained with p ≥ 2 replicates.
Each block contains m × p test portions, and altogether there are m × n × p test portions. The m × p test
portions of each block shall be analysed under in-house repeatability conditions. Different blocks shall
be analysed under different conditions, preferably with different equipment, different personnel and
in different weeks. Thus, if the blocking (grouping) factor is week, a total of n weeks, for instance, are
required for measuring m × n × p test portions. The blocking factor should be chosen so that temporal
autocorrelation can be excluded, i.e. a longer period is generally better than a shorter period.
NOTE 1 Reliability of precision data is highly dependent on the number of blocks (see ISO 5725-1). Relative
standard error of uncertainty data can exceed 29 % if there are fewer than n = 8 blocks.
6.4 Statistical analysis
6.4.1 Statistical model
Y denotes the measurement result of the test portion ij,,k at level im=…1, , in block jn=…1, ,
()
ijk
for replicate kp=…1, , .
x denotes the true value of the level of the corresponding test portion at level im=…1, , in block
ij
jn=…1, , .
The statistical model is
Yx=+αβ ++AB xa++bx (1)
ijkijj jijijk ijkij
where
α and β − 1
denote the absolute and the relative component of method bias, respectively;
denote the absolute and the relative component of the linear block effect j , respec-
A and B
j j
tively;
a and b
denote the absolute and the relative component of the repeatability error for meas-
ijk ijk
urement result Y .
ijk
NOTE 1 In the model described here, it is assumed that the true value x of the measurand is known. In
ij
practice, it is an estimated value xˆ of x that is subject to uncertainty. If the uncertainty of this value is small
ij
ij
compared to the uncertainty of Y , for computational purposes x can be replaced by xˆ . This is the case, for
ij
ij
example, when blank material is spiked with a high-purity substance. If spiking is carried out in one step before
the material is homogenized and distributed to the individual samples, x does not depend on block j . However,
ij
if the individual samples are spiked gravimetrically, the concentrations x could be different. The same applies
ij
if the material cannot be perfectly homogenized and the determination of x is carried out by a very accurate
ij
reference method.
NOTE 2 The method bias is a linear function of the measurand. It is constant across all blocks. The linear block
effect is also a linear function of the measurand. However, it varies from block to block randomly. This random
effect results on the one hand from factorial effects, but can also be influenced by sampling, sample preparation
and analysis (see References [7] and [8]), because the measurement result can also depend on the composition of
the test portion even though the true values of the measurand in the samples may be identical.
It is assumed that α and β are fixed values, whereas
AA,,… are random variables with zero mean and variance σ ;
1 n A
BB,,… are random variables with zero mean and variance σ ;
1 n B
aa,,… are random variables with zero mean and variance σ ;
111 mnp a
bb,,… are random variables with zero mean and variance σ .
111 mnp b
Finally, it is assumed that all random variables are independent with a distribution closely approximating
the normal distribution.
NOTE 1 Temporal autocorrelation between blocks can be examined by calculating the ratio of the mean of
squared differences between subsequent block means and the variance of all block means. If this ratio is below
0,66, temporal autocorrelation is considered significant. Information regarding autocorrelation can also be
derived from the data of quality control charts.
6.4.2 Calculation of in-house repeatability and in-house reproducibility
In mathematical terms, the model described in 6.4.1, Formula (1) is a mixed linear model. Its unknown
222 2
parameters σσσ,, , σ can be estimated by the statistical calculation method REML (Restricted
AB ab
[10][12]
Maximum Likelihood ).
REML can be obtained by maximizing the likelihood function as described in Annex A. REML is
available in many statistical packages. Explicit formulae are not available, so that computer software is
necessary.
With these variance components, the variance function under in-house repeatability conditions is
22 22
σσ()xx=+ σ
ri ab
where x denotes the level of the measurand. Similarly, the variance function under in-house
reproducibility conditions is
22 22 22 2
σσ()xx=+ σσ++x σ .
Ri AB ab
In addition, estimates for the fixed effects α and β together with their standard errors and an estimate
of the standard error σ x for the linear function μαxx=+β are provided by standard statistical
()
()
ˆ
μ
software packages.
The relative standard error of the in-house reproducibility standard deviation σ ()x should be less
Ri
than 0,30. It is very much dependent on the number of blocks n . An approximation and upper limit for
this relative standard error is 0,32 for n= 6 , 0,27 for n= 8 and 0,24 for n=10 .
If there is a significant bias, i.e. if α and β are significantly different from 0 and 1, respectively, the
measured value Y should be replaced by
Y −αˆ
Y =
corr
ˆ
β
ˆ
ˆ
where α and β represents the estimated values of the unknown parameters α and β .
NOTE 1 For the calculation of variance components REML does not require any replicates. However, with
replicates, calculation of variance components generally becomes more reliable and can be examined more easily
with regard to non-linearity or heteroscedasticity.
NOTE 2 It is possible that under certain conditions there are random non-linearities in the measured values
within blocks. These random non-linearities will inflate both the repeatability standard deviation and the in-
house reproducibility standard deviation.
NOTE 3 It is also possible that under certain conditions there are systematic non-linearities in the
measurement results across blocks. These systematic non-linearities will inflate the in-house reproducibility
standard deviation, but not the repeatability standard deviation.
NOTE 4 If the levels x of the measurand are not known and are thus replaced by the respective arithmetic
ij
means of the measurement values, method bias cannot be determined.
NOTE 5 Within each block, measurement values are correlated. Correlation between measurement values at
2 2
level x is determined by 1−σ ()x /σ ()x .
ri Ri
NOTE 6 The upper limit of the relative standard error of the in-house reproducibility standard deviation is a
2 2
good approximation for the case when σ ()x is small compared to σ ()x . By means of Monte Carlo simulation,
ri Ri
a more accurate calculation is possible.
6.4.3 Calculation of measurement uncertainty
6.4.3.1 Conventional measurement uncertainty
Compute the standard measurement uncertainty of the measured value Y for the true level x:
22 22 22 2
uY =+σσˆˆxx++σσˆˆ +σˆ x
() ()
AB ab μˆ
and the expanded measurement uncertainty
22 22 22 2
ˆˆ ˆˆ ˆ
UY = ku⋅⋅ Yk=+σσxx++σσ +σ x
() () ()
AB ab μˆ
222 2 222 2
where σσσˆˆˆ,, ,σˆ denote the estimates of the unknown variance components σσσ,, ,σ and
AB ab AB ab
σˆ x represents the estimate of the standard variance of the linear function of expected measured
()
ˆ
μ
value, αβ+ x .
If it is known that bias is negligible, the standard error σˆ x can be ignored, i.e. σ x = 0 .
() ()
μˆ μˆ
If there is significant bias in Y, compute the standard measurement uncertainty of the corrected
Y −αˆ
measured value Y = :
corr
ˆ
β
22 22 22
σσˆˆ++xxσσˆˆ+
AB ab
uY = +σˆ x
() ()
ˆ
corr μ,corr
ˆ
β
and the expanded measurement uncertainty
22 22 22
σσˆˆ++xxσσˆˆ+
AB ab 2
UY = ku⋅⋅ Yk= +σˆ xx
() () ()
corr corr μˆ,corr
ˆ
β
ˆ
where σ x denotes the standard error of the corrected estimate μ x .
() ()
μˆ,corr corr
NOTE In the model described in 6.4.1, Formula (1), it is assumed that the true value of the measurand, x , is
ij
ˆ ˆ
known. In practice, it is an estimated value x with a standard uncertainty ux . With this additional standard
()
ij ij
uncertainty, the standard uncertainty of the measured value Y and the corrected measured value Y for the
corr
22 22 22 22
ˆˆ ˆˆ ˆ ˆ
true level x can be computed uY =+σσxx++σσ +σ xu+ x and
() ()
()
AB ab μˆ ij
22 22 22
σσˆˆ++xxσσˆˆ+
AB ab 22
ˆ ˆ
uY = +σ xu+ x , respectively.
() ()
()
corr μˆ,corr ij
ˆ
β
7 Factorial approach
7.1 General considerations
The factorial single-laboratory validation approach allows assessing the in-house reproducibility of the
test results obtained under a variety of normal test conditions in a given laboratory, such as different
analysts, different instruments, different lots of reagents, different elapsed assay times, different assay
temperatures, etc. The factorial approach aims at establishing reliable precision data by simultaneous
controlled variation of factors that are typically encountered in the routine application of the method
and which cannot be fixed. It allows evaluating the combined impact of factorial effects. This approach
differs from a robustness study, in which the focus is the detection of specific significant method
parameters and the optimization of the performance of the method.
Compared to the conventional approach, a properly designed factorial approach requires a smaller
number of samples and a smaller number of tests for the same level of reliability in the computation of
validation parameters.
The factorial approach consists of the following parts:
— selection of levels of the measurand (concentration levels) and sample materials;
— selection of factors and factor levels;
— design of study and allocation of test portions to different factor level combinations;
— conducting the measurement;
— statistical analyses.
The results (tables and calculations), including discrepant results, should be given in a study report.
7.2 Selection of sample materials, factors and factor levels
The study is typically conducted at m=…48,, different levels of the measurand. The ratio of maximum
level divided by minimum level should be at least 1,5 but not larger than 50. If the ratio exceeds 4,
additional testing of statistical model assumptions (linearity, homoscedasticity) and effective degrees
of freedom is required.
Relevant method factors that are difficult to control under routine conditions shall be selected and
varied systematically, e.g., sample material from different batches (matrix mismatch effects), conditions
during measurement (e.g. temperature and humidity), sample preparation, sample storage (duration
and temperature), laboratory personnel and laboratory equipment personnel.
In addition, a block factor is selected, i.e. measurements must be performed e.g. in different blocks and
different weeks. Each factor is varied on two or more levels. Typically, q=…28,, factors are selected.
Factors and factor levels shall reflect the typical variation within the single laboratory under routine
conditions.
NOTE 1 If factors have significant and persistent effects, the measurement method can be corrected for this
effect. Otherwise the measurement method cannot be considered “optimal” (as it allows further optimization).
This TS considers factors with smaller, non-significant effects in the range of the repeatability. The term non-
significant effect only means that the effect is not significant in the sense of a statistical test. Factors exhibiting
such effects are often held constant in the conduct of experimental studies, but in routine analyses their combined
effect can have a significant impact on the measurements and thus on the measurement uncertainty.
7.3 Experimental design
At each level of the measurand, np× test portions are allocated to n selected factor level combinations
of the q factors. Each factor level combination jn=…1, , can be represented by a vector of factor levels,
sj(),,… sj() , and shall be conducted in p replications ( p≥ 1 ), and at each level of the measurand,
()
1 q
the same factor level combinations shall be conducted. All mp× measurements belonging to the same
factor level combination shall be conducted under repeatability conditions, i.e. within one series or
within one day.
Factor level combinations should be selected in such a way as to ensure factorial effects can be estimated
independently from each other, e.g. by using balanced or orthogonal designs. A balanced design consists
of all possible combinations of factor levels: e.g. with three factors each with three levels there are 27
factor level combinations. Each of these 27 factor level combinations represents one block.
If a balanced factorial design is not possible, an orthogonal design can be conducted. Annex B describes
an orthogonal design with n= 8 factor level combinations without replications ( p=1) for q= 7 factors
with 2 levels. Annex C describes an orthogonal design with n=12 factor level combinations for 3 factors
with 2 factor levels and 1 factor with 3 factor levels. Annex D describes an orthogonal design with n= 9
factor level combinations for q= 4 factors with 3 factor levels.
7.4 Statistical analysis
7.4.1 Statistical model
Y denotes the measurement result of the test portion at level im=…1, , for factor level combination
ijk
jn=…1, , and replicate kp=…1, , . All measurements of factor level combination j are obtained in the
same block j , i.e. within one measurement series or within one day.
x denotes the true value of the level of the corresponding test portion at level im=…1, , in factor level
ij
combination jn=…1, , .
The statistical model is
Yx=+αβ +Aj()+Bj()xA++Bx ++ab x (2)
ijkijijj jijijk ijkij
where
α and β −1
denote the absolute and the relative component of method bias;
Aj() and Bj()
denote the absolute and the relative component of the effect of factor level combi-
nation j , respectively;
denote the absolute and the relative component of the block effect of block j ;
A and B
j j
a and b
denote the absolute and the relative component of the repeatability error for meas-
ijk ijk
urement result Y .
ijk
Furthermore, it is assumed that α and β are fixed (non-random) values.
NOTE 1 In the model described here, it is assumed that the true value of the measurand, x , is known. In
ij
practice, it is an estimated value xˆ that is subject to uncertainty. If the uncertainty of this value is small
ij
compared to the uncertainty of Y , x can be replaced by xˆ .
ij
ij
NOTE 2 The method bias is a linear function that depends linearly on the measurand. It is constant across all
blocks. The block effect is also a linear function that depends linearly on the measurand. However, it varies from
block to block randomly.
The absolute and the relative component of the effect of factor level combination j can be written
Aj()= As()()jA++ sj() and
()
11 qq
Bj =Bs jB++ sj .
() ()() ()
()
11 qq
As(),,… As() are random variables with zero mean and variances σσ,,… , respectively, and
1 q AA,,1 q
Bs(),,… Bs() are random variables with zero mean and variances σσ,,… , respectively.
1 q BB,,1 q
AA,,… are random variables with zero mean and variance σ , and
1 n A
BB,,… are random variables with zero mean and variance σ .
1 n B
aa,,… are random variables with zero mean and variance σ , and
111 mnp a
bb,,… are random variables with zero mean and variance σ ,
111 mnp b
Finally, it is assumed that all random variables are independent with a distribution closely approximating
the normal distribution.
7.4.2 Calculation of in-house repeatability and in-house reproducibility
In mathematical terms, the model described in 7.4.1 is a mixed linear model. Its unknown variance
22 22 222 2
components σσ,,…… ,,σσ, ,,,σσσ ,σ shall be estimated by the statistical
AA,,1 qB ,,1 Bq AB ab
calculation method REML (Restricted Maximum Likelihood). REML is available in many statistical
packages. Explicit formulae are not available, so that computer software is necessary.
With these variance components, the variance function under in-house repeatability conditions can be
computed
...
SPÉCIFICATION ISO/TS
TECHNIQUE 23471
Première édition
2022-11
Plans d'expériences pour l'évaluation
de l'incertitude — Utilisation de plans
factoriels pour la détermination des
fonctions d'incertitude
Experimental designs for evaluation of uncertainty — Use of factorial
designs for determining uncertainty functions
Numéro de référence
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2022
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii
Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives .1
3 Termes et définitions . 1
4 Symboles . 3
5 Principes généraux . 5
5.1 Généralités . 5
5.2 Principes de l’approche conventionnelle . 5
5.3 Principes de l’approche factorielle . 5
6 Approche conventionnelle . 6
6.1 Considérations d’ordre général. 6
6.2 Sélection des échantillons et des niveaux . 6
6.3 Plan d’expérience . 6
6.4 Analyse statistique . 6
6.4.1 Modèle statistique . 6
6.4.2 Calcul de la répétabilité interne et de la reproductibilité interne . 7
6.4.3 Calcul de l’incertitude de mesure . 9
7 Approche factorielle.9
7.1 Considérations d’ordre général. 9
7.2 Sélection des matériaux d’échantillon, des facteurs et des niveaux de facteur . 10
7.3 Plan d’expérience . 10
7.4 Analyse statistique . 11
7.4.1 Modèle statistique . 11
7.4.2 Calcul de la répétabilité interne et de la reproductibilité interne .12
7.4.3 Calcul de l’incertitude de mesure . 13
Annexe A (informative) Estimation par la méthode REML .15
Annexe B (informative) Plan orthogonal à 8 combinaisons de niveaux de facteur
pour 7 facteurs à 2 niveaux de facteur .16
Annexe C (informative) Plan orthogonal à 12 combinaisons de niveaux de facteur
pour 3 facteurs à 2 niveaux de facteur et 1 facteur à 3 niveaux de facteur .18
Annexe D (informative) Plan orthogonal à 9 combinaisons de niveaux de facteur
pour 4 facteurs à 3 niveaux de facteur .20
Annexe E (informative) Intervalle d’incertitude de mesure asymétrique .22
Annexe F (informative) Exemple.23
Bibliographie .27
iii
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes
nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a
été rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir
www.iso.org/directives).
L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de
brevets reçues par l'ISO (voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion
de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir www.iso.org/avant-propos.
Le présent document a été élaboré par le comité technique ISO/TC 69, Application des méthodes
statistiques, sous-comité SC 6, Méthodes et résultats de mesure.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www.iso.org/fr/members.html.
iv
Introduction
Le présent document a été élaboré en réponse au besoin de plans intralaboratoires normalisés pour
[1]
déterminer l’incertitude de mesure (JCGM 100 ) au moyen d’expériences. Il s’applique aux situations
dans lesquelles l’écart-type des observations n’est pas constant mais dépend du mesurande, et où
l’incertitude de mesure est dérivée en utilisant une méthode descendante. Ce besoin a été exprimé
dans des secteurs tels que la protection des consommateurs, la sécurité alimentaire, l’analyse
environnementale et le diagnostic médical.
L’évaluation de l’incertitude requiert habituellement la quantification et la combinaison subséquente
d’incertitudes ayant pour origine une variation aléatoire et d’incertitudes associées à des corrections.
Une variation aléatoire peut survenir au sein d’une expérience spécifique sous les mêmes conditions
ou sur toute une plage de conditions. Dans le premier cas, la variation apparaît dans des conditions
de répétabilité et est, de ce fait, généralement qualifiée d’écart-type de répétabilité ou coefficient de
variation de répétabilité; la fidélité sur toute une plage de conditions est en général appelée «fidélité
[3]
intermédiaire» ou «reproductibilité» (ISO 5725 (toutes les parties) ).
Le plan d’expérience le plus courant pour l’estimation de la variance de laboratoire et de la variance de
répétabilité est le plan ANOVA, décrit dans l’ISO 5725-2. Dans ce plan, un nombre égal d’observations
est recueilli dans des conditions de répétabilité pour chaque laboratoire participant. D’autres plans
destinés aux études interlaboratoires, dans lesquels d’autres facteurs sont modifiés en plus du facteur
«laboratoire», sont décrits dans l’ISO 5725-3. L’évaluation des incertitudes fondée sur un tel plan
[6]
de l’étude est traitée dans l’ISO 21748 . De manière similaire, lorsque les observations ne sont pas
rassemblées dans différents laboratoires mais selon des groupes de différentes conditions de mesure
(par exemple semaines ou techniciens différents) au sein du même laboratoire, la composante inter-
groupes de la variance peut être considérée comme représentative de la contribution à l’incertitude
ayant pour origine la variation aléatoire de la condition de mesure représentée par le facteur «groupe».
Par exemple, si des résultats d’essai sont obtenus dans des conditions de répétabilité une fois par
semaine, l’analyse de variance peut fournir une estimation de l’effet de la variation inter-semaines.
S’ils comptent parmi les plans d’estimation de la variation aléatoire les plus courants; les plans emboîtés
ne sont pas pour autant les seuls à présenter une utilité. Considérons par exemple une expérience
menée en utilisant trois instruments, trois lots de réactifs et trois lots de cartouches d’extraction en
phase solide (SPE, de l’anglais «solid phase extraction»), où chaque combinaison possible est prise en
compte dans le plan, soit un total de 3 × 3 × 3 = 27 traitements. Étant donné que chaque combinaison
possible comprend le même nombre d’observations, ce plan est dit «équilibré» et, les facteurs n’étant
pas emboîtés les uns dans les autres, les facteurs «instrument», «réactif» et «cartouche SPE» sont dits
[5]
«croisés». Ce type d’expérience est traité dans l’ISO/TS 17503 relative à l’évaluation de l’incertitude
de la moyenne des modèles à deux facteurs croisés. Tout comme dans le cas du plan emboîté, l’objectif
est d’extraire les composantes de la variance correspondant aux trois facteurs. Il existe dans la
littérature statistique des modèles appropriés appelés «modèles à effets aléatoires» ou (si un des
facteurs a un effet fixe) «modèles à effets mixtes». Cette approche peut être étendue à plus de trois
facteurs. Cependant, si toutes les combinaisons de niveaux de facteur sont prises en compte dans le
plan, le nombre de mesurages correspondant peut devenir très élevé. Par exemple, cinq facteurs ayant
chacun trois niveaux donnent déjà 3 = 243 combinaisons de niveaux de facteur. S’il est nécessaire
d’inclure au moins cinq facteurs dans l’expérience, il convient que le nombre de niveaux soit aussi faible
que possible (deux niveaux) et il est recommandé de mettre en œuvre un plan orthogonal, incluant une
sélection limitée de combinaisons de niveaux de facteur.
Il est supposé, dans le présent document, que les valeurs mesurées sont des nombres non négatifs et
que toutes les composantes de la variance comportent deux parties: l’une qui est proportionnelle au
niveau du mesurande et l’autre qui est constante pour tous les niveaux. Plusieurs méthodes permettent
d’estimer les composantes de la variance. Pour les plans équilibrés, le calcul des carrés moyens attendus
à partir d’une analyse de variance classique s’effectue directement. Le recours à l’estimation du
maximum de vraisemblance restreint (parfois également dit «résiduel» [REML, de l’anglais «restricted
maximum likelihood estimation»]) est largement recommandé pour l’estimation des composantes de la
variance; cette méthode s’applique aussi bien aux plans équilibrés qu’aux plans non équilibrés.
v
SPÉCIFICATION TECHNIQUE ISO/TS 23471:2022(F)
Plans d'expériences pour l'évaluation de l'incertitude —
Utilisation de plans factoriels pour la détermination des
fonctions d'incertitude
1 Domaine d’application
Le présent document spécifie les modes opératoires expérimentaux et les analyses statistiques pour la
détermination de l’incertitude de mesure dans les situations où les conditions suivantes sont remplies:
Condition 1: le niveau du mesurande est non négatif, par exemple un niveau de concentration d’un
contaminant dans un échantillon.
Condition 2: l’erreur de mesure comporte deux composantes indépendantes: pour l’une de ces com-
posantes, l’écart-type relatif est constant (c'est-à-dire que l’écart absolu est proportion-
nel au niveau du mesurande), tandis que pour l’autre composante, l’écart-type absolu
est constant (c'est-à-dire indépendant du niveau du mesurande).
Condition 3: des échantillons présentant différents niveaux du mesurande peuvent être préparés; si
le niveau du mesurande est la concentration d’une substance chimique, ces échantillons
peuvent être obtenus, par exemple, en fortifiant (dopant) des échantillons à blanc.
Les conditions 1 et 2 sont respectées pour la plupart des applications d’analyses chimiques
instrumentales. La condition 3 peut être respectée pour des analyses chimiques si des échantillons à
blanc sont disponibles.
Le présent document peut également être utilisé pour déterminer les données de fidélité relatives à un
laboratoire spécifique, pour différents techniciens, différentes conditions d’environnement, des objets
d’essai identiques ou similaires, avec le même niveau du mesurande, sur une période donnée.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l'édition citée s'applique.
Pour les références non datées, la dernière édition du document de référence s'applique (y compris les
éventuels amendements).
ISO 3534-1, Statistique — Vocabulaire et symboles — Partie 1: Termes statistiques généraux et termes
utilisés en calcul des probabilités
ISO 3534-2, Statistique — Vocabulaire et symboles — Partie 2: Statistique appliquée
ISO 3534-3, Statistique — Vocabulaire et symboles — Partie 3: Plans d'expériences
ISO 3534-4, Statistique — Vocabulaire et symboles — Partie 4: Échantillonnage d'enquête
Guide ISO/IEC 98-3, Incertitude de mesure — Partie 3: Guide pour l’expression de l’incertitude de mesure
(GUM: 1995)
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions de l’ISO 3534-1, l’ISO 3534-2,
l’ISO 3534-3, l’ISO 3534-4 et le Guide ISO/IEC 98-3, ainsi que les suivants s’appliquent. L'ISO et l'IEC
tiennent à jour des bases de données terminologiques destinées à être utilisées en normalisation,
consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l'adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l'adresse https:// www .electropedia .org/
3.1
bloc
groupe de configurations qui sont réalisées en parallèle ou dans un court intervalle de temps et qui sont
utilisées pour les mêmes échantillons
EXEMPLE Deux configurations:
Technicien 1 + milieu de culture 2 + température 1 + incubateur 1
ET
Technicien 2 + milieu de culture 1 + température 2 + incubateur 2
3.2
facteur
paramètre qualitatif ou quantitatif qui est modifié dans le but d’évaluer son effet sur la variable de
réponse
Note 1 à l'article: Un facteur peut constituer une cause assignable pour le résultat d’une expérience.
Note 2 à l'article: L’utilisation du terme «facteur» est plus spécifique, ici, que ne l’est son utilisation générique
comme synonyme de variable de prédiction.
Note 3 à l'article: Un facteur peut être associé à la création de blocs.
3.3
niveau de facteur
valeur ou affectation d’un facteur
EXEMPLE Les niveaux d’échelle ordinale d’un catalyseur peuvent être la présence ou l’absence. Quatre
niveaux d’un traitement thermique peuvent être 100 °C, 120 °C, 140 °C et 160 °C. La variable d'échelle nominale
d'un laboratoire peut avoir des niveaux A, B et C, correspondant à trois installations.
Note 1 à l'article: La «valeur d’une variable de prédiction» est un synonyme de ce terme.
Note 2 à l'article: Le terme «niveau» est normalement associé à une caractéristique quantitative. Cependant, il
s’agit également du terme utilisé pour décrire la version ou la valeur de caractéristiques qualitatives.
Note 3 à l'article: Les réponses obtenues aux différents niveaux d’un facteur fournissent des informations
permettant de déterminer l’effet de ce facteur dans le domaine de variation étudié du plan d’expérience. Une
extrapolation hors de ce domaine est généralement inadéquate, à moins que l'on ait de solides raisons d'admettre
l'existence d'un modèle de relation fonctionnelle. L'interpolation à l'intérieur peut dépendre du nombre de niveaux
et de leur répartition. Elle est généralement raisonnable, bien qu'il puisse exister des relations discontinues ou
multimodales entraînant des changements brusques à l'intérieur même du domaine étudié. Les niveaux peuvent
être soit limités à certaines valeurs délibérément choisies (que celles-ci soient ou non connues), soit résulter
d'une sélection purement aléatoire à l'intérieur du domaine à étudier.
3.4
répétabilité interne
fidélité de mesure dans un ensemble de conditions de répétabilité interne des mesurages dans un
laboratoire spécifique
Note 1 à l'article: Les conditions de répétabilité interne comprennent le même mode opératoire de mesure, les
mêmes techniciens, le même système de mesure, les mêmes conditions de fonctionnement, le même lieu, et des
mesurages répétés sur des objets identiques ou similaires sur une courte période de temps dans un laboratoire
spécifique.
3.5
reproductibilité interne
fidélité de mesure dans des conditions de reproductibilité interne des mesurages dans un laboratoire
spécifique
Note 1 à l'article: Les conditions de reproductibilité interne comprennent différents techniciens, différentes
conditions de fonctionnement et des mesurages répétés sur des objets d’essai identiques ou similaires sur une
période de temps donnée dans un laboratoire spécifique.
3.6
matériau d’échantillon
matériau dans lequel les échantillons sont fabriqués
Note 1 à l'article: Le choix du matériau d’échantillon peut avoir un effet sur le biais de la procédure de mesure.
3.7
combinaison de niveaux de facteur
combinaison de différents niveaux de facteur
EXEMPLE Technicien 1 + milieu de culture 2 + température 1 + etc.
Note 1 à l'article: Ces conditions peuvent être décrites par la combinaison des niveaux de facteur correspondant
aux facteurs modifiés lors de l’étude.
3.8
prise d’essai
quantité de matériau, prélevée dans l'échantillon pour essai, suffisante pour permettre le mesurage de
la concentration ou de toute autre propriété étudiée, utilisée pour un mesurage spécifique
[4]
[SOURCE: ISO 11074:2015 , 4.3.15, modifiée — Le terme «la mesure» a été remplacé par «le mesurage»
et l’expression «utilisée pour un mesurage spécifique» a été ajoutée et les Notes 1 et 2 à l’article ont été
supprimées.]
4 Symboles
Composante absolue de l’effet de bloc linéaire j
A
j
Composante absolue de l’effet de combinaison de niveaux de facteur j
Aj
()
a Composante absolue de l’erreur de répétabilité pour le résultat de mesure Y
ijk ijk
Composante relative de l’effet de bloc linéaire j
B
j
Composante relative de l’effet de combinaison de niveaux de facteur j
Bj()
b Composante relative de l’erreur de répétabilité pour le résultat de mesure Y
ijk ijk
Degrés de liberté effectifs au niveau x
df x
()
i
Identificateur pour un niveau particulier
Identificateur pour un mesurage spécifique (voir Annexe F)
j
Identificateur pour un échantillon ou un bloc particulier ou une combinaison de niveaux de
facteur particulière
Identificateur pour un mesurage particulier (voir Annexe F)
Log-vraisemblance pour les composantes de la variance θθ
L()θ
Identificateur pour un résultat de mesure spécifique au niveau im =…1, , dans le bloc
k
jn =…1, ,
Facteur d’élargissement pour l’incertitude de mesure
M
Matrice de transformation utilisée dans l’estimation REML
m Nombre de niveaux du mesurande
n Nombre d’échantillons ou de blocs ou de combinaisons de niveaux de facteur à un niveau
du mesurande
p
Nombre de résultats de mesure obtenus à un niveau, pour un échantillon, un bloc ou une
combinaison de niveaux de facteur
q
Nombre de facteurs
REML Estimation résultant d’un calcul du maximum de vraisemblance restreint
sj() Niveau de facteur du facteur fq =…1, , à la combinaison de niveaux de facteur j
f
Incertitude-type de la valeur estimée du niveau x
uxˆ
()
ij
Incertitude-type de la valeur mesurée Y pour le niveau vrai x
uY
()
Incertitude élargie de la valeur mesurée Y pour le niveau vrai x
UY()
V()θθ
Matrice de covariance utilisée dans l’estimation REML
X
Matrice de plan pour l’estimation REML
x Valeur vraie du niveau du mesurande
ˆ
x
Valeur estimée du niveau du mesurande
Valeur vraie du niveau de l’échantillon au niveau im=…1, , dans le bloc jn=…1, ,
x
ij
x
Limite inférieure de l’intervalle d’incertitude de mesure
L
x
Limite supérieure de l’intervalle d’incertitude de mesure
U
Y Résultat de mesure de la prise d’essai ()ij,,k au niveau im=…1, , dans le bloc jn=…1, ,
ijk
pour la répétition kp=…1, ,
Y
Valeur mesurée
Y Vecteur des valeurs mesurées pour l’estimation REML
Y
Valeur mesurée corrigée (correction du taux de récupération)
corr
α
Valeur vraie de la composante absolue du biais de la méthode
ˆ
α
Valeur estimée de la composante absolue du biais de la méthode
β
Valeur vraie de la composante relative du biais de la méthode plus 1 (taux de récupération
relatif)
Vecteur de la valeur vraie de la composante absolue du biais de la méthode et de la valeur
vraie de la composante relative du biais de la méthode plus 1 pour l’estimation REML
ˆ
Valeur estimée de la composante relative du biais de la méthode plus 1 (taux de récupéra-
β
tion relatif)
θθ
Vecteur des composantes de la variance utilisé dans l’estimation REML
μ()x Valeur mesurée attendue au niveau x, μα()xx=+β
σ Valeur vraie d’un écart-type
Valeur vraie d’une variance
σ
ˆ
σ
Valeur estimée d’un écart-type
Valeur estimée d’une variance
σˆ
Valeur vraie d’une fonction de variance dans des conditions de répétabilité interne au
σ x
()
ri
niveau x
Valeur vraie d’une fonction de variance dans des conditions de reproductibilité interne au
σ ()x
Ri
niveau x
Valeur vraie de la variance type de la fonction linéaire de la valeur mesurée attendue
σ x
()
μˆ
5 Principes généraux
5.1 Généralités
Les procédures descendantes de détermination de l’incertitude de mesure dépendent du choix
de l’approche, selon qu’il s’agit d’une approche conventionnelle (voir 5.2) ou d’une approche
factorielle (voir 5.3). Dans un cas comme dans l’autre, tous les résultats sont valables uniquement pour
le laboratoire au sein duquel l’étude a été menée.
5.2 Principes de l’approche conventionnelle
L’approche conventionnelle suppose que tous les mesurages peuvent être regroupés en blocs. Pour les
mesurages d’un bloc, les conditions de répétabilité interne sont remplies. Pour les mesurages inter-
blocs, les conditions de reproductibilité interne sont remplies. Ainsi, dans le cas des mesurages inter-
blocs, il existe des variations en ce qui concerne, par exemple, l’heure du mesurage, le technicien, les
conditions d’environnement, les lots de réactifs ou les instruments de mesure.
5.3 Principes de l’approche factorielle
L’approche factorielle se différencie de l’approche conventionnelle, dans laquelle les conditions
de mesure varient aléatoirement d’un bloc de mesure à l’autre, par le fait qu’au moins certaines des
conditions de mesure sont contrôlées. Par exemple, la moitié des mesurages est effectuée avec des
réactifs du lot A et l’autre moitié avec des réactifs du lot B; contrairement à l’approche conventionnelle
où, hormis le facteur de groupement (par exemple jour 1 et jour 2), les conditions de mesure ne sont
pas contrôlées. L’approche factorielle permet d’évaluer l’incertitude de mesure des résultats d’essai
obtenus dans diverses conditions d’essai caractéristiques (telles que différents analystes, différents
instruments, différents lots de réactifs, différentes durées d’essai et différentes températures d’essai)
au sein d’un laboratoire donné. L’approche factorielle vise à établir des données de fidélité et des
données de mesure fiables en appliquant simultanément une variation contrôlée aux facteurs choisis.
Cela permet d’évaluer l’impact combiné des effets factoriels.
6 Approche conventionnelle
6.1 Considérations d’ordre général
L’approche conventionnelle comporte les parties suivantes:
— sélection des niveaux du mesurande (par exemple niveaux de concentration) et des matériaux
d’échantillon;
— plan de l’étude et répartition des prises d’essai dans différents blocs;
— réalisation du mesurage;
— analyses statistiques.
Les résultats (tableaux et calculs), y compris les résultats divergents, le cas échéant, doivent être
présentés dans un rapport d’étude.
6.2 Sélection des échantillons et des niveaux
L’étude est généralement menée avec m = 4,., 8 matériaux d’échantillon homogènes à différents niveaux
du mesurande, prélevés sur le même type d’échantillon. Il convient que les échantillons ne diffèrent que
par le niveau du mesurande. Il convient que le rapport du niveau maximal sur le niveau minimal soit
égal à au moins 1,5, sans toutefois dépasser 50. Si le rapport dépasse 4, il est nécessaire de procéder
à des essais supplémentaires d’hypothèses de modèles statistiques (linéarité, homoscédasticité) et à
l’examen des degrés de liberté effectifs.
6.3 Plan d’expérience
Le matériau d’échantillon est disponible en m différents niveaux du mesurande. Pour chaque
niveau, n échantillons sont répartis aléatoirement dans n blocs (avec n ≥ 8). Chacun des n blocs
comprend ainsi m échantillons, chaque échantillon ayant un niveau différent du mesurande. Chaque
échantillon est composé de p prises d’essai, c'est-à-dire que p représente le nombre de répétitions à
chaque niveau et dans chaque bloc. Il n’y a pas de limite fixée au nombre de répétitions p; même sans
répétition (p = 1), il est possible de calculer la fidélité et l’incertitude, bien que le résultat soit plus fiable
avec p ≥ 2 répétitions.
Chaque bloc comprend m × p prises d’essai, soit un total de m × n × p prises d’essai en tout.
Les m × p prises d’essai de chaque bloc doivent être analysées dans des conditions de répétabilité
interne. Différents blocs doivent être analysés sous différentes conditions, de préférence avec un
équipement différent, une personne différente et au cours de semaines différentes. Ainsi, si le facteur
de mise en blocs (groupement) est la semaine, un total de n semaines, par exemple, est nécessaire pour
mesurer m × n × p prises d’essai. Il convient que le facteur de mise en blocs soit choisi de sorte à pouvoir
exclure toute auto-corrélation temporelle, c'est-à-dire qu’il vaut mieux privilégier, en général, une
période plus longue qu’une période plus courte.
NOTE 1 La fiabilité des données de fidélité dépend en grande partie du nombre de blocs (voir ISO 5725-1).
L’erreur-type relative des données d’incertitude peut dépasser 29 % s’il y a moins de n = 8 blocs.
6.4 Analyse statistique
6.4.1 Modèle statistique
Y désigne le résultat de mesure de la prise d’essai ()ij,,k au niveau im=…1, , dans le bloc jn=…1, ,
ijk
pour la répétition kp=…1, , .
x désigne la valeur vraie du niveau de la prise d’essai correspondante au niveau im=…1, , dans le
ij
bloc jn=…1, , .
Le modèle statistique est
Yx=+αβ ++AB xa++bx (1)
ijkijj jijijk ijkij
où
α et β − 1
désignent respectivement la composante absolue et la composante relative du biais
de la méthode;
A et B
désignent respectivement la composante absolue et la composante relative de l’effet
j j
de bloc linéaire j ;
a et b
désignent la composante absolue et la composante relative de l’erreur de répétabi-
ijk ijk
lité pour le résultat de mesure Y .
ijk
NOTE 1 Dans le modèle décrit ici, il est supposé que la valeur vraie x du mesurande est connue. Dans la
ij
ˆ
pratique, il s’agit d’une valeur estimée x de x qui fait l’objet d’une incertitude. Si l’incertitude de cette valeur
ij
ij
ˆ
est réduite par rapport à l’incertitude de Y , il est possible, aux fins du calcul, de remplacer x par x . C’est le
ij
ij
cas, par exemple, lorsqu’un blanc est dopé avec une substance de haute pureté. Si le dopage est réalisé en une
étape avant que le blanc ne soit homogénéisé et réparti dans les échantillons individuels, x ne dépend pas du
ij
bloc j . Cependant, si les échantillons individuels sont dopés par gravimétrie, les concentrations x pourraient
ij
être différentes. Il en va de même si le blanc ne peut pas être parfaitement homogénéisé et que x est déterminé
ij
à l’aide d’une méthode de référence d’une grande exactitude.
NOTE 2 Le biais de la méthode est une fonction linéaire du mesurande. Il est constant pour tous les blocs.
L’effet de bloc linéaire est également une fonction linéaire du mesurande, mais il varie aléatoirement d’un bloc
à l’autre. Cet effet aléatoire peut être le résultat d’effets factoriels mais il peut également être influencé par
l’échantillonnage ainsi que par la préparation et l’analyse des échantillons (voir Références [7] et [8]) car le
résultat de mesure peut aussi dépendre de la composition de la prise d’essai, quand bien même les valeurs vraies
du mesurande dans les échantillons seraient identiques.
Il est supposé que α et β sont des valeurs fixes, tandis que
AA,,… sont des variables aléatoires de moyenne zéro et de variance σ ;
1 n A
BB,,… sont des variables aléatoires de moyenne zéro et de variance σ ;
1 n B
aa,,… sont des variables aléatoires de moyenne zéro et de variance σ ;
111 mnp a
bb,,… sont des variables aléatoires de moyenne zéro et de variance σ .
111 mnp b
Enfin, il est supposé que toutes les variables aléatoires sont indépendantes, avec une distribution très
proche de la loi normale.
NOTE 1 L’auto-corrélation temporelle inter-blocs peut être vérifiée en calculant le rapport de la moyenne des
carrés des différences entre les moyennes de blocs consécutifs à la variance de toutes les moyennes de bloc. Si
ce rapport est inférieur à 0,66, l’auto-corrélation temporelle est considérée comme significative. Il est également
possible d’obtenir des informations concernant l’auto-corrélation à partir des données des cartes de contrôle
qualité.
6.4.2 Calcul de la répétabilité interne et de la reproductibilité interne
En termes mathématiques, le modèle présenté par la Formule (1) en 6.4.1 est un modèle linéaire mixte.
222 2
Ses paramètres inconnus σσσ,, , σ peuvent être estimés grâce à la méthode REML (maximum
AB ab
[10][12]
de vraisemblance restreint ) de calcul statistique.
Le maximum de vraisemblance restreint (REML) peut être obtenu par maximisation de la fonction
de vraisemblance, comme cela est décrit à l’Annexe A. Le REML est inclus dans de nombreux logiciels
d’analyse statistique. Il n’existe pas de formules explicites, de sorte qu’un logiciel de calcul s’avère
nécessaire.
Avec ces composantes de la variance, la fonction de variance dans des conditions de répétabilité interne
est
22 22
σσxx=+ σ
()
ri ab
où x désigne le niveau du mesurande. De manière similaire, la fonction de variance dans des conditions
de reproductibilité interne est
22 22 22 2
σσxx=+ σσ++x σ .
()
Ri AB ab
En outre, des estimations des effets fixes α et β , avec leurs erreurs-types, et une estimation de
l’erreur-type σ x pour la fonction linéaire μα()xx=+β sont fournies par les logiciels statistiques
()
μˆ
standards.
Il convient que l’erreur-type relative de l’écart-type de reproductibilité interne σ x soit inférieure
()
Ri
à 0,30. Elle dépend beaucoup du nombre de blocs n . Une approximation et limite supérieure pour cette
erreur-type relative est de 0,32 pour n= 6 , de 0,27 pour n= 8 et de 0,24 pour n=10 .
Si un biais significatif est constaté, c’est-à-dire si α et β sont significativement différents de 0 et de 1,
respectivement, il convient de remplacer la valeur mesurée Y par
Y −αˆ
Y =
corr
ˆ
β
ˆ
ˆ
α et β représentent les valeurs estimées des paramètres inconnus α et β .
NOTE 1 Le calcul des composantes de la variance par la méthode REML ne nécessite pas de répétitions.
Cependant, avec des répétitions, le calcul des composantes de la variance devient généralement plus fiable et
permet d’en examiner plus facilement la non-linéarité ou l’hétéroscédasticité.
NOTE 2 Il est possible, sous certaines conditions, de voir apparaître des non-linéarités aléatoires dans
les valeurs mesurées au sein des blocs. Ces non-linéarités aléatoires ont pour effet d’accroître l’écart-type de
répétabilité ainsi que l’écart-type de reproductibilité interne.
NOTE 3 Il est également possible, sous certaines conditions, de voir apparaître des non-linéarités
systématiques dans les résultats de mesure entre tous les blocs. Ces non-linéarités systématiques ont pour effet
d’accroître l’écart-type de reproductibilité interne, mais pas l’écart-type de répétabilité.
NOTE 4 Si les niveaux x du mesurande ne sont pas connus et sont, de ce fait, remplacés par les moyennes
ij
arithmétiques respectives des valeurs de mesure, le biais de la méthode ne peut pas être déterminé.
NOTE 5 Au sein de chaque bloc, les valeurs de mesure sont corrélées. La corrélation entre les valeurs de
mesure au niveau x est déterminée par 1 −σσ()xx / () .
ri Ri
NOTE 6 La limite supérieure de l’erreur-type relative de l’écart-type de reproductibilité interne est une bonne
approximation dans le cas où les valeurs résultant de la fonction σ ()x sont plus faibles que celles résultant de
ri
σ ()x . Une simulation de Monte-Carlo permet des calculs plus exacts.
Ri
6.4.3 Calcul de l’incertitude de mesure
6.4.3.1 Incertitude de mesure conventionnelle
Calculer l’incertitude-type de la valeur mesurée Y pour le niveau vrai x:
22 22 22 2
uY =+σσˆˆxx++σσˆˆ +σˆ x
() ()
AB ab μˆ
et l’incertitude élargie
22 22 22 2
UY = ku⋅⋅ Yk=+σσˆˆxx++σσˆˆ +σˆ x
() () ()
AB ab μˆ
222 2 222 2
ˆˆˆ ˆ
où σσσ,, ,σ désignent les estimations des composantes de la variance inconnues σσσ,, ,σ
AB ab AB ab
ˆ
et où σ x représente l’estimation de la variance type de la fonction linéaire de la valeur mesurée
()
μˆ
attendue, αβ+ x .
Si le caractère négligeable du biais est connu, l’erreur-type σˆ x peut être ignorée, c’est-à-dire que
()
μˆ
σ x = 0 .
()
μˆ
Si Y présente un biais significatif, calculer l’incertitude-type de la valeur mesurée corrigée
ˆ
Y −α
Y = :
corr
ˆ
β
22 22 22
ˆˆ ˆˆ
σσ++xxσσ+
AB ab 2
ˆ
uY = +σ x
() ()
corr μˆ,corr
ˆ
β
et l’incertitude élargie
22 22 22
ˆˆ ˆˆ
σσ++xxσσ+
AB ab 2
ˆ
UY = ku⋅⋅ Yk= +σ xx
() () ()
ˆ
corr corr μ,corr
ˆ
β
où σ x désigne l’erreur-type de l’estimation corrigée μˆ x .
() ()
μˆ,corr corr
NOTE Dans le modèle présenté par la Formule (1) en 6.4.1, il est supposé que la valeur vraie du mesurande,
x , est connue. Dans la pratique, il s’agit d’une valeur estimée xˆ ayant une incertitude-type uxˆ . Avec cette
()
ij
ij ij
incertitude-type supplémentaire, l’incertitude-type de la valeur mesurée Y et la valeur mesurée corrigée Y
corr
pour le niveau vrai x peuvent être calculées conformément aux formules suivantes:
22 22 22 22
uY =+σσˆˆxx++σσˆˆ +σˆ xu+ xˆ et
() () ()
ˆ
AB ab μ ij
22 22 22
σσˆˆ++xxσσˆˆ+
AB ab 22
ˆ
uY = +σˆ xu+ x , respectivement.
() ()
()
corr μˆ,corr ij
ˆ
β
7 Approche factorielle
7.1 Considérations d’ordre général
L’approche factorielle de validation intralaboratoire permet d’évaluer la reproductibilité interne des
résultats d’essai obtenus sous diverses conditions d’essai normales (telles que différents analystes,
différents instruments, différents lots de réactifs, différentes durées d’essai, différentes températures
d’essai, etc.) dans un laboratoire donné. L’approche factorielle vise à établir des données de fidélité
fiables en appliquant simultanément une variation contrôlée aux facteurs qui entrent habituellement en
jeu dans l’application de routine de la méthode et qui ne peuvent pas être fixes. Cela permet d’évaluer
l’impact combiné des effets factoriels. Cette approche est différente d’une étude de robustesse, dans
laquelle l’accent est mis sur la détection de paramètres significatifs spécifiques de la méthode et sur
l’optimisation de sa performance.
Par rapport à l’approche conventionnelle, une approche factorielle bien conçue nécessite un plus petit
nombre d’échantillons et un plus petit nombre d’essais pour le même niveau de fiabilité du calcul des
paramètres de validation.
L’approche factorielle comporte les parties suivantes:
— sélection des niveaux du mesurande (niveaux de concentration) et des matériaux d’échantillon;
— sélection des facteurs et des niveaux de facteur;
— plan de l’étude et répartition des prises d’essai dans différentes combinaisons de niveaux de facteur;
— réalisation du mesurage;
— analyses statistiques.
Il convient que les résultats (tableaux et calculs), y compris les résultats divergents, soient présentés
dans un rapport d’étude.
7.2 Sélection des matériaux d’échantillon, des facteurs et des niveaux de facteur
L’étude est généralement menée à m=…48,, différents niveaux du mesurande. Il convient que le
rapport du niveau maximal sur le niveau minimal soit égal à au moins 1,5, sans toutefois dépasser 50. Si
le rapport dépasse 4, il est nécessaire de procéder à des essais supplémentaires d’hypothèses de
modèles statistiques (linéarité, homoscédasticité) et à l’examen des degrés de liberté effectifs.
Les facteurs pertinents pour la méthode et difficiles à contrôler dans des conditions de routine doivent
être choisis et modifiés systématiquement, par exemple le matériau d’échantillon issu de différents
lots (effets de non correspondance de la matrice), les conditions au cours du mesurage (par exemple
température et humidité), la préparation des échantillons, la conservation des échantillons (durée et
température), le personnel de laboratoire et le personnel manipulant l’équipement de laboratoire.
Un facteur «bloc» est également choisi, c’est-à-dire que les mesurages doivent être effectués, par
exemple, dans différents blocs et au cours de semaines différentes. Chaque facteur est modifié à au
moins deux niveaux. En général, q=…28,, facteurs sont choisis.
Les facteurs et les niveaux de facteur doivent refléter la variation intralaboratoire survenant le plus
fréquemment dans les conditions de routine.
NOTE 1 Si certains facteurs ont des effets significatifs et persistants, une correction de ces effets peut être
appliquée à la méthode de mesure; dans le cas contraire, la méthode de mesure ne peut pas être considérée
comme «optimale» (puisqu’elle se prête à une optimisation supplémentaire). La présente Spécification technique
considère des facteurs ayant des effets moindres, non significatifs, sur la répétabilité. Le terme «effet non
significatif» signifie seulement que l’effet n’a pas d’importance dans le contexte d’un essai statistique. Les
facteurs ayant des effets de cet ordre sont souvent considérés comme constants lors de la réalisation d’études
expérimentales; toutefois, dans les analyses de routine, leur effet combiné peut avoir des répercussions non
négligeables sur les mesurages et, ainsi, sur l’incertitude de mesure.
7.3 Plan d’expérience
À chaque niveau du mesurande, np× prises d’essai sont réparties dans n combinaisons choisies de
niveaux de facteur des q facteurs. Chaque combinaison de niveaux de facteur jn=…1, , peut être
représentée par un vecteur de niveaux de facteur, sj(),,… sj() , et doit faire l’objet de p répétitions
()
1 q
( p≥ 1 ) et, à chaque niveau du mesurande, la même combinaison de niveaux de facteur doit être réalisée.
Les mp× mesurages appartenant à la même combinaison de niveaux de facteur
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.
Loading comments...