ISO 21748:2010
(Main)Guidance for the use of repeatability, reproducibility and trueness estimates in measurement uncertainty estimation
Guidance for the use of repeatability, reproducibility and trueness estimates in measurement uncertainty estimation
ISO 21748:2010 gives guidance for evaluation of measurement uncertainties using data obtained from studies conducted in accordance with ISO 5725-2:1994; comparison of collaborative study results with measurement uncertainty (MU) obtained using formal principles of uncertainty propagation. (ISO 5725-3:1994 provides additional models for studies of intermediate precision. However, while the same general approach may be applied to the use of such extended models, uncertainty evaluation using these models is not incorporated in ISO 21748:2010.) ISO 21748:2010 is applicable in all measurement and test fields where an uncertainty associated with a result has to be determined. It does not describe the application of repeatability data in the absence of reproducibility data. ISO 21748:2010 assumes that recognized, non-negligible systematic effects are corrected, either by applying a numerical correction as part of the method of measurement, or by investigation and removal of the cause of the effect. The recommendations in ISO 21748:2010 are primarily for guidance. It is recognized that while the recommendations presented do form a valid approach to the evaluation of uncertainty for many purposes, it is also possible to adopt other suitable approaches. In general, references to measurement results, methods and processes in ISO 21748:2010 are normally understood to apply also to testing results, methods and processes.
Lignes directrices relatives à l'utilisation d'estimations de la répétabilité, de la reproductibilité et de la justesse dans l'évaluation de l'incertitude de mesure
L'ISO 21748:2010 donne des lignes directrices en vue: d'évaluer les incertitudes de mesure à partir de données obtenues lors d'essais interlaboratoires menés conformément à l'ISO 5725‑2:1994; de comparer les résultats d'un essai interlaboratoires à l'incertitude de mesure (MU) obtenue en appliquant des principes formels de propagation de l'incertitude. (L'ISO 5725‑3:1994 fournit des modèles supplémentaires de mesure de la fidélité intermédiaire. Cependant, bien que la même méthode générale puisse s'appliquer à l'utilisation de ces modèles étendus, l'évaluation de l'incertitude à partir de ces modèles n'est pas traitée dans la présente Norme internationale.) L'ISO 21748:2010 est applicable dans tous les domaines de mesure et d'essai nécessitant la détermination d'une incertitude associée à un résultat. Elle ne décrit pas l'utilisation de données de répétabilité en l'absence de données de reproductibilité. L'ISO 21748:2010 suppose que les effets systématiques non négligeables reconnus sont corrigés, soit en appliquant une correction numérique dans le cadre de la méthode de mesure, soit en recherchant et en éliminant l'origine de ces effets. Les recommandations de l'ISO 21748:2010 sont avant tout indicatives. Il est reconnu que, même si les recommandations présentées constituent une méthode valable d'évaluation de l'incertitude à de nombreux égards, d'autres méthodes appropriées peuvent aussi être adoptées. En général, il est entendu que les références faites dans l'ISO 21748:2010 à des résultats, méthodes et processus de mesure s'appliquent également à des résultats, méthodes et processus d'essai.
Napotek za uporabo ocen ponovljivosti, obnovljivosti in pravilnosti pri ocenjevanju merilne negotovosti
Mednarodni standard vsebuje napotke za: – oceno merilnih negotovosti z uporabo podatkov, pridobljenih s študijami, izvedenimi v skladu s standardom ISO 5725-2:1994; – primerjavo rezultatov medlaboratorijske študije z merilno negotovostjo, pridobljenih z uporabo uradnih načel širjenja negotovosti (glej točko 13). Standard ISO 5725-3:1994 zagotavlja dodatne modele za študije z vmesno natančnostjo. Čeprav se lahko za uporabo takih razširjenih modelov uporabi enak splošni pristop, pa ocena negotovosti z uporabo teh delov ni vključena v ta mednarodni standard. Ta mednarodni standard se uporablja za vsa merilna in preskusna področja, kadar je treba določiti negotovost, povezano z rezultatom. Ta mednarodni standard ne opisuje uporabe podatkov o ponovljivosti v odsotnosti podatkov o obnovljivosti. Ta mednarodni standard predvideva, da so prepoznani, nezanemarljivi sistematični učinki popravljeni, in sicer z uporabo številčne korekcije kot del merilne metode ali s preiskavo in odpravo vzroka učinka. Priporočila v tem mednarodnem standardu so mišljena zlasti kot napotki. Čeprav predstavljena priporočila zagotavljajo veljaven pristop k oceni negotovosti za številne namene, je treba priznati, da je mogoče sprejeti tudi druge ustrezne pristope. Na splošno se običajno šteje, da se sklicevanja na merilne rezultate, metode in procese v tem mednarodnem standardu uporabljajo tudi za preskusne rezultate, metode in procese.
General Information
Relations
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 21748
First edition
2010-11-01
Guidance for the use of repeatability,
reproducibility and trueness estimates in
measurement uncertainty estimation
Lignes directrices relatives à l'utilisation d'estimations de la répétabilité,
de la reproductibilité et de la justesse dans l'évaluation de l'incertitude
de mesure
Reference number
ISO 21748:2010(E)
©
ISO 2010
---------------------- Page: 1 ----------------------
ISO 21748:2010(E)
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat
accepts no liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In
the unlikely event that a problem relating to it is found, please inform the Central Secretariat at the address given below.
COPYRIGHT PROTECTED DOCUMENT
© ISO 2010
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2010 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 21748:2010(E)
Contents Page
Foreword .iv
Introduction.v
1 Scope.1
2 Terms and definitions .1
3 Symbols.4
4 Principles .7
4.1 Individual results and measurement process performance .7
4.2 Applicability of reproducibility data .7
4.3 Basic equations for the statistical model .8
4.4 Repeatability data.9
5 Evaluating uncertainty using repeatability, reproducibility and trueness estimates .9
5.1 Procedure for evaluating measurement uncertainty.9
5.2 Differences between expected and actual precision.9
6 Establishing the relevance of method performance data to measurement results from a
particular measurement process.10
6.1 General .10
6.2 Demonstrating control of the laboratory component of bias .10
6.3 Verification of repeatability .12
6.4 Continued verification of performance .13
7 Establishing relevance to the test item.13
7.1 General .13
7.2 Sampling .13
7.3 Sample preparation and pre-treatment .14
7.4 Changes in test-item type.14
7.5 Variation of uncertainty with level of response .14
8 Additional factors.15
9 General expression for combined standard uncertainty .15
10 Uncertainty budgets based on collaborative study data .16
11 Evaluation of uncertainty for a combined result.17
12 Expression of uncertainty information .18
12.1 General expression .18
12.2 Choice of coverage factor .18
13 Comparison of method performance figures and uncertainty data.18
13.1 Basic assumptions for comparison .18
13.2 Comparison procedure.19
13.3 Reasons for differences.19
Annex A (informative) Approaches to uncertainty estimation.20
Annex B (informative) Experimental uncertainty evaluation.25
Annex C (informative) Examples of uncertainty calculations .26
Bibliography.37
© ISO 2010 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 21748:2010(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 21748 was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,
Subcommittee SC 6, Measurement methods and results.
This first edition cancels and replaces ISO/TS 21748:2004, which has been technically revised.
iv © ISO 2010 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 21748:2010(E)
Introduction
Knowledge of the uncertainty associated with measurement results is essential to the interpretation of the
results. Without quantitative assessments of uncertainty, it is impossible to decide whether observed
differences between results reflect more than experimental variability, whether test items comply with
specifications, or whether laws based on limits have been broken. Without information on uncertainty, there is
a risk of misinterpretation of results. Incorrect decisions taken on such a basis may result in unnecessary
expenditure in industry, incorrect prosecution in law, or adverse health or social consequences.
Laboratories operating under ISO/IEC 17025 accreditation and related systems are accordingly required to
evaluate measurement uncertainty for measurement and test results and report the uncertainty where relevant.
The Guide to the expression of uncertainty in measurement (GUM), published by ISO/IEC as
ISO/IEC Guide 98-3:2008, is a widely adopted standard approach. However, it applies to situations where a
model of the measurement process is available. A very wide range of standard test methods is, however,
subjected to collaborative study in accordance with ISO 5725-2:1994. This International Standard provides an
appropriate and economic methodology for estimating uncertainty associated with the results of these
methods, which complies fully with the relevant principles of the GUM, whilst taking account of method
performance data obtained by collaborative study.
The general approach used in this International Standard requires that
⎯ estimates of the repeatability, reproducibility and trueness of the method in use, obtained by collaborative
study as described in ISO 5725-2:1994, be available from published information about the test method in
use. These provide estimates of the intra- and inter-laboratory components of variance, together with an
estimate of uncertainty associated with the trueness of the method;
⎯ the laboratory confirms that its implementation of the test method is consistent with the established
performance of the test method by checking its own bias and precision. This confirms that the published
data are applicable to the results obtained by the laboratory;
⎯ any influences on the measurement results that were not adequately covered by the collaborative study
be identified and the variance associated with the results that could arise from these effects be quantified.
An uncertainty estimate is made by combining the relevant variance estimates in the manner prescribed by
the GUM.
The general principle of using reproducibility data in uncertainty evaluation is sometimes called a “top-down”
approach.
The dispersion of results obtained in a collaborative study is often also usefully compared with measurement
uncertainty estimates obtained using GUM procedures as a test of full understanding of the method. Such
comparisons will be more effective given a consistent methodology for estimating the same parameter using
collaborative study data.
© ISO 2010 – All rights reserved v
---------------------- Page: 5 ----------------------
INTERNATIONAL STANDARD ISO 21748:2010(E)
Guidance for the use of repeatability, reproducibility and
trueness estimates in measurement uncertainty estimation
1 Scope
The International Standard gives guidance for
⎯ evaluation of measurement uncertainties using data obtained from studies conducted in accordance with
ISO 5725-2:1994;
⎯ comparison of collaborative study results with measurement uncertainty (MU) obtained using formal
principles of uncertainty propagation (see Clause 13).
ISO 5725-3:1994 provides additional models for studies of intermediate precision. However, while the same
general approach may be applied to the use of such extended models, uncertainty evaluation using these
models is not incorporated in the present International Standard.
This International Standard is applicable in all measurement and test fields where an uncertainty associated
with a result has to be determined.
This International Standard does not describe the application of repeatability data in the absence of
reproducibility data.
This International Standard assumes that recognized, non-negligible systematic effects are corrected, either
by applying a numerical correction as part of the method of measurement, or by investigation and removal of
the cause of the effect.
The recommendations in this International Standard are primarily for guidance. It is recognized that while the
recommendations presented do form a valid approach to the evaluation of uncertainty for many purposes, it is
also possible to adopt other suitable approaches.
In general, references to measurement results, methods and processes in this International Standard are
normally understood to apply also to testing results, methods and processes.
2 Terms and definitions
For the purposes of this document, the following terms and definitions apply. In addition, reference is made to
“intermediate precision conditions”, which are discussed in detail in ISO 5725-3:1994.
2.1
bias
difference between the expectation of a test result or measurement result and a true value
NOTE 1 Bias is the total systematic error as contrasted to random error. There may be one or more systematic error
components contributing to the bias. A larger systematic difference from the true value is reflected by a larger bias value.
NOTE 2 The bias of a measuring instrument is normally estimated by averaging the error of indication over an
appropriate number of repeated measurements. The error of indication is the “indication of a measuring instrument minus
a true value of the corresponding input quantity”.
NOTE 3 In practice, the accepted reference value is substituted for the true value.
[ISO 3534-2:2006, definition 3.3.2]
© ISO 2010 – All rights reserved 1
---------------------- Page: 6 ----------------------
ISO 21748:2010(E)
2.2
combined standard uncertainty
u(y)
standard uncertainty of the result of a measurement when that result is obtained from the values of a number
of other quantities, equal to the positive square root of a sum of terms, the terms being the variances or
covariances of these other quantities weighted according to how the measurement result varies with changes
in these quantities
[ISO/IEC Guide 98-3:2008, definition 2.3.4]
2.3
coverage factor
k
numerical factor used as a multiplier of the combined standard uncertainty in order to obtain an expanded
uncertainty
NOTE A coverage factor, k, is typically in the range 2 to 3.
[ISO/IEC Guide 98-3:2008, definition 2.3.6]
2.4
expanded uncertainty
U
quantity defining an interval about a result of a measurement expected to encompass a large fraction of the
distribution of values that could reasonably be attributed to the measurand
NOTE 1 The fraction may be regarded as the coverage probability or level of confidence of the interval.
NOTE 2 To associate a specific level of confidence with the interval defined by the expanded uncertainty requires
explicit or implicit assumptions regarding the probability distribution characterized by the measurement result and its
combined standard uncertainty. The level of confidence that may be attributed to this interval can be known only to the
extent to which such assumptions can be justified.
NOTE 3 Expanded uncertainty is termed overall uncertainty in paragraph 5 of Recommendation INC-1 (1980).
[ISO/IEC Guide 98-3:2008, definition 2.3.5]
2.5
precision
closeness of agreement between independent test/measurement results obtained under stipulated conditions
NOTE 1 Precision depends only on the distribution of random errors and does not relate to the true value or the
specified value.
NOTE 2 The measure of precision is usually expressed in terms of imprecision and computed as a standard deviation
of the test results or measurement results. Less precision is reflected by a larger standard deviation.
NOTE 3 Quantitative measures of precision depend critically on the stipulated conditions. Repeatability conditions and
reproducibility conditions are particular sets of extreme stipulated conditions.
[ISO 3534-2:2006, definition 3.3.4]
2.6
repeatability
precision under repeatability conditions
NOTE Repeatability can be expressed quantitatively in terms of the dispersion characteristics of the results.
[ISO 3534-2:2006, definition 3.3.5]
2 © ISO 2010 – All rights reserved
---------------------- Page: 7 ----------------------
ISO 21748:2010(E)
2.7
repeatability conditions
observation conditions where independent test/measurement results are obtained with the same method on
identical test/measurement items in the same test or measuring facility by the same operator using the same
equipment within short intervals of time
NOTE Repeatability conditions include:
⎯ the same measurement procedure or test procedure;
⎯ the same operator;
⎯ the same measuring or test equipment used under the same conditions;
⎯ the same location;
⎯ repetition over a short period of time.
[ISO 3534-2:2006, definition 3.3.6]
2.8
repeatability standard deviation
standard deviation of test results or measurement results obtained under repeatability conditions
NOTE 1 It is a measure of the dispersion of the distribution of test or measurement results under repeatability
conditions.
NOTE 2 Similarly, “repeatability variance” and “repeatability coefficient of variation” can be defined and used as
measures of the dispersion of test or measurement results under repeatability conditions.
[ISO 3534-2:2006, definition 3.3.7]
2.9
reproducibility
precision under reproducibility conditions
NOTE 1 Reproducibility can be expressed quantitatively in terms of the dispersion characteristics of the results.
NOTE 2 Results are usually understood to be corrected results.
[ISO 3534-2:2006, definition 3.3.10]
2.10
reproducibility conditions
observation conditions where independent test/measurement results are obtained with the same method on
identical test/measurement items in different test or measurement facilities with different operators using
different equipment
[ISO 3534-2:2006, definition 3.3.11]
2.11
reproducibility standard deviation
standard deviation of test results or measurement results obtained under reproducibility conditions
NOTE 1 It is a measure of the dispersion of the distribution of test or measurement results under reproducibility
conditions.
NOTE 2 Similarly, “reproducibility variance” and “reproducibility coefficient of variation” can be defined and used as
measures of the dispersion of test or measurement results under reproducibility conditions.
[ISO 3534-2:2006, definition 3.3.12]
© ISO 2010 – All rights reserved 3
---------------------- Page: 8 ----------------------
ISO 21748:2010(E)
2.12
standard uncertainty
u(x )
i
uncertainty of the result of a measurement expressed as a standard deviation
[ISO/IEC Guide 98-3:2008, definition 2.3.1]
2.13
trueness
closeness of agreement between the expectation of a test result or a measurement result and a true value
NOTE 1 The measure of trueness is usually expressed in terms of bias.
NOTE 2 Trueness is sometimes referred to as “accuracy of the mean”. This usage is not recommended.
NOTE 3 In practice, the accepted reference value is substituted for the true value.
[ISO 3534-2:2006, definition 3.3.3]
2.14
uncertainty
〈measurement〉 parameter, associated with the result of a measurement, that characterizes the dispersion of
the values that could reasonably be attributed to the measurand
NOTE 1 The parameter may be, for example, a standard deviation (or a given multiple of it), or the half-width of an
interval having a stated level of confidence.
NOTE 2 Uncertainty of measurement comprises, in general, many components. Some of these components may be
evaluated from the statistical distribution of the results of a series of measurements and can be characterized by
experimental standard deviations. Other components, which also can be characterized by standard deviations, are
evaluated from assumed probability distributions based on experience or other information.
NOTE 3 It is understood that the result of the measurement is the best estimate of the value of the measurand, and
that all components of uncertainty, including those arising from systematic effects such as components associated with
corrections and reference standards, contribute to the dispersion.
[ISO/IEC Guide 98-3:2008, definition 2.2.3]
2.15
uncertainty budget
list of sources of uncertainty and their associated standard uncertainties, compiled with a view to evaluating a
combined standard uncertainty associated with a measurement result
NOTE The list often includes additional information such as sensitivity coefficients (change of result with change in a
quantity affecting the result), degrees of freedom for each standard uncertainty, and an identification of the means of
evaluating each standard uncertainty in terms of a Type A or Type B evaluation (see ISO/IEC Guide 98-3:2008).
3 Symbols
a coefficient indicating an intercept in the empirical relationship sˆ =ab+ m
R
B laboratory component of bias
b coefficient indicating a slope in the empirical relationship sˆ =ab+ m
R
d
c coefficient in the empirical relationship sˆ = cm
R
c sensitivity coefficient ∂∂yx/
i i
4 © ISO 2010 – All rights reserved
---------------------- Page: 9 ----------------------
ISO 21748:2010(E)
d
ˆ
d coefficient indicating an exponent in the empirical relationship s = cm
R
e random error under repeatability conditions
k numerical factor used as a multiplier of the combined standard uncertainty u in order to obtain an
expanded uncertainty U
l laboratory number
m mean value of the measurements
N number of contributions included in combined uncertainty calculations
n′ number of contributions incorporated in combined uncertainty calculations in addition to collaborative
study data
n number of replicates by laboratory l in the study of a certified reference material
l
n number of replicate measurements
r
p number of laboratories
Q number of test items from a larger batch
q number of assigned values by consensus during a collaborative study
r correlation coefficient between x and x , in the interval −1 to +1
ij i j
s between-group component of variance expressed as a standard deviation
b
2
s between-group component of variance
b
s estimated, or experimental, standard deviation of results obtained by repeated measurement on a
D
reference material used for checking control of bias
s uncertainty associated with the inhomogeneity of the sample
inh
2
s component of variance associated with the inhomogeneity of the sample
inh
s estimated repeatability standard deviation with ν degrees of freedom for laboratory l during verification
l l
of repeatability
s experimental or estimated inter-laboratory standard deviation
L
sˆ adjusted estimate of standard deviation associated with B where s is dependent on the response
L L
2
s estimated variance of B
L
s estimate of intra-laboratory standard deviation; the estimated standard deviation for e
r
′
s adjusted estimate of intra-laboratory standard deviation, where the contribution is dependent on the
r
response
2
s estimated variance of e
r
s estimated reproducibility standard deviation
R
′
s estimate of the reproducibility standard deviation adjusted for laboratory estimate of repeatability
R
standard deviation
© ISO 2010 – All rights reserved 5
---------------------- Page: 10 ----------------------
ISO 21748:2010(E)
ˆ
s adjusted estimate of reproducibility standard deviation calculated from an empirical model, where the
R
contributions are dependent on the response
s estimate of intra-laboratory standard deviation derived from replicates or other repeatability studies
w
2
s estimated intra-group component of variance (often an intra-laboratory component of variance)
w
ˆ
s estimated standard deviation of bias δ measured in a collaborative study
ˆ
δ
s(Δ ) laboratory standard deviation of differences during a comparison of a routine method with a definitive
y
method or with values assigned by consensus
ˆ
()δ
u uncertainty associated with δ due to the uncertainty of estimating δ by measuring a reference
measurement standard or reference material with certified value μˆ
μˆ ) uncertainty associated with the certified value μˆ
u(
u(x ) uncertainty associated with the input value x ; also uncertainty associated with x′ where x and x′ differ
i i i i i
only by a constant
22
u(y) combined standard uncertainty associated with y where uy() = c u (x )
∑ii
in=1,
u (y) contribution to combined uncertainty in y associated with the value x . In terms of the definition of u(y)
i i
above, u (y) = c u(x )
i i i
u(y ) combined standard uncertainty associated with result or assigned value y
i i
2
u(Y) combined uncertainty for the result Y = f(y , y , .) where uY() = ⎡c u(y )⎤
1 2 ∑ ⎣ii ⎦
i
2
u (y) combined standard uncertainty associated with y, expressed as a variance
u uncertainty associated with sample inhomogeneity
inh
U expanded uncertainty, equal to k times the standard uncertainty u
U(y) expanded uncertainty in y where U(y) = ku(y), where k is a coverage factor
x value of the ith input quantity in the determination of a result
i
x′ deviation of the ith input value from the nominal value of x
i
Y combined result formed as a function of other results y
i
y result for test item i from the definitive method during a comparison of methods or assigned value in a
i
comparison with values assigned by consensus
yˆ result for test item i from the routine test method during a comparison of methods
i
y assigned value for proficiency testing
0
Δ laboratory bias
Δ estimate of bias of laboratory l, equal to the laboratory mean, m, minus the certified value, μˆ
l
Δ mean laboratory bias during a comparison of a routine method with a definitive method or with values
y
assigned by consensus
δ bias intrinsic to the measurement method in use
6 © ISO 2010 – All rights reserved
---------------------- Page: 11 ----------------------
ISO 21748:2010(E)
ˆ
δ estimated or measured bias
μ unknown expectation of the ideal result
μˆ certified value of a reference material
σ standard deviation for proficiency testing
0
σ true value of the standard deviation of results obtained by repeated measurement on a reference
D
material used for checking control of bias
σ inter-laboratory standard deviation; standard deviation of B
L
2
σ variance of B; inter-laboratory variance
L
σ intra-laboratory standard deviation; standard deviation of e
r
2
σ variance of e; intra-laboratory variance
r
σ within-group standard deviation
w
σ standard deviation required for adequate performance (see ISO Guide 33)
w0
ν effective degrees of freedom for the standard deviation of, or uncertainty associated with, a result y
eff i
ν degrees of freedom associated with the ith contribution to uncertainty
i
ν degrees of freedom associated with an estimate s of the standard deviation for laboratory l during
l l
verification of repeatability
4 Principles
4.1 Individual results and measurement process performance
4.1.1 Measurement uncertainty relates to individual results. Repeatability, reproducibility and bias, by
contrast, relate to the performance of a measurement or testing process. For studies under all parts of
ISO 5725, the measurement or testing process will be a single measurement method, used by all laboratories
taking part in the study. Note that for the purposes of this International Standard, the measurement method is
assumed to be implemented in the form of a single detailed measurement procedure (as defined in
ISO/IEC Guide 99:2007, 2.6). It is implicit in this International Standard that process-performance figures
derived from method-performance studies are relevant to all individual measurement results produced by the
process. It will be seen that this assumption requires supporting evidence in the form of appropriate quality
control and assurance data for the measurement process (Clause 6).
4.1.2 It will be seen below that differences between individual test items may additionally need to be taken
into account, but, with that caveat, it is unnecessary to undertake individual and detailed uncertainty studies
for every test item for a w
...
SLOVENSKI STANDARD
SIST ISO 21748:2014
01-januar-2014
1DGRPHãþD
SIST-TS ISO/TS 21748:2006
Napotek za uporabo ocen ponovljivosti, obnovljivosti in pravilnosti pri
ocenjevanju merilne negotovosti
Guidance for the use of repeatability, reproducibility and trueness estimates in
measurement uncertainty estimation
Lignes directrices relatives à l'utilisation d'estimations de la répétabilité, de la
reproductibilité et de la justesse dans l'évaluation de l'incertitude de mesure
Ta slovenski standard je istoveten z: ISO 21748:2010
ICS:
17.020 Meroslovje in merjenje na Metrology and measurement
splošno in general
SIST ISO 21748:2014 en,fr
2003-01.Slovenski inštitut za standardizacijo. Razmnoževanje celote ali delov tega standarda ni dovoljeno.
---------------------- Page: 1 ----------------------
SIST ISO 21748:2014
---------------------- Page: 2 ----------------------
SIST ISO 21748:2014
INTERNATIONAL ISO
STANDARD 21748
First edition
2010-11-01
Guidance for the use of repeatability,
reproducibility and trueness estimates in
measurement uncertainty estimation
Lignes directrices relatives à l'utilisation d'estimations de la répétabilité,
de la reproductibilité et de la justesse dans l'évaluation de l'incertitude
de mesure
Reference number
ISO 21748:2010(E)
©
ISO 2010
---------------------- Page: 3 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat
accepts no liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In
the unlikely event that a problem relating to it is found, please inform the Central Secretariat at the address given below.
COPYRIGHT PROTECTED DOCUMENT
© ISO 2010
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2010 – All rights reserved
---------------------- Page: 4 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
Contents Page
Foreword .iv
Introduction.v
1 Scope.1
2 Terms and definitions .1
3 Symbols.4
4 Principles .7
4.1 Individual results and measurement process performance .7
4.2 Applicability of reproducibility data .7
4.3 Basic equations for the statistical model .8
4.4 Repeatability data.9
5 Evaluating uncertainty using repeatability, reproducibility and trueness estimates .9
5.1 Procedure for evaluating measurement uncertainty.9
5.2 Differences between expected and actual precision.9
6 Establishing the relevance of method performance data to measurement results from a
particular measurement process.10
6.1 General .10
6.2 Demonstrating control of the laboratory component of bias .10
6.3 Verification of repeatability .12
6.4 Continued verification of performance .13
7 Establishing relevance to the test item.13
7.1 General .13
7.2 Sampling .13
7.3 Sample preparation and pre-treatment .14
7.4 Changes in test-item type.14
7.5 Variation of uncertainty with level of response .14
8 Additional factors.15
9 General expression for combined standard uncertainty .15
10 Uncertainty budgets based on collaborative study data .16
11 Evaluation of uncertainty for a combined result.17
12 Expression of uncertainty information .18
12.1 General expression .18
12.2 Choice of coverage factor .18
13 Comparison of method performance figures and uncertainty data.18
13.1 Basic assumptions for comparison .18
13.2 Comparison procedure.19
13.3 Reasons for differences.19
Annex A (informative) Approaches to uncertainty estimation.20
Annex B (informative) Experimental uncertainty evaluation.25
Annex C (informative) Examples of uncertainty calculations .26
Bibliography.37
© ISO 2010 – All rights reserved iii
---------------------- Page: 5 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 21748 was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,
Subcommittee SC 6, Measurement methods and results.
This first edition cancels and replaces ISO/TS 21748:2004, which has been technically revised.
iv © ISO 2010 – All rights reserved
---------------------- Page: 6 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
Introduction
Knowledge of the uncertainty associated with measurement results is essential to the interpretation of the
results. Without quantitative assessments of uncertainty, it is impossible to decide whether observed
differences between results reflect more than experimental variability, whether test items comply with
specifications, or whether laws based on limits have been broken. Without information on uncertainty, there is
a risk of misinterpretation of results. Incorrect decisions taken on such a basis may result in unnecessary
expenditure in industry, incorrect prosecution in law, or adverse health or social consequences.
Laboratories operating under ISO/IEC 17025 accreditation and related systems are accordingly required to
evaluate measurement uncertainty for measurement and test results and report the uncertainty where relevant.
The Guide to the expression of uncertainty in measurement (GUM), published by ISO/IEC as
ISO/IEC Guide 98-3:2008, is a widely adopted standard approach. However, it applies to situations where a
model of the measurement process is available. A very wide range of standard test methods is, however,
subjected to collaborative study in accordance with ISO 5725-2:1994. This International Standard provides an
appropriate and economic methodology for estimating uncertainty associated with the results of these
methods, which complies fully with the relevant principles of the GUM, whilst taking account of method
performance data obtained by collaborative study.
The general approach used in this International Standard requires that
⎯ estimates of the repeatability, reproducibility and trueness of the method in use, obtained by collaborative
study as described in ISO 5725-2:1994, be available from published information about the test method in
use. These provide estimates of the intra- and inter-laboratory components of variance, together with an
estimate of uncertainty associated with the trueness of the method;
⎯ the laboratory confirms that its implementation of the test method is consistent with the established
performance of the test method by checking its own bias and precision. This confirms that the published
data are applicable to the results obtained by the laboratory;
⎯ any influences on the measurement results that were not adequately covered by the collaborative study
be identified and the variance associated with the results that could arise from these effects be quantified.
An uncertainty estimate is made by combining the relevant variance estimates in the manner prescribed by
the GUM.
The general principle of using reproducibility data in uncertainty evaluation is sometimes called a “top-down”
approach.
The dispersion of results obtained in a collaborative study is often also usefully compared with measurement
uncertainty estimates obtained using GUM procedures as a test of full understanding of the method. Such
comparisons will be more effective given a consistent methodology for estimating the same parameter using
collaborative study data.
© ISO 2010 – All rights reserved v
---------------------- Page: 7 ----------------------
SIST ISO 21748:2014
---------------------- Page: 8 ----------------------
SIST ISO 21748:2014
INTERNATIONAL STANDARD ISO 21748:2010(E)
Guidance for the use of repeatability, reproducibility and
trueness estimates in measurement uncertainty estimation
1 Scope
The International Standard gives guidance for
⎯ evaluation of measurement uncertainties using data obtained from studies conducted in accordance with
ISO 5725-2:1994;
⎯ comparison of collaborative study results with measurement uncertainty (MU) obtained using formal
principles of uncertainty propagation (see Clause 13).
ISO 5725-3:1994 provides additional models for studies of intermediate precision. However, while the same
general approach may be applied to the use of such extended models, uncertainty evaluation using these
models is not incorporated in the present International Standard.
This International Standard is applicable in all measurement and test fields where an uncertainty associated
with a result has to be determined.
This International Standard does not describe the application of repeatability data in the absence of
reproducibility data.
This International Standard assumes that recognized, non-negligible systematic effects are corrected, either
by applying a numerical correction as part of the method of measurement, or by investigation and removal of
the cause of the effect.
The recommendations in this International Standard are primarily for guidance. It is recognized that while the
recommendations presented do form a valid approach to the evaluation of uncertainty for many purposes, it is
also possible to adopt other suitable approaches.
In general, references to measurement results, methods and processes in this International Standard are
normally understood to apply also to testing results, methods and processes.
2 Terms and definitions
For the purposes of this document, the following terms and definitions apply. In addition, reference is made to
“intermediate precision conditions”, which are discussed in detail in ISO 5725-3:1994.
2.1
bias
difference between the expectation of a test result or measurement result and a true value
NOTE 1 Bias is the total systematic error as contrasted to random error. There may be one or more systematic error
components contributing to the bias. A larger systematic difference from the true value is reflected by a larger bias value.
NOTE 2 The bias of a measuring instrument is normally estimated by averaging the error of indication over an
appropriate number of repeated measurements. The error of indication is the “indication of a measuring instrument minus
a true value of the corresponding input quantity”.
NOTE 3 In practice, the accepted reference value is substituted for the true value.
[ISO 3534-2:2006, definition 3.3.2]
© ISO 2010 – All rights reserved 1
---------------------- Page: 9 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
2.2
combined standard uncertainty
u(y)
standard uncertainty of the result of a measurement when that result is obtained from the values of a number
of other quantities, equal to the positive square root of a sum of terms, the terms being the variances or
covariances of these other quantities weighted according to how the measurement result varies with changes
in these quantities
[ISO/IEC Guide 98-3:2008, definition 2.3.4]
2.3
coverage factor
k
numerical factor used as a multiplier of the combined standard uncertainty in order to obtain an expanded
uncertainty
NOTE A coverage factor, k, is typically in the range 2 to 3.
[ISO/IEC Guide 98-3:2008, definition 2.3.6]
2.4
expanded uncertainty
U
quantity defining an interval about a result of a measurement expected to encompass a large fraction of the
distribution of values that could reasonably be attributed to the measurand
NOTE 1 The fraction may be regarded as the coverage probability or level of confidence of the interval.
NOTE 2 To associate a specific level of confidence with the interval defined by the expanded uncertainty requires
explicit or implicit assumptions regarding the probability distribution characterized by the measurement result and its
combined standard uncertainty. The level of confidence that may be attributed to this interval can be known only to the
extent to which such assumptions can be justified.
NOTE 3 Expanded uncertainty is termed overall uncertainty in paragraph 5 of Recommendation INC-1 (1980).
[ISO/IEC Guide 98-3:2008, definition 2.3.5]
2.5
precision
closeness of agreement between independent test/measurement results obtained under stipulated conditions
NOTE 1 Precision depends only on the distribution of random errors and does not relate to the true value or the
specified value.
NOTE 2 The measure of precision is usually expressed in terms of imprecision and computed as a standard deviation
of the test results or measurement results. Less precision is reflected by a larger standard deviation.
NOTE 3 Quantitative measures of precision depend critically on the stipulated conditions. Repeatability conditions and
reproducibility conditions are particular sets of extreme stipulated conditions.
[ISO 3534-2:2006, definition 3.3.4]
2.6
repeatability
precision under repeatability conditions
NOTE Repeatability can be expressed quantitatively in terms of the dispersion characteristics of the results.
[ISO 3534-2:2006, definition 3.3.5]
2 © ISO 2010 – All rights reserved
---------------------- Page: 10 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
2.7
repeatability conditions
observation conditions where independent test/measurement results are obtained with the same method on
identical test/measurement items in the same test or measuring facility by the same operator using the same
equipment within short intervals of time
NOTE Repeatability conditions include:
⎯ the same measurement procedure or test procedure;
⎯ the same operator;
⎯ the same measuring or test equipment used under the same conditions;
⎯ the same location;
⎯ repetition over a short period of time.
[ISO 3534-2:2006, definition 3.3.6]
2.8
repeatability standard deviation
standard deviation of test results or measurement results obtained under repeatability conditions
NOTE 1 It is a measure of the dispersion of the distribution of test or measurement results under repeatability
conditions.
NOTE 2 Similarly, “repeatability variance” and “repeatability coefficient of variation” can be defined and used as
measures of the dispersion of test or measurement results under repeatability conditions.
[ISO 3534-2:2006, definition 3.3.7]
2.9
reproducibility
precision under reproducibility conditions
NOTE 1 Reproducibility can be expressed quantitatively in terms of the dispersion characteristics of the results.
NOTE 2 Results are usually understood to be corrected results.
[ISO 3534-2:2006, definition 3.3.10]
2.10
reproducibility conditions
observation conditions where independent test/measurement results are obtained with the same method on
identical test/measurement items in different test or measurement facilities with different operators using
different equipment
[ISO 3534-2:2006, definition 3.3.11]
2.11
reproducibility standard deviation
standard deviation of test results or measurement results obtained under reproducibility conditions
NOTE 1 It is a measure of the dispersion of the distribution of test or measurement results under reproducibility
conditions.
NOTE 2 Similarly, “reproducibility variance” and “reproducibility coefficient of variation” can be defined and used as
measures of the dispersion of test or measurement results under reproducibility conditions.
[ISO 3534-2:2006, definition 3.3.12]
© ISO 2010 – All rights reserved 3
---------------------- Page: 11 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
2.12
standard uncertainty
u(x )
i
uncertainty of the result of a measurement expressed as a standard deviation
[ISO/IEC Guide 98-3:2008, definition 2.3.1]
2.13
trueness
closeness of agreement between the expectation of a test result or a measurement result and a true value
NOTE 1 The measure of trueness is usually expressed in terms of bias.
NOTE 2 Trueness is sometimes referred to as “accuracy of the mean”. This usage is not recommended.
NOTE 3 In practice, the accepted reference value is substituted for the true value.
[ISO 3534-2:2006, definition 3.3.3]
2.14
uncertainty
〈measurement〉 parameter, associated with the result of a measurement, that characterizes the dispersion of
the values that could reasonably be attributed to the measurand
NOTE 1 The parameter may be, for example, a standard deviation (or a given multiple of it), or the half-width of an
interval having a stated level of confidence.
NOTE 2 Uncertainty of measurement comprises, in general, many components. Some of these components may be
evaluated from the statistical distribution of the results of a series of measurements and can be characterized by
experimental standard deviations. Other components, which also can be characterized by standard deviations, are
evaluated from assumed probability distributions based on experience or other information.
NOTE 3 It is understood that the result of the measurement is the best estimate of the value of the measurand, and
that all components of uncertainty, including those arising from systematic effects such as components associated with
corrections and reference standards, contribute to the dispersion.
[ISO/IEC Guide 98-3:2008, definition 2.2.3]
2.15
uncertainty budget
list of sources of uncertainty and their associated standard uncertainties, compiled with a view to evaluating a
combined standard uncertainty associated with a measurement result
NOTE The list often includes additional information such as sensitivity coefficients (change of result with change in a
quantity affecting the result), degrees of freedom for each standard uncertainty, and an identification of the means of
evaluating each standard uncertainty in terms of a Type A or Type B evaluation (see ISO/IEC Guide 98-3:2008).
3 Symbols
a coefficient indicating an intercept in the empirical relationship sˆ =ab+ m
R
B laboratory component of bias
b coefficient indicating a slope in the empirical relationship sˆ =ab+ m
R
d
c coefficient in the empirical relationship sˆ = cm
R
c sensitivity coefficient ∂∂yx/
i i
4 © ISO 2010 – All rights reserved
---------------------- Page: 12 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
d
ˆ
d coefficient indicating an exponent in the empirical relationship s = cm
R
e random error under repeatability conditions
k numerical factor used as a multiplier of the combined standard uncertainty u in order to obtain an
expanded uncertainty U
l laboratory number
m mean value of the measurements
N number of contributions included in combined uncertainty calculations
n′ number of contributions incorporated in combined uncertainty calculations in addition to collaborative
study data
n number of replicates by laboratory l in the study of a certified reference material
l
n number of replicate measurements
r
p number of laboratories
Q number of test items from a larger batch
q number of assigned values by consensus during a collaborative study
r correlation coefficient between x and x , in the interval −1 to +1
ij i j
s between-group component of variance expressed as a standard deviation
b
2
s between-group component of variance
b
s estimated, or experimental, standard deviation of results obtained by repeated measurement on a
D
reference material used for checking control of bias
s uncertainty associated with the inhomogeneity of the sample
inh
2
s component of variance associated with the inhomogeneity of the sample
inh
s estimated repeatability standard deviation with ν degrees of freedom for laboratory l during verification
l l
of repeatability
s experimental or estimated inter-laboratory standard deviation
L
sˆ adjusted estimate of standard deviation associated with B where s is dependent on the response
L L
2
s estimated variance of B
L
s estimate of intra-laboratory standard deviation; the estimated standard deviation for e
r
′
s adjusted estimate of intra-laboratory standard deviation, where the contribution is dependent on the
r
response
2
s estimated variance of e
r
s estimated reproducibility standard deviation
R
′
s estimate of the reproducibility standard deviation adjusted for laboratory estimate of repeatability
R
standard deviation
© ISO 2010 – All rights reserved 5
---------------------- Page: 13 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
ˆ
s adjusted estimate of reproducibility standard deviation calculated from an empirical model, where the
R
contributions are dependent on the response
s estimate of intra-laboratory standard deviation derived from replicates or other repeatability studies
w
2
s estimated intra-group component of variance (often an intra-laboratory component of variance)
w
ˆ
s estimated standard deviation of bias δ measured in a collaborative study
ˆ
δ
s(Δ ) laboratory standard deviation of differences during a comparison of a routine method with a definitive
y
method or with values assigned by consensus
ˆ
()δ
u uncertainty associated with δ due to the uncertainty of estimating δ by measuring a reference
measurement standard or reference material with certified value μˆ
μˆ ) uncertainty associated with the certified value μˆ
u(
u(x ) uncertainty associated with the input value x ; also uncertainty associated with x′ where x and x′ differ
i i i i i
only by a constant
22
u(y) combined standard uncertainty associated with y where uy() = c u (x )
∑ii
in=1,
u (y) contribution to combined uncertainty in y associated with the value x . In terms of the definition of u(y)
i i
above, u (y) = c u(x )
i i i
u(y ) combined standard uncertainty associated with result or assigned value y
i i
2
u(Y) combined uncertainty for the result Y = f(y , y , .) where uY() = ⎡c u(y )⎤
1 2 ∑ ⎣ii ⎦
i
2
u (y) combined standard uncertainty associated with y, expressed as a variance
u uncertainty associated with sample inhomogeneity
inh
U expanded uncertainty, equal to k times the standard uncertainty u
U(y) expanded uncertainty in y where U(y) = ku(y), where k is a coverage factor
x value of the ith input quantity in the determination of a result
i
x′ deviation of the ith input value from the nominal value of x
i
Y combined result formed as a function of other results y
i
y result for test item i from the definitive method during a comparison of methods or assigned value in a
i
comparison with values assigned by consensus
yˆ result for test item i from the routine test method during a comparison of methods
i
y assigned value for proficiency testing
0
Δ laboratory bias
Δ estimate of bias of laboratory l, equal to the laboratory mean, m, minus the certified value, μˆ
l
Δ mean laboratory bias during a comparison of a routine method with a definitive method or with values
y
assigned by consensus
δ bias intrinsic to the measurement method in use
6 © ISO 2010 – All rights reserved
---------------------- Page: 14 ----------------------
SIST ISO 21748:2014
ISO 21748:2010(E)
ˆ
δ estimated or measured bias
μ unknown expectation of the ideal result
μˆ certified value of a reference material
σ standard deviation for proficiency testing
0
σ true value of the standard deviation of results obtained by repeated measurement on a reference
D
material used for checking control of bias
σ inter-laboratory standard deviation; standard deviation of B
L
2
σ variance of B; inter-laboratory variance
L
σ intra-laboratory standard deviation; standard deviation of e
r
2
σ variance of e; intra-laboratory variance
r
σ within-group standard deviation
w
σ standard deviation required for adequate performance (see ISO Guide 33)
w0
ν effective degrees of freedom for the standard deviation of, or uncertainty associated with, a result y
eff i
ν degrees of freedom associated with the ith contribution to uncertainty
i
ν degrees of freedom associated with an estimate s of the standard deviation for laboratory l during
l l
verification of repeatability
4 Principle
...
NORME ISO
INTERNATIONALE 21748
Première édition
2010-11-01
Lignes directrices relatives à l'utilisation
d'estimations de la répétabilité, de la
reproductibilité et de la justesse dans
l'évaluation de l'incertitude de mesure
Guidance for the use of repeatability, reproducibility and trueness
estimates in measurement uncertainty estimation
Numéro de référence
ISO 21748:2010(F)
©
ISO 2010
---------------------- Page: 1 ----------------------
ISO 21748:2010(F)
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute
responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation,
veuillez en informer le Secrétariat central à l'adresse donnée ci-dessous.
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2010
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2010 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 21748:2010(F)
Sommaire Page
Avant-propos .iv
Introduction.v
1 Domaine d'application .1
2 Termes et définitions .1
3 Symboles.5
4 Principes .7
4.1 Résultats individuels et performance du processus de mesure.7
4.2 Utilisation des données de reproductibilité.8
4.3 Équations fondamentales pour le modèle statistique.8
4.4 Données de répétabilité.9
5 Évaluation de l'incertitude de mesure à l'aide des estimations de la répétabilité, de la
reproductibilité et de la justesse .9
5.1 Mode opératoire pour l'évaluation de l'incertitude de mesure.9
5.2 Différences entre fidélité attendue et fidélité réelle.10
6 Établissement de la pertinence des données de performance de la méthode aux résultats
de mesure à partir d'un processus de mesure particulier .10
6.1 Généralités .10
6.2 Démonstration du contrôle de la composante du biais imputable au laboratoire .10
6.3 Vérification de la répétabilité .13
6.4 Vérification continue de la performance.13
7 Établissement de la pertinence de l'individu d'essai .14
7.1 Généralités .14
7.2 Échantillonnage.14
7.3 Préparation et traitement préalable des échantillons.14
7.4 Changements du type d'individu d'essai.14
7.5 Variation de l'incertitude avec le niveau de réponse.15
8 Facteurs supplémentaires.15
9 Expression générale pour l'estimation de l'incertitude-type composée .16
10 Budgets d'incertitude fondés sur des données d'essais interlaboratoires .16
11 Évaluation de l'incertitude pour un résultat composé .18
12 Expression de l'information sur l'incertitude .18
12.1 Expression générale .18
12.2 Choix du facteur d'élargissement.18
13 Comparaison des valeurs de performance d'une méthode et des données d'incertitude.19
13.1 Hypothèses de base pour la comparaison .19
13.2 Mode opératoire de comparaison.20
13.3 Raisons des différences .20
Annexe A (informative) Méthodes d'estimation de l'incertitude .21
Annexe B (informative) Évaluation expérimentale de l'incertitude.26
Annexe C (informative) Exemples de calcul de l'incertitude de mesure.27
Bibliographie.38
© ISO 2010 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 21748:2010(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 21748 a été élaborée par le comité technique ISO/TC 69, Application des méthodes statistiques,
sous-comité SC 6, Méthodes et résultats de mesure.
Cette première édition de l'ISO 21748 annule et remplace l'ISO/TS 21748:2004, dont elle constitue une
révision technique.
iv © ISO 2010 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 21748:2010(F)
Introduction
Pour pouvoir interpréter des résultats, il est essentiel de connaître l'incertitude associée aux résultats des
mesures. Sans évaluation quantitative de l'incertitude, il est impossible de décider si les différences
observées entre des résultats dépassent la variabilité expérimentale, si les individus d'essai sont conformes
aux spécifications ou si des lois basées sur des limites ont été enfreintes. Sans information sur l'incertitude, il
existe un risque d'estimation erronée des résultats. Des décisions incorrectes prises sur ces bases peuvent
entraîner des dépenses inutiles pour l'industrie, des poursuites judiciaires inappropriées ou bien des
conséquences néfastes sur la santé ou pour la société.
Par conséquent, les laboratoires accrédités selon l'ISO/CEI 17025 et les systèmes associés sont tenus
d'évaluer l'incertitude de mesure pour leurs résultats d'essai et de mesure et, le cas échéant, d'établir un
rapport sur cette incertitude. Le Guide pour l'expression de l'incertitude de mesure (GUM), publié par
l'ISO/CEI sous la référence Guide ISO/CEI 98-3:2008, constitue une méthode normalisée largement adoptée.
Néanmoins, il s'applique à des situations où un modèle du processus de mesure est disponible. Un très vaste
ensemble de méthodes d'essai normalisées est toutefois l'objet d'essais interlaboratoires selon
l'ISO 5725-2:1994. La présente Norme internationale fournit une méthodologie appropriée et économique
d'estimation de l'incertitude associée aux résultats de ces méthodes, en totale conformité avec les principes
correspondants du GUM, tout en tenant compte des données de performance des méthodes obtenues par un
essai interlaboratoires.
L'approche générale utilisée dans la présente Norme internationale nécessite que:
⎯ les estimations de la répétabilité, de la reproductibilité et de la justesse de la méthode utilisée, obtenues
par des essais interlaboratoires telles que décrites dans l'ISO 5725-2:1994, soient disponibles dans les
informations publiées sur la méthode d'essai utilisée; ces essais interlaboratoires fournissent des
estimations des composantes intralaboratoire et interlaboratoires de la variance, accompagnées d'une
estimation de l'incertitude associée à la justesse de la méthode;
⎯ le laboratoire confirme que la mise en œuvre de la méthode d'essai est cohérente avec la performance
définie de la méthode d'essai, en vérifiant son propre biais et sa propre fidélité; cela confirme que les
données publiées sont applicables aux résultats obtenus par le laboratoire;
⎯ toutes les influences sur les résultats de mesure qui ne sont pas correctement couvertes pour l'essai
interlaboratoires soient identifiées et la variance associée aux résultats qui peut découler de ces effets
soit quantifiée.
Une estimation de l'incertitude est effectuée en combinant les estimations pertinentes de la variance telles
que spécifiées dans le GUM.
Le principe général d'utilisation des données de reproductibilité dans l'évaluation de l'incertitude est parfois
qualifié d'approche «descendante».
À titre d'essai de compréhension globale de la méthode, il peut aussi être utile de comparer la dispersion des
résultats, obtenue dans un essai interlaboratoires, aux estimations de l'incertitude de mesure obtenues en
utilisant les modes opératoires du GUM. Ces comparaisons seront plus efficaces une fois que l'on s'est donné
une méthodologie cohérente d'estimation du même paramètre à partir de données d'un essai interlaboratoires.
© ISO 2010 – Tous droits réservés v
---------------------- Page: 5 ----------------------
NORME INTERNATIONALE ISO 21748:2010(F)
Lignes directrices relatives à l'utilisation d'estimations de la
répétabilité, de la reproductibilité et de la justesse dans
l'évaluation de l'incertitude de mesure
1 Domaine d'application
La présente Norme internationale donne des lignes directrices en vue:
⎯ d'évaluer les incertitudes de mesure à partir de données obtenues lors d'essais interlaboratoires menés
conformément à l'ISO 5725-2:1994;
⎯ de comparer les résultats d'un essai interlaboratoires à l'incertitude de mesure (MU) obtenue en
appliquant des principes formels de propagation de l'incertitude (voir Article 13).
L'ISO 5725-3:1994 fournit des modèles supplémentaires de mesure de la fidélité intermédiaire. Cependant,
bien que la même méthode générale puisse s'appliquer à l'utilisation de ces modèles étendus, l'évaluation de
l'incertitude à partir de ces modèles n'est pas traitée dans la présente Norme internationale.
La présente Norme internationale est applicable dans tous les domaines de mesure et d'essai nécessitant la
détermination d'une incertitude associée à un résultat.
La présente Norme internationale ne décrit pas l'utilisation de données de répétabilité en l'absence de
données de reproductibilité.
La présente Norme internationale suppose que les effets systématiques non négligeables reconnus sont
corrigés, soit en appliquant une correction numérique dans le cadre de la méthode de mesure, soit en
recherchant et en éliminant l'origine de ces effets.
Les recommandations de la présente Norme internationale sont avant tout indicatives. Il est reconnu que,
même si les recommandations présentées constituent une méthode valable d'évaluation de l'incertitude à de
nombreux égards, d'autres méthodes appropriées peuvent aussi être adoptées.
En général, il est entendu que les références faites dans la présente Norme internationale à des résultats,
méthodes et processus de mesure s'appliquent également à des résultats, méthodes et processus d'essai.
2 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s'appliquent. En plus, il est fait
référence aux «conditions intermédiaires de fidélité», traitées en détail dans l'ISO 5725-3:1994.
2.1
biais
différence entre l'espérance mathématique d'un résultat d'essai ou résultat de mesure et une valeur vraie
NOTE 1 Le biais est l'erreur systématique totale par opposition à l'erreur aléatoire. Il peut y avoir une ou plusieurs
composantes d'erreurs systématiques qui contribuent au biais. Une différence systématique importante par rapport à la
valeur vraie est reflétée par une grande valeur du biais.
© ISO 2010 – Tous droits réservés 1
---------------------- Page: 6 ----------------------
ISO 21748:2010(F)
NOTE 2 Le biais (erreur de justesse) d'un instrument de mesure est normalement estimé en prenant la moyenne de
l'erreur d'indication sur un nombre approprié d'observations répétées. L'erreur d'indication est «l'indication d'un instrument
de mesure moins une valeur vraie de la grandeur d'entrée correspondante».
NOTE 3 Dans la pratique, la valeur de référence acceptée remplace la valeur vraie.
[ISO 3534-2:2006, définition 3.3.2]
2.2
incertitude-type composée
u(y)
incertitude-type du résultat d'un mesurage, lorsque ce résultat est obtenu à partir des valeurs d'autres
grandeurs, égale à la racine carrée d'une somme de termes, ces termes étant les variances ou covariances
de ces autres grandeurs, pondérées selon la variation du résultat de mesure en fonction de ces grandeurs
[Guide ISO/CEI 98-3:2008, définition 2.3.4]
2.3
facteur d'élargissement
k
facteur numérique utilisé comme multiplicateur de l'incertitude-type composée pour obtenir l'incertitude élargie
NOTE Un facteur d'élargissement, k, a sa valeur typiquement comprise entre 2 et 3.
[Guide ISO/CEI 98-3:2008, définition 2.3.6]
2.4
incertitude élargie
U
grandeur définissant un intervalle autour du résultat d'un mesurage, dont on puisse s'attendre à ce qu'il
comprenne une fraction élevée de la distribution des valeurs qui pourraient être attribuées raisonnablement
au mesurande
NOTE 1 La fraction peut être considérée comme la probabilité ou le niveau de confiance de l'intervalle.
NOTE 2 L'association d'un niveau de confiance spécifique à l'intervalle défini par l'incertitude élargie nécessite des
hypothèses explicites ou implicites sur la loi de probabilité caractérisée par le résultat de mesure et son incertitude-type
composée. Le niveau de confiance qui peut être attribué à cet intervalle ne peut être connu qu'avec la même validité que
celle qui se rattache à ces hypothèses.
NOTE 3 L'incertitude élargie est appelée incertitude globale au paragraphe 5 de la Recommandation INC-1 (1980).
[Guide ISO/CEI 98-3:2008, définition 2.3.5]
2.5
fidélité
étroitesse d'accord entre des résultats d'essai/de mesure indépendants obtenus sous des conditions stipulées
NOTE 1 La fidélité dépend uniquement de la distribution des erreurs aléatoires et n'a aucune relation avec la valeur
vraie ou la valeur spécifiée.
NOTE 2 La mesure de la fidélité est exprimée en termes d'infidélité et est calculée à partir de l'écart-type des résultats
d'essais ou de mesurage. Une fidélité faible est reflétée par un grand écart-type.
NOTE 3 Les mesures quantitatives de la fidélité dépendent de façon critique des conditions stipulées. Les conditions
de répétabilité et de reproductibilité sont des ensembles particuliers de conditions extrêmes stipulées.
[ISO 3534-2:2006, définition 3.3.4]
2 © ISO 2010 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO 21748:2010(F)
2.6
répétabilité
fidélité sous des conditions de répétabilité
NOTE La répétabilité peut s'exprimer quantitativement à l'aide des caractéristiques de dispersion des résultats.
[ISO 3534-2:2006, définition 3.3.5]
2.7
conditions de répétabilité
conditions où les résultats d'essai/de mesure indépendants sont obtenus par la même méthode sur des
individus d'essai/de mesure identiques sur la même installation d'essai ou de mesure, par le même opérateur,
utilisant le même équipement et pendant un court intervalle de temps
NOTE Les conditions de répétabilité comprennent:
⎯ le même mode opératoire ou procédure d'essai;
⎯ le même opérateur;
⎯ le même instrument de mesure ou d'essai utilisé dans les mêmes conditions;
⎯ le même lieu;
⎯ la répétition durant une courte période de temps.
[ISO 3534-2:2006, définition 3.3.6]
2.8
écart-type de répétabilité
écart-type des résultats d'essai ou résultats de mesure obtenus sous des conditions de répétabilité
NOTE 1 C'est une mesure de la dispersion de la loi des résultats d'essais ou de mesure sous des conditions de
répétabilité.
NOTE 2 On peut définir de façon similaire la «variance de répétabilité» et le «coefficient de variation de répétabilité» et
les utiliser comme mesures de la dispersion des résultats d'essais ou de mesure sous des conditions de répétabilité.
[ISO 3534-2:2006, définition 3.3.7]
2.9
reproductibilité
fidélité sous des conditions de reproductibilité
NOTE 1 La reproductibilité peut s'exprimer quantitativement à l'aide des caractéristiques de dispersion des résultats.
NOTE 2 Les résultats considérés sont habituellement des résultats corrigés.
[ISO 3534-2:2006, définition 3.3.10]
2.10
conditions de reproductibilité
conditions où les résultats d'essai/de mesure indépendants sont obtenus par la même méthode sur des
individus d'essai/de mesure identiques sur différentes installations d'essai ou de mesure avec différents
opérateurs et utilisant des équipements différents
[ISO 3534-2:2006, définition 3.3.11]
2.11
écart-type de reproductibilité
écart-type des résultats d'essai ou résultats de mesure obtenus sous des conditions de reproductibilité
NOTE 1 C'est une mesure de la dispersion de la loi des résultats d'essais ou de mesure sous des conditions de
reproductibilité.
© ISO 2010 – Tous droits réservés 3
---------------------- Page: 8 ----------------------
ISO 21748:2010(F)
NOTE 2 On peut définir de façon similaire la «variance de reproductibilité» et le «coefficient de variation de
reproductibilité» et les utiliser comme mesures de la dispersion des résultats d'essais ou de mesure sous des conditions
de reproductibilité.
[ISO 3534-2:2006, définition 3.3.12]
2.12
incertitude-type
u(x )
i
incertitude du résultat d'un mesurage exprimée sous la forme d'un écart-type
[Guide ISO/CEI 98-3:2008, définition 2.3.1]
2.13
justesse
étroitesse de l'accord entre l'espérance mathématique d'un résultat d'essai ou d'un résultat de mesure et une
valeur vraie
NOTE 1 La mesure de la justesse est généralement exprimée en termes de biais.
NOTE 2 La justesse est parfois appelée «exactitude de la moyenne». Cet usage n'est pas recommandé.
NOTE 3 Dans la pratique, la valeur de référence acceptée remplace la valeur vraie.
[ISO 3534-2:2006, définition 3.3.3]
2.14
incertitude de mesure
〈mesurage〉 paramètre, associé au résultat d'un mesurage, qui caractérise la dispersion des valeurs qui
pourraient raisonnablement être attribuées au mesurande
NOTE 1 Le paramètre peut être, par exemple, un écart-type (ou un multiple de celui-ci) ou la demi-largeur d'un
intervalle de niveau de confiance déterminé.
NOTE 2 L'incertitude de mesure comprend, en général, plusieurs composantes. Certaines peuvent être évaluées à
partir de la distribution statistique des résultats de séries de mesurages et peuvent être caractérisées par des écarts-types
expérimentaux. Les autres composantes, qui peuvent aussi être caractérisées par des écarts-types, sont évaluées en
admettant des lois de probabilité, d'après l'expérience acquise ou d'après d'autres informations.
NOTE 3 Il est entendu que le résultat du mesurage est la meilleure estimation de la valeur du mesurande, et que
toutes les composantes de l'incertitude, y compris celles qui proviennent d'effets systématiques, telles que les
composantes associées aux corrections et aux étalons de référence, contribuent à la dispersion.
[Guide ISO/CEI 98-3:2008, définition 2.2.3]
2.15
budget d'incertitude
liste de sources d'incertitude et de leurs incertitudes-types associées, établie en vue d'évaluer l'incertitude-
type composée associée à un résultat de mesure
NOTE Souvent, cette liste comprend en outre des informations telles que les coefficients de sensibilité (variation du
résultat selon modification d'une grandeur affectant le résultat), les degrés de liberté pour chaque incertitude-type et une
identification des moyens d'évaluer chaque incertitude-type en termes d'évaluation de Type A ou de Type B (voir le
Guide ISO/CEI 98-3:2008).
4 © ISO 2010 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO 21748:2010(F)
3 Symboles
a coefficient indiquant l'ordonnée à l'origine de la relation empirique sˆ =ab+ m
R
B composante laboratoire du biais
b coefficient indiquant une pente de la relation empirique sˆ =ab+ m
R
d
c coefficient dans la relation empirique sˆ = cm
R
c coefficient de sensibilité ∂∂yx/
i i
d
d coefficient indiquant un exposant dans la relation empirique sˆ = cm
R
e erreur aléatoire dans des conditions de répétabilité
k facteur numérique utilisé comme multiplicateur de l'incertitude-type composée u pour obtenir
l'incertitude élargie U
l numéro de laboratoire
m valeur moyenne des mesures
N nombre de contributions comprises dans le calcul d'une incertitude composée
n' nombre de contributions incorporées dans le calcul d'une incertitude composée, en plus des données
d'un essai interlaboratoires
n nombre de répliques du laboratoire l dans l'étude d'un matériau de référence certifié
l
n nombre de mesurages répétés
r
p nombre de laboratoires
Q nombre d'individus d'essai provenant d'un plus grand lot
q nombre de valeurs assignées par consensus dans le cadre d'un essai interlaboratoires
r coefficient de corrélation entre x et x , dans l'intervalle compris entre −1 et +1
ij i j
s composante intergroupes de la variance, exprimée comme un écart-type
b
2
s composante intergroupes de la variance
b
s écart-type, estimé ou expérimental, de résultats obtenus par mesurages répétés sur un matériau de
D
référence utilisé pour vérifier le biais
s incertitude associée à l'inhomogénéité de l'échantillon
inh
2
s composante de la variance associée à l'inhomogénéité de l'échantillon
inh
s écart-type de répétabilité estimé avec ν degrés de liberté pour le laboratoire l pendant la vérification de
l l
la répétabilité
s écart-type interlaboratoires estimé ou expérimental
L
sˆ estimation ajustée de l'écart-type interlaboratoires associé à B dans le cas où s dépend de la réponse
L L
2
s variance estimée de B
L
s estimation de l'écart-type intralaboratoire; écart-type estimé pour e
r
© ISO 2010 – Tous droits réservés 5
---------------------- Page: 10 ----------------------
ISO 21748:2010(F)
′
s estimation ajustée de l'écart-type intralaboratoire, dans le cas où la contribution à l'incertitude dépend
r
de la réponse
2
s variance estimée de e
r
s écart-type de reproductibilité estimé
R
′
s estimation de l'écart-type de reproductibilité ajustée pour une estimation en laboratoire de l'écart-type
R
de répétabilité
ˆ
s estimation ajustée de l'écart-type de reproductibilité, calculé à partir d'un modèle empirique, dans le
R
cas où les contributions dépendent de la réponse
s estimation de l'écart-type intralaboratoire issu de répliques ou d'autres études de répétabilité
w
2
s composante estimée de la variance intragroupe ou intralaboratoire (souvent une composante de la
w
variante intralaboratoire)
ˆ
s écart-type estimé du biais δ mesuré dans le cadre d'un essai interlaboratoires
ˆ
δ
s(Δ ) écart-type de laboratoire des différences dans le cadre d'une comparaison d'une méthode de routine à
y
une méthode d'essai définitive ou à des valeurs assignées par consensus
ˆ
u()δ incertitude associée à δ due à l'incertitude de l'estimation de δ en mesurant un étalon de mesure de
ˆ
référence ou un matériau de référence de valeur certifiée μ
ˆ ˆ
u()μ incertitude associée à la valeur certifiée μ
u(x ) incertitude associée à la valeur d'entrée x ; également incertitude associée à x′ où x et x′ diffèrent
i i i i i
uniquement d'une constante
22
u(y) incertitude-type composée, associée à y, où uy() = c u (x)
∑ii
in=1,
u (y) contribution à l'incertitude composée dans y associée à la valeur x . Selon la définition de u(y) ci-dessus,
i i
u (y) = c u(x )
i i i
u(y ) incertitude-type composée associée au résultat ou à la valeur assignée y
i i
2
u(Y) incertitude composée pour le résultat Y = f(y , y , .) où uY() = ⎡c u(y)⎤
1 2 ∑ ⎣ii ⎦
i
2
u (y) incertitude-type composée associée à y, exprimée comme une variance
u incertitude associée à l'inhomogénéité de l'échantillon
inh
U incertitude élargie, égale à k fois l'incertitude-type u
U(y) incertitude élargie de y, où U(y) = ku(y), où k est un facteur d'élargissement
x valeur de la ième grandeur d'entrée dans la détermination d'un résultat
i
x′ écart de la ième valeur d'entrée par rapport à la valeur nominale de x
i
Y résultat composé exprimé comme une fonction des autres résultats y
i
y résultat de la méthode définitive pour l'individu d'essai i dans le cadre d'une comparaison de méthodes
i
d'essai, ou valeur assignée dans une comparaison avec des valeurs assignées par consensus
yˆ résultat de la méthode de routine pour l'individu d'essai i dans le cadre d'une comparaison de
i
méthodes d'essai
6 © ISO 2010 – Tous droits réservés
---------------------- Page: 11 ----------------------
ISO 21748:2010(F)
y valeur assignée dans le cadre d'un essai d'aptitude
0
Δ biais de laboratoire
ˆ
Δ estimation du biais de laboratoire l, égale à la moyenne de laboratoire, m, moins la valeur certifiée, μ
l
Δ biais moyen de laboratoire dans le cadre d'une comparaison d'une méthode de routine à une méthode
y
d'essai définitive ou à des valeurs assignées par consensus
δ biais intrinsèque de la méthode de mesure utilisée
ˆ
δ biais estimé ou mesuré
μ espérance mathématique inconnue du résultat idéal
μˆ valeur certifiée d'un matériau de référence
σ écart-type dans le cadre d'un essai d'aptitude
0
σ valeur vraie de l'écart-type de résultats obtenus par mesurages répétés sur un matériau de référence
D
utilisé pour la vérification du biais
σ écart-type interlaboratoires; écart-type de B
L
2
σ variance de B; variance interlaboratoires
L
σ écart-type intralabo
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.