Reference materials - Good practice in using reference materials

ISO Guide 33:2015 describes good practice in using reference materials (RMs), and certified reference materials (CRMs) in particular, in measurement processes. These uses include the assessment of precision and trueness of measurement methods, quality control, assigning values to materials, calibration, and the establishment of conventional scales. This Guide also relates key characteristics of various types of RMs to the different applications. For CRMs, the metrological traceability of the property values to international scales or other measurement standards has been established. For RMs not being CRMs, this kind of traceability of property values has often not been established. Nevertheless, these RMs can still be used for assessing parts of measurement procedures, including evaluating various levels of precision Mainstream applications of RM include precision control, bias assessment, calibration, preparation of calibration RMs and maintaining conventional scales. NOTE Not all types of RMs can be used for all indicated purposes. The preparation of RMs for calibration is also part of the scope of ISO Guides 34 and 35. The treatment in this Guide is limited to the fundamentals of small-scale preparation of RMs and the value assignment, as used by laboratories to calibrate their equipment. Larger scale production of such RMs, with the possible aim of distribution is beyond the scope of this Guide. This type of activity is covered in ISO Guides 34 and 35. The development of working standards, as used in, e.g. natural gas analysis, clinical chemistry, and the pharmaceutical industry is not covered in this Guide. This type of activity is covered in ISO Guides 34 and 35.

Matériaux de référence — Bonne pratique d'utilisation des matériaux de référence

L'ISO Guide 33:2015 décrit les bonnes pratiques d'utilisation des matériaux de référence (MR), et notamment des matériaux de référence certifiés (MRC), dans les processus de mesurage. Ces utilisations incluent l'évaluation de la fidélité et de la justesse des méthodes de mesurage, le contrôle de la qualité, l'attribution de valeurs de propriété à des matériaux, l'étalonnage et l'établissement d'échelles conventionnelles. Le présent Guide fournit également les caractéristiques essentielles des divers types de MR en fonction des différentes applications. Dans le cas des MRC, la traçabilité métrologique des valeurs de propriétés à des échelles internationales ou à d'autres étalons a été établie. Ce type de traçabilité des valeurs de propriétés n'a souvent pas été établi pour les MR qui ne sont pas des MRC. Néanmoins, ces MR peuvent encore être utilisés pour évaluer des parties de procédures de mesure, y compris divers niveaux de fidélité. Les principales applications des MR comprennent le contrôle de la fidélité (Article 8), l'évaluation du biais (Article 9), l'étalonnage (Article 10), la préparation de MR pour étalonnage (Article 11) et le maintien d'échelles conventionnelles (Article 12). NOTE Les différents types de MR ne peuvent pas tous être utilisés pour tous les usages indiqués. La préparation des MR pour étalonnage relève également du domaine d'application des Guides ISO 34[1] et 35[2]. Dans le présent Guide, le traitement se limite aux principes fondamentaux de préparation des MR à petite échelle et d'attributions de valeurs de propriété, tels qu'ils sont appliqués par les laboratoires pour étalonner leurs équipements. La production de tels MR à plus grande échelle, en vue d'une distribution éventuelle, ne relève pas du domaine d'application du présent Guide. Ce type d'activité est traité dans les Guides ISO 34[1] et 35[2]. La mise au point d'étalons de travail, tels que ceux utilisés, par exemple, dans l'analyse du gaz naturel, la chimie clinique et l'industrie pharmaceutique, n'est pas traitée dans le présent Guide. Ce type d'activité est traité dans les Guides ISO 34[1] et 35[2].

General Information

Status
Withdrawn
Publication Date
04-Feb-2015
Current Stage
9599 - Withdrawal of International Standard
Start Date
03-Jun-2024
Completion Date
13-Dec-2025
Ref Project

Relations

Guide
ISO Guide 33:2015 - Reference materials — Good practice in using reference materials Released:2/5/2015
English language
31 pages
sale 15% off
Preview
sale 15% off
Preview
Guide
ISO Guide 33:2015 - Matériaux de référence — Bonne pratique d'utilisation des matériaux de référence Released:5/12/2015
French language
35 pages
sale 15% off
Preview
sale 15% off
Preview
Guide
ISO Guide 33:2015 - Reference materials — Good practice in using reference materials Released:12/21/2017
Russian language
33 pages
sale 15% off
Preview
sale 15% off
Preview
Guide
ISO Guide 33:2015
Russian language
35 pages
sale 15% off
Preview
sale 15% off
Preview

Frequently Asked Questions

ISO Guide 33:2015 is a guide published by the International Organization for Standardization (ISO). Its full title is "Reference materials - Good practice in using reference materials". This standard covers: ISO Guide 33:2015 describes good practice in using reference materials (RMs), and certified reference materials (CRMs) in particular, in measurement processes. These uses include the assessment of precision and trueness of measurement methods, quality control, assigning values to materials, calibration, and the establishment of conventional scales. This Guide also relates key characteristics of various types of RMs to the different applications. For CRMs, the metrological traceability of the property values to international scales or other measurement standards has been established. For RMs not being CRMs, this kind of traceability of property values has often not been established. Nevertheless, these RMs can still be used for assessing parts of measurement procedures, including evaluating various levels of precision Mainstream applications of RM include precision control, bias assessment, calibration, preparation of calibration RMs and maintaining conventional scales. NOTE Not all types of RMs can be used for all indicated purposes. The preparation of RMs for calibration is also part of the scope of ISO Guides 34 and 35. The treatment in this Guide is limited to the fundamentals of small-scale preparation of RMs and the value assignment, as used by laboratories to calibrate their equipment. Larger scale production of such RMs, with the possible aim of distribution is beyond the scope of this Guide. This type of activity is covered in ISO Guides 34 and 35. The development of working standards, as used in, e.g. natural gas analysis, clinical chemistry, and the pharmaceutical industry is not covered in this Guide. This type of activity is covered in ISO Guides 34 and 35.

ISO Guide 33:2015 describes good practice in using reference materials (RMs), and certified reference materials (CRMs) in particular, in measurement processes. These uses include the assessment of precision and trueness of measurement methods, quality control, assigning values to materials, calibration, and the establishment of conventional scales. This Guide also relates key characteristics of various types of RMs to the different applications. For CRMs, the metrological traceability of the property values to international scales or other measurement standards has been established. For RMs not being CRMs, this kind of traceability of property values has often not been established. Nevertheless, these RMs can still be used for assessing parts of measurement procedures, including evaluating various levels of precision Mainstream applications of RM include precision control, bias assessment, calibration, preparation of calibration RMs and maintaining conventional scales. NOTE Not all types of RMs can be used for all indicated purposes. The preparation of RMs for calibration is also part of the scope of ISO Guides 34 and 35. The treatment in this Guide is limited to the fundamentals of small-scale preparation of RMs and the value assignment, as used by laboratories to calibrate their equipment. Larger scale production of such RMs, with the possible aim of distribution is beyond the scope of this Guide. This type of activity is covered in ISO Guides 34 and 35. The development of working standards, as used in, e.g. natural gas analysis, clinical chemistry, and the pharmaceutical industry is not covered in this Guide. This type of activity is covered in ISO Guides 34 and 35.

ISO Guide 33:2015 is classified under the following ICS (International Classification for Standards) categories: 71.040.30 - Chemical reagents. The ICS classification helps identify the subject area and facilitates finding related standards.

ISO Guide 33:2015 has the following relationships with other standards: It is inter standard links to ISO 33403:2024, ISO Guide 32:1997, ISO Guide 33:2000. Understanding these relationships helps ensure you are using the most current and applicable version of the standard.

You can purchase ISO Guide 33:2015 directly from iTeh Standards. The document is available in PDF format and is delivered instantly after payment. Add the standard to your cart and complete the secure checkout process. iTeh Standards is an authorized distributor of ISO standards.

Standards Content (Sample)


GUIDE 33
Third edition
2015-02-01
Reference materials — Good practice
in using reference materials
Matériaux de référence — Bonne pratique d’utilisation des
matériaux de référence
Reference number
©
ISO 2015
© ISO 2015
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2015 – All rights reserved

Contents Page
Foreword .v
Introduction .vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 2
4 Symbols . 3
5 Conventions . 3
6 RMs and their role in measurement . 4
6.1 Common applications of RMs . 4
6.2 Property values . 6
6.2.1 General. 6
6.2.2 Specification of the property . 6
6.3 Uncertainty statement . 6
6.4 Traceability statement . . 8
7 Handling of RMs and CRMs . 9
8 Assessment of precision . 9
8.1 General . 9
8.2 Number of replicate measurements . 9
8.3 Requirements with respect to the RM .10
8.4 Measurement .11
8.5 Data treatment .11
8.6 Calculation and assessment of precision .12
9 Bias assessment .12
9.1 General .12
9.2 Approach to bias checking .13
9.3 Utilizing bias data .13
10 Calibration .14
10.1 General .14
10.2 Establishing metrological traceability .15
10.3 Calibration models .15
11 Assigning values to other materials .15
11.1 General .15
11.2 Pure materials .16
11.3 Gravimetry and volumetry .17
12 Conventional scales .18
12.1 General .18
12.2 pH-scale .19
12.3 Octane number .19
13 Selection of CRMs and RMs .20
13.1 General .20
13.2 Selection of a CRM .20
13.3 Selection of RMs .23
13.4 Relevance to the measurement system.23
Annex A (informative) Key characteristics of a reference material with respect its
common applications .25
Annex B (informative) Calibration models and associated uncertainty models .26
Annex C (informative) Decision errors .29
Bibliography .30
iv © ISO 2015 – All rights reserved

Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers
to Trade (TBT) see the following URL: Foreword - Supplementary information
The committee responsible for this document is ISO/REMCO, Committee on reference materials.
This third edition cancels and replaces the second edition (ISO Guide 33:2000), and ISO Guide 32:1997
which have been technically revised.
Introduction
The aim of this Guide is to provide general recommendations on the use of RMs. These recommendations
are exemplified by real-world examples, which to some degree also reflect the level of complexity
associated with RMs. This level of detail is deemed to be useful for anyone who has a responsibility
in the quality management in laboratories, such as drafters, reviewers, managers, and assessors of
procedures, working instructions, standard operating procedures and the like.
The main applications of reference materials are calibration, establishing traceability, method validation,
assigning values to other materials, and quality control.
vi © ISO 2015 – All rights reserved

GUIDE ISO GUIDE 33:2015(E)
Reference materials — Good practice in using reference
materials
1 Scope
1.1 This Guide describes good practice in using reference materials (RMs), and certified reference
materials (CRMs) in particular, in measurement processes. These uses include the assessment of precision
and trueness of measurement methods, quality control, assigning values to materials, calibration, and the
establishment of conventional scales. This Guide also relates key characteristics of various types of RMs
to the different applications.
1.2 For CRMs, the metrological traceability of the property values to international scales or other
measurement standards has been established. For RMs not being CRMs, this kind of traceability of
property values has often not been established. Nevertheless, these RMs can still be used for assessing
parts of measurement procedures, including evaluating various levels of precision
1.3 Mainstream applications of RM include precision control (Clause 8), bias assessment (Clause 9),
calibration (Clause 10), preparation of calibration RMs (Clause 11) and maintaining conventional
scales (Clause 12).
NOTE Not all types of RMs can be used for all indicated purposes.
[1] [2]
1.4 The preparation of RMs for calibration is also part of the scope of ISO Guides 34 and 35 . The
treatment in this Guide is limited to the fundamentals of small-scale preparation of RMs and the value
assignment, as used by laboratories to calibrate their equipment. Larger scale production of such RMs,
with the possible aim of distribution is beyond the scope of this Guide. This type of activity is covered in
[1] [2]
ISO Guides 34 and 35 .
1.5 The development of working standards, as used in, e.g. natural gas analysis, clinical chemistry,
and the pharmaceutical industry is not covered in this Guide. This type of activity is covered in ISO
[1] [2]
Guides 34 and 35 .
2 Normative references
ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in probability
ISO Guide 30, Terms and definitions used in connection with reference materials
ISO/IEC Guide 98-3, Uncertainty of measurement — Part 3: Guide to the expression of uncertainty in
measurement (GUM:1995)
ISO/IEC Guide 99:2007, International vocabulary of metrology — Basic and general concepts and
associated terms (VIM)
NOTE The “Guide to the expression of uncertainty in measurement” is referred to as “GUM”, whereas the
“International vocabulary of basic and general terms in metrology” is referred to as “VIM”.
3 Terms and definitions
For the purposes of this document, the terms and definitions in ISO/IEC Guide 98-3, ISO/IEC Guide 99
and ISO Guide 30 and the following apply.
NOTE Further definitions can be found in the ISO online browsing platform, accessible through https://
www.iso.org/OBP/ui/
3.1
reference material
RM
material, sufficiently homogeneous and stable with respect to one or more specified properties, which
has been established to be fit for its intended use in a measurement process
Note 1 to entry: RM is a generic term.
Note 2 to entry: Properties can be quantitative or qualitative, e.g. identity of substances or species.
Note 3 to entry: Uses may include the calibration of a measurement system, assessment of a measurement
procedure, assigning values to other materials, and quality control.
Note 4 to entry: ISO/IEC Guide 99:2007, has an analogous definition (5.13), but restricts the term “measurement”
to apply to quantitative values. However, Note 3 of ISO/IEC Guide 99:2007, 5.13 (VIM), specifically includes
qualitative properties, called “nominal properties”.
[SOURCE: ISO Guide 30]
3.2
certified reference material
CRM
reference material characterized by a metrologically valid procedure for one or more specified
properties, accompanied by an RM certificate that provides the value of the specified property, its
associated uncertainty, and a statement of metrological traceability
Note 1 to entry: The concept of value includes a nominal property or qualitative attribute such as identity or
sequence. Uncertainties for such attributes may be expressed as probabilities or levels of confidence
Note 2 to entry: Metrologically valid procedures for the production and certification of RMs are given in, among
others, ISO Guides 34 and 35.
[17]
Note 3 to entry: ISO Guide 31 gives guidance on the contents of RM certificates.
Note 4 to entry: ISO/IEC Guide 99:2007 has an analogous definition (5.14).
[SOURCE: ISO Guide 30]
3.3
property value
value corresponding to a quantity representing a physical, chemical or
biological property of a reference material
[SOURCE: ISO Guide 30]
3.4
certified value
value, assigned to a property of a reference material (RM) that is accompanied by an uncertainty
statement and a statement of metrological traceability, identified as such in the RM certificate
[SOURCE: ISO Guide 30]
2 © ISO 2015 – All rights reserved

3.5
indicative value
information value
informative value
value of a quantity or property of a reference material, which is provided for information only
Note 1 to entry: An indicative value cannot be used as a reference in a traceability chain
[SOURCE: ISO Guide 30]
3.6
calibrant
reference material used for calibration of equipment or a measurement procedure
[SOURCE: ISO Guide 30]
2.7
quality control material
reference material used for quality control of a measurement
[SOURCE: ISO Guide 30]
4 Symbols
α risk of error of the first type (type I error)
β risk of error of the second type (type II error)
χ Chi-squared
d measurement bias
k coverage factor
s standard deviation computed from repeat observations
w
σ required within-laboratory standard deviation
wo
u() standard uncertainty of the parameter in parenthesis
U() expanded uncertainty of the parameter in parenthesis
u standard uncertainty associated with property value of the CRM
CRM
u standard uncertainty associated with value obtained by measuring the CRM
meas
u uncertainty associated with the value obtained from preparation of a calibrant
prep
x value of a specified property of the CRM
CRM
x value obtained by measuring the CRM
meas
x value obtained from preparation of a calibrant
prep
x average of repeat observations
5 Conventions
In this Guide, the following conventions are used.
5.1 A measurand is specified in such a way that there exists a unique, but unknowable, ‘true value’.
5.2 All statistical methods used in this Guide are based on the following assumptions.
a) The certified value is the best estimate of the true value of the property of the CRM.
b) All variation, be it associated with the material (i.e. homogeneity) or the measurement process,
is random and follows a normal probability distribution. The values of probabilities stated in this
Guide assume normality. The probability may be different if there is deviation from normality.
5.3 The concept of “certified reference material” (CRM) as used in this Guide also includes RMs with
property values that are accompanied by the statements of metrological traceability or measurement
uncertainty. These property values are assumed to be obtained through characterization as described in
[1] [2]
ISO Guides 34 and 35 .
5.4 Where the term RM is used in this Guide, it means that any RM can be used for the purpose described.
The use of a CRM is an option, but usually not the most economical one. In practice, in most cases an RM
will be used that comes without property values, uncertainties and a traceability statement.
5.5 Values, given as “indicative”, “informative”, “for information” or otherwise identified as not being
covered by the statements of metrological traceability or measurement uncertainty, are considered to be
unfit for use in metrological applications requiring a value assigned to the measurand, such as, calibration,
or the assignment of values to other materials. These values are however useful to verify whether an RM
is suitable for precision control, or other applications that do not require a property value.
5.6 Throughout this Guide, the law of propagation of uncertainty is used. Other methods of propagating
uncertainties can be applied as well, and in some cases such alternative methods are required by the
circumstances of the application. Further guidance on these matters is given in the GUM and its supplements.
6 RMs and their role in measurement
6.1 Common applications of RMs
6.1.1 RMs, and CRMs in particular, are widely used for the following purposes:
— Calibration of equipment or a measurement procedure (Clause 10);
— Establishing metrological traceability (Clauses 9, 10 and 11);
— Method validation (Clauses 8 and 9);
— Assigning values to other materials (Clause 11);
— Quality control of a measurement or measurement procedure (Clause 8 and 9);
— Maintaining conventional scales (Clause 12).
Figure 1 gives an outline of a measurement, including sampling and sample preparation. The possible
role(s) of CRMs are indicated.
4 © ISO 2015 – All rights reserved

START
Deinition of
the
measurement
Sampling
Sample Matrix
preparation CRM
CRM for Instrument
calibration calibration
Measurement
of the
sample(s)
Data
evaluation
Calculation of
result(s)
Evaluation of
measurement
uncertainty
No
QC criteria
satisied?
Yes
Reporting
STOP
Figure 1 — Schematic outline of a measurement and the role of CRMs therein
[4] [5]
6.1.2 Written standards for quality systems of laboratories, e.g. ISO/IEC 17025 and ISO 15189 ,
require measurement results to be metrologically traceable and measurement equipment calibrated.
Metrological traceability is a prerequisite for achieving comparable and compatible measurement results.
EXAMPLE A wine with a volume fraction of 12 % alcohol can be usefully compared with another wine with
a volume fraction of 13,5 % alcohol.
6.1.3 The general public takes it for granted that measurement results, expressed in appropriate units,
are comparable. In order to meet this implicit expectation of measurement data, laboratories should
ensure that all equipment is properly calibrated, using measurement standards which in turn have been
made metrologically traceable to the realization of the relevant unit. In many cases, this unit is part of the
SI, the International System of units.
6.1.4 A summary list of key characteristics of RMs, cross-referenced to the common applications of
RMs, is given in Annex A of this Guide.
6.2 Property values
6.2.1 General
6.2.1.1 CRMs are characterized for one or more properties. These property values are accompanied by
a) a clear specification of the property concerned,
b) an uncertainty statement,
c) a statement of metrological traceability,
d) a period of validity of the certificate.
The user should verify that all this information is available in an unambiguous form.
6.2.1.2 Indicative values should not be used for any of the uses of CRMs described in this Guide.
NOTE The terminology used in practice for indicative values is not always consistent with this Guide.
6.2.2 Specification of the property
6.2.2.1 The unambiguous specification of the property concerned assists greatly in deciding whether
the CRM is appropriate for the intended application. The user of a CRM is responsible for assessing the
suitability of the material for the intended purpose.
EXAMPLE For trace elements in soil, it is important to specify whether it is the total content, content obtained
by incomplete destruction (e.g. aqua regia), leachable content, or a particular species containing the trace element.
6.2.2.2 The property values should be given in appropriate units, preferably SI units. The property
values should be given in an appropriate number of digits, avoiding unnecessarily loss of accuracy on one
hand and giving a false impression of accuracy on the other.
NOTE The GUM (ISO/IEC Guide 98-3:2008, Clause 7) gives guidance on the rounding of measurement results
and associated uncertainties.
6.3 Uncertainty statement
6.3.1 The uncertainty statement should be readily understood, which among other considerations
requires that all information necessary to convert the uncertainty stated into a standard uncertainty is
6 © ISO 2015 – All rights reserved

available. If an expanded uncertainty is given, then usually the appropriate coverage factor is sufficient for
this conversion.
EXAMPLE A calibration certificate for a gas mixture states for the amount of substance fraction of carbon
monoxide the following:
x = (41 122 ± 28) μmol/mol (k = 2)
CO
The expanded uncertainty is 28 μmol/mol. The standard uncertainty is obtained using
U 28
−1 −1
u μmol mol = 14 μmol mol
k 2
6.3.2 If a coverage interval is given, then the (assumed) probability density function of the property
value should be specified, including the coverage probability (e.g. 95 %) of the stated interval. Such an
interval can be asymmetric. Sometimes, it can be necessary to make additional assumptions concerning,
for example, the appropriate coverage factor. In those cases, the guidance of the GUM (ISO/IEC Guide 98-
3:2008, 6.3) should be followed.
EXAMPLE The carbon content in a gas coal is specified to be 760,1 mg/g, and the uncertainty is stated to be
2,1 mg/g. The following footnote is added to the uncertainty statement: “The uncertainty is expressed as the 95 %
confidence interval. It is applicable when the reference material is used for calibration purposes.”
From the certification report, it is clear that the certified values have been obtained from an
interlaboratory experiment, and therefore it is reasonable to assume the normal distribution. The
half-width of a 95 % confidence interval equals 1,96 times the standard deviation. There is however
no practical difference with using a (coverage) factor of 2, which would correspond for the normal
distribution with 95,45 % level of confidence.
U 21,
The standard uncertainty is obtained through u mg/g=10, 5 mg/g
k 2
6.3.3 The uncertainties stated should be given in the same unit as the property values, or alternatively,
expressed as a fraction of the property value (i.e. as a relative expanded uncertainty). If such fractions
are used, it should be established whether the conversion into absolute standard uncertainties can be
performed in an unambiguous way.
NOTE Such fractions include percentages, per mil, and parts-per-million (ppm), although none of these are
recommended for this purpose, because of their ambiguity.
6.3.4 CRMs are accompanied by a certificate stating, among others, the properties certified, their values,
and their associated uncertainties (see 6.2.1.1). It is beyond the scope of this Guide to describe how the
uncertainty associated with property values is established, but it is important to understand the potential
main contributors.
NOTE Details concerning the establishment of an uncertainty budget for property values are given in
[2]
ISO Guide 35 .
[2]
The main contributors to the uncertainty associated with the property values of a CRM include:
— uncertainty from characterization;
— uncertainty due to long-term stability;
— uncertainty due to short-term stability (stability of the material under transport conditions);
— uncertainty due to between-bottle variation.
6.3.5 In some cases, detailed knowledge of different parts of the uncertainty budget can be helpful, in
particular if such a contribution is the largest. This information may be available from the CRM producer.
= =
= =
6.3.6 Not all uncertainty statements accompanying the property values on certificates of CRMs produced
before the late 1990s include effects of batch inhomogeneity and instability. The uncertainty stated on
the certificate should comprise all factors that may impact the scatter of the property value(s) across the
batch and over time. Ultimately, the uncertainty stated should be applicable to the single package to be
[2]
used in the measurement process.
NOTE If the uncertainty stated is too small, the expanded uncertainty has a lower level of coverage than stated.
6.3.7 RMs that do not come with property values, should come with some information regarding the
(between-bottle) homogeneity and long-term stability of the properties for which the RM can be used.
The user should verify whether this information is provided in a form, that it can be used to assess the
suitability of the RM. Such assessment may include the use of the information concerning homogeneity
and stability in subsequent uncertainty calculations.
6.4 Traceability statement
6.4.1 Metrological traceability is a property of a measurement result. As the value obtained during the
characterization of an RM (the property value) is a measurement result, it can have this attribute too. A
key characteristic of property values of CRMs is that their metrological traceability is well established.
6.4.2 The user of a CRM should verify that the property values come with a statement concerning the
metrological traceability of these values. This statement should inform the user about the measurement
scale to which these values refer, so they can verify whether the CRM is suitable for the intended use.
NOTE In most cases, the measurement scale is the SI unit.
6.4.3 To allow interpretation of statements of metrological traceability, the following particulars are
necessary, which should be stated on a certificate or other documentation accompanying a CRM:
a) the specification of the measurand;
b) the unit to which the property value is made traceable;
c) the method used for sample handling/transformation and measurement procedures(s)/technique(s)
used in the characterization;
d) the approach to characterization (e.g. single method, two methods, multiple laboratories, etc.).
NOTE Documentation accompanying a CRM can be made available by different means, including websites,
E-mail, or publications in the open literature.
6.4.4 The provider of the result of a measurement is responsible for supporting the claim of metrological
traceability for that result or value. In the case of CRMs, the RM producer bears this responsibility. It is the
user’s responsibility to review the appropriateness of the metrological traceability for their intended purpose.
6.4.5 For assessing a claim of metrological traceability, the user may require more information than provided
on the certificate. A claim of metrological traceability is typically supported by items mentioned in 6.4.3.
The user of an RM should scrutinize this information and assess the fitness for purpose of a particular
RM for the intended use. The user of the RM should check the availability of the information specified in
this clause to assist in the assessment. Should essential parts of this information be unavailable, the RM
may be unsuitable for an application.
8 © ISO 2015 – All rights reserved

7 Handling of RMs and CRMs
7.1 The instructions for use, as well as those for storage should be followed, as they form part of the
conditions under which the property values and associated uncertainties are valid. Improper use of RMs and
CRMs can be detrimental to the performance of measurement procedures and should be avoided at all times.
7.2 The expiry date on the certificate should be respected. CRMs should not be used beyond this date.
7.3 In particular for CRMs that allow multiple use, it is important to make sure that the container
holding the CRM is properly closed, and it is stored in an appropriate manner. In some cases, repackaging
of the remaining material can be necessary. Otherwise, the property values stated may become invalid
and the CRM unusable or unreliable. The user should follow the instructions provided by the producer in
this respect.
7.4 The minimum subsample size should be respected. Smaller subsamples may be unrepresentative.
7.5 Sub-sampling of such CRMs should be done in a way that the sub sample taken for use reflects the
properties of the complete package. Otherwise, over time, the remaining material of the CRM may no
longer be representative for the batch that has been produced and certified, and hence, the values and
uncertainties stated on the certificate are no longer valid.
NOTE 1 Re–homogenization of CRMs is usually necessary, before sub-sampling can be carried out. Such
instructions are typically given in the documentation accompanying the CRM.
NOTE 2 So–called “single–shot” CRMs are designed for use as a single portion. Usually, the unit contains
sufficient sample for only one or two measurements. However, where single shot materials are designed for use
as a single portion, they should not be subdivided.
8 Assessment of precision
8.1 General
8.1.1 Checking of the precision of a measurement procedure as applied by a laboratory involves
comparison of the within-laboratory standard deviation under repeatability conditions (or other specified
conditions) and the required value of that standard deviation.
NOTE Measures of precision are the standard deviation under repeatability or reproducibility conditions.
8.1.2 Assessment of precision can be part of the activities a laboratory undertakes when developing or
validating a method. Such experiments should ideally be run on RMs covering the scope of the method in
[6]
terms of matrices (or variations within a matrix) and property value levels. The assessment may also
involve multiple laboratories. More guidance on assessing precision in interlaboratory studies is given in
[7] [12]
ISO 5725 - .
8.1.3 Results from periodic checks of a measurement procedure may be recorded on a quality control
[13]
chart. A range control chart may be used for this purpose.
8.2 Number of replicate measurements
8.2.1 For a reliable assessment of precision within a required confidence interval, the necessary
number of replicate measurements can be estimated by a χ test. The number of replicate measurements,
n, required depends mainly on the values of α and β and the alternative hypothesis chosen for the
assessment of precision. A discussion of the probabilities α and β, associated with the type I and type II
risks in statistical hypothesis testing is given in Annex C.
8.2.2 Table 1 shows the relation between the degrees of freedom v (where, in this case, v = n − 1) and
the ratio of the within-laboratory standard deviation of the measurement process, s , and the required
w
value of the within-laboratory standard deviation, σ , for various values of β at α = 0,05.
wo
EXAMPLE For n = 10 the probability that the variance of the measurement results will pass the appropriate
χ -test (see 8.6) at α = 0,05 is no more than 1 % when the within-laboratory standard deviation, σ , of the
w
measurement process is equal to or larger than 2,85 times the required value of σ .
wo
Table 1 — Ratio of the standard deviation of the measurement process to the required value for
various values of β and degrees of freedom v at α = 0,05
α = 0,05
v
β = 0,01 β = 0,05 β = 0,1 β = 0,5
1 159,5 31,3 15,6 2,73
2 17,3 7,64 5,33 2,08
3 6,25 4,71 3,66 1,82
4 5,65 3,65 2,99 1,68
5 4,47 3,11 2,62 1,59
6 3,80 2,77 2,39 1,53
7 3,37 2,55 2,23 1,49
8 3,07 2,38 2,11 1,45
9 2,85 2,26 2,01 1,42
10 2,67 2,15 1,94 1,40
12 2,43 2,01 1,83 1,36
15 2,19 1,85 1,71 1,32
20 1,95 1,70 1,59 1,27
24 1,83 1,62 1,52 1,25
30 1,71 1,54 1,46 1,22
40 1,59 1,45 1,38 1,19
60 1,45 1,35 1,30 1,15
120 1,30 1,24 1,21 1,11
8.3 Requirements with respect to the RM
8.3.1 For assessing measurement precision, an RM is needed with sufficient homogeneity and stability.
The stability of the RM with respect to all properties of interest should at least be sufficient for the period
of time that the precision checking measurements take. If necessary, specific precautions should be taken
to monitor the stability of the RM used. Such precautions may consist of demonstrating the stability of
the measurement process under study by other means, such as the use of a CRM, or by using an other
measurement process of which the stability has been demonstrated.
8.3.2 When using an RM for control charting, discrepant results can be caused by stability issues of the
RM, rather than problems with the measurement system. Users of RMs should be aware of this possibility
and include it in the root cause analysis.
8.3.3 Although the RM used for assessing precision taking should not necessarily have known,
metrological traceable property values for the properties of interest, precision measures may be dependent
on the nominal value of the measurand, so knowledge about the nominal values of the parameters of
interest is usually required to assess the appropriateness of the RM selected for the checking.
10 © ISO 2015 – All rights reserved

8.3.4 More generic guidance on aspects to consider concerning the suitability of the RM can be found
in Clause 13.
8.4 Measurement
8.4.1 The user should perform independent replicate measurements. “Independent”, in a practical
sense, means that a replicate result is not influenced by previous measurements. To perform replicate
measurements means to repeat the whole procedure. For example, in the chemical analyses of a solid
material, the procedure should be repeated from the weighing of the test portion to the final reading or
calculation of the result.
EXAMPLE If the measurement of lead in a soil RM consists of sub-sampling, destruction of the test portions,
followed by measuring the aliquots, then the results are independent as far as sub-sampling, destruction, and
measurement are concerned. If, in contrast, one aliquot is measured repeatedly, then the standard deviation
obtained only covers repeatability effects of measuring an aliquot.
Before starting experimental work, it is very important to check what part of the process is described by
the standard deviation σ . In many written standards for testing, the repeatability stated refers to the
wo
whole standard test method. Consequently, the measurements for assessing the repeatability of such a
test method should be carried out accordingly, viz., repeating the test method for each and every (sub)
sample completely.
8.4.2 Independent replicate measurements can be achieved in various ways depending on the nature
of the process. Parallel replication is not always recommended however, because an error committed at
any step of the procedure could affect all replicates. Furthermore, steps like, e.g. the calibration of the
measurement equipment, may also need to be included in the replication process.
EXAMPLE In the case of iron ore analyses, replication of the analytical procedure is carried out at different
times and includes appropriate calibration. In this case, the standard deviation calculated from the replicates also
contains contributions from day-to-day variability and calibration.
8.5 Data treatment
8.5.1 The data thus obtained should first be scrutinised for any irregularities. Data identified as
technically invalid should be discarded, regardless of whether or not they seem to fit in the (assumed)
probability distribution of the complete dataset. Technically invalid results are usually due to irregularities
during the sample processing and/or measurement.
8.5.2 A second type of irregularity includes observations whose values seem to be far away from the
other observations in the dataset. Often, but not always, a technical reason can be found and then these
data should be discarded. If no technical explanation can be found, the data can be scrutinized for possible
[8] [14]
outliers using the methods described in ISO 5725-2 or ISO 16269-4 . Outliers should be discarded or,
in rare cases (e.g. calculation errors), be replaced by corrected data. Whenever possible, outliers should
be removed only on the basis of the outcome of more than one outlier test. As a rule, stragglers should be
kept in the dataset.
NOTE 1 An excessive number of suspected outliers indicates problems in the measurement process.
NOTE 2 Removing outliers, and removing stragglers in particular, will reduce the scatter in the dataset and may
consequently lead to a value of the standard deviation of the measurement process under study that is too small.
NOTE 3 The use of most outlier tests requires an assumption concerning the (expected) shape of the probability
density function of the data. If such an assumption is inconsistent with the nature of the data, such an outlier test
cannot be applied.
8.6 Calculation and assessment of precision
8.6.1 The precision of the measurement process is assessed by comparing the within-laboratory
standard deviation under repeatability conditions with the required value of the within-laboratory
standard deviation, σ .
wo
Compute the average, x , and standard deviation, s :
w
n
x= x (1)
∑ i
n
i=1
n
s = xx− (2)
()
w ∑ i
n−1
i=1
where
x is the individual result;
i
n is the number of results excluding outliers.
8.6.2 Compute the following ratio:
s
w
χ = (3)
c
σ
w0
where σ is the required value of the within-laboratory standard deviation.
wo
χ
()n−10;.95
χ = (4)
table
n−1
th 2
denotes the 0,95 quantile of the χ distribution with (n − 1) degrees of freedom, divided by the
degrees of freedom (n − 1)
Interpretation of χ :
χχ≤ There is no evidence that the measurement process is not as precise as required.
c table
χχ> There is evidence that the measurement process is not as precise as required.
c table
NOTE Values for χ may be taken from tables or computed by software. They can be found at many places
including Reference [15].
9 Bias assessment
9.1 General
9.1.1 Checking bias is a key application in laboratories. It can be performed as part of ensuring the
quality of measurement results, method validation, or both. For bias checking, it is essential that the
reference against which the bias is checked is reliable and metrologically traceable.
9.1.2 The CRM to be used for bias assessment is suitable if the type of material and the properties of
interest are relevant for the intended use. The user should confirm the suitability of the CRM prior to the
bias assessment.
12 © ISO 2015 – All rights
...


GUIDE 33
Troisième édition
2015-02-01
Matériaux de référence — Bonne
pratique d’utilisation des matériaux
de référence
Reference materials — Good practice in using reference materials
Numéro de référence
©
ISO 2015
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2015
Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur
l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à
l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2015 – Tous droits réservés

GUIDE ISO 33:2015(F)
Sommaire Page
Avant-propos. 4
Introduction . 5
1  Domaine d'application . 1
2  Références normatives . 1
3  Termes et définitions . 2
4  Symboles . 3
5  Conventions . 4
6  MR et leur rôle dans le mesurage . 5
6.1  Applications courantes des MR . 5
6.2  Valeur de propriété . 7
6.2.1  Gén éra lités . 7
6.2.2  Spécification de la propriété . 7
6.3  Indication de l'incertitude . 7
6.4  Expression de la traçabilité . 9
7  Manipulation des MR et des MRC . 10
8  Évaluation de la fid élité . 11
8.1  Gén éra lités . 11
8.2  Nombre de mesurages répétés . 11
8.3  Exigences relatives au MR . 12
8.4  Mesurage . 13
8.5  Traitement des données . 13
8.6  Calcul et évaluation de la fidélité . 14
9  Évaluation du biais . 15
9.1  Gén éra lités . 15
9.2  Méthode de vérification du biais . 15
9.3  Utilisation des données de biais . 16
10  Étalonnage . 17
10.1  Gén éra lités . 17
10.2  Établissement de la traçabilité métrologique. 17
10.3  Modèles d'étalonnage . 18
11  Attribution de valeurs à d'autres matériaux . 18
11.1  Gén éra lités . 18
11.2  Matériaux purs . 19
11.3  Gravimétrie et volumétrie . 20
12  Échelles conventionnelles . 21
12.1  Gén éra lités . 21
12.2  Échelle de pH. 22
12.3  Indice d'octane . 23
© ISO 2015 — Tous droits réservés iii

GUIDE ISO 33:2015(F)
13  Choix de MRC et de MR . 23
13.1  Généralités . 23
13.2  Choix d'un MRC . 24
13.3  Choix des MR . 27
13.4  Adéquation au système de mesure . 27
Annex A (informative) Caractéristiques essentielles d'un matériau de référence en fonction
de ses applications courantes . 29
Annex B (informative) Modèles d'étalonnage et modèles d'incertitude associés . 30
Annex C (informative) Erreurs de décision . 33
Bibliographie . 34
© ISO 2015 — Tous droits réservés
iv
GUIDE ISO 33:2015(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes
nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le
droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2
(voir www.iso.org/directives).
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet
de droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour
responsable de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails
concernant les références aux droits de propriété intellectuelle ou autres droits analogues identifiés
lors de l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations
de brevets reçues par l'ISO (voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la signification des termes et expressions spécifiques de l'ISO liés à l'évaluation
de la conformité, ou pour toute information au sujet de l'adhésion de l'ISO aux principes de l'OMC
concernant les obstacles techniques au commerce (OTC), voir le lien suivant : Avant‐propos —
Informations supplémentaires.
Le comité chargé de l'élaboration du présent document est l'ISO/REMCO, Comité pour les matériaux de
référence.
Cette troisième édition annule et remplace la deuxième édition (Guide ISO 33:2000) et le
Guide ISO 32:1997, qui ont fait l’objet d’une révision technique.
© ISO 2015 — Tous droits réservés v

GUIDE ISO 33:2015(F)
Introduction
Le présent Guide a pour but de fournir des recommandations générales concernant l'utilisation des
matériaux de référence (MR). Ces recommandations sont illustrées par des exemples concrets qui
reflètent aussi, dans une certaine mesure, le niveau de complexité associé aux MR. Ce niveau de détail
est censé être utile à toute personne ayant une responsabilité dans le management de la qualité dans les
laboratoires, par exemple les rédacteurs, réviseurs, responsables et évaluateurs de modes opératoires,
d'instructions de travail, de modes opératoires normalisés et éléments similaires.
Les principales applications des matériaux de référence sont l’étalonnage, l’établissement de la
traçabilité, la validation des méthodes, l’attribution de valeurs à d'autres matériaux et le contrôle de la
qualité.
vi © ISO 2015 — Tous droits réservés

GUIDE GUIDEISO33:2015(F)
Matériaux de référence — Bonne pratique d'utilisation des
matériaux de référence
1 Domaine d'application
1.1 Le présent Guide décrit les bonnes pratiques d'utilisation des matériaux de référence (MR), et
notamment des matériaux de référence certifiés (MRC), dans les processus de mesurage. Ces
utilisations incluent l'évaluation de la fidélité et de la justesse des méthodes de mesurage, le contrôle de
la qualité, l'attribution de valeurs de propriété à des matériaux, l'étalonnage et l'établissement
d'échelles conventionnelles. Le présent Guide fournit également les caractéristiques essentielles des
divers types de MR en fonction des différentes applications.
1.2 Dans le cas des MRC, la traçabilité métrologique des valeurs de propriétés à des échelles
internationales ou à d'autres étalons a été établie. Ce type de traçabilité des valeurs de propriétés n'a
souvent pas été établi pour les MR qui ne sont pas des MRC. Néanmoins, ces MR peuvent encore être
utilisés pour évaluer des parties de procédures de mesure, y compris divers niveaux de fidélité.
1.3 Les principales applications des MR comprennent le contrôle de la fidélité (Article 8), l'évaluation
du biais (Article 9), l'étalonnage (Article 10), la préparation de MR pour étalonnage (Article 11) et le
maintien d'échelles conventionnelles (Article 12).
NOTE Les différents types de MR ne peuvent pas tous être utilisés pour tous les usages indiqués.
1.4 La préparation des MR pour étalonnage relève également du domaine d'application des Guides
[1] [2]
ISO 34 et 35 . Dans le présent Guide, le traitement se limite aux principes fondamentaux de
préparation des MR à petite échelle et d’attributions de valeurs de propriété, tels qu'ils sont appliqués
par les laboratoires pour étalonner leurs équipements. La production de tels MR à plus grande échelle,
en vue d'une distribution éventuelle, ne relève pas du domaine d'application du présent Guide. Ce type
[1] [2]
d'activité est traité dans les Guides ISO 34 et 35 .
1.5 La mise au point d'étalons de travail, tels que ceux utilisés, par exemple, dans l'analyse du gaz
naturel, la chimie clinique et l'industrie pharmaceutique, n'est pas traitée dans le présent Guide. Ce type
[1] [2]
d'activité est traité dans les Guides ISO 34 et 35 .
2 Références normatives
ISO 3534‐1, Statistique — Vocabulaire et symboles — Partie 1 : Termes statistiques généraux et termes
utilisés en calcul des probabilités.
Guide ISO 30, Termes et définitions utilisés en rapport avec les matériaux de référence.
Guide ISO/IEC 98‐3, Incertitude de mesure — Partie 3 : Guide pour l'expression de l'incertitude de mesure
(GUM:1995).
© ISO 2015 — Tous droits réservés 1

GUIDE ISO 33:2015(F)
Guide ISO/IEC 99:2007, Vocabulaire international de métrologie — Concepts fondamentaux et généraux
et termes associés (VIM).
NOTE Le « Guide pour l'expression de l'incertitude de mesure » est désigné en tant que « GUM », alors que le
« Vocabulaire international des termes fondamentaux et généraux de métrologie » est désigné en tant que « VIM ».
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans les Guide ISO/IEC 98‐3,
Guide ISO/IEC 99 et Guide ISO 30 ainsi que les suivants s'appliquent.
NOTE D'autres définitions sont données sur la plate‐forme de consultation en ligne de l'ISO, accessible à
l'adresse url suivante : https://www.iso.org/OBP/ui/
3.1
matériau de référence
MR
matériau, suffisamment homogène et stable quant à une ou plusieurs propriétés spécifiées, qui a été
préparé pour être adapté à son utilisation prévue dans un mesurage
Note 1 à l'article : MR est un terme générique.
Note 2 à l'article : Les propriétés peuvent être quantitatives ou qualitatives, par exemple l'identité de substances
ou d'espèces.
Note 3 à l'article : Les utilisations prévues peuvent être l'étalonnage d'un système de mesurage, l'évaluation d'une
procédure de mesure, l'assignation de valeurs de propriété à d'autres matériaux et le contrôle de la qualité.
Note 4 à l'article : Le Guide ISO/IEC 99:2007 a une définition analogue (5.13), mais restreint l'utilisation du terme
« mesurage » à des valeurs quantitatives. Cependant, la Note 3 du Guide ISO/IEC 99:2007, 5.13 (VIM), inclut
spécialement des propriétés qualitatives, appelées aussi « attributs ».
[SOURCE : Guide ISO 30]
3.2
matériau de référence certifié
MRC
matériau de référence caractérisé par une procédure métrologiquement valide applicable à une ou
plusieurs propriétés spécifiées et accompagné d'un certificat du MR qui indique la valeur de la propriété
spécifiée, son incertitude associée, et une expression de la traçabilité métrologique
Note 1 à l'article : Le concept de valeur inclut une propriété qualitative (ou attribut qualitatif) telle que l'identité
ou la séquence. Les incertitudes concernant ces propriétés peuvent être exprimées par des probabilités ou des
niveaux de confiance.
Note 2 à l'article : Des procédures métrologiquement valides applicables à la production et à la certification de
matériaux de références sont données, entre autres, dans le Guide ISO 34 et le Guide ISO 35.
[17]
Note 3 à l'article : Le Guide ISO 31 donne des indications sur le contenu des certificats.
Note 4 à l'article : Le Guide ISO/IEC 99:2007 donne une définition analogue (5.14).
[SOURCE : Guide ISO 30]
2 © ISO 2015 — Tous droits réservés

GUIDE ISO 33:2015(F)
3.3
valeur de propriété
valeur correspondant à une grandeur qui représente une propriété
physique, chimique ou biologique d'un matériau de référence
[SOURCE : Guide ISO 30]
3.4
valeur certifiée
valeur attribuée à une propriété d'un matériau de référence (MR), accompagnée d'une indication de
l’incertitude et d'une expression de la traçabilité métrologique, identifiée en tant que telle dans le
certificat du MR
[SOURCE : Guide ISO 30]
3.5
valeur indicative
valeur pour information
valeur informative
valeur de la grandeur ou de la propriété d'un matériau de référence, qui est donnée uniquement à titre
d'information
Note 1 à l'article : Une valeur indicative ne peut pas être utilisée comme référence dans une chaîne de traçabilité.
[SOURCE : Guide ISO 30]
3.6
étalon
matériau de référence utilisé pour l'étalonnage des équipements ou pour une procédure de mesure
[SOURCE : Guide ISO 30]
3.7
matériau de contrôle de la qualité
matériau de référence utilisé pour le contrôle de la qualité d'un mesurage
[SOURCE : Guide ISO 30]
4 Symboles
α Risque d'erreur de première espèce
β Risque d'erreur de seconde espèce
χ Chi deux
d Biais de mesure
k Facteur d'élargissement
s Écart‐type calculé à partir d'observations répétées
w
σ Écart‐type intralaboratoire requis
wo
u( ) Incertitude‐type du paramètre entre parenthèses
U( ) Incertitude élargie du paramètre entre parenthèses
© ISO 2015 — Tous droits réservés 3

GUIDE ISO 33:2015(F)
u Incertitude‐type associée à une valeur de propriété du MRC
CRM
u Incertitude‐type associée à une valeur obtenue en mesurant le MRC
meas
u Incertitude associée à la valeur obtenue par préparation d'un étalon
prep
x Valeur d'une propriété spécifiée du MRC
CRM
x Valeur obtenue en mesurant le MRC
meas
x Valeur obtenue par préparation d'un étalon
prep
x
Moyenne d'observations répétées
5 Conventions
Dans le présent Guide, les conventions suivantes sont utilisées :
5.1 Un mesurande est spécifié de telle manière qu'il existe une « valeur vraie » unique, mais
impossible à connaître.
5.2 Toutes les méthodes statistiques utilisées dans le présent Guide reposent sur les hypothèses
suivantes.
a) La valeur certifiée est la meilleure estimation de la valeur vraie de la propriété du MRC.
b) Toute variation, qu’elle soit liée au matériau (homogénéité) ou au processus de mesure, est
aléatoire et obéit à une loi de probabilité normale. Les valeurs des probabilités établies dans le
présent Guide font l’hypothèse de normalité. Elles peuvent être différentes s’il y a écart par rapport
à la normale.
5.3 Le concept de « matériau de référence certifié » (MRC), tel qu'il est utilisé dans le présent Guide,
inclut également les MR ayant des valeurs de propriétés qui sont accompagnées d'expressions de la
traçabilité métrologique ou de l'incertitude de mesure. Ces valeurs de propriétés sont supposées être
[1] [2]
obtenues par caractérisation telle que décrite dans les Guides ISO 34 et 35 .
5.4 Lorsque le terme MR est utilisé dans le présent Guide, cela signifie que tout MR peut être utilisé
pour l'objectif décrit. L'utilisation d'un MRC est une option, généralement pas la plus économique. Dans
la pratique, on utilisera dans la plupart des cas un MR non accompagné de valeurs de propriétés,
d'incertitudes ou d'une expression de la traçabilité.
5.5 Les valeurs indiquées en tant que « indicatives », « informatives », « pour information » ou
identifiées autrement comme n'étant pas couvertes par les expressions de la traçabilité métrologique
ou de l'incertitude de mesure, sont considérées comme étant inadaptées à une utilisation dans les
applications métrologiques nécessitant une valeur attribuée au mesurande, telles que l'étalonnage, ou
l'attribution de valeurs à d'autres matériaux. Ces valeurs sont néanmoins utiles pour vérifier si un MR
convient pour le contrôle de la fidélité, ou pour d'autres applications qui ne nécessitent pas une valeur
de propriété.
5.6 Tout au long du présent Guide, la loi de propagation de l'incertitude est utilisée. D'autres
méthodes de propagation des incertitudes peuvent aussi être appliquées et, dans certains cas, les
circonstances de l'application nécessitent de telles méthodes alternatives. Des lignes directrices
supplémentaires sur ces sujets sont données dans le GUM et ses suppléments.
4 © ISO 2015 — Tous droits réservés

GUIDE ISO 33:2015(F)
6 MR et leur rôle dans le mesurage
6.1 Applications courantes des MR
6.1.1 Les MR, et notamment les MRC, sont largement utilisés aux fins suivantes :
— étalonnage des équipements ou d’une procédure de mesure (Article 10) ;
— établissement de la traçabilité métrologique (Articles 9, 10 et 11) ;
— validation des méthodes (Articles 8 et 9) ;
— attribution de valeurs de propriété à d'autres matériaux (Article 11) ;
— contrôle de la qualité d'un mesurage ou d’une procédure de mesure (Articles 8 et 9) ;
— maintien d'échelles conventionnelles (Article 12).
La Figure 1 donne un aperçu d'un mesurage, incluant l'échantillonnage et la préparation de
l'échantillon. Le(s) rôle(s) possible(s) des MRC sont indiqués.
[4]
et
6.1.2 Les normes relatives aux systèmes qualité des laboratoires, par exemple l’ISO/IEC 17025
[5]
l’ISO 15189 , exigent que les résultats de mesure soient métrologiquement traçables et que les
équipements de mesure soient étalonnés. La traçabilité métrologique est une condition préalable à
l'obtention de résultats de mesure comparables et compatibles.
EXEMPLE Un vin ayant une fraction volumique d'alcool de 12 % peut être utilement comparé à un autre vin
ayant une fraction volumique d'alcool de 13,5 %.
6.1.3 Pour le grand public, il va de soi que les résultats de mesure, exprimés dans des unités
appropriées, sont comparables. Pour répondre à cette attente implicite des données de mesure, il
convient que les laboratoires s'assurent que tous les équipements sont convenablement étalonnés, à
l'aide d'étalons de mesure qui doivent eux‐mêmes être métrologiquement traçables à la réalisation de
l'unité pertinente. Dans de nombreux cas, cette unité fait partie du système international (SI) d'unités.
© ISO 2015 — Tous droits réservés 5

GUIDE ISO 33:2015(F)
Figure 1 — Représentation schématique d'un mesurage et du rôle des MRC
6 © ISO 2015 — Tous droits réservés

GUIDE ISO 33:2015(F)
6.1.4 Une liste des caractéristiques essentielles des MR, croisée avec les applications courantes des
MR, est donnée à l'Annexe A du présent Guide.
6.2 Valeur de propriété
6.2.1 Généralités
6.2.1.1 Les MRC sont caractérisés pour une ou plusieurs propriétés. Ces valeurs de propriétés sont
accompagnées des éléments suivants :
a) une spécification claire de la propriété concernée,
b) une indication de l’incertitude,
c) une expression de la traçabilité métrologique,
d) une période de validité du certificat.
Il convient que l'utilisateur vérifie que tous ces informations sont disponibles sous une forme non
ambiguë.
6.2.1.2 Il convient de ne pas utiliser de valeurs indicatives pour les utilisations de MRC décrites
dans le présent Guide.
NOTE La terminologie utilisée dans la pratique pour les valeurs indicatives n'est pas toujours cohérente avec
le présent Guide.
6.2.2 Spécification de la propriété
6.2.2.1 La spécification sans ambiguïté de la propriété concernée aide grandement à déterminer si
le MRC est approprié pour l'application prévue. Il incombe à l'utilisateur d'un MRC d'évaluer
l'adéquation du matériau avec l'application prévue.
EXEMPLE Pour les éléments traces dans le sol, il est important de spécifier s'il s'agit de la teneur totale, de la
teneur obtenue par destruction incomplète (par exemple, à l’eau régale), de la teneur lixiviable ou d'une espèce
particulière contenant l'élément trace.
6.2.2.2 Il convient d'indiquer les valeurs de propriétés dans les unités appropriées, de préférence
des unités SI. Il convient d'indiquer les valeurs de propriétés avec le nombre approprié de chiffres
significatifs, d'une part pour éviter toute perte d'exactitude inutile et, d'autre part, pour ne pas donner
une fausse impression d'exactitude.
NOTE Le GUM (Le Guide ISO/IEC 98‐3:2008, Article 7) donne des lignes directrices concernant
l'arrondissement des résultats de mesure et des incertitudes associées.
6.3 Indication de l'incertitude
Il convient que l’indication de l'incertitude soit facilement compréhensible, ce qui nécessite, entre
autres considérations, que toutes les informations requises pour convertir l'incertitude déclarée en une
incertitude‐type soient disponibles. Lorsqu'une incertitude élargie est indiquée, le facteur
d'élargissement approprié est généralement suffisant pour cette conversion.
© ISO 2015 — Tous droits réservés 7

GUIDE ISO 33:2015(F)
EXEMPLE Un certificat d'étalonnage relatif à un mélange de gaz donne l'indication suivante pour la fraction
molaire en monoxyde de carbone :
x = (41 122 ± 28) μmol/mol (k = 2)
CO
L'incertitude élargie est de 28 μmol/mol. L'incertitude‐type est obtenue en utilisant
U 28
11
u μmol mol 14μmol mol
k 2
6.3.2 Si un intervalle élargi est indiqué, il convient alors que la fonction de densité de probabilité
(supposée) de la valeur de propriété soit spécifiée, y compris le degré de confiance (par exemple 95 %)
de l'intervalle indiqué. Un tel intervalle peut être asymétrique. Il peut parfois être nécessaire de faire
des hypothèses supplémentaires concernant, par exemple, le facteur d'élargissement approprié. Dans
ces cas, il convient de respecter les lignes directrices du GUM (Guide ISO/IEC 98‐3:2008, 6.3).
EXEMPLE La teneur en carbone spécifiée d'un charbon est de 760,1 mg/g, et l'incertitude déclarée est de
2,1 mg/g. La note de bas de page suivante est ajoutée à la déclaration de l'incertitude : « L'incertitude est exprimée
sous forme d'intervalle de confiance à 95 %. Elle s'applique lorsque le matériau de référence est utilisé à des fins
d'étalonnage. »
Le rapport de certification montre clairement que les valeurs certifiées ont été obtenues à partir d'un
essai interlaboratoires et il est donc raisonnable de supposer une distribution normale. La demi‐
étendue d'un intervalle de confiance à 95 % est égale à 1,96 fois l'écart‐type. Il n'existe toutefois pas de
différence pratique avec l'utilisation d'un facteur (d'élargissement) de 2, qui correspondrait à un niveau
de confiance à 95,45 % pour la distribution normale.
U 2,1
L'incertitude‐type est obtenue en utilisant u mg/g1,05mg/g
k 2
6.3.3 Il convient de déclarer les incertitudes dans la même unité que les valeurs de propriétés ou,
sinon, de les exprimer sous forme d'une fraction de la valeur de propriété (c'est‐à‐dire sous forme d'une
incertitude élargie relative). Lorsque de telles fractions sont utilisées, il convient de déterminer si la
conversion en incertitudes‐types absolues peut être effectuée sans ambiguïté.
NOTE De telles fractions comprennent les pourcentages, les pour mille et les parties par million (ppm), bien
qu'aucune de ces fractions ne soit recommandée à cet effet en raison de leur ambiguïté.
6.3.4 Les MRC sont accompagnés d'un certificat indiquant, entre autres, les propriétés certifiées,
leurs valeurs et les incertitudes associées (voir 6.2.1.1). La description de la procédure permettant
d'établir l'incertitude associée aux valeurs de propriétés ne relève pas du domaine d'application du
présent Guide, mais il est important de comprendre les principaux facteurs contribuant potentiellement
à l'incertitude.
NOTE Les détails relatifs à l'établissement d'un bilan d'incertitude pour les valeurs de propriétés sont donnés
[2]
dans le Guide ISO 35 .
8 © ISO 2015 — Tous droits réservés

GUIDE ISO 33:2015(F)
Les principaux facteurs contribuant à l'incertitude associée aux valeurs de propriétés d'un MRC
[2]
comprennent :
— l'incertitude associée à la caractérisation ;
— l'incertitude associée à la stabilité à long terme ;
— l'incertitude associée à la stabilité à court terme (stabilité du matériau dans les conditions de
transport) ;
— l'incertitude associée aux variations inter‐unités.
6.3.5 Dans certains cas, une connaissance détaillée des différents éléments du bilan d'incertitude
peut être utile, en particulier si cette contribution est la plus importante. Ces informations peuvent être
obtenues auprès du producteur de MR.
6.3.6 Les bilans d’incertitudes associés aux valeurs de propriétés mentionnées sur les certificats
de MRC produits avant la fin des années 1990 n'incluent pas tous les effets liés à l'hétérogénéité et à
l'instabilité. Il convient que l'incertitude déclarée sur le certificat comprenne tous les facteurs
susceptibles d'influer sur la dispersion de la (des) valeur(s) de propriété(s) dans un lot et dans le temps.
En définitive, il convient que l'incertitude déclarée soit applicable à l’échantillon unique devant être
[2]
utilisé dans le processus de mesurage.
NOTE Si l'incertitude déclarée est trop faible, l'incertitude élargie à un degré de confiance inférieur à celui
déclaré.
6.3.7 Il convient que les MR qui ne sont pas accompagnés de valeurs de propriétés, soient
accompagnés d'informations concernant l'homogénéité (inter‐unités) et la stabilité à long terme des
propriétés pour lesquelles le MR peut être utilisé. Il convient que l'utilisateur vérifie si ces informations
sont fournies sous une forme permettant de les utiliser pour évaluer l'adéquation du MR. Une telle
évaluation peut comprendre l'utilisation des informations relatives à l'homogénéité et à la stabilité dans
les calculs ultérieurs de l'incertitude.
6.4 Expression de la traçabilité
6.4.1 La traçabilité métrologique est une propriété d'un résultat de mesure. Étant donné que la
valeur obtenue durant la caractérisation d'un MR (valeur de propriété) est un résultat de mesure, il
peut aussi avoir cet attribut. Une caractéristique essentielle des valeurs de propriétés des MRC est que
leur traçabilité métrologique est bien établie.
6.4.2 Il convient que l'utilisateur d'un MRC vérifie que les valeurs de propriétés sont
accompagnées d'une description de la chaîne de traçabilité métrologique de ces valeurs. Il convient que
cette description informe l'utilisateur sur l'échelle de mesure à laquelle se rapportent ces valeurs, de
manière à ce que ces dernières permettent de vérifier si le MRC est adapté ou non à l'usage prévu.
NOTE Dans la plupart des cas, l'échelle de mesure est l'unité SI.
© ISO 2015 — Tous droits réservés 9

GUIDE ISO 33:2015(F)
6.4.3 Pour permettre une interprétation des expressions de la traçabilité métrologique, il est
nécessaire de disposer des informations suivantes qu'il convient d'indiquer sur un certificat ou toute
autre documentation accompagnant un MRC :
a) la spécification du mesurande ;
b) l'unité à laquelle la valeur de propriété est traçable ;
c) la méthode utilisée pour la manipulation/transformation des échantillons et la (les)
procédure(s)/technique(s) de mesure utilisées pour la caractérisation ;
d) l’approche retenue pour la caractérisation (par exemple une méthode unique, deux méthodes,
plusieurs laboratoires, etc.).
NOTE La documentation accompagnant un MRC peut être mise à disposition par différents moyens, y
compris des sites internet, un courrier électronique ou des publications accessibles à tous.
6.4.4 Il incombe à la personne fournissant le résultat d'un mesurage d'étayer la déclaration de
traçabilité métrologique concernant ce résultat ou cette valeur. Dans le cas de MRC, le producteur de
MR assume cette responsabilité. Il incombe à l'utilisateur de contrôler la pertinence de la traçabilité
métrologique avec l'usage prévu.
6.4.5 Pour évaluer une déclaration de traçabilité métrologique, l'utilisateur peut avoir besoin de
plus d'informations que celles figurant dans le certificat. Une déclaration de traçabilité métrologique est
généralement étayée par les points mentionnés en 6.4.3.
Il convient que l'utilisateur d'un MR examine attentivement ces informations et évalue l’adéquation
d'un MR particulier avec l'usage prévu. Il convient que l'utilisateur du MR vérifie la disponibilité des
informations spécifiées dans le présent paragraphe pour faciliter l'évaluation. Si des parties essentielles
de ces informations ne sont pas disponibles, le MR peut être inadapté à une application.
7 Manipulation des MR et des MRC
7.1 Il convient de suivre le mode d'emploi ainsi que les prescriptions de stockage, car ils font partie
intégrante des conditions dans lesquelles les valeurs de propriétés et les incertitudes associées sont
valides. Un usage inapproprié des MR et des MRC peut altérer les performances des procédures de
mesure ; il convient donc de toujours l'éviter.
7.2 Il convient de respecter la date d'expiration figurant dans le certificat. Il convient de ne pas
utiliser les MRC au‐delà de cette date.
7.3 En particulier pour les MRC à usages multiples, il est important de s'assurer que le récipient
contenant le MRC est convenablement fermé et qu'il est stocké de manière appropriée. Dans certains
cas, un reconditionnement du matériau restant peut être nécessaire. Sinon, les valeurs de propriétés
déclarées peuvent devenir invalides et le MRC inutilisable ou non fiable. Il convient que l'utilisateur
suive les instructions fournies par le fabricant à cet égard.
7.4 Il convient de respecter la taille minimale du sous‐échantillon. Il est possible que des sous‐
échantillons plus petits ne soient pas représentatifs.
10 © ISO 2015 — Tous droits réservés

GUIDE ISO 33:2015(F)
7.5 Il convient de procéder au sous‐échantillonnage de ces MRC de telle sorte que le sous‐échantillon
prélevé en vue de l'utilisation reflète les propriétés du produit complet. Sinon, au fil du temps, le MRC
restant peut ne plus être représentatif du lot qui a été produit et certifié et, par conséquent, les valeurs
et les incertitudes mentionnées sur le certificat ne sont plus valides.
NOTE 1 Une réhomogénéisation des MRC est généralement nécessaire avant de procéder au sous‐
échantillonnage. De telles instructions figurent généralement dans la documentation fournie avec le MRC.
NOTE 2 Les MRC dits « à usage unique » sont conçus pour être utilisés en une seule fraction. En général, l'unité
contient un échantillon suffisant pour un ou deux mesurages. Cependant, il convient de ne pas subdiviser les
matériaux à usage unique lorsqu'ils sont destinés à être utilisés en une seule fraction.
8 Évaluation de la fidélité
8.1 Généralités
8.1.1 La vérification de la fidélité d’une procédure de mesure telle qu’appliquée par un laboratoire
englobe la comparaison de l’écart‐type intralaboratoire dans des conditions de répétabilité (ou dans
d’autres conditions spécifiées) avec la valeur requise de l’écart‐type.
NOTE Les mesures de la fidélité sont l'écart‐type dans des conditions de répétabilité ou de reproductibilité.
8.1.2 L'évaluation de la fidélité peut faire partie des activités qu'un laboratoire entreprend lorsqu'il
développe ou valide une méthode. Idéalement, il convient que ces expériences soient menées sur des
MR couvrant le domaine d'application de la méthode en termes de matrices (ou de variations au sein
[6]
d'une matrice) et de niveaux des valeurs de propriétés. L'évaluation peut également impliquer
plusieurs laboratoires. Des lignes directrices supplémentaires sur l'évaluation de la fidélité dans le
[7] [12]
cadre d'études interlaboratoires sont données dans l'ISO 5725 ‐ .
8.1.3 Les résultats de contrôles périodiques d'une procédure de mesure peuvent être enregistrés sur
[13]
un graphique de contrôle de la qualité. Une carte de contrôle peut être utilisée à cet effet.
8.2 Nombre de mesurages répétés
8.2.1 Pour une évaluation fiable de la fidélité dans un intervalle de confiance requis, le nombre
nécessaire de mesurages répétés peut être calculé par un test de χ. Le nombre de mesurages répétés, n,
requis dépend essentiellement des valeurs de α et de β et de l'hypothèse alternative choisie pour
évaluer la fidélité. L'Annexe C contient une discussion concernant les probabilités α et β, associées aux
risques de première et de seconde espèces dans les tests d'hypothèse statistique.
8.2.2 Le Tableau 1 montre la relation entre les degrés de liberté v (dans ce cas, v = n − 1) et le rapport
de l'écart‐type intralaboratoire, s , du processus de mesure à la valeur requise de l'écart‐type
w
intralaboratoire, σ , pour différentes valeurs de β à α = 0,05.
wo
EXEMPLE Si n = 10, la probabilité que la variance des résultats de mesure satisfera au test χ (voir 8.6)
approprié pour α = 0,05 n'excède pas 1 % lorsque l’écart‐type intralaboratoire, σ , du processus de mesure est
w
supérieur ou égal à 2,85 fois la valeur requise de σ .
w
© ISO 2015 — Tous droits réservés 11

GUIDE ISO 33:2015(F)
Tableau 1 — Rapport de l'écart-type du processus de mesure à la valeur requise pour diverses
valeurs de β et divers degrés de liberté v pour α = 0,05
α = 0,05
v
β = 0,01 β = 0,05 β = 0,1 β = 0,5
1 159,5 31,3 15,6 2,73
2 17,3 7,64 5,33 2,08
3 6,25 4,71 3,66 1,82
4 5,65 3,65 2,99 1,68
5 4,47 3,11 2,62 1,59
6 3,80 2,77 2,39 1,53
7 3,37 2,55 2,23 1,49
8 3,07 2,38 2,11 1,45
9 2,85 2,26 2,01 1,42
10 2,67 2,15 1,94 1,40
12 2,43 2,01 1,83 1,36
15 2,19 1,85 1,71 1,32
20 1,95 1,70 1,59 1,27
24 1,83 1,62 1,52 1,25
30 1,71 1,54 1,46 1,22
40 1,59 1,45 1,38 1,19
60 1,45 1,35 1,30 1,15
120 1,30 1,24 1,21 1,11
8.3 Exigences relatives au MR
8.3.1 Pour évaluer la fidélité de mesure, un MR présentant une homogénéité et une stabilité
suffisantes est nécessaire. Il convient que la stabilité du MR par rapport à toutes les propriétés d'intérêt
soit au moins suffisante pendant la période requise pour les mesurages de vérification de la fidélité. Si
nécessaire, il convient de prendre des précautions spécifiques pour surveiller la stabilité du MR utilisé.
Ces précautions peuvent consister à démontrer la stabilité du processus de mesure étudié par d'autres
moyens, tels que l'utilisation d'un MRC, ou à utiliser un autre processus de mesure dont la stabilité a été
démontrée.
8.3.2 Lorsqu'un MR est utilisé pour établir la carte de contrôle, les écarts entre les résultats peuvent
être dus à des problèmes de stabilité du MR, plutôt qu'à des problèmes avec le système de mesure. Il
convient que les utilisateurs de MR soient conscients de cette possibilité et l'incluent dans l'analyse des
causes principales.
8.3.3 Bien que le MR utilisé pour l’évaluation de la fidélité n'ait pas nécessairement de valeurs de
propriétés connues et métrologiquement traçables pour les propriétés d'intérêt, les mesures de fidélité
peuvent dépendre de la valeur nominale du mesurande ; par conséquent, il est généralement nécessaire
de connaître les valeurs nominales des paramètres d'intérêt pour évaluer la pertinence du MR choisi
pour la vérification.
12 © ISO 2015 — Tous droits réservés

GUIDE ISO 33:2015(F)
8.3.4 Des lignes directrices plus générales sur les aspects à prendre en compte en ce qui concerne
l'adéquation du MR sont données à l’Article 13.
8.4 Mesurage
8.4.1 Il convient que l'utilisateur effectue des mesurages répétés indépendants. Par « indépendant »,
on entend, au sens pratique du terme, un résultat répété qui n’est pas affecté par des mesures
antérieures. Faire des mesurages répétés implique de répéter l’ensemble du mode opératoire. Par
exemple, dans le cas de l’analyse chimique d’un matériau solide, il convient de répéter le mode
opératoire depuis le pesage de la prise d’essai jusqu’à la lecture finale ou jusqu'au calcul du résultat.
EXEMPLE Si le mesurage du plomb dans un MR de sol comprend un sous‐échantillonnage, une destruction
des prises d’essai, suivie du mesurage des aliquotes, alors les résultats sont indépendants dans la mesure où le
sous‐échantillonnage, la destruction et le mesurage sont concernés. Si, au contraire, une aliquote est mesurée de
façon répétée, alors l'écart‐type obtenu couvre seulement les effets de répétabilité du mesurage d'une aliquote.
Avant de commencer les travaux expérimentaux, il est très important de vérifier quelle partie du
processus est décrite par l'écart‐type σ . Dans de nombreuses normes d'essai, la répétabilité déclarée
wo
se rapporte à l'intégralité de la méthode d'essai normalisée. Il convient donc d'effectuer en conséquence
les mesurages permettant d'évaluer la répétabilité d'une telle méthode d'essai, c'est‐à‐dire répéter
entièrement la méthode d'essai pour chacun des (sous)échantillons.
8.4.2 Des mesurages répétés indépendants peuvent être réalisés de diverses façons selon le type de
processus. Toutefois, une répétition parallèle n’est pas toujours recommandée, car une erreur commise
à un stade quelconque du mode opératoire pourrait influencer toutes les répétitions. Par ailleurs, il peut
s'avérer nécessaire d'inclure aussi dans le processus de répétition des étapes telles que, par exemple,
l'étalonnage de l'équipement de mesure.
EXEMPLE Dans les analyses de minerais de fer, la répétition de la procédure analytique est effectuée à
différents instants et comporte un étalonnage approprié. Dans ce cas, l'écart‐type calculé à partir des répétitions
contient également les contributions de la variabilité journalière et de l'étalonnage.
8.5 Traitement des données
8.5.1 Il convient dans un premier temps d'examiner minutieusement les données ainsi obtenues afin
de détecter toute irrégularité. Il convient d'écarter les données identifiées comme techniquement
invalides, que ces dernières semblent suivre ou non la loi de probabilité (supposée) de l'ensemble
complet de données. Les résultats techniquement invalides sont généralement dus à des irrégularités
durant le traitement et/ou le mesurage de l'échantillon.
8.5.2 Un deuxième type d'irrégularités comprend les observations dont les valeurs semblent s'écarter
grandement des autres observations de l'ensemble de données. Souvent, mais pas toujours, il est
possible de trouver une raison technique et il convient don
...


РУКОВОДСТВО
ISO 33
Третье издание
2015-02-01
Стандартные образцы. Надлежащая
практика применения стандартных
образцов
Reference materials — Good practice in using reference materials

Ответственность за подготовку русской версии несёт GOST R
(Российская Федерация) в соответствии со статьёй 18.1 Устава ISO
Ссылочный номер
©
ISO 2015
ДОКУМЕНТ ЗАЩИЩЕН АВТОРСКИМ ПРАВОМ

Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO, которое должно быть получено после запроса о разрешении, направленного по
адресу, приведенному ниже, или в комитет-член ISO в стране запрашивающей стороны.
ISO copyright office
Case postale 56  CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2015 – Все права сохраняются

Содержание Страница
Предисловие . v
Введение . vi
1 Область применения . 1
2 Нормативные ссылки . 1
3 Термины и определения . 2
4 Символы . 3
5 Принятые допущения . 4
6 СО и их роль в измерении . 5
6.1 Общие сведения о применении СО . 5
6.2 Значение свойства . 7
6.2.1 Общие сведения . 7
6.2.2 Описание рассматриваемого свойства . 7
6.3 Указание неопределенности . 8
6.4 Утверждение о прослеживаемости . 9
7 Обращение с СО и ССО . 10
8 Оценивание прецизионности . 10
8.1 Общие сведения . 10
8.2 Число повторных измерений . 11
8.3 Требования к СО . 12
8.4 Измерение . 12
8.5 Обработка данных . 12
8.6 Расчет и оценивание прецизионности . 13
9 Оценка смещения . 14
9.1 Общие сведения . 14
9.2 Подход к проверке смещения . 14
9.3 Применение данных со смещением . 15
10 Калибровка . 16
10.1 Общие сведения . 16
10.2 Установление метрологической прослеживаемости . 16
10.3 Модели калибровки . 16
11 Приписывание значений другим материалам . 17
11.1 Общие сведения . 17
11.2 Чистые материалы . 18
11.3 Гравиметрия и волюмометрия . 19
12 Принятые шкалы . 20
12.1 Общие сведения . 20
12.2 Шкала рН . 21
12.3 Октановое число . 21
13 Выбор ССО и СО . 21
13.1 Общие сведения . 21
13.2 Выбор CСО . 22
13.3 Выбор СО . 25
13.4 Пригодность для измерительной системы . 25
Приложение А (информативное) Ключевые характеристики стандартного образца по
отношению к наиболее распространенным областям его применения . 27
Приложение В (информативное) Модели калибровки и связанные с ними модели
неопределенности . 28
Приложение С (информативное) Ошибки решения . 31
Библиография . 32

iv © ISO 2015 – Все права сохраняются

Предисловие
ISO (Международная организация по стандартизации) является всемирной федерацией национальных
учреждений по стандартизации (комитетов-членов ISO). Разработка Международных стандартов
обычно проводится техническими комитетами ISO. Каждый член ISO, имеющий интерес к
тематической области, для которой установлен технический комитет, имеет право быть
представленным в этом комитете. Сотрудничающие с ISO международные организации, как
правительственные, так и неправительственные, также принимают участие в работе ISO. ISO тесно
сотрудничает с Международной электротехнической комиссией (IEC) по всем вопросам
стандартизации в области электротехники.
Процедуры, используемые для разработки и дальнейшего поддержания настоящего документа,
установлены в Директивах ISO/IEC Directives, Часть 1. В частности, следует отметить различные
критерии утверждения различных типов документов ISO. Этот документ был разработан в
соответствии с редакционными правилами Директив ISO/IEC Directives, Часть 2.
(см. http://www.iso.org/directives).
Следует обратить внимание на то, что некоторые элементы настоящего документа могут быть
предметом патентных прав. ISO не несет ответственности за обнаружение каких-либо или всех таких
патентных прав. Сведения о каких-либо патентных правах, обнаруженных во время разработки
документа, будут указаны во Введении и/или в Перечне ISO полученных патентных деклараций
(см. http://www.iso.org/patents).
Любое торговое название, использованное в этом документе, является информацией, представленной
для удобства потребителей, и не означает одобрение.
Для разъяснения значения специальных терминов и выражений ISO, относящихся к оценке
соответствия, а также для информации о соблюдении ISO принципов ВТО в отношении к Техническим
барьерам в торговле (TBT) см. следующий URL: Foreword – Supplementary information.
Комитетом, ответственным за этот документ, является ISO/REMCO, Комитет по стандартным
образцам.
Это третье издание отменяет и заменяет второе издание (ISO Guide 33:2000) и ISO Guide 32: 1997,
которые были технически пересмотрены.
Введение
Целью данного Руководства является предоставление общих рекомендаций по использованию СО.
Эти рекомендации проиллюстрированы реальными примерами, которые в какой-то степени также
отражают степень сложности, связанной с СО. Эта степень детализации считается полезной для тех,
кто отвечает за менеджмент качества в лабораториях разработчиков, проверяющих, менеджеров и
экспертов по оценке методик, рабочих инструкций, стандартных действующих процедур и т.д.
Основными областями применения СО являются калибровка, установление прослеживаемости,
валидация методов, приписывание значений другим материалам и контроль качества.

vi © ISO 2015 – Все права сохраняются

РУКОВОДСТВО ISO GUIDE 33:2015(R)

Стандартные образцы. Надлежащая практика применения
стандартных образцов
1 Область применения
1.1 В настоящем Руководстве описана надлежащая практика применения стандартных образцов
(СО) и сертифицированных стандартных образцов (CСО), в частности — в измерительном процессе.
Эти области применения включают оценку прецизионности и правильности методов измерений,
контроль качества, приписывание значений материалам, калибровку и установление принятых шкал. В
настоящем Руководстве также представлена связь ключевых характеристик различных типов СО с
различными областями измерений.
1.2 Для CСО установлена метрологическая прослеживаемость значений свойств к международным
шкалам или другим эталонам. Для СО, не являющихся CСО, этот вид прослеживаемости значений
свойств часто не установлен. Тем не менее, эти СО все же могут использоваться для оценивания
некоторых этапов измерительных процедур, включая оценивание различных уровней прецизионности.
1.3 Основные области применения СО включают контроль прецизионности (Раздел 8), калибровку
(Раздел 10), изготовление СО для калибровки (Раздел 11) и поддержание принятых шкал (Раздел 12).
ПРИМЕЧАНИЕ Не все виды СО могут использоваться для всех указанных целей.
[1]
1.4 Подготовка СО для калибровки — это часть области распространения ISO Guide 34 и
[2]
ISO Guide 35 . Рассмотрение этих вопросов в настоящем документе ограничено основными
принципами изготовления СО и приписывания значений, используемых лабораториями для
калибровки своего оборудования. Крупномасштабное производство таких СО с возможной целью их
дальнейшего распространения выходит за рамки настоящего документа. Этот вид деятельности
[1] [2]
рассматривается в ISO Guide 34 и ISO Guide 35 .
1.5 Разработка рабочих эталонов, применяемых, например, в анализе природного газа, клинической
химии, и фармацевтической промышленности не рассматривается в настоящем документе. Этот вид
[1] [2]
деятельности рассматривается в ISO Guide 34 и ISO Guide 35 .
2 Нормативные ссылки
ISO 3534-1, Статистика. Словарь и условные обозначения. Часть 1. Термины по теории
вероятности и общие статистические термины
ISO Guide 30, Термины и определения, используемые в области стандартных образцов
ISO/IEC, Неопределенность измерения. Часть 3. Руководство по выражению неопределенности в
измерении (GUM:1995)
ISO/IEC Guide 99:2007, Международный словарь по метрологии. Основные и общие понятия и
соответствующие термины (VIM)
ПРИМЕЧАНИЕ «Руководство по выражению неопределенности в измерении» называется «GUM», а
«Международный словарь основных и общих терминов в метрологии» называется «VIM».
3 Термины и определения
Для целей настоящего Руководства используются термины и определения из ISO/IEC Guide 98-3,
ISO/IEC Guide 99 и ISO Guide 30, а также следующие термины и определения.
ПРИМЕЧАНИЕ Дополнительные определения можно найти на онлайн платформе просмотров ИСО https://
www.iso.org/OBP/ui/
3.1
стандартный образец (СО)
reference material (RM)
материал, достаточно однородный и стабильный по отношению к одному или нескольким
определенным свойствам, которые были установлены для того, чтобы использовать его по
назначению в измерительном процессе
Примечание 1 к статье СО – это общее понятие.
Примечание 2 к статье Свойства могут быть количественными или качественными например, идентичность
веществ или объектов.
Примечание 3 к статье Применение может включать калибровку измерительной системы, оценивание
пригодности методики измерений, приписывание значений свойств другим материалам и контроль качества.
[1]
Примечание 4 к статье ISO/IEC Guide 99:2007 имеет аналогичное определение (5.13), но ограничивает
распространение термина «измерение» только на количественные значения, не включая качественные свойства.
[1]
Однако в Примечание 3 ISO/IEC Guide 99:2007 , 5.13 (VIM), специально включено понятие качественных
признаков, называемых номинальными свойствами.
[ИСТОЧНИК: ISO Guide 30]
3.2
сертифицированный стандартный образец (ССО)
certified reference material (CRM)
стандартный образец (CО), одно или несколько определенных свойств которого установлены
метрологически обоснованной процедурой, сопровождаемый сертификатом СО, в котором приведено
значение этого свойства, связанной с ним неопределенности, и утверждение о метрологической
прослеживаемости
Примечание 1 к статье Понятие значения включает номинальное свойство или качественный признак такой,
как идентичность или последовательность. Неопределенности для таких признаков могут быть выражены как
вероятности или уровни доверия.
Примечание 2 к статье Метрологически обоснованные процедуры производства и сертификации СО, описаны,
[2] [3]
в том числе, в ISO Guide 34 и Guide 35 .
[17]
Примечание 3 к статье В ISO Guide 31 приведены рекомендации по содержанию сертификатов СО.
Примечание 4 к статье ISO/IEC Guide 99:2007 имеет аналогичное определение (5.14).
[ИСТОЧНИК: ISO Guide 30]
3.3
значение свойства
property value
<стандартного образца (СО)> значение, соответствующее величине, представляющей физическое,
химическое или биологическое свойство СО
[ИСТОЧНИК: ISO Guide 30]
2 © ISO 2015 – Все права сохраняются

3.4
сертифицированное значение
certified value
значение, приписанное свойству стандартного образца (СО), сопровождаемое установленной
неопределенностью и установленной метрологической прослеживаемостью, указанное в сертификате
СО.
[ИСТОЧНИК: ISO Guide 30]
3.5
справочное значение
indicative value
информационное значение
information value
информативное значение
informative value
значение величины или свойства стандартного образца, представляемое только для информации
Примечание 1 к статье Справочное значение не может использоваться в качестве основы для сравнения в
цепи метрологической прослеживаемости
[ИСТОЧНИК: ISO Guide 30]
3.6
калибрант
calibrant
стандартный образец, используемый для калибровки оборудования или измерительной процедуры.
[ИСТОЧНИК: ISO Guide 30]
3.7
материал для контроля качества
quality control material
стандартный образец, используемый для контроля качества измерения.
[ИСТОЧНИК: ISO Guide 30]
4 Символы
α риск ошибки первого рода (ошибка типа I)
β риск ошибки второго рода (ошибка типа II)
χ Хи-квадрат
d смещение измерения
k коэффициент охвата
sw стандартное отклонение, рассчитанное по повторным наблюдениям
σ требуемое внутрилабораторное стандартное отклонение
wo
u() стандартная неопределенность параметра в скобках
U() расширенная неопределеенность параметра в скобках
UCRM стандартная неопределенность, связанная со значением свойства ССО
u стандартная неопределенность, связанная со значением, полученным путeм измерения ССО
meas
uprep неопределенность, связанная со значением, полученным путeм приготовления калибранта
x значение определенного свойства ССО
CRM
xmeas значение, полученное путeм измерения CСО
x значение, полученное путeм приготовления калибранта
prep

x среднее арифметическое повторных наблюдений
5 Принятые допущения
В настоящем Руководстве используются следующие принятые допущения.
 .1 Измеряемая величина указывается таким образом, что существует уникальное, неизвестное
«истинное значение».
5.2 Все статистические методы, описанные в настоящем Руководстве, основаны на следующих
допущениях.
а) Сертифицированное значение является наилучшей оценкой истинного значения свойства CСО.
b) Все вариации, независимо от того, связаны они с материалом (т.е. однородность) или с
измерительным процессом являются случайными и следуют нормальному распределению
вероятностей. Значения вероятностей, указанные в настоящем документе, предполагают
нормальное распределение. Вероятность может быть другой при отклонении от нормальности.
5.3 Понятие «сертифицированный стандартный образец» (CСО), в том смысле, как используется в
настоящем документе, также включает СО, значения свойств которых сопровождаются утверждениями
о метрологической прослеживаемсти или указаниями неопределенности измерений. Предполагается,
[1]
что эти значения свойства получены в процессе характеризации в соответствии с ISО Guide 34 и ISO
[2]
Guide 35 .
5.4 В тех случаях, где термин СО используется в настоящем документе, это значит, что любой СО
можно использовать для указанной цели. CСО используется как вариант, но, как правило, не самый
экономный. На практике, в большинстве случаев используется СО, поступающий без значений
свойства, неопределенностей и утверждения о прослеживаемости.
5.5 Значения, указанные как «справочные», «информативные», «для информации» или иным
способом обозначенные как неохваченные утверждениями о метрологической прослеживаемости или
указаниями неопределенности измерения, рассматриваются как несоответствующие для
использования в метрологических областях, где требуется значение, приписанное измеряемой
величине, например при калибровке или приписывании значений другим материалам. Тем не менее,
эти значения полезны для подтверждения возможности использования СО для контроля
прецизионности или в других областях, не требующих значения свойства.
5.6 В тексте настоящего Руководства используется закон распределения неопределенностей. Могут
также применяться другие способы распределения неопределeнностей, и в некоторых случаях такие
альтернативные способы обусловлены условиями их применения. Дополнительное руководство по
этим вопросам дано в GUM и его приложениях.
4 © ISO 2015 – Все права сохраняются

6 СО и их роль в измерении
6.1 Общие сведения о применении СО
6.1.1 СО и CСО в частности, широко используются для следующих целей:
— калибровка оборудования или измерительной процедуры (Раздел 10);
— установление метрологической прослеживаемости (Разделы 9, 10 и 11);
— валидация метода (Разделы 8 и 9);
— приписывание значений другим материалам (Раздел 11);
— контроль качества измерения или измерительной процедуры (Разделы 8 и 9);
— поддержание принятых шкал (Раздел 12).
На Рисунке 1 представлено схематическое изображение измерения, включая отбор и приготовление
проб. Указана роль/роли ССО.
Рисунок 1 — Схематическое изображение измерения и роль в нем ССО
6 © ISO 2015 – Все права сохраняются

6.1.2 Стандарты, предусмотренные для применения в рамках систем качества лабораторий,
[4] [5]
например, ISO/IEC 17025 и ISO 15189 требуют, чтобы результаты измерений были метрологи-чески
прослеживаемы и измерительное оборудование было откалибровано. Метрологическая
прослеживаемость является необходимым условием достижения сравнимых и сопоставимых
результатов измерений.
ПРИМЕР Вино с объемной долей 12 % алкоголя можно успешно сравнить с другим вином с объемной долей
13,5 % алкоголя.
6.1.3 Широкий круг лиц принимает как должное, что результаты измерений, выраженные в
соответствующих единицах, сопоставимы. Для удовлетворения этого безусловного ожидания от
результатов измерений лаборатории должны обеспечить надлежащую калибровку всего оборудования
с применением эталонов, которые в свою очередь метрологически прослеживаемы к реализации
соответствующей единицы. Во многих случаях эта единица является частью СИ - Международной
системы единиц.
6.1.4 Краткий перечень ключевых характеристик СО с перекрестными ссылками на наиболее
распространенные области применения СО, приведен в Приложении А к настоящему Руководству.
6.2 Значение свойства
6.2.1 Общие сведения
6.2.1.1 ССО охарактеризованы на одно или несколько свойств. Значения этих свойств
сопровождаются:
a) четким описанием исследуемого свойства;
b) указанием неопределенности;
c) утверждением о метрологической прослеживаемости;
d) указанием срока действия сертификата.
Потребитель должен убедиться, что вся эта информация доступна в недвусмысленном виде.
6.2.1.2 Справочные значения не должны использоваться ни в одной из областей применения ССО,
указанных в настоящем Руководстве.
ПРИМЕЧАНИЕ Терминология, применяемая на практике для справочных значений, не всегда согласуется с
настоящим Руководством.
6.2.2 Описание рассматриваемого свойства
6.2.2.1 Недвусмысленное описание рассматриваемого свойства значительно способствует принятию
решения относительно соответствия ССО его назначению. Потребитель ССО отвечает за оценку
пригодности материала для его назначения.
ПРИМЕР Для следовых элементов в почве важно определить, являются ли они общим содержанием,
содержанием, полученным в результате неполного разрушения (например, aqua regia), выщелачиваемым
содержанием или конкретными видами, содержащими следовые элементы.
6.2.2.2 Значения свойства должны быть выражены в соответствующих единицах, предпочтительно в
единицах СИ. Значения свойства следует выражать соответствующим числом цифр, избегая с одной
стороны неоправданной потери точности и создания ложного впечатления о точности, с другой.
ПРИМЕЧАНИЕ В GUM (ISO/IEC Guide 98-3:2008, раздел 7) даны рекомендации по округлению результатов
измерения и связанных с ними неопределенностей.
6.3 Указание неопределенности
6.3.1 Указание неопределенности должно быть представлено в понятном виде, наряду с другими
факторами требуется наличие информации, необходимой для преобразования указанной
неопределенности в стандартную неопределенность. Если указана стандартная неопределенность,
тогда для этого преобразования достаточно, как правило, указания соответствующего коэффициента
охвата.
ПРИМЕР В сертификате калибровки для газовой смеси количество оксида углерода указано в виде молярной
доли:
XCO = (41 122 ± 28) мкмоль/моль (k = 2).
Расширенная неопределенность равна 28 мкмоль/моль. Стандартная неопределенность
рассчитывается по формуле:
U 28
u  мкмоль/моль = 14 мкмоль/моль
k 2
6.3.2 Если указан интервал охвата, тогда должна быть указана (предполагаемая) плотность
распределения вероятности значения свойства, включая вероятность охвата (например, 95 %)
указанного интервала. Такой интервал может быть асимметричным. Иногда может возникнуть
необходимость принятия дополнительных допущений, касающихся, например, подходящего
коэффициента охвата. В этих случаях необходимо следовать рекомендациям GUM (ISO/IEC Guide 98-
3:2008, 6.3).
ПРИМЕР Установлено, что содержание углерода в каменном угле равно 760,1 мг/г и указана
неопределенность — 2,1 мг/г. К указанию неопределенности добавляется следующее подстрочное примечание:
«Неопределенность выражена в виде доверительного интервала, равного 95%. Это применимо, если стандартный
образец используется для калибровки».
Из отчета о сертификации следует, что сертифицированные значения получены в результате
межлабораторного эксперимента и, следовательно, разумно предположить нормальное
распределение. Полуширина 95 % уровня доверительного интервала равна стандартному отклонению,
умноженному на 1,96. Однако нет практического различия при использовании коэффициента (охвата),
равного 2, который будет соответствовать для нормального распределения с уровнем доверия
95,45 %.
Стандартная неопределенность рассчитывается по формуле мг/г = 1,05 мг/г.
6.3.3 Установленные неопределенности должны указываться в тех же единицах, что и значения
свойств или альтернативно — в виде доли значения свойства (т.е. как относительная расширенная
неопределенность). При использовании таких долей следует определить возможность их однозначного
преобразования в абсолютные стандартные неопределенности.
ПРИМЕЧАНИЕ Такие доли включают проценты, промилле и число частей на миллион (ppm), хотя ни одна из
них не рекомендуется для этой цели из-за их неоднозначности.
6.3.4 К ССО прилагается сертификат, в котором указываются, в том числе, сертифицированные
свойства, их значения и связанные с ними неопределенности (см. 6.2.1.1). В область настоящего
документа не входит описание способа установления неопределенности, связанной со значениями
свойств, но важно понимание возможных основных источников вклада в неопределенность.
ПРИМЕЧАНИЕ Подробные сведения, касающиеся установления бюджета неопределенности для значений
[2]
свойств, приведены в ISO Guide 35 .
[2]
Основные источники вклада в неопределенность, связанную со значениями свойств CСО, включают:
8 © ISO 2015 – Все права сохраняются

— неопределенность от характеризации;
— неопределенность от долговременной стабильности;
— неопределенность от кратковременной стабильности (стабильность материала в условиях
транспортирования);
— неопределенность от межэкземплярной неоднородности.
6.3.5 В некоторых случаях может быть полезно детальное знание различных частей бюджета
неопределенности, в частности, если такой вклад является наибольшим. Эта информация может быть
получена от изготовителя ССО.
6.3.6 Не все указания неопределенности, прилагаемые к значениям свойств в сертификатах ССО,
изготовленных до конца 1990-х годов, включают сведения об эффектах от неоднородности и
нестабильности партии. Неопределенность, указанная в сертификатах, должна включать в себя все
факторы, которые могут влиять на разброс значения(ий) свойств по всей партии и с течением времени.
В конечном счете, указанная неопределенность должна быть применима к отдельной упаковке ССО,
[2]
используемого в измерительном процессе .
ПРИМЕЧАНИЕ Если указанная неопределенность слишком мала, расширенная неопределенность имеет
более низкий уровень доверия, чем указано.
6.3.7 СО, выпускаемые без значений свойств, должны выпускаться с некоторой информацией об
однородности (межэкземплярной) и долговременной стабильности свойств, для которых этот СО
может быть использован. Потребитель должен убедиться, что эта информация представлена в такой
форме, которая позволяет использовать ее для оценивания пригодности СО. Такое оценивание может
включать использование информации, относящейся к однородности и стабильности в последующих
расчетах неопределенности
6.4 Утверждение о прослеживаемости
6.4.1 Метрологическая прослеживаемость — это свойство результата измерений. Поскольку
значение, полученное в процессе характеризации (значения свойства) СО, является результатом
измерений, оно может также иметь этот признак. Ключевой характеристикой значений свойств ССО
является то, что их метрологическая прослеживаемость хорошо установлена.
6.4.2 Потребитель CСО должен убедиться, что значения свойств сопровождаются утверждением о
метрологической прослеживаемости этих значений. Это утверждение должно информировать
потребителя о шкале величины, к которой относятся эти значения, чтобы они могли подтвердить
пригодность ССО для его назначения.
ПРИМЕЧАНИЕ В большинстве случаев шкалой величины является единица СИ.
6.4.3 Для интерпретации утверждений о метрологической прослеживаемости необходимы
следующие сведения, которые должны быть указаны в сертификате или другой документации,
прилагаемой к ССО:
a) точное описание измеряемой величины;
b) единица, к которой устанавливается прослеживаемость значения свойства;
c) метод, используемый для обработки/преобразования пробы и методика(и)
измерений/процедура(и), используемые при характеризации;
d) подход к характеризации (например, один метод, два метода, разные лаборатории и т.д.).
ПРИМЕЧАНИЕ Документация, сопровождающая ССО, может быть доступна различными средствами,
включая вебсайты, электронную почту или открытые публикации.
6.4.4 Оператор, получивший результат измерения, отвечает за поддержку заявления о
метрологической прослеживаемости для этого результата или значения. При выпуске из производства
CСО эту ответственность несет изготовитель СО. Потребитель обязан проверять соответствие
метрологической прослеживаемости назначению CСО.
6.4.5 Для оценивания заявления о метрологической прослеживаемости потребитель может
потребовать больше информации, чем предусмотрено сертификатом. Заявление о метрологической
прослеживаемости обычно сопровождается сведениями, указанными в 6.4.3.
Потребитель СО должен изучить эту информацию и оценить соответствие конкретного СО его
назначению. При проведении оценивания потребитель СО должен проверить наличие всех данных,
указанных в этом разделе. При отсутствии важных составляющих этой информации СО может быть
непригодным для применения.
7 Обращение с СО и ССО
7.1 Необходимо соблюдать инструкции по применению и хранению, т.к. они формируют часть
условий, при которых действительны значения свойств и связанные с ними неопределенности.
Неправильное применение СО и CСО может негативно влиять на выполнение измерительных
процедур, и его всегда следует избегать.
7.2 Следует соблюдать срок действия сертификата. CСО не должны использоваться по истечении
этого срока.
7.3 Для CСО, которые могут использоваться неоднократно, особенно важно убедиться, что упаковка,
в которой находится ССО, правильно закрыта и хранится надлежащим образом. В некоторых случаях
может быть необходима повторная фасовка оставшегося материала. В противном случае
установленные значения свойств могут стать недействительными и ССО непригодным для
применения или ненадежным. Потребитель должен следовать инструкциям, предоставленным
изготовителем.
7.4 Следует соблюдать требования в части наименьшей представительной пробы. Выборочные
пробы меньшего размера могут быть непредставительными.
7.5 Отбор выборочных проб таких ССО должен производиться таким образом, чтобы выборочная
проба, взятая для использования, отражала свойства всей упаковки. Иначе, с течением времени
оставшийся материал CСО может больше не быть представительным по отношению к партии, которая
была изготовлена и сертифицирована, и, следовательно, значения и неопределенности, указанные в
сертификате, становятся недействительными.
ПРИМЕЧАНИЕ 1 Перед отбором выборочных проб обычно необходима повторная гомогенизация. Такие
инструкции, как правило, приводятся в документации, прилагаемой к ССО.
ПРИМЕЧАНИЕ 2 Так называемые «одноразовые» CСО разрабатываются для использования в виде одной
порции. Обычно экземпляр содержит достаточно материала для одного или двух измерений. Но если
одноразовые материалы разработаны для использования в виде одной порции, они не должны разделяться.
8 Оценивание прецизионности
8.1 Общие сведения
8.1.1 Проверка прецизионности методики измерений лабораторией включает сравнение
внутрилабораторного стандартного отклонения результатов в условиях повторяемости (или других
четко определенных условиях) с требуемым значением этого стандартного отклонения.
ПРИМЕЧАНИЕ Показателями прецизионности являются стандартные отклонения в условиях повторяемости
или воспроизводимости.
10 © ISO 2015 – Все права сохраняются

8.1.2 Оценивание прецизионности может быть частью деятельности лаборатории по разработке или
валидации метода. Такие эксперименты должны в идеальном случае проводиться на СО,
охватывающих область применения метода в отношении матриц (или вариаций внутри матрицы) и
[6]
уровней значений свойств . В таком оценивании могут также участвовать разные лаборатории.
Дополнительные рекомендации по оцениванию прецизионности в межлабораторных исследованиях
[7]- [12]
даны в руководствах ISO 5725 .
8.1.3 Результаты периодических проверок методики измерений могут быть занесены на карту
[13]
контроля качества. Для этой цели можно использовать контрольную карту размахов .
8.2 Число повторных измерений
8.2.1 Для надежного оценивания прецизионности в пределах требуемого доверительного интервала,
необходимое число повторных измерений может быть установлено с помощью χ 2 — критерия. Число
требуемых повторных измерений, n, зависит, преимущественно, от значений α и β и от альтернативной
гипотезы, выбранной для оценивания прецизионности. Рассмотрение вероятностей α и β, связанных с
рисками типа I и типа II в статистической гипотезе представлено в Приложении С.
8.2.2 В Таблице 1 показана зависимость между степенями свободы ν (где, в этом случае ν = n – 1) и
отношением внутрилабораторного стандартного отклонения результатов измерительного процесса,
sW, и требуемого значения внутрилабораторного стандартного отклонения σWО для различных
значений β при α = 0,05.
ПРИМЕР Для n = 10 вероятность того, что дисперсия результатов измерений пройдет проверку на
соответствие χ 2 — критерию (см. 8.6) при α = 0,05 не превышает 1%, в том случае, когда внутрилабораторное
стандартное отклонение, σW, результатов измерительного процесса равно или превышает в 2,85 раза требуемое
значение σWО.
Таблица 1 — Отношение стандартного отклонения результатов измерительного процесса к
требуемому значению для различных значений β и степеней свободы ν при α = 0,05
α = 0,05
ν
β = 0,01 β =0,05 β = 0,1 β = 0,5
1 159,5 31,3 15,6 2,73
2 17,3 7,64 5,33 2,08
3 6,25 4,71 3,66 1,82
4 5,65 3,65 2,99 1,68
5 4,47 3,11 2,62 1,59
6 3,80 2,77 2,39 1,53
7 3,37 2,55 2,23 1,49
8 3,07 2,38 2,11 1,45
9 2,85 2,26 2,01 1,42
10 2,67 2,15 1,94 1,40
12 2,43 2,01 1,83 1,36
15 2,19 1,85 1,71 1,32
20 1,95 1,70 1,59 1,27
24 1,83 1,62 1,52 1,25
30 1,71 1,54 1,46 1,22
40 1,59 1,45 1,38 1,19
60 1,45 1,35 1,30 1,15
120 1,30 1,24 1,21 1,11
8.3 Требования к СО
8.3.1 Для оценивания прецизионности измерений необходим СО с достаточной однородностью и
стабильностью. Стабильность СО по отношению ко всем рассматриваемым свойствам должна быть
достаточной хотя бы на тот период времени, который требуется для измерений по проверке
прецизионности. При необходимости следует принять специальные меры для мониторинга
стабильности используемого СО. Такие меры могут включать демонстрацию стабильности
исследуемого измерительного процесса другими средствами, такими, как CСО или другой
измерительный процесс, стабильность которого продемонстрирована.
8.3.2 При использовании СО для ввода данных в контрольную карту, причиной противоречивых
результатов могут быть скорее проблемы со стабильностью СО, чем проблемы с измерительной
системой. Потребители СО должны осознавать эту возможность и проводить анализ причин и
следствий.
8.3.3 Хотя СО, используемые для оценивания прецизионности, необязательно должны иметь
известные метрологически прослеживаемые значения свойств для рассматриваемых свойств,
показатели прецизионности могут зависеть от номинального значения измеряемой величины, поэтому
знание номинальных значений рассматриваемых параметров обычно требуется для оценивания
пригодности СО, выбранного для проверки прецизионности.
8.3.4 Рекомендации более общего характера по аспектам пригодности СО, подлежащим
рассмотрению, можно найти в Разделе 13.
8.4 Измерение
8.4.1 Потребитель должен выполнить независимые повторные измерения. "Независимый" с
практической точки зрения означает, что на результат повторного измерения не влияют результаты
предыдущих повторных измерений. Выполнение повторных измерений означает повторное
выполнение всей процедуры в целом. Например, при химических анализах твердого материала
процедуру следует повторять от взвешивания навески до конечного снятия показаний или вычисления
результата.
ПРИМЕР Если измерение содержания свинца в СО почвы состоит из отбора выборочных проб, разрушения
навески с последующим измерением аликвот, тогда результаты будут независимыми в отношении отбора
выборочных проб, разрушения и измерения. Если, наоборот, одна аликвота измеряется повторно, тогда
полученное стандартное отклонение охватывает только эффекты повторяемости измерения аликвоты.
Перед началом экспериментальной работы очень важно проверить, какая часть процесса описана
стандартным отклонением σWО. Во многих описанных стандартах на испытания указанная
повторяемость относится к стандартному методу испытания в целом. Поэтому измерения по оценке
повторяемости такого метода испытания должны выполняться соответственно, а именно, путем
полного повторения метода испытания для всех и каждой (выборочной) пробы.
8.4.2 Независимые повторные измерения могут достигаться различными способами в зависимости
от характера процесса. Тем не менее, параллельное повторение не всегда рекомендуется ввиду того,
что одна ошибка на любом этапе процедуры может повлиять на результаты всех повторных
измерений. Кроме того, может возникнуть необходимость включать в процесс повторения такие этапы,
как, например, калибровка измерительного оборудования.
ПРИМЕР При анализе железных руд повторное выполнение аналитической процедуры осуществляется в
различные периоды времени и включает в себя соответствующую калибровку. В этом случае стандартное
отклонение, рассчитанное от повторных измерений, также содержит вклады от повседневных изменений и
калибровки.
8.5 Обработка данных
8.5.1 Данные, полученные таким образом, должны быть, прежде всего, исследованы на наличие
каких-либо нарушений. Данные, идентифицированные как технически недостоверные, должны
удаляться, независимо от того считаются они пригодными или нет для (предполагаемого)
12 © ISO 2015 – Все права сохраняются

распределения вероятностей полного массива данных. Технически недостоверные результаты обычно
получаются в результате нарушений в процессе обработки и /или измерения пробы.
8.5.2 Второй тип нарушения включает результаты наблюдений, значения которых представляются
удаленными от других результатов наблюдений в массиве данных. Часто, но не всегда можно найти
техническую причину и тогда эти данные следует удалить. Если техническое объяснение не найдено,
данные можно проверить на предмет возможных выбросов, пользуясь методами, установленными в
[8] [14]
ISO 5725-2 или ISO 16269-4 . Выбросы должны быть удалены или в редких случаях (например,
расчете погрешностей) заменены на скорректированные данные. Где это возможно, выбросы должны
удаляться только на основе результатов более одной проверки на выбросы. Как правило, разбросы
(квазивыбросы) должны сохраняться в массиве данных.
ПРИМЕЧАНИЕ 1 Избыточное число предполагаемых выбросов свидетельствует о наличии проблем в данном
измерительном процессе.
ПРИМЕЧАНИЕ 2 Удаление выбросов и особенно удаление разбросов (квазивыбросов) уменьшит разброс в
массиве данных и, следовательно, может привести к слишком малому значению стандартного отклонения
рассматриваемого измерительного процесса.
ПРИМЕЧАНИЕ 3 Применение большинства проверок на выбросы требует допущения, касающегося
(ожидаемой) формы плотности распределения вероятности данных. Если такое допущение не согласуется с
характером данных, такую проверку на выбросы нельзя применять.
8.6 Расчет и оценивание прецизионности
8.6.1 Прецизионность измерительного процесса оценивается путем сравнения внутрилабораторного
стандартного отклонения в условиях повторяемости с требуемым значением внутрилабораторного
стандартного отклонения, σ .

Вычисляют среднее значение х и стандартное отклонение s .
w
n
1 х
i
х = х (1)
i

n n
i1
n

sx()x (2)
wi
n1
i1
где
х отдельный результат;
i
n число результатов за исключением выбросов.
8.6.2 Вычисляют следующее отношение.
s
w
  (3)
c 2

w0
где  требуемое значение внутрилабораторного стандартного отклонения.
wo

(n1);0,95
  (4)
table
n1
обозначает 0,95-квантиль χ распределения при степенях свободы (n – 1), деленный на число
степеней свободы (n – 1).
Интерпретация χ
2 2
Доказательства того, что данный измерительный процесс не является настолько
 
c table
прецизионным, как это требуется, нет.
2 2
> Имеется доказательство того, что данный измерительный процесс не является
 
c table
настолько прецизионным, как это требуется.
ПРИМЕЧАНИЕ Значения для χ могут быть взяты из таблиц или рассчитаны с применением программного
[15]
обеспечения. Их можно найти во многих источниках, включая .
9 Оценка смещения
9.1 Общие сведения
9.1.1 Проверка смещения является ключевым аспектом работы лабораторий. Она может
выполняться как часть работ по обеспечению качества результатов измерения и/или валидации
метода. Для проверки смещения важно, чтобы репер, по которому проверяется смещение, был
надежен и метрологически прослеживаем.
9.1.2 СCО может использоваться для оценивания смещения, если тип его материала и
исследованные свойства соответствуют его назначению. Потребитель должен подтвердить
пригодность CСО перед оцениванием смещения.
9.1.3 Материалы для контроля качества (МКК) и другие нехарактеризованные СО могут
использоваться для оценивания прецизионности (см. Раздел 8), но из-за отсутствия метрологически
прослеживаемого значения свойства, они не должны использоваться для оценивания смещения.
[3]
ПРИМЕЧАНИЕ Изготовление материалов для контроля качества описано в ISO Guide 80 .
9.1.4 В этом разделе даны рекомендации по оцениванию смещения. Определение прецизионности
рассмотрено в Разделе 8 настоящего Руководства
9.2 Подход к проверке смещения
9.2.1 Применение ССО для целей проверки смещения вносит свой вклад в метрологическое
обоснов
...


РУКОВОДСТВО
ISO 33
Третье издание
2015-02-01
Стандартные образцы. Надлежащая
практика применения стандартных
образцов
Reference materials — Good practice in using reference materials

Ответственность за подготовку русской версии несёт GOST R
(Российская Федерация) в соответствии со статьёй 18.1 Устава ISO
Ссылочный номер
©
ISO 2015
ДОКУМЕНТ ЗАЩИЩЕН АВТОРСКИМ ПРАВОМ

Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO, которое должно быть получено после запроса о разрешении, направленного по
адресу, приведенному ниже, или в комитет-член ISO в стране запрашивающей стороны.
ISO copyright office
Case postale 56  CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2015 – Все права сохраняются

Содержание Страница
Предисловие . v
Введение . vi
1 Область применения . 1
2 Нормативные ссылки . 1
3 Термины и определения . 2
4 Символы . 3
5 Принятые допущения . 4
6 СО и их роль в измерении . 5
6.1 Общие сведения о применении СО . 5
6.2 Значение свойства . 7
6.2.1 Общие сведения . 7
6.2.2 Описание рассматриваемого свойства . 7
6.3 Указание неопределенности . 8
6.4 Утверждение о прослеживаемости . 9
7 Обращение с СО и ССО . 10
8 Оценивание прецизионности . 10
8.1 Общие сведения . 10
8.2 Число повторных измерений . 11
8.3 Требования к СО . 12
8.4 Измерение . 12
8.5 Обработка данных . 12
8.6 Расчет и оценивание прецизионности . 13
9 Оценка смещения . 14
9.1 Общие сведения . 14
9.2 Подход к проверке смещения . 14
9.3 Применение данных со смещением . 15
10 Калибровка . 16
10.1 Общие сведения . 16
10.2 Установление метрологической прослеживаемости . 16
10.3 Модели калибровки . 16
11 Приписывание значений другим материалам . 17
11.1 Общие сведения . 17
11.2 Чистые материалы . 18
11.3 Гравиметрия и волюмометрия . 19
12 Принятые шкалы . 20
12.1 Общие сведения . 20
12.2 Шкала рН . 21
12.3 Октановое число . 21
13 Выбор ССО и СО . 21
13.1 Общие сведения . 21
13.2 Выбор CСО . 22
13.3 Выбор СО . 25
13.4 Пригодность для измерительной системы . 25
Приложение А (информативное) Ключевые характеристики стандартного образца по
отношению к наиболее распространенным областям его применения . 27
Приложение В (информативное) Модели калибровки и связанные с ними модели
неопределенности . 28
Приложение С (информативное) Ошибки решения . 31
Библиография . 32

iv © ISO 2015 – Все права сохраняются

Предисловие
ISO (Международная организация по стандартизации) является всемирной федерацией национальных
учреждений по стандартизации (комитетов-членов ISO). Разработка Международных стандартов
обычно проводится техническими комитетами ISO. Каждый член ISO, имеющий интерес к
тематической области, для которой установлен технический комитет, имеет право быть
представленным в этом комитете. Сотрудничающие с ISO международные организации, как
правительственные, так и неправительственные, также принимают участие в работе ISO. ISO тесно
сотрудничает с Международной электротехнической комиссией (IEC) по всем вопросам
стандартизации в области электротехники.
Процедуры, используемые для разработки и дальнейшего поддержания настоящего документа,
установлены в Директивах ISO/IEC Directives, Часть 1. В частности, следует отметить различные
критерии утверждения различных типов документов ISO. Этот документ был разработан в
соответствии с редакционными правилами Директив ISO/IEC Directives, Часть 2.
(см. http://www.iso.org/directives).
Следует обратить внимание на то, что некоторые элементы настоящего документа могут быть
предметом патентных прав. ISO не несет ответственности за обнаружение каких-либо или всех таких
патентных прав. Сведения о каких-либо патентных правах, обнаруженных во время разработки
документа, будут указаны во Введении и/или в Перечне ISO полученных патентных деклараций
(см. http://www.iso.org/patents).
Любое торговое название, использованное в этом документе, является информацией, представленной
для удобства потребителей, и не означает одобрение.
Для разъяснения значения специальных терминов и выражений ISO, относящихся к оценке
соответствия, а также для информации о соблюдении ISO принципов ВТО в отношении к Техническим
барьерам в торговле (TBT) см. следующий URL: Foreword – Supplementary information.
Комитетом, ответственным за этот документ, является ISO/REMCO, Комитет по стандартным
образцам.
Это третье издание отменяет и заменяет второе издание (ISO Guide 33:2000) и ISO Guide 32: 1997,
которые были технически пересмотрены.
Введение
Целью данного Руководства является предоставление общих рекомендаций по использованию СО.
Эти рекомендации проиллюстрированы реальными примерами, которые в какой-то степени также
отражают степень сложности, связанной с СО. Эта степень детализации считается полезной для тех,
кто отвечает за менеджмент качества в лабораториях разработчиков, проверяющих, менеджеров и
экспертов по оценке методик, рабочих инструкций, стандартных действующих процедур и т.д.
Основными областями применения СО являются калибровка, установление прослеживаемости,
валидация методов, приписывание значений другим материалам и контроль качества.

vi © ISO 2015 – Все права сохраняются

РУКОВОДСТВО ISO GUIDE 33:2015(R)

Стандартные образцы. Надлежащая практика применения
стандартных образцов
1 Область применения
1.1 В настоящем Руководстве описана надлежащая практика применения стандартных образцов
(СО) и сертифицированных стандартных образцов (CСО), в частности — в измерительном процессе.
Эти области применения включают оценку прецизионности и правильности методов измерений,
контроль качества, приписывание значений материалам, калибровку и установление принятых шкал. В
настоящем Руководстве также представлена связь ключевых характеристик различных типов СО с
различными областями измерений.
1.2 Для CСО установлена метрологическая прослеживаемость значений свойств к международным
шкалам или другим эталонам. Для СО, не являющихся CСО, этот вид прослеживаемости значений
свойств часто не установлен. Тем не менее, эти СО все же могут использоваться для оценивания
некоторых этапов измерительных процедур, включая оценивание различных уровней прецизионности.
1.3 Основные области применения СО включают контроль прецизионности (Раздел 8), калибровку
(Раздел 10), изготовление СО для калибровки (Раздел 11) и поддержание принятых шкал (Раздел 12).
ПРИМЕЧАНИЕ Не все виды СО могут использоваться для всех указанных целей.
[1]
1.4 Подготовка СО для калибровки — это часть области распространения ISO Guide 34 и
[2]
ISO Guide 35 . Рассмотрение этих вопросов в настоящем документе ограничено основными
принципами изготовления СО и приписывания значений, используемых лабораториями для
калибровки своего оборудования. Крупномасштабное производство таких СО с возможной целью их
дальнейшего распространения выходит за рамки настоящего документа. Этот вид деятельности
[1] [2]
рассматривается в ISO Guide 34 и ISO Guide 35 .
1.5 Разработка рабочих эталонов, применяемых, например, в анализе природного газа, клинической
химии, и фармацевтической промышленности не рассматривается в настоящем документе. Этот вид
[1] [2]
деятельности рассматривается в ISO Guide 34 и ISO Guide 35 .
2 Нормативные ссылки
ISO 3534-1, Статистика. Словарь и условные обозначения. Часть 1. Термины по теории
вероятности и общие статистические термины
ISO Guide 30, Термины и определения, используемые в области стандартных образцов
ISO/IEC, Неопределенность измерения. Часть 3. Руководство по выражению неопределенности в
измерении (GUM:1995)
ISO/IEC Guide 99:2007, Международный словарь по метрологии. Основные и общие понятия и
соответствующие термины (VIM)
ПРИМЕЧАНИЕ «Руководство по выражению неопределенности в измерении» называется «GUM», а
«Международный словарь основных и общих терминов в метрологии» называется «VIM».
3 Термины и определения
Для целей настоящего Руководства используются термины и определения из ISO/IEC Guide 98-3,
ISO/IEC Guide 99 и ISO Guide 30, а также следующие термины и определения.
ПРИМЕЧАНИЕ Дополнительные определения можно найти на онлайн платформе просмотров ИСО https://
www.iso.org/OBP/ui/
3.1
стандартный образец (СО)
reference material (RM)
материал, достаточно однородный и стабильный по отношению к одному или нескольким
определенным свойствам, которые были установлены для того, чтобы использовать его по
назначению в измерительном процессе
Примечание 1 к статье СО – это общее понятие.
Примечание 2 к статье Свойства могут быть количественными или качественными например, идентичность
веществ или объектов.
Примечание 3 к статье Применение может включать калибровку измерительной системы, оценивание
пригодности методики измерений, приписывание значений свойств другим материалам и контроль качества.
[1]
Примечание 4 к статье ISO/IEC Guide 99:2007 имеет аналогичное определение (5.13), но ограничивает
распространение термина «измерение» только на количественные значения, не включая качественные свойства.
[1]
Однако в Примечание 3 ISO/IEC Guide 99:2007 , 5.13 (VIM), специально включено понятие качественных
признаков, называемых номинальными свойствами.
[ИСТОЧНИК: ISO Guide 30]
3.2
сертифицированный стандартный образец (ССО)
certified reference material (CRM)
стандартный образец (CО), одно или несколько определенных свойств которого установлены
метрологически обоснованной процедурой, сопровождаемый сертификатом СО, в котором приведено
значение этого свойства, связанной с ним неопределенности, и утверждение о метрологической
прослеживаемости
Примечание 1 к статье Понятие значения включает номинальное свойство или качественный признак такой,
как идентичность или последовательность. Неопределенности для таких признаков могут быть выражены как
вероятности или уровни доверия.
Примечание 2 к статье Метрологически обоснованные процедуры производства и сертификации СО, описаны,
[2] [3]
в том числе, в ISO Guide 34 и Guide 35 .
[17]
Примечание 3 к статье В ISO Guide 31 приведены рекомендации по содержанию сертификатов СО.
Примечание 4 к статье ISO/IEC Guide 99:2007 имеет аналогичное определение (5.14).
[ИСТОЧНИК: ISO Guide 30]
3.3
значение свойства
property value
<стандартного образца (СО)> значение, соответствующее величине, представляющей физическое,
химическое или биологическое свойство СО
[ИСТОЧНИК: ISO Guide 30]
2 © ISO 2015 – Все права сохраняются

3.4
сертифицированное значение
certified value
значение, приписанное свойству стандартного образца (СО), сопровождаемое установленной
неопределенностью и установленной метрологической прослеживаемостью, указанное в сертификате
СО.
[ИСТОЧНИК: ISO Guide 30]
3.5
справочное значение
indicative value
информационное значение
information value
информативное значение
informative value
значение величины или свойства стандартного образца, представляемое только для информации
Примечание 1 к статье Справочное значение не может использоваться в качестве основы для сравнения в
цепи метрологической прослеживаемости
[ИСТОЧНИК: ISO Guide 30]
3.6
калибрант
calibrant
стандартный образец, используемый для калибровки оборудования или измерительной процедуры.
[ИСТОЧНИК: ISO Guide 30]
3.7
материал для контроля качества
quality control material
стандартный образец, используемый для контроля качества измерения.
[ИСТОЧНИК: ISO Guide 30]
4 Символы
α риск ошибки первого рода (ошибка типа I)
β риск ошибки второго рода (ошибка типа II)
χ Хи-квадрат
d смещение измерения
k коэффициент охвата
sw стандартное отклонение, рассчитанное по повторным наблюдениям
σ требуемое внутрилабораторное стандартное отклонение
wo
u() стандартная неопределенность параметра в скобках
U() расширенная неопределеенность параметра в скобках
UCRM стандартная неопределенность, связанная со значением свойства ССО
u стандартная неопределенность, связанная со значением, полученным путeм измерения ССО
meas
uprep неопределенность, связанная со значением, полученным путeм приготовления калибранта
x значение определенного свойства ССО
CRM
xmeas значение, полученное путeм измерения CСО
x значение, полученное путeм приготовления калибранта
prep

x среднее арифметическое повторных наблюдений
5 Принятые допущения
В настоящем Руководстве используются следующие принятые допущения.
 .1 Измеряемая величина указывается таким образом, что существует уникальное, неизвестное
«истинное значение».
5.2 Все статистические методы, описанные в настоящем Руководстве, основаны на следующих
допущениях.
а) Сертифицированное значение является наилучшей оценкой истинного значения свойства CСО.
b) Все вариации, независимо от того, связаны они с материалом (т.е. однородность) или с
измерительным процессом являются случайными и следуют нормальному распределению
вероятностей. Значения вероятностей, указанные в настоящем документе, предполагают
нормальное распределение. Вероятность может быть другой при отклонении от нормальности.
5.3 Понятие «сертифицированный стандартный образец» (CСО), в том смысле, как используется в
настоящем документе, также включает СО, значения свойств которых сопровождаются утверждениями
о метрологической прослеживаемсти или указаниями неопределенности измерений. Предполагается,
[1]
что эти значения свойства получены в процессе характеризации в соответствии с ISО Guide 34 и ISO
[2]
Guide 35 .
5.4 В тех случаях, где термин СО используется в настоящем документе, это значит, что любой СО
можно использовать для указанной цели. CСО используется как вариант, но, как правило, не самый
экономный. На практике, в большинстве случаев используется СО, поступающий без значений
свойства, неопределенностей и утверждения о прослеживаемости.
5.5 Значения, указанные как «справочные», «информативные», «для информации» или иным
способом обозначенные как неохваченные утверждениями о метрологической прослеживаемости или
указаниями неопределенности измерения, рассматриваются как несоответствующие для
использования в метрологических областях, где требуется значение, приписанное измеряемой
величине, например при калибровке или приписывании значений другим материалам. Тем не менее,
эти значения полезны для подтверждения возможности использования СО для контроля
прецизионности или в других областях, не требующих значения свойства.
5.6 В тексте настоящего Руководства используется закон распределения неопределенностей. Могут
также применяться другие способы распределения неопределeнностей, и в некоторых случаях такие
альтернативные способы обусловлены условиями их применения. Дополнительное руководство по
этим вопросам дано в GUM и его приложениях.
4 © ISO 2015 – Все права сохраняются

6 СО и их роль в измерении
6.1 Общие сведения о применении СО
6.1.1 СО и CСО в частности, широко используются для следующих целей:
— калибровка оборудования или измерительной процедуры (Раздел 10);
— установление метрологической прослеживаемости (Разделы 9, 10 и 11);
— валидация метода (Разделы 8 и 9);
— приписывание значений другим материалам (Раздел 11);
— контроль качества измерения или измерительной процедуры (Разделы 8 и 9);
— поддержание принятых шкал (Раздел 12).
На Рисунке 1 представлено схематическое изображение измерения, включая отбор и приготовление
проб. Указана роль/роли ССО.
Рисунок 1 — Схематическое изображение измерения и роль в нем ССО
6 © ISO 2015 – Все права сохраняются

6.1.2 Стандарты, предусмотренные для применения в рамках систем качества лабораторий,
[4] [5]
например, ISO/IEC 17025 и ISO 15189 требуют, чтобы результаты измерений были метрологи-чески
прослеживаемы и измерительное оборудование было откалибровано. Метрологическая
прослеживаемость является необходимым условием достижения сравнимых и сопоставимых
результатов измерений.
ПРИМЕР Вино с объемной долей 12 % алкоголя можно успешно сравнить с другим вином с объемной долей
13,5 % алкоголя.
6.1.3 Широкий круг лиц принимает как должное, что результаты измерений, выраженные в
соответствующих единицах, сопоставимы. Для удовлетворения этого безусловного ожидания от
результатов измерений лаборатории должны обеспечить надлежащую калибровку всего оборудования
с применением эталонов, которые в свою очередь метрологически прослеживаемы к реализации
соответствующей единицы. Во многих случаях эта единица является частью СИ - Международной
системы единиц.
6.1.4 Краткий перечень ключевых характеристик СО с перекрестными ссылками на наиболее
распространенные области применения СО, приведен в Приложении А к настоящему Руководству.
6.2 Значение свойства
6.2.1 Общие сведения
6.2.1.1 ССО охарактеризованы на одно или несколько свойств. Значения этих свойств
сопровождаются:
a) четким описанием исследуемого свойства;
b) указанием неопределенности;
c) утверждением о метрологической прослеживаемости;
d) указанием срока действия сертификата.
Потребитель должен убедиться, что вся эта информация доступна в недвусмысленном виде.
6.2.1.2 Справочные значения не должны использоваться ни в одной из областей применения ССО,
указанных в настоящем Руководстве.
ПРИМЕЧАНИЕ Терминология, применяемая на практике для справочных значений, не всегда согласуется с
настоящим Руководством.
6.2.2 Описание рассматриваемого свойства
6.2.2.1 Недвусмысленное описание рассматриваемого свойства значительно способствует принятию
решения относительно соответствия ССО его назначению. Потребитель ССО отвечает за оценку
пригодности материала для его назначения.
ПРИМЕР Для следовых элементов в почве важно определить, являются ли они общим содержанием,
содержанием, полученным в результате неполного разрушения (например, aqua regia), выщелачиваемым
содержанием или конкретными видами, содержащими следовые элементы.
6.2.2.2 Значения свойства должны быть выражены в соответствующих единицах, предпочтительно в
единицах СИ. Значения свойства следует выражать соответствующим числом цифр, избегая с одной
стороны неоправданной потери точности и создания ложного впечатления о точности, с другой.
ПРИМЕЧАНИЕ В GUM (ISO/IEC Guide 98-3:2008, раздел 7) даны рекомендации по округлению результатов
измерения и связанных с ними неопределенностей.
6.3 Указание неопределенности
6.3.1 Указание неопределенности должно быть представлено в понятном виде, наряду с другими
факторами требуется наличие информации, необходимой для преобразования указанной
неопределенности в стандартную неопределенность. Если указана стандартная неопределенность,
тогда для этого преобразования достаточно, как правило, указания соответствующего коэффициента
охвата.
ПРИМЕР В сертификате калибровки для газовой смеси количество оксида углерода указано в виде молярной
доли:
XCO = (41 122 ± 28) мкмоль/моль (k = 2).
Расширенная неопределенность равна 28 мкмоль/моль. Стандартная неопределенность
рассчитывается по формуле:
U 28
u  мкмоль/моль = 14 мкмоль/моль
k 2
6.3.2 Если указан интервал охвата, тогда должна быть указана (предполагаемая) плотность
распределения вероятности значения свойства, включая вероятность охвата (например, 95 %)
указанного интервала. Такой интервал может быть асимметричным. Иногда может возникнуть
необходимость принятия дополнительных допущений, касающихся, например, подходящего
коэффициента охвата. В этих случаях необходимо следовать рекомендациям GUM (ISO/IEC Guide 98-
3:2008, 6.3).
ПРИМЕР Установлено, что содержание углерода в каменном угле равно 760,1 мг/г и указана
неопределенность — 2,1 мг/г. К указанию неопределенности добавляется следующее подстрочное примечание:
«Неопределенность выражена в виде доверительного интервала, равного 95%. Это применимо, если стандартный
образец используется для калибровки».
Из отчета о сертификации следует, что сертифицированные значения получены в результате
межлабораторного эксперимента и, следовательно, разумно предположить нормальное
распределение. Полуширина 95 % уровня доверительного интервала равна стандартному отклонению,
умноженному на 1,96. Однако нет практического различия при использовании коэффициента (охвата),
равного 2, который будет соответствовать для нормального распределения с уровнем доверия
95,45 %.
Стандартная неопределенность рассчитывается по формуле мг/г = 1,05 мг/г.
6.3.3 Установленные неопределенности должны указываться в тех же единицах, что и значения
свойств или альтернативно — в виде доли значения свойства (т.е. как относительная расширенная
неопределенность). При использовании таких долей следует определить возможность их однозначного
преобразования в абсолютные стандартные неопределенности.
ПРИМЕЧАНИЕ Такие доли включают проценты, промилле и число частей на миллион (ppm), хотя ни одна из
них не рекомендуется для этой цели из-за их неоднозначности.
6.3.4 К ССО прилагается сертификат, в котором указываются, в том числе, сертифицированные
свойства, их значения и связанные с ними неопределенности (см. 6.2.1.1). В область настоящего
документа не входит описание способа установления неопределенности, связанной со значениями
свойств, но важно понимание возможных основных источников вклада в неопределенность.
ПРИМЕЧАНИЕ Подробные сведения, касающиеся установления бюджета неопределенности для значений
[2]
свойств, приведены в ISO Guide 35 .
[2]
Основные источники вклада в неопределенность, связанную со значениями свойств CСО, включают:
8 © ISO 2015 – Все права сохраняются

— неопределенность от характеризации;
— неопределенность от долговременной стабильности;
— неопределенность от кратковременной стабильности (стабильность материала в условиях
транспортирования);
— неопределенность от межэкземплярной неоднородности.
6.3.5 В некоторых случаях может быть полезно детальное знание различных частей бюджета
неопределенности, в частности, если такой вклад является наибольшим. Эта информация может быть
получена от изготовителя ССО.
6.3.6 Не все указания неопределенности, прилагаемые к значениям свойств в сертификатах ССО,
изготовленных до конца 1990-х годов, включают сведения об эффектах от неоднородности и
нестабильности партии. Неопределенность, указанная в сертификатах, должна включать в себя все
факторы, которые могут влиять на разброс значения(ий) свойств по всей партии и с течением времени.
В конечном счете, указанная неопределенность должна быть применима к отдельной упаковке ССО,
[2]
используемого в измерительном процессе .
ПРИМЕЧАНИЕ Если указанная неопределенность слишком мала, расширенная неопределенность имеет
более низкий уровень доверия, чем указано.
6.3.7 СО, выпускаемые без значений свойств, должны выпускаться с некоторой информацией об
однородности (межэкземплярной) и долговременной стабильности свойств, для которых этот СО
может быть использован. Потребитель должен убедиться, что эта информация представлена в такой
форме, которая позволяет использовать ее для оценивания пригодности СО. Такое оценивание может
включать использование информации, относящейся к однородности и стабильности в последующих
расчетах неопределенности
6.4 Утверждение о прослеживаемости
6.4.1 Метрологическая прослеживаемость — это свойство результата измерений. Поскольку
значение, полученное в процессе характеризации (значения свойства) СО, является результатом
измерений, оно может также иметь этот признак. Ключевой характеристикой значений свойств ССО
является то, что их метрологическая прослеживаемость хорошо установлена.
6.4.2 Потребитель CСО должен убедиться, что значения свойств сопровождаются утверждением о
метрологической прослеживаемости этих значений. Это утверждение должно информировать
потребителя о шкале величины, к которой относятся эти значения, чтобы они могли подтвердить
пригодность ССО для его назначения.
ПРИМЕЧАНИЕ В большинстве случаев шкалой величины является единица СИ.
6.4.3 Для интерпретации утверждений о метрологической прослеживаемости необходимы
следующие сведения, которые должны быть указаны в сертификате или другой документации,
прилагаемой к ССО:
a) точное описание измеряемой величины;
b) единица, к которой устанавливается прослеживаемость значения свойства;
c) метод, используемый для обработки/преобразования пробы и методика(и)
измерений/процедура(и), используемые при характеризации;
d) подход к характеризации (например, один метод, два метода, разные лаборатории и т.д.).
ПРИМЕЧАНИЕ Документация, сопровождающая ССО, может быть доступна различными средствами,
включая вебсайты, электронную почту или открытые публикации.
6.4.4 Оператор, получивший результат измерения, отвечает за поддержку заявления о
метрологической прослеживаемости для этого результата или значения. При выпуске из производства
CСО эту ответственность несет изготовитель СО. Потребитель обязан проверять соответствие
метрологической прослеживаемости назначению CСО.
6.4.5 Для оценивания заявления о метрологической прослеживаемости потребитель может
потребовать больше информации, чем предусмотрено сертификатом. Заявление о метрологической
прослеживаемости обычно сопровождается сведениями, указанными в 6.4.3.
Потребитель СО должен изучить эту информацию и оценить соответствие конкретного СО его
назначению. При проведении оценивания потребитель СО должен проверить наличие всех данных,
указанных в этом разделе. При отсутствии важных составляющих этой информации СО может быть
непригодным для применения.
7 Обращение с СО и ССО
7.1 Необходимо соблюдать инструкции по применению и хранению, т.к. они формируют часть
условий, при которых действительны значения свойств и связанные с ними неопределенности.
Неправильное применение СО и CСО может негативно влиять на выполнение измерительных
процедур, и его всегда следует избегать.
7.2 Следует соблюдать срок действия сертификата. CСО не должны использоваться по истечении
этого срока.
7.3 Для CСО, которые могут использоваться неоднократно, особенно важно убедиться, что упаковка,
в которой находится ССО, правильно закрыта и хранится надлежащим образом. В некоторых случаях
может быть необходима повторная фасовка оставшегося материала. В противном случае
установленные значения свойств могут стать недействительными и ССО непригодным для
применения или ненадежным. Потребитель должен следовать инструкциям, предоставленным
изготовителем.
7.4 Следует соблюдать требования в части наименьшей представительной пробы. Выборочные
пробы меньшего размера могут быть непредставительными.
7.5 Отбор выборочных проб таких ССО должен производиться таким образом, чтобы выборочная
проба, взятая для использования, отражала свойства всей упаковки. Иначе, с течением времени
оставшийся материал CСО может больше не быть представительным по отношению к партии, которая
была изготовлена и сертифицирована, и, следовательно, значения и неопределенности, указанные в
сертификате, становятся недействительными.
ПРИМЕЧАНИЕ 1 Перед отбором выборочных проб обычно необходима повторная гомогенизация. Такие
инструкции, как правило, приводятся в документации, прилагаемой к ССО.
ПРИМЕЧАНИЕ 2 Так называемые «одноразовые» CСО разрабатываются для использования в виде одной
порции. Обычно экземпляр содержит достаточно материала для одного или двух измерений. Но если
одноразовые материалы разработаны для использования в виде одной порции, они не должны разделяться.
8 Оценивание прецизионности
8.1 Общие сведения
8.1.1 Проверка прецизионности методики измерений лабораторией включает сравнение
внутрилабораторного стандартного отклонения результатов в условиях повторяемости (или других
четко определенных условиях) с требуемым значением этого стандартного отклонения.
ПРИМЕЧАНИЕ Показателями прецизионности являются стандартные отклонения в условиях повторяемости
или воспроизводимости.
10 © ISO 2015 – Все права сохраняются

8.1.2 Оценивание прецизионности может быть частью деятельности лаборатории по разработке или
валидации метода. Такие эксперименты должны в идеальном случае проводиться на СО,
охватывающих область применения метода в отношении матриц (или вариаций внутри матрицы) и
[6]
уровней значений свойств . В таком оценивании могут также участвовать разные лаборатории.
Дополнительные рекомендации по оцениванию прецизионности в межлабораторных исследованиях
[7]- [12]
даны в руководствах ISO 5725 .
8.1.3 Результаты периодических проверок методики измерений могут быть занесены на карту
[13]
контроля качества. Для этой цели можно использовать контрольную карту размахов .
8.2 Число повторных измерений
8.2.1 Для надежного оценивания прецизионности в пределах требуемого доверительного интервала,
необходимое число повторных измерений может быть установлено с помощью χ 2 — критерия. Число
требуемых повторных измерений, n, зависит, преимущественно, от значений α и β и от альтернативной
гипотезы, выбранной для оценивания прецизионности. Рассмотрение вероятностей α и β, связанных с
рисками типа I и типа II в статистической гипотезе представлено в Приложении С.
8.2.2 В Таблице 1 показана зависимость между степенями свободы ν (где, в этом случае ν = n – 1) и
отношением внутрилабораторного стандартного отклонения результатов измерительного процесса,
sW, и требуемого значения внутрилабораторного стандартного отклонения σWО для различных
значений β при α = 0,05.
ПРИМЕР Для n = 10 вероятность того, что дисперсия результатов измерений пройдет проверку на
соответствие χ 2 — критерию (см. 8.6) при α = 0,05 не превышает 1%, в том случае, когда внутрилабораторное
стандартное отклонение, σW, результатов измерительного процесса равно или превышает в 2,85 раза требуемое
значение σWО.
Таблица 1 — Отношение стандартного отклонения результатов измерительного процесса к
требуемому значению для различных значений β и степеней свободы ν при α = 0,05
α = 0,05
ν
β = 0,01 β =0,05 β = 0,1 β = 0,5
1 159,5 31,3 15,6 2,73
2 17,3 7,64 5,33 2,08
3 6,25 4,71 3,66 1,82
4 5,65 3,65 2,99 1,68
5 4,47 3,11 2,62 1,59
6 3,80 2,77 2,39 1,53
7 3,37 2,55 2,23 1,49
8 3,07 2,38 2,11 1,45
9 2,85 2,26 2,01 1,42
10 2,67 2,15 1,94 1,40
12 2,43 2,01 1,83 1,36
15 2,19 1,85 1,71 1,32
20 1,95 1,70 1,59 1,27
24 1,83 1,62 1,52 1,25
30 1,71 1,54 1,46 1,22
40 1,59 1,45 1,38 1,19
60 1,45 1,35 1,30 1,15
120 1,30 1,24 1,21 1,11
8.3 Требования к СО
8.3.1 Для оценивания прецизионности измерений необходим СО с достаточной однородностью и
стабильностью. Стабильность СО по отношению ко всем рассматриваемым свойствам должна быть
достаточной хотя бы на тот период времени, который требуется для измерений по проверке
прецизионности. При необходимости следует принять специальные меры для мониторинга
стабильности используемого СО. Такие меры могут включать демонстрацию стабильности
исследуемого измерительного процесса другими средствами, такими, как CСО или другой
измерительный процесс, стабильность которого продемонстрирована.
8.3.2 При использовании СО для ввода данных в контрольную карту, причиной противоречивых
результатов могут быть скорее проблемы со стабильностью СО, чем проблемы с измерительной
системой. Потребители СО должны осознавать эту возможность и проводить анализ причин и
следствий.
8.3.3 Хотя СО, используемые для оценивания прецизионности, необязательно должны иметь
известные метрологически прослеживаемые значения свойств для рассматриваемых свойств,
показатели прецизионности могут зависеть от номинального значения измеряемой величины, поэтому
знание номинальных значений рассматриваемых параметров обычно требуется для оценивания
пригодности СО, выбранного для проверки прецизионности.
8.3.4 Рекомендации более общего характера по аспектам пригодности СО, подлежащим
рассмотрению, можно найти в Разделе 13.
8.4 Измерение
8.4.1 Потребитель должен выполнить независимые повторные измерения. "Независимый" с
практической точки зрения означает, что на результат повторного измерения не влияют результаты
предыдущих повторных измерений. Выполнение повторных измерений означает повторное
выполнение всей процедуры в целом. Например, при химических анализах твердого материала
процедуру следует повторять от взвешивания навески до конечного снятия показаний или вычисления
результата.
ПРИМЕР Если измерение содержания свинца в СО почвы состоит из отбора выборочных проб, разрушения
навески с последующим измерением аликвот, тогда результаты будут независимыми в отношении отбора
выборочных проб, разрушения и измерения. Если, наоборот, одна аликвота измеряется повторно, тогда
полученное стандартное отклонение охватывает только эффекты повторяемости измерения аликвоты.
Перед началом экспериментальной работы очень важно проверить, какая часть процесса описана
стандартным отклонением σWО. Во многих описанных стандартах на испытания указанная
повторяемость относится к стандартному методу испытания в целом. Поэтому измерения по оценке
повторяемости такого метода испытания должны выполняться соответственно, а именно, путем
полного повторения метода испытания для всех и каждой (выборочной) пробы.
8.4.2 Независимые повторные измерения могут достигаться различными способами в зависимости
от характера процесса. Тем не менее, параллельное повторение не всегда рекомендуется ввиду того,
что одна ошибка на любом этапе процедуры может повлиять на результаты всех повторных
измерений. Кроме того, может возникнуть необходимость включать в процесс повторения такие этапы,
как, например, калибровка измерительного оборудования.
ПРИМЕР При анализе железных руд повторное выполнение аналитической процедуры осуществляется в
различные периоды времени и включает в себя соответствующую калибровку. В этом случае стандартное
отклонение, рассчитанное от повторных измерений, также содержит вклады от повседневных изменений и
калибровки.
8.5 Обработка данных
8.5.1 Данные, полученные таким образом, должны быть, прежде всего, исследованы на наличие
каких-либо нарушений. Данные, идентифицированные как технически недостоверные, должны
удаляться, независимо от того считаются они пригодными или нет для (предполагаемого)
12 © ISO 2015 – Все права сохраняются

распределения вероятностей полного массива данных. Технически недостоверные результаты обычно
получаются в результате нарушений в процессе обработки и /или измерения пробы.
8.5.2 Второй тип нарушения включает результаты наблюдений, значения которых представляются
удаленными от других результатов наблюдений в массиве данных. Часто, но не всегда можно найти
техническую причину и тогда эти данные следует удалить. Если техническое объяснение не найдено,
данные можно проверить на предмет возможных выбросов, пользуясь методами, установленными в
[8] [14]
ISO 5725-2 или ISO 16269-4 . Выбросы должны быть удалены или в редких случаях (например,
расчете погрешностей) заменены на скорректированные данные. Где это возможно, выбросы должны
удаляться только на основе результатов более одной проверки на выбросы. Как правило, разбросы
(квазивыбросы) должны сохраняться в массиве данных.
ПРИМЕЧАНИЕ 1 Избыточное число предполагаемых выбросов свидетельствует о наличии проблем в данном
измерительном процессе.
ПРИМЕЧАНИЕ 2 Удаление выбросов и особенно удаление разбросов (квазивыбросов) уменьшит разброс в
массиве данных и, следовательно, может привести к слишком малому значению стандартного отклонения
рассматриваемого измерительного процесса.
ПРИМЕЧАНИЕ 3 Применение большинства проверок на выбросы требует допущения, касающегося
(ожидаемой) формы плотности распределения вероятности данных. Если такое допущение не согласуется с
характером данных, такую проверку на выбросы нельзя применять.
8.6 Расчет и оценивание прецизионности
8.6.1 Прецизионность измерительного процесса оценивается путем сравнения внутрилабораторного
стандартного отклонения в условиях повторяемости с требуемым значением внутрилабораторного
стандартного отклонения, σ .

Вычисляют среднее значение х и стандартное отклонение s .
w
n
1 х
i
х = х (1)
i

n n
i1
n

sx()x (2)
wi
n1
i1
где
х отдельный результат;
i
n число результатов за исключением выбросов.
8.6.2 Вычисляют следующее отношение.
s
w
  (3)
c 2

w0
где  требуемое значение внутрилабораторного стандартного отклонения.
wo

(n1);0,95
  (4)
table
n1
обозначает 0,95-квантиль χ распределения при степенях свободы (n – 1), деленный на число
степеней свободы (n – 1).
Интерпретация χ
2 2
Доказательства того, что данный измерительный процесс не является настолько
 
c table
прецизионным, как это требуется, нет.
2 2
> Имеется доказательство того, что данный измерительный процесс не является
 
c table
настолько прецизионным, как это требуется.
ПРИМЕЧАНИЕ Значения для χ могут быть взяты из таблиц или рассчитаны с применением программного
[15]
обеспечения. Их можно найти во многих источниках, включая .
9 Оценка смещения
9.1 Общие сведения
9.1.1 Проверка смещения является ключевым аспектом работы лабораторий. Она может
выполняться как часть работ по обеспечению качества результатов измерения и/или валидации
метода. Для проверки смещения важно, чтобы репер, по которому проверяется смещение, был
надежен и метрологически прослеживаем.
9.1.2 СCО может использоваться для оценивания смещения, если тип его материала и
исследованные свойства соответствуют его назначению. Потребитель должен подтвердить
пригодность CСО перед оцениванием смещения.
9.1.3 Материалы для контроля качества (МКК) и другие нехарактеризованные СО могут
использоваться для оценивания прецизионности (см. Раздел 8), но из-за отсутствия метрологически
прослеживаемого значения свойства, они не должны использоваться для оценивания смещения.
[3]
ПРИМЕЧАНИЕ Изготовление материалов для контроля качества описано в ISO Guide 80 .
9.1.4 В этом разделе даны рекомендации по оцениванию смещения. Определение прецизионности
рассмотрено в Разделе 8 настоящего Руководства
9.2 Подход к проверке смещения
9.2.1 Применение ССО для целей проверки смещения вносит свой вклад в метрологическое
обоснов
...

Questions, Comments and Discussion

Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.

Loading comments...