Statistical methods for use in proficiency testing by interlaboratory comparison

ISO 13528:2015 provides detailed descriptions of statistical methods for proficiency testing providers to use to design proficiency testing schemes and to analyse the data obtained from those schemes. It provides recommendations on the interpretation of proficiency testing data by participants in such schemes and by accreditation bodies. The procedures in ISO 13528:2015 can be applied to demonstrate that the measurement results obtained by laboratories, inspection bodies, and individuals meet specified criteria for acceptable performance. ISO 13528:2015 is applicable to proficiency testing where the results reported are either quantitative measurements or qualitative observations on test items.

Méthodes statistiques utilisées dans les essais d'aptitude par comparaison interlaboratoires

L'ISO 13528:2015 fournit des descriptions détaillées de méthodes statistiques ŕ utiliser par les organisateurs d'essais d'aptitude pour concevoir des programmes d'essais d'aptitude et pour analyser les données obtenues ŕ partir de tels programmes. Elle donne des recommandations sur l'interprétation des données d'essais d'aptitude par les participants ŕ de tels programmes et par les organismes d'accréditation. Les procédures de l'ISO 13528:2015 peuvent ętre appliquées pour démontrer que les résultats de mesure obtenus par des laboratoires, des organismes de contrôle et des personnes remplissent les critčres spécifiés pour des performances acceptables. L'ISO 13528:2015 est applicable ŕ des essais d'aptitude dans lesquels les résultats rapportés sont des observations quantitatives ou qualitatives sur des d'entités soumises ŕ l'essai.

General Information

Status
Published
Publication Date
27-Jul-2015
Current Stage
6060 - International Standard published
Start Date
01-Jul-2015
Completion Date
28-Jul-2015
Ref Project

RELATIONS

Buy Standard

Standard
ISO 13528:2015 - Statistical methods for use in proficiency testing by interlaboratory comparison
English language
89 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 13528:2015 - Statistical methods for use in proficiency testing by interlaboratory comparison
English language
89 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 13528:2015 - Méthodes statistiques utilisées dans les essais d'aptitude par comparaison interlaboratoires
French language
95 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 13528:2015 - Méthodes statistiques utilisées dans les essais d'aptitude par comparaison interlaboratoires
French language
95 pages
sale 15% off
Preview
sale 15% off
Preview

Standards Content (sample)

INTERNATIONAL ISO
STANDARD 13528
Second edition
2015-08-01
Corrected version
2016-10-15
Statistical methods for use in
proficiency testing by interlaboratory
comparison
Méthodes statistiques utilisées dans les essais d’aptitude par
comparaison interlaboratoires
Reference number
ISO 13528:2015(E)
ISO 2015
---------------------- Page: 1 ----------------------
ISO 13528:2015(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2015, Published in Switzerland

All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form

or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior

written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of

the requester.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. +41 22 749 01 11
Fax +41 22 749 09 47
copyright@iso.org
www.iso.org
ii © ISO 2015 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 13528:2015(E)
Contents Page

Foreword ..........................................................................................................................................................................................................................................v

0 Introduction ...........................................................................................................................................................................................................vii

1 Scope ................................................................................................................................................................................................................................. 1

2 Normative references ...................................................................................................................................................................................... 1

3 Terms and definitions ..................................................................................................................................................................................... 1

4 General principles ............................................................................................................................................................................................... 4

4.1 General requirements for statistical methods ............................................................................................................. 4

4.2 Basic model ................................................................................................................................................................................................ 5

4.3 General approaches for the evaluation of performance ...................................................................................... 5

5 Guidelines for the statistical design of proficiency testing schemes .............................................................6

5.1 Introduction to the statistical design of proficiency testing schemes ..................................................... 6

5.2 Basis of a statistical design ........................................................................................................................................................... 6

5.3 Considerations for the statistical distribution of results .................................................................................... 7

5.4 Considerations for small numbers of participants .................................................................................................. 8

5.5 Guidelines for choosing the reporting format.............................................................................................................. 8

6 Guidelines for the initial review of proficiency testing items and results ............................................10

6.1 Homogeneity and stability of proficiency test items...........................................................................................10

6.2 Considerations for different measurement methods .........................................................................................11

6.3 Blunder removal .................................................................................................................................................................................11

6.4 Visual review of data .......................................................................................................................................................................11

6.5 Robust statistical methods ........................................................................................................................................................12

6.6 Outlier techniques for individual results.......................................................................................................................12

7 Determination of the assigned value and its standard uncertainty ............................................................13

7.1 Choice of method of determining the assigned value.........................................................................................13

7.2 Determining the uncertainty of the assigned value .............................................................................................14

7.3 Formulation ............................................................................................................................................................................................15

7.4 Certified reference material......................................................................................................................................................15

7.5 Results from one laboratory ...................................................................................................................................................16

7.6 Consensus value from expert laboratories ..................................................................................................................17

7.7 Consensus value from participant results ...................................................................................................................18

7.8 Comparison of the assigned value with an independent reference value ........................................19

8 Determination of criteria for evaluation of performance .....................................................................................20

8.1 Approaches for determining evaluation criteria ....................................................................................................20

8.2 By perception of experts ..............................................................................................................................................................20

8.3 By experience from previous rounds of a proficiency testing scheme ................................................20

8.4 By use of a general model ...........................................................................................................................................................21

8.5 Using the repeatability and reproducibility standard deviations from a previous

collaborative study of precision of a measurement method ........................................................................22

8.6 From data obtained in the same round of a proficiency testing scheme ...........................................22

8.7 Monitoring interlaboratory agreement ..........................................................................................................................23

9 Calculation of performance statistics ..........................................................................................................................................23

9.1 General considerations for determining performance ......................................................................................23

9.2 Limiting the uncertainty of the assigned value ........................................................................................................24

9.3 Estimates of deviation (measurement error) ..........................................................................................................25

9.4 z scores ......................................................................................................................................................................................................26

9.5 z′ scores ......................................................................................................................................................................................................27

9.6 Zeta scores (ζ) .......................................................................................................................................................................................28

9.7 E scores ....................................................................................................................................................................................................29

9.8 Evaluation of participant uncertainties in testing .................................................................................................29

9.9 Combined performance scores ..............................................................................................................................................30

© ISO 2015 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 13528:2015(E)

10 Graphical methods for describing performance scores ..........................................................................................31

10.1 Application of graphical methods ........................................................................................................................................31

10.2 Histograms of results or performance scores ...........................................................................................................31

10.3 Kernel density plots .........................................................................................................................................................................32

10.4 Bar-plots of standardized performance scores........................................................................................................33

10.5 Youden Plot .............................................................................................................................................................................................33

10.6 Plots of repeatability standard deviations ...................................................................................................................34

10.7 Split samples .........................................................................................................................................................................................35

10.8 Graphical methods for combining performance scores over several rounds of a

proficiency testing scheme .......................................................................................................................................................36

11 Design and analysis of qualitative proficiency testing schemes (including nominal

and ordinal properties) ..............................................................................................................................................................................37

11.1 Types of qualitative data .............................................................................................................................................................37

11.2 Statistical design .................................................................................................................................................................................37

11.3 Assigned values for qualitative proficiency testing schemes .......................................................................38

11.4 Performance evaluation and scoring for qualitative proficiency testing schemes....................39

Annex A (normative) Symbols ..................................................................................................................................................................................41

Annex B (normative) Homogeneity and stability of proficiency test items ..............................................................43

Annex C (normative) Robust analysis ...............................................................................................................................................................51

Annex D (informative) Additional guidance on statistical procedures .........................................................................63

Annex E (informative) Illustrative examples ............................................................................................................................................67

Bibliography .............................................................................................................................................................................................................................88

iv © ISO 2015 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 13528:2015(E)
Foreword

ISO (the International Organization for Standardization) is a worldwide federation of national standards

bodies (ISO member bodies). The work of preparing International Standards is normally carried out

through ISO technical committees. Each member body interested in a subject for which a technical

committee has been established has the right to be represented on that committee. International

organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.

ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of

electrotechnical standardization.

The procedures used to develop this document and those intended for its further maintenance are

described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the

different types of ISO documents should be noted. This document was drafted in accordance with the

editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).

Attention is drawn to the possibility that some of the elements of this document may be the subject of

patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of

any patent rights identified during the development of the document will be in the Introduction and/or

on the ISO list of patent declarations received (see www.iso.org/patents).

Any trade name used in this document is information given for the convenience of users and does not

constitute an endorsement.

For an explanation on the meaning of ISO specific terms and expressions related to conformity

assessment, as well as information about ISO’s adherence to the WTO principles in the Technical

Barriers to Trade (TBT) see the following URL: Foreword - Supplementary information

The committee responsible for this document is ISO/TC 69, Applications of statistical methods,

Subcommittee SC 6, Measurement methods and results.

This second edition of ISO 13528 cancels and replaces the first edition (ISO 13528:2005), of which

it constitutes a technical revision. This second edition provides changes to bring the document into

harmony with ISO/IEC 17043:2010, which replaced ISO Guide 43-1:1997. It follows a revised structure,

to describe better the process of the design, analysis, and reporting of proficiency testing schemes. It

also eliminates some procedures that are no longer considered to be appropriate, and adds or revises

some other sections to be consistent with ISO/IEC 17043 and to provide clarity and correct minor

errors. New sections have been added for qualitative data and additional robust statistical methods.

This corrected version of ISO 13528:2015 incorporates the following corrections:
— 7.5.2.2, equation (5):”U ” has been replaced with “u “;
char char
— 9.8.2, NOTE: reference to “E.3” has been replaced with a reference to “E.4”;

— 10.3.2, iv, equation (19): an “addition” sign has been added between “q ”and “(i-1)”;

min

— B.2.3, b), line before Table B.1: Reference “[33]” has been replaced with Reference “[32]”;

— B.2.3, Table B.1, first row, first column: “gm” has been replaced with “g”;

— B.2.3, paragraph below Table B.1: in the first formula,”F ” has been replaced with “F ” and subscript

2m m

for “-1” has been removed; in the second formula, subscript for “-1” has been removed;

— B.2.3 b), NOTE: the equation for F is now divided by “(g-1)”;
2 2

— B.3, equations (B.7), (B.14) and (B.16): the terms s and s have been replaced with s and s ; in

x x x x

addition, in equation (B.16) the square root symbol has been moved outside the “max ( 0, …..)”

bracket;
© ISO 2015 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO 13528:2015(E)
2 2
— B.3, equation (B.8): “ s ” has been replaced with “w ”;
t t
— C.3.1, NOTE 2, first line: “the” has been removed before “identical”;

— C.3.1, paragraph after equation (C.10), second line: the words “the modified data in” have been

deleted.

— C.3.1, last note: “NOTE” has been replaced with “NOTE 3”, and Reference to “E.3 and E.4” has been

replaced with a Reference to “E.1 and E.3”;

The following minor editorial corrections have been implemented for consistency throughout the

document:

— 8.3.1, third bullet, last line: the first occurrence of “approved” (after “more”) has been deleted;

— 8.6.1, first line: “ ,σ , “ has been replaced with “(σ )“ (for presentation consistency);

pt pt

— B.4.1.2, second bullet, second line: the word “samples” has been replaced with “proficiency testing

items” (for terminological consistency)

— Annexes D and E, titles: the first letters in all words after the first one is now in lower case (for

presentation consistency).
vi © ISO 2015 – All rights reserved
---------------------- Page: 6 ----------------------
ISO 13528:2015(E)
0 Introduction
0.1 The purposes of proficiency testing

Proficiency testing involves the use of interlaboratory comparisons to determine the performance

of participants (which may be laboratories, inspection bodies, or individuals) for specific tests or

measurements, and to monitor their continuing performance. There are a number of typical purposes of

proficiency testing, as described in the Introduction to ISO/IEC 17043:2010. These include the evaluation

of laboratory performance, the identification of problems in laboratories, establishing effectiveness and

comparability of test or measurement methods, the provision of additional confidence to laboratory

customers, validation of uncertainty claims, and the education of participating laboratories. The

statistical design and analytical techniques applied must be appropriate for the stated purpose(s).

0.2 Rationale for scoring in proficiency testing schemes

A variety of scoring strategies is available and in use for proficiency testing. Although the detailed

calculations differ, most proficiency testing schemes compare the participant’s deviation from an

assigned value with a numerical criterion which is used to decide whether or not the deviation

represents cause for concern. The strategies used for value assignment and for choosing a criterion

for assessment of the participant deviations are therefore critical. In particular, it is important to

consider whether the assigned value and criterion for assessing deviations should be independent of

participant results, or should be derived from the results submitted. In this Standard, both strategies

are provided for. However, attention is drawn to the discussion that will be found in sections 7 and 8 of

the advantages and disadvantages of choosing assigned values or criteria for assessing deviations that

are not derived from the participant results. It will be seen that in general, choosing assigned values and

assessment criteria independently of participant results offers advantages. This is particularly the case

for the criterion used to assess deviations from the assigned value – such as the standard deviation for

proficiency assessment or an allowance for measurement error – for which a consistent choice based on

suitability for a particular end use of the measurement results, is especially useful.

0.3 ISO 13528 and ISO/IEC 17043

ISO 13528 provides support for the implementation of ISO/IEC 17043 particularly, on the requirements

for the statistical design, validation of proficiency test items, review of results, and reporting summary

statistics. Annex B of ISO/IEC 17043:2010 briefly describes the general statistical methods that are

used in proficiency testing schemes. This International Standard is intended to be complementary to

ISO/IEC 17043, providing detailed guidance that is lacking in that document on particular statistical

methods for proficiency testing.

The definition of proficiency testing in ISO/IEC 17043 is repeated in ISO 13528, with the Notes that

describe different types of proficiency testing and the range of designs that can be used. This Standard

cannot specifically cover all purposes, designs, matrices and measurands. The techniques presented in

ISO 13528 are intended to be broadly applicable, especially for newly established proficiency testing

schemes. It is expected that statistical techniques used for a particular proficiency testing scheme will

evolve as the scheme matures; and the scores, evaluation criteria, and graphical techniques will be

refined to better serve the specific needs of a target group of participants, accreditation bodies, and

regulatory authorities.

ISO 13528 incorporates published guidance for the proficiency testing of chemical analytical

[32]

laboratories but additionally includes a wider range of procedures to permit use with valid

measurement methods and qualitative identifications. This revision of ISO 13528:2005 contains most

of the statistical methods and guidance from the first edition, extended as necessary by the previously

referenced documents and the extended scope of ISO/IEC 17043. ISO/IEC 17043 includes proficiency

testing for individuals and inspection bodies, and Annex B, which includes considerations for qualitative

results.

This Standard includes statistical techniques that are consistent with other International Standards,

particularly those of TC69 SC6, notably the ISO 5725 series of standards on Accuracy: trueness and

© ISO 2015 – All rights reserved vii
---------------------- Page: 7 ----------------------
ISO 13528:2015(E)

precision. The techniques are also intended to reflect other international standards, where appropriate,

and are intended to be consistent with ISO/IEC Guide 98-3 (GUM) and ISO/IEC Guide 99 (VIM).

0.4 Statistical expertise

ISO/IEC 17043:2010 requires that in order to be competent, a proficiency testing provider shall have

access to statistical expertise and shall authorize specific personnel to conduct statistical analysis.

Neither ISO/IEC 17043 nor this International Standard can specify further what that necessary expertise

is. For some applications an advanced degree in statistics is useful, but usually the needs for expertise

can be met by individuals with technical expertise in other areas, who are familiar with basic statistical

concepts and have experience or training in the common techniques applicable to the analysis of data

from proficiency testing schemes. If an individual is charged with statistical design and/or analysis, it

is very important that this person has experience with interlaboratory comparisons, even if that person

has an advanced degree in statistics. Conventional advanced statistical training often does not include

exercises with interlaboratory comparisons, and the unique causes of measurement error that occur

in proficiency testing can seem obscure. The guidance in this International Standard cannot provide

all the necessary expertise to consider all applications, and cannot replace the experience gained by

working with interlaboratory comparisons.
0.5 Computer software

Computer software that is needed for statistical analysis of proficiency testing data can vary greatly,

ranging from simple spread sheet arithmetic for small proficiency testing schemes using known

reference values to sophisticated statistical software used for statistical methods reliant on iterative

calculations or other advanced numerical methods. Most of the techniques in this International

Standard can be accomplished by conventional spread sheet applications, perhaps with customised

routines for a particular scheme or analysis; some techniques will require computer applications that

are freely available (at the time of publication of this Standard). In all cases, the users should verify the

accuracy of their calculations, especially when special routines have been entered by the user. However,

even when the techniques in this International Standard are appropriate and correctly implemented

by adequate computer applications, they cannot be applied without attention from an individual with

technical and statistical expertise that is sufficient to identify and investigate anomalies that can occur

in any round of proficiency testing.
viii © ISO 2015 – All rights reserved
---------------------- Page: 8 ----------------------
INTERNATIONAL STANDARD ISO 13528:2015(E)
Statistical methods for use in proficiency testing by
interlaboratory comparison
1 Scope

This International Standard provides detailed descriptions of statistical methods for proficiency

testing providers to use to design proficiency testing schemes and to analyse the data obtained from

those schemes. This Standard provides recommendations on the interpretation of proficiency testing

data by participants in such schemes and by accreditation bodies.

The procedures in this Standard can be applied to demonstrate that the measurement results obtained

by laboratories, inspection bodies, and individuals meet specified criteria for acceptable performance.

This Standard is applicable to proficiency testing where the results reported are either quantitative

measurements or qualitative observations on test items.

NOTE The procedures in this Standard may also be applicable to the assessment of expert opinion where the

opinions or judgments are reported in a form which may be compared objectively with an independent reference

value or a consensus statistic. For example, when classifying proficiency test items into known categories by

inspection - or in determining by inspection whether proficiency test items arise, or do not arise, from the same

original source - and the classification results are compared objectively, the provisions of this Standard that

relate to nominal (qualitative) properties may apply.
2 Normative references

The following documents, in whole or in part, are normatively referenced in this document and are

indispensable for its application. For dated references, only the edition cited applies. For undated

references, the latest edition of the referenced document (including any amendments) applies.

ISO Guide 30, Reference materials — Selected terms and definitions

ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in

probability
ISO 3534-2, Statistics — Vocabulary and symbols — Part 2: Applied statistics

ISO 5725-1, Accuracy (trueness and precision) of measurement methods and results — Part 1: General

principles and definitions

ISO/IEC 17043, Conformity assessment — General requirements for proficiency testing

ISO/IEC Guide 99, International vocabulary of metrology — Basic and general concepts and associated

terms (VIM)
3 Terms and definitions

For the purposes of this document, the terms and definitions given in ISO 3534-1, ISO 3534-2, ISO 5725-1,

ISO/IEC 17043, ISO/IEC Guide 99, ISO Guide 30, and the following apply. In the case of differences

between these references on the use of terms, definitions in ISO 3534 parts 1-2 apply. Mathematical

symbols are listed in Annex A.
3.1
interlaboratory comparison

organization, performance and evaluation of measurements or tests on the same or similar items by

two or more laboratories in accordance with predetermined conditions
© ISO 2015 – All rights reserved 1
---------------------- Page: 9 ----------------------
ISO 13528:2015(E)
3.2
proficiency testing

evaluation of participant performance against pre-established criteria by means of interlaboratory

comparisons

Note 1 to entry: For the purposes of this International Standard, the term “proficiency testing” is taken in its

widest sense and includes, but is not limited to:

— quantitative scheme — where the objective is to quantify one or more measurands for each proficiency

test item;

— qualitative scheme — where the objective is to identify or describe one or more qualitative characteristics of

the proficiency test item;

— sequential scheme — where one or more proficiency test items are distributed sequentially for testing or

measurement and returned to the proficiency testing provider at intervals;

— simultaneous scheme — where proficiency test items are distributed for concurrent testing or measurement

within a defined time period;

— single occasion exercise — where proficiency test items are provided on a single occasion;

— continuous scheme — where proficiency test items are provided at regular intervals;

— sampl
...

DRAFT INTERNATIONAL STANDARD ISO/DIS 13528
ISO/TC 60/SC 6 Secretariat: JISC
Voting begins on Voting terminates on
2013-01-22 2013-04-22

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION • МЕЖДУНАРОДНАЯ ОРГАНИЗАЦИЯ ПО СТАНДАРТИЗАЦИИ • ORGANISATION INTERNATIONALE DE NORMALISATION

Statistical methods for use in proficiency testing by
interlaboratory comparisons

Méthodes statistiques utilisées dans les essais d'aptitude par comparaisons interlaboratoires

[Revision of first edition (ISO 13528:2005)]
ICS 03.120.30

To expedite distribution, this document is circulated as received from the committee

secretariat. ISO Central Secretariat work of editing and text composition will be undertaken at

publication stage.

Pour accélérer la distribution, le présent document est distribué tel qu'il est parvenu du

secrétariat du comité. Le travail de rédaction et de composition de texte sera effectué au

Secrétariat central de l'ISO au stade de publication.

THIS DOCUMENT IS A DRAFT CIRCULATED FOR COMMENT AND APPROVAL. IT IS THEREFORE SUBJECT TO CHANGE AND MAY NOT BE

REFERRED TO AS AN INTERNATIONAL STANDARD UNTIL PUBLISHED AS SUCH.

IN ADDITION TO THEIR EVALUATION AS BEING ACCEPTABLE FOR INDUSTRIAL, TECHNOLOGICAL, COMMERCIAL AND USER PURPOSES, DRAFT

INTERNATIONAL STANDARDS MAY ON OCCASION HAVE TO BE CONSIDERED IN THE LIGHT OF THEIR POTENTIAL TO BECOME STANDARDS TO

WHICH REFERENCE MAY BE MADE IN NATIONAL REGULATIONS.

RECIPIENTS OF THIS DRAFT ARE INVITED TO SUBMIT, WITH THEIR COMMENTS, NOTIFICATION OF ANY RELEVANT PATENT RIGHTS OF WHICH

THEY ARE AWARE AND TO PROVIDE SUPPORTING DOCUMENTATION.
© International Organization for Standardization, 2013
---------------------- Page: 1 ----------------------
ISO/DIS 13528
Copyright notice

This ISO document is a Draft International Standard and is copyright-protected by ISO. Except as permitted

under the applicable laws of the user’s country, neither this ISO draft nor any extract from it may be

reproduced, stored in a retrieval system or transmitted in any form or by any means, electronic,

photocopying, recording or otherwise, without prior written permission being secured.

Requests for permission to reproduce should be addressed to either ISO at the address below or ISO’s

member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Reproduction may be subject to royalty payments or a licensing agreement.
Violators may be prosecuted.
ii © ISO 2013 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/DIS 13528
Contents Page

0  Introduction ........................................................................................................................................... iv

0.1  The purposes for proficiency testing ................................................................................................. iv

0.2  ISO/IEC 17043 ....................................................................................................................................... iv

0.3  Statistical expertise .............................................................................................................................. iv

0.4  Computer software ................................................................................................................................ v

1  Scope ...................................................................................................................................................... 1

2  Normative references ............................................................................................................................ 1

3  Terms and definitions ........................................................................................................................... 1

4  Guidelines for the statistical design of proficiency testing schemes ............................................. 3

4.1  Introduction ............................................................................................................................................ 3

4.2  Basis of a statistical design ................................................................................................................. 4

4.3  Considerations for the statistical distribution of results .................................................................. 4

4.4  Considerations for small numbers of participants ............................................................................ 5

4.5  Considerations for qualitative data (including nominal and ordinal properties) ........................... 5

4.6  Guidelines for choosing the reporting format .................................................................................... 6

5  Guidelines for the initial review of proficiency testing items and results ....................................... 8

5.1  Homogeneity and stability of proficiency test items ......................................................................... 8

5.2  Considerations when different methods are used by participants .................................................. 8

5.3  Blunder removal .................................................................................................................................... 9

5.4  Visual review of data ............................................................................................................................. 9

5.5  Robust statistical methods .................................................................................................................. 9

5.6  Outlier techniques for individual results .......................................................................................... 10

6  Determination of the assigned value and its standard uncertainty ............................................... 10

6.1  Choice of method of determining the assigned value ..................................................................... 10

6.2  Determining the uncertainty of the assigned value ......................................................................... 10

6.3  Formulation .......................................................................................................................................... 12

6.4  Certified reference material ................................................................................................................ 12

6.5  Results from one laboratory .............................................................................................................. 13

6.6  Results from a study using expert laboratories ............................................................................... 13

6.7  Combined measurement results from participants ......................................................................... 14

6.8  Comparison of the assigned value with an independent reference value .................................... 15

7  Determination of criteria for evaluation of performance ................................................................. 15

7.1  Basis for evaluation ............................................................................................................................ 15

7.2  By perception of experts .................................................................................................................... 16

7.3  By experience with previous rounds ................................................................................................. 17

7.4  With a general model .......................................................................................................................... 17

7.5  Using the repeatability and reproducibility standard deviation from a collaborative study ....... 18

7.6  From data obtained in the same round of a proficiency testing scheme ...................................... 18

7.7  Comparison of precision values derived from a proficiency testing scheme with

established values ............................................................................................................................... 19

8  Calculation of performance statistics ............................................................................................... 19

8.1  General considerations for determining performance .................................................................... 19

8.2  Estimates of deviation (measurement error) .................................................................................... 19

8.3  z scores ................................................................................................................................................ 20

8.4  z scores ............................................................................................................................................... 21

8.5  Zeta scores () ..................................................................................................................................... 22

8.6  E scores .............................................................................................................................................. 23

8.7  Use of ranks and percentile ranks ..................................................................................................... 24

8.8  Interpretation of participant uncertainties in testing ....................................................................... 24

© ISO 2005 – All rights reserved i
---------------------- Page: 3 ----------------------
ISO/DIS 13528

8.9  Combined performance scores ..........................................................................................................25

9  Graphical methods for describing performance scores from one round of a proficiency

test .........................................................................................................................................................26

9.1  Application ...........................................................................................................................................26

9.2  Histograms of results or performance scores ..................................................................................26

9.3  Bar-plots of standardized scores .......................................................................................................27

9.4  Youden Plot ..........................................................................................................................................27

9.5  Plots of repeatability standard deviations ........................................................................................28

9.6  Split samples ........................................................................................................................................29

9.7  Graphical methods for combining performance scores over several rounds

of a proficiency testing scheme .........................................................................................................29

Annex A (normative) Symbols ........................................................................................................................31

Annex B (normative) Homogeneity and stability checks of samples ........................................................32

Annex C (normative) Robust analysis ...........................................................................................................37

Annex D (Informative) Illustrative Examples ................................................................................................43

Bibliography ......................................................................................................................................................76

ii © ISO 2005 – All rights reserved
---------------------- Page: 4 ----------------------
ISO/DIS 13528
Foreword

ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies

(ISO member bodies). The work of preparing International Standards is normally carried out through ISO

technical committees. Each member body interested in a subject for which a technical committee has been

established has the right to be represented on that committee. International organizations, governmental and

non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the

International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.

International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.

The main task of technical committees is to prepare International Standards. Draft International Standards

adopted by the technical committees are circulated to the member bodies for voting. Publication as an

International Standard requires approval by at least 75 % of the member bodies casting a vote.

Attention is drawn to the possibility that some of the elements of this document may be the subject of patent

rights. ISO shall not be held responsible for identifying any or all such patent rights.

ISO 13528 was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,

Subcommittee SC 6, Measurement methods and results. The first edition was published in 2005. The second

edition provides changes to bring the document into harmony with ISO/IEC 17043:2010, which replaced ISO

Guide 43-1. The title has been shortened, because interlaboratory comparison is included in the definition

of proficiency testing. The second edition follows a revised structure, to better reflect the process of the

design, analysis, and reporting of proficiency testing schemes. It also eliminated some procedures and added

or revised some other sections to better reflect ISO/IEC 17043 and to provide clarity and correct minor errors.

New sections were added for qualitative data and alternative robust methods.
© ISO 2005 – All rights reserved iii
---------------------- Page: 5 ----------------------
ISO/DIS 13528
0 Introduction
0.1 The purposes for proficiency testing

Proficiency testing involves the use of interlaboratory comparisons to determine the performance of

participants (which may be laboratories, inspection bodies, or individuals) for specific tests or measurements,

and to monitor their continuing performance. There are a number of typical purposes of proficiency testing, as

described in the Introduction to ISO/IEC 17043:2010. These include the evaluation of laboratory performance,

the identification of problems in laboratories, establishing effectiveness and comparability of test or

measurement methods, the provision of additional confidence to laboratory customers, validation of

uncertainty claims, and the education of participating laboratories.

The statistical design and analytical techniques applied must be appropriate for the stated purpose(s). This

Standard presents statistical techniques for the described purposes that are consistent with other International

Standards, particularly those of TC69 SC6, notably the ISO 5725 series of standards on Accuracy: trueness

and precision. The techniques are also intended to reflect techniques from other international standards,

where appropriate, and are intended to be consistent with ISO Guide 98 and JCGM 200 (VIM).

The definition of proficiency testing in ISO/IEC 17043 is repeated in ISO 13528, with the Notes that describe

different types of proficiency testing and the range of complexity of designs that can be used. This Standard

cannot specifically cover all designs, purposes, matrices and measurands. The techniques presented in ISO

13528 are intended to be broadly applicable, especially for newly established proficiency testing schemes. It

is expected that statistical techniques used for a particular proficiency testing scheme will evolve as the

scheme matures; and the scores, evaluation criteria, and graphical techniques will be refined to better serve

the specific needs of a target group of participants, accreditation bodies, and regulatory authorities.

ISO 13528 also applies guidance from a harmonized protocol for the proficiency testing of chemical analytical

[20]

laboratories , but is intended for use with all measurement methods. This revision of ISO 13528:2005

contains most of the information from the first edition, extended as necessary by the previously referenced

documents and the extended scope of ISO/IEC 17043, which includes proficiency testing for inspection, and

Annex B, which includes considerations for qualitative and ordinal results. Some procedures from the first

edition have not been carried forward to this edition; due to experience which indicates those techniques are

no longer considered to be appropriate.
0.2 ISO/IEC 17043

This Standard will provide support to the implementation of ISO/IEC 17043 which describes different types of

proficiency testing schemes and gives guidance on the organization and design of proficiency testing

schemes. Annex C of ISO/IEC 17043 gives guidance on the selection and use of proficiency testing schemes

by laboratories, inspection bodies, accreditation bodies, and other interested parties. ISO/IEC 17043 should

be consulted for detailed information in those areas, because the information is not duplicated here.

Annex B of ISO/IEC 17043 briefly describes the general statistical methods that are used in proficiency testing

schemes. This International Standard is intended to be complementary to Annex B, providing detailed

guidance that is lacking in that document on particular statistical methods for proficiency testing.

0.3 Statistical expertise

ISO/IEC 17043:2010 requires that in order to be competent, a proficiency testing provider shall have access to

statistical expertise (clause 4.4.1.4) and shall authorize specific personnel to conduct statistical analysis

(clause 4.2.4). Neither ISO/IEC 17043 nor this document can specify further what that necessary expertise is.

For some applications an advanced degree in statistics is useful, but usually the needs for expertise can be

met by individuals with technical expertise in other areas, if they are familiar with basic statistical concepts and

common techniques. If an individual is charged with statistical design and/or analysis, it is very important that

this person has experience with interlaboratory comparisons, even if they have an advanced degree in

statistics. Conventional advanced statistical training often does not include exercises with interlaboratory

comparisons, and the unique causes of measurement error that occur in proficiency testing. The guidance in

iv © ISO 2005 – All rights reserved
---------------------- Page: 6 ----------------------
ISO/DIS 13528

this International Standard cannot provide all the necessary expertise to consider all applications, and cannot

replace the experience gained by working with interlaboratory comparisons.
0.4 Computer software

Computer software that is needed for statistical analysis can vary greatly, ranging from no software at all (for

example, for proficiency testing schemes for individual participants, using known reference values and fitness

for purpose evaluation criteria), to sophisticated statistical packages used for proficiency testing schemes with

large numbers of participants and measurands, or using complicated robust methods. Most of the techniques

in this International Standard can be accomplished by conventional spread sheet applications, perhaps with

customised analysis for a particular scheme or analysis; some techniques will require computer applications

that are freely available (at the time of publication). In all cases, the user must verify the accuracy of their

calculations, especially when special routines have been entered by the user. However, even when the

techniques in this International Standard are appropriate and correctly implemented by adequate computer

applications, they cannot be applied without experienced oversight by an individual with technical and

statistical expertise that is sufficient to identify and investigate anomalies that can occur in any round of

proficiency testing.
© ISO 2005 – All rights reserved v
---------------------- Page: 7 ----------------------
ISO/DIS 13528
Statistical methods for use in proficiency testing
1 Scope

This International Standard provides detailed descriptions of sound statistical methods for organizers to use to

design proficiency testing schemes and to analyse the data obtained from those schemes, and provides

recommendations on the use of statistical techniques in practice by participants in such schemes and by

accreditation bodies.

This International Standard can be applied to demonstrate that the measurement results obtained by

laboratories, inspection bodies, and individuals meet specified criteria for acceptable performance.

This International Standard is applicable to proficiency testing where the results reported are either

quantitative or qualitative observations on test items.

NOTE The procedures in this Standard may also be applicable to the assessment of expert opinion where the opinions

or judgments are reported in a form which may be compared objectively with an independent reference value or a

combined participant result statistic. For example. when classifying test items into known categories by inspection - or in

determining by inspection whether test items arise, or do not arise, from the same original source - and the classification

results are compared objectively.
2 Normative references

The following referenced documents are indispensable for the application of this document. For dated

references, only the edition cited applies. For undated references, the latest edition of the referenced

document (including any amendments) applies.

ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: Probability and general statistical terms

ISO 3534-2, Statistics — Vocabulary and symbols — Part 2: Applied statistics

ISO 5725-1, Accuracy (trueness and precision) of measurement methods and results — Part 1: General

principles and definitions

ISO/IEC 17043, Conformity assessment — General requirements for proficiency testing

JCGM 200:2012, International vocabulary of metrology — Basic and general concepts and associated terms

(VIM), 3 edition

ISO/IEC Guide 98-3, Uncertainty of measurement — Part 3: Guide to the expression of uncertainty in

measurement (GUM:1995)
3 Terms and definitions

For the purposes of this document, the terms and definitions given in ISO 3534-1, ISO 3534-2, ISO 5725-1,

ISO/IEC 17043, JCGM 200, ISO Guide 34, and the following apply.
3.1
interlaboratory comparison

Organization, performance and evaluation of measurements or tests on the same or similar items by two or

more laboratories in accordance with predetermined conditions
3.2
proficiency testing

Evaluation of participant performance against pre-established criteria by means of interlaboratory

comparisons
---------------------- Page: 8 ----------------------
ISO/DIS 13528

NOTE For the purposes of this International Standard, the term “proficiency testing” is taken in its widest sense and

includes, but is not limited to:

a) quantitative scheme — where the objective is to quantify one or more measurands of the proficiency test item;

b) qualitative scheme — where the objective is to identify or describe one or more characteristics of the proficiency test

item;

c) sequential scheme — where one or more proficiency test items are distributed sequentially for testing or

measurement and returned to the proficiency testing provider at intervals;

d) simultaneous scheme — where proficiency test items are distributed for concurrent testing or measurement within a

defined time period;

e) single occasion exercise — where proficiency test items are provided on a single occasion;

f) continuous scheme — where proficiency test items are provided at regular intervals;

g) sampling — where samples are taken for subsequent analysis; and

h) data transformation and interpretation — where sets of data or other information are furnished and the information is

processed to provide an interpretation (or other outcome).
3.3
assigned value
Value attributed to a particular property of a proficiency test item
3.4
standard deviation for proficiency assessment

Measure of dispersion used in the evaluation of results of proficiency testing, based on the available

information

NOTE 1 This can be interpreted as a target standard deviation for a population of laboratories that is competent to

perform a particular measurement procedure.

NOTE 2 The standard deviation for proficiency assessment applies only to ratio and differential scale results.

NOTE 3 Not all proficiency testing schemes evaluate proficiency based on the dispersion of results.

NOTE 4 The notes for the definition in this document are not the same as the definition in ISO/IEC 17043.

3.5
z score

Standardized measure of performance, calculated using the participant result, assigned value and the

standard deviation for proficiency assessment
3.6
outlier

Observation in a set of data that appears to be inconsistent with the remainder of that set

NOTE 1 An outlier can originate from a different population or be the result of an incorrect recording or other gross error.

NOTE 2 Many schemes use the term outlier to designate a result that generates an action signal. This is not the

intended use of the term. While outliers will usually generate action signals, it is possible to have action signals from

results that are not considered to be outliers.
3.7
participant

Laboratory, organization, or individual that receives proficiency test items and submits results for review by the

proficiency testing provider.
---------------------- Page: 9 ----------------------
ISO/DIS 13528
3.8
proficiency test item

Sample, product, artefact, reference material, piece of equipment, measurement standard, data set or other

information used for proficiency testing.

NOTE In most instances, proficiency test items meet the ISO Guide 34 definition of “reference material” (3.11 below)

3.9
proficiency testing provider

Organization which takes responsibility for all tasks in the development and operation of a proficiency testing

scheme.
3.10
proficiency testing scheme

proficiency testing designed and operated in one or more rounds for a specified area of testing, measurement,

calibration or inspection.

NOTE A proficiency testing scheme might cover a particular type of test, calibration, inspection or a number of tests,

calibrations or inspections on proficiency test items.
3.11
reference material (RM)

Material, sufficiently homogeneous and stable with respect to one or more specified properties, which has

been established to be fit for its intended use in a measurement process. (ISO Guide 34:2009)

NOTE 1 RM is a generic term

NOTE 2 Properties can be quantitative or qualitative (e.g., identity of substances or species)

NOTE 3 Uses may include the calibration of a measurement system, assessment of a measurement procedure,

assigning values to other materials, and quality control.
3.12
certified reference material (CRM)

Reference material characterized by a metrologically valid procedure for one or more specified properties,

accompanied by a certificate that provides the value of the specified property, its associated uncertainty, and

a statement of metrological traceability. (ISO Guide 34:2009)

NOTE The concept of value includes qualitative attributes such as identity or sequence. Uncertainties for such

attributes may be expressed as probabilities.
4 Guidelines for the statistical design of proficiency testing schemes
4.1 Introduction

Proficiency testing is concerned with the assessment of participant performance and as such does not

specifically address bias or precision (although these can be assessed with specific designs). The

performance of the participants is undertaken through the statistical evaluation of their results following the

measurements or interpretations they make on the proficiency test items. Performance is often expressed in

the form of scores which allow consistent interpretation across a range of measurands and can allow results

for different measurands to be compared on an equal footing. Performance scores are typically derived by

comparing the difference between reported participant results and an assigned value with an allowable

deviation or with a measure of uncertainty of the difference. Examination of the performance scores over

multiple measurands or rounds of a proficiency testing scheme can provide information on whether individual

laboratories show evidence of consistent systematic effects (“bias”) or poor long term precision.

The following sections give guidance on the design of proficiency testing schemes and on the statistical

treatment of results, including the calculation and interpretation of various performance scores.

---------------------- Page: 10 ----------------------
ISO/DIS 13528
4.2 Basis of a statistical design

4.2.1 According to ISO/IEC 17043, clause 4.4.4.1, the statistical design “shall be developed to meet the

objectives of the scheme, based on the nature of the data (quantitative or qualitative including ordinal and

categorical), statistical assumptions, the nature of errors, and the expected number of results”. Therefore

schemes with different objectives and with different sources of error could have different

...

NORME ISO
INTERNATIONALE 13528
Deuxième édition
2015-08-01
Version corrigée
2016-10-15
Méthodes statistiques utilisées dans
les essais d’aptitude par comparaison
interlaboratoires
Statistical methods for use in proficiency testing by interlaboratory
comparison
Numéro de référence
ISO 13528:2015(F)
ISO 2015
---------------------- Page: 1 ----------------------
ISO 13528:2015(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2015, Publié en Suisse

Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée

sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur

l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à

l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. +41 22 749 01 11
Fax +41 22 749 09 47
copyright@iso.org
www.iso.org
ii © ISO 2015 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 13528:2015(F)
Sommaire Page

Avant-propos ................................................................................................................................................................................................................................v

..................................................................................................................................................................

Introduction ...........................................................................................................................................................................................................vii

1 Domaine d’application ................................................................................................................................................................................... 1

2 Références normatives ................................................................................................................................................................................... 1

3 Termes et définitions ....................................................................................................................................................................................... 1

4 Principes généraux ............................................................................................................................................................................................ 5

4.1 Exigences générales relatives aux méthodes statistiques ................................................................................. 5

4.2 Modèle de base ....................................................................................................................................................................................... 5

4.3 Approches générales pour l’évaluation des performances............................................................................... 6

5 Lignes directrices pour le plan statistique des programmes d’essais d’aptitude ............................6

5.1 Présentation du plan statistique de programmes d’essais d’aptitude .................................................... 6

5.2 Base d’un plan statistique ............................................................................................................................................................. 6

5.3 Considérations sur la distribution statistique des résultats ........................................................................... 7

5.4 Considérations sur les petits nombres de participants ....................................................................................... 8

5.5 Lignes directrices pour choisir le format de rendu ................................................................................................. 9

6 Lignes directrices pour la revue initiale des entités soumises à l’essai d’aptitude et

des résultats ...........................................................................................................................................................................................................11

6.1 Homogénéité et stabilité des entités soumises à l’essai d’aptitude .......................................................11

6.2 Considérations sur les différentes méthodes de mesure ................................................................................12

6.3 Élimination des valeurs aberrantes ...................................................................................................................................12

6.4 Examen visuel des données ......................................................................................................................................................13

6.5 Méthodes statistiques robustes ......... ....................................................................................................................................13

6.6 Techniques de détection des valeurs aberrantes pour des résultats individuels.......................14

7 Détermination de la valeur assignée et de son incertitude-type ....................................................................15

7.1 Choix de la méthode de détermination de la valeur assignée .....................................................................15

7.2 Détermination de l’incertitude de la valeur assignée .........................................................................................15

7.3 Formulation ............................................................................................................................................................................................16

7.4 Matériau de référence certifié ................................................................................................................................................17

7.5 Résultats provenant d’un seul laboratoire ..................................................................................................................18

7.6 Valeur consensuelle déterminée par des laboratoires experts ..................................................................19

7.7 Valeur consensuelle déterminée à partir des résultats des participants .........................................19

7.8 Comparaison de la valeur assignée avec une valeur de référence indépendante ......................21

8 Détermination des critères d’évaluation des performances ..............................................................................22

8.1 Approches pour la détermination des critères d’évaluation ........................................................................22

8.2 Détermination par perception d’experts .......................................................................................................................22

8.3 Détermination à partir de l’expérience acquise lors des campagnes précédentes

d’un programme d’essais d’aptitude .................................................................................................................................22

8.4 Détermination par l’utilisation d’un modèle général .........................................................................................23

8.5 Utilisation des écarts-types de répétabilité et de reproductibilité obtenus lors

d’une étude collaborative de la fidélité d’une méthode de mesure ........................................................24

8.6 Détermination à partir de données obtenues lors d’une même campagne d’un

programme d’essais d’aptitude .............................................................................................................................................24

8.7 Surveillance de la concordance interlaboratoires .................................................................................................26

9 Calcul des statistiques de performances ..................................................................................................................................26

9.1 Considérations générales pour la détermination des performances ....................................................26

9.2 Limitation de l’incertitude de la valeur assignée ...................................................................................................26

9.3 Estimations des écarts (erreur de mesure) ...............................................................................................................27

9.4 Scores z ......................................................................................................................................................................................................28

9.5 Scores z′ .....................................................................................................................................................................................................30

© ISO 2015 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 13528:2015(F)

9.6 Scores zêta (ζ) .......................................................................................................................................................................................31

9.7 Scores E .....................................................................................................................................................................................................

n 32

9.8 Évaluation des incertitudes d’essais des participants .......................................................................................32

9.9 Scores composés de performance .......................................................................................................................................34

10 Méthodes graphiques de description des scores de performance ...............................................................34

10.1 Application de méthodes graphiques ...............................................................................................................................34

10.2 Histogrammes de résultats ou de scores de performance .............................................................................35

10.3 Diagrammes de densité par la méthode du noyau ................................................................................................35

10.4 Diagrammes en bâtons des scores de performance normalisés ...............................................................37

10.5 Graphique de Youden .....................................................................................................................................................................37

10.6 Graphiques d’écarts-types de répétabilité ...................................................................................................................38

10.7 Échantillons fractionnés .............................................................................................................................................................39

10.8 Méthodes graphiques de combinaison des scores de performance sur plusieurs

campagnes d’un programme d’essais d’aptitude ..................................................................................................39

11 Plan et analyse de programmes d’essais d’aptitude qualitatifs (y compris les

propriétés nominales et ordinales) ...............................................................................................................................................41

11.1 Types de données qualitatives ...............................................................................................................................................41

11.2 Plan statistique ....................................................................................................................................................................................41

11.3 Valeurs assignées pour les programmes d’essais d’aptitude .......................................................................42

11.4 Évaluation des performances et attribution de scores pour les programmes

d’essais d’aptitude qualitatifs ..................................................................................................................................................44

Annexe A (normative) Symboles ............................................................................................................................................................................46

Annexe B (normative) Homogénéité et stabilité des entités soumises à l’essai d’aptitude .....................48

Annexe C (normative) Analyse robuste ..........................................................................................................................................................56

Annexe D (informative) Lignes directrices supplémentaires concernant les

procédures statistiques ..............................................................................................................................................................................67

Annexe E (informative) Exemples illustratifs ...........................................................................................................................................72

Bibliographie ...........................................................................................................................................................................................................................94

iv © ISO 2015 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 13528:2015(F)
Avant-propos

L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes

nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est

en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude

a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,

gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.

L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui

concerne la normalisation électrotechnique.

Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont

décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents

critères d’approbation requis pour les différents types de documents ISO. Le présent document a été

rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www.

iso.org/directives).

L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de

droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable

de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant

les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de

l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de

brevets reçues par l’ISO (voir www.iso.org/brevets).

Les appellations commerciales éventuellement mentionnées dans le présent document sont données

pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un

engagement.

Pour une explication de la signification des termes et expressions spécifiques de l’ISO liés à l’évaluation

de la conformité, ou pour toute information au sujet de l’adhésion de l’ISO aux principes de l’OMC

concernant les obstacles techniques au commerce (OTC), voir le lien suivant : Avant-propos —

Informations supplémentaires.

Le comité chargé de l’élaboration du présent document est l’ISO/TC 69, Application des méthodes

statistiques, sous-comité SC 6, Méthodes et résultats de mesure.

Cette deuxième édition de l’ISO 13528 annule et remplace la première édition (ISO 13528:2005), qui

a fait l’objet d’une révision technique. Cette seconde édition apporte des modifications destinées à

harmoniser le document avec l’ISO/IEC 17043:2010, qui a remplacé le Guide ISO 43-1:1997. Elle suit une

structure révisée afin de mieux refléter le processus de conception, d’analyse et de compte-rendu des

programmes d’essais d’aptitude. Elle supprime également certaines procédures qui ne sont plus jugées

appropriées, et ajoute ou modifie certains autres paragraphes afin d’être cohérente avec l’ISO/IEC 17043,

d’apporter plus de clarté et de corriger des erreurs mineures. De nouveaux paragraphes ont été ajoutés

pour les données qualitatives et pour des méthodes statistiques robustes supplémentaires.

La présente version corrigée de l’ISO 13528:2015 inclut les corrections suivantes :

— 7.5.2.2, équation (5): «U » a été remplacé par «u »;
char char
— 9.8.2, NOTE: la référence à «E.3» a été remplacée par une référence à «E.4»;

— 10.3.2, iv, équation (19): cette correction ne concerne pas la version française;

— B.2.3, b), ligne précédant le Tableau B.1: la Référence «[33]» a été remplacée par la Référence «[32]»;

— B.2.3, Tableau B.1, première ligne, première colonne: «gm» a été remplacé par «g»;

— B.2.3, paragraphe sous le Tableau B.1: dans la première formule, «F » a été remplacé par «F » et le

2m m

dernier «-1» a été ramené sur la ligne (ce n’est plus un indice); dans la deuxième formule, le dernier

«-1» a été ramené sur la ligne (ce n’est plus un indice);

— B.2.3 b), NOTE: l’équation permettant de trouver F est maintenant divisée par «(g-1)»;

© ISO 2015 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO 13528:2015(F)
2 2

— B.3, équations (B.7), (B.14) et (B.16): les termes s et s ont été remplacés par s et s ; par ailleurs,

x x x x

dans l’équation (B.16) le symbole racine carrée a été déplacé en dehors des parenthèses «max ( 0, …..)»;

2 2
— B.3, équation (B.8): «s » a été remplacé par «w »;
t t

— C.3.1, NOTE 2, première ligne: cette correction ne concerne pas la version française.

— C.3.1, paragraphe après l’équation (C.10), deuxième ligne: «en utilisant les données modifiées des

équations C.7 à C.10» a été remplacé par «en utilisant les équations C.7 à C.10».

— C.3.1, dernière note: «NOTE» a été remplacé par «NOTE 3», et la Référence à «E.3 et E.4» a été

remplacée par une Référence à «E.1 et E.3»;

Les corrections rédactionnelles mineures suivantes ont été apportées pour assurer la cohérence de

tout le document:

— 8.3.1, troisième tiret, dernière ligne: cette correction ne concerne pas la version française;

— 8.6.1, première ligne: « ,σ , » a été remplacé par «(σ )» (pour cohérence dans la présentation);

pt pt

— B.4.1.2, deuxième tiret, troisième ligne: «d’échantillons» a été remplacé par «entités soumises à

l’essai d’aptitude» (pour cohérence terminologique);

— Annexes D and E, titres: cette correction ne concerne pas la version française.

vi © ISO 2015 – Tous droits réservés
---------------------- Page: 6 ----------------------
ISO 13528:2015(F)
0 Introduction
0.1 Objectifs des essais d’aptitude

Les essais d’aptitude impliquent l’utilisation de comparaisons interlaboratoires pour déterminer les

performances de participants (qui peuvent être des laboratoires, des organismes de contrôle ou des

individus) pour des essais spécifiés ou des mesures et ainsi surveiller la continuité des performances

des participants. Il existe un certain nombre d’objectifs pour les essais d’aptitude, tels que décrits

dans l’Introduction de l’ISO/IEC 17043:2010. Ces objectifs comprennent l’évaluation des performances

des laboratoires, l’identification de problèmes dans les laboratoires, la détermination de l’efficacité

et la comparabilité des méthodes d’essai ou de mesure, l’amélioration de la confiance des clients des

laboratoires, la validation des incertitudes revendiquées et la formation des laboratoires participants.

Le plan et les techniques statistiques appliqués doivent être appropriés à ou aux objectifs définis.

0.2 Justification de l’évaluation par scores dans les programmes d’essais d’aptitude

Diverses stratégies d’évaluation par scores sont disponibles et utilisées pour les essais d’aptitude. Bien

que les calculs détaillés diffèrent, la plupart des programmes d’essais d’aptitude comparent l’écart du

participant par rapport à une valeur assignée avec un critère numérique qui est utilisé pour déterminer

si cet écart est préoccupant ou non. Les stratégies utilisées pour les valeurs assignées et pour le choix

d’un critère d’évaluation des écarts des participants sont donc critiques. En particulier, il est important

de déterminer si la valeur assignée et le critère d’évaluation des écarts doivent être indépendants des

résultats des participants ou s’ils doivent être obtenus à partir des résultats soumis. Dans la présente

norme, les deux stratégies sont prévues. Toutefois, l’attention est attirée sur la discussion figurant aux

Articles 7 et 8 concernant les avantages et les inconvénients associés au choix de valeurs assignées ou

de critères d’évaluation des écarts qui ne sont pas obtenus à partir des résultats des participants. On

verra que, en général, le choix de valeurs assignées et de critères d’évaluation indépendamment des

résultats des participants offre des avantages. Ceci est notamment le cas pour le critère utilisé pour

évaluer les écarts par rapport à la valeur assignée – tel que l’écart-type d’aptitude ou une tolérance sur

l’erreur de mesure – pour lequel un choix cohérent fondé sur la pertinence pour une utilisation finale

particulière des résultats de mesure est particulièrement utile.
0.3 ISO 13528 et ISO/IEC 17043

L’ISO 13528 soutient la mise en œuvre de l’ISO/IEC 17043, notamment les exigences relatives au plan

statistique, à la validation des entités soumises à l’essai d’aptitude, à la revue des résultats et au rendu

des statistiques résumées. L’Annexe B de l’ISO/IEC 17043:2010 fournit une description succincte des

méthodes statistiques générales utilisées dans les programmes d’essais d’aptitude. La présente Norme

internationale est destinée à être complémentaire de l’ISO/IEC 17043, en fournissant des indications

détaillées ne figurant pas dans ce document sur des méthodes statistiques particulières pour les essais

d’aptitude.

La définition de l’essai d’aptitude donnée dans l’ISO/IEC 17043 est reprise dans l’ISO 13528, avec

des notes décrivant les différents types d’essais d’aptitude et l’étendue des conceptions pouvant

être utilisées. La présente norme ne peut pas couvrir spécifiquement l’ensemble des objectifs, des

conceptions, des matrices et des mesurandes. Les techniques présentées dans l’ISO 13528 sont destinées

à être appliquées de façon étendue, notamment pour des programmes d’essais d’aptitude nouvellement

établis. On s’attend à ce que les techniques statistiques utilisées dans le cadre d’un programme d’essais

d’aptitude particulier évoluent au fur et à mesure que le programme gagnera en maturité ; et les

scores, les critères d’évaluation et les méthodes graphiques seront affinées afin de mieux répondre

aux besoins spécifiques d’un groupe cible de participants, d’organismes d’accréditation et d’autorités

réglementaires.

L’ISO 13528 incorpore des lignes directrices publiées pour les essais d’aptitude de laboratoires

[32]

d’analyses chimiques, mais inclut également une gamme plus étendue de procédures à utiliser

avec des méthodes de mesure et d’identifications qualitatives valides. La présente révision de

l’ISO 13528:2005 contient la plupart des méthodes statistiques et lignes directrices issues de la première

édition, complétées autant que nécessaire par les documents précédemment cités en référence et par le

domaine d’application étendu de l’ISO/IEC 17043. L’ISO/IEC 17043 comprend des essais d’aptitude pour

© ISO 2015 – Tous droits réservés vii
---------------------- Page: 7 ----------------------
ISO 13528:2015(F)

les personnes et les organismes de contrôle, et l’Annexe B comprend des éléments d’appréciation pour

les résultats qualitatifs.

Cette Norme contient des techniques statistiques qui sont conformes à d’autres Normes internationales,

notamment à celles du TC69/SC6, et en particulier à la série de normes ISO 5725 portant sur l’Exactitude :

justesse et fidélité. Les techniques sont également destinées à refléter d’autres Normes internationales, le

cas échéant, et à être en cohérence avec le Guide ISO/IEC 98-3 (GUM) et avec le Guide ISO/IEC 99 (VIM).

0.4 Expertise en statistique

L’ISO/IEC 17043:2010 exige que, pour être compétent, un organisateur d’essais d’aptitude doit avoir

accès à l’expertise statistique et doit autoriser du personnel spécifique à mener l’analyse statistique.

Ni l’ISO/IEC 17043 ni la présente Norme internationale ne peuvent définir plus en détail en quoi

consiste cette expertise nécessaire. Pour certaines applications, un niveau élevé en statistiques est

utile, mais généralement les besoins en expertise peuvent être assurés par des personnes ayant une

expertise technique dans d’autres domaines, connaissant les concepts et les techniques statistiques de

base et ayant une expérience ou une formation dans les techniques courantes applicables à l’analyse

des données issues de programmes d’essais d’aptitude. Si un consultant est chargé du plan et/ou de

l’analyse statistique, il est très important que cette personne ait une expérience dans le domaine des

comparaisons interlaboratoires, même si elle a un niveau élevé dans le domaine des statistiques. La

formation classique en statistiques avancées n’inclut pas l’acquisition de connaissances dans le domaine

des comparaisons interlaboratoires, et les causes uniques d’erreur de mesure se produisant durant les

essais d’aptitude peuvent sembler obscures. Les lignes directrices données dans la présente Norme

internationale ne peuvent pas fournir toute l’expertise nécessaire pour prendre en compte toutes les

applications, et ne peuvent pas remplacer l’expérience acquise lors de la pratique des comparaisons

interlaboratoires.
0.5 Logiciels

Les logiciels nécessaires pour l’analyse statistique des données d’essais d’aptitude peuvent varier de

façon importante, allant de l’arithmétique simple d’un tableur pour les petits programmes d’essais

d’aptitude utilisant des valeurs de référence connues, jusqu’aux logiciels statistiques sophistiqués utilisés

pour les méthodes statistiques faisant appel à des calculs itératifs ou d’autres méthodes numériques

avancées. La plupart des techniques mentionnées dans la présente Norme internationale peuvent être

mises en œuvre par des tableurs classiques, éventuellement avec des routines personnalisées pour un

programme ou une analyse spécial(e) ; certaines techniques nécessitent des logiciels qui sont gratuits

(au moment de la publication). Dans tous les cas, il convient que les utilisateurs vérifient l’exactitude de

leurs calculs, en particulier lorsque des programmes spéciaux ont été entrés par l’utilisateur. Toutefois,

même lorsque les techniques traitées dans la présente Norme internationale sont appropriées et

correctement mises en œuvre par des logiciels adéquats, elles ne peuvent pas être appliquées sans

la surveillance d’une personne disposant d’une expertise technique et statistique suffisante pour

identifier et rechercher des anomalies susceptibles de se produire lors de toute campagne d’essais

d’aptitude.
viii © ISO 2015 – Tous droits réservés
---------------------- Page: 8 ----------------------
NORME INTERNATIONALE ISO 13528:2015(F)
Méthodes statistiques utilisées dans les essais d’aptitude
par comparaison interlaboratoires
1 Domaine d’application

La présente Norme internationale fournit des descriptions détaillées de méthodes statistiques à

utiliser par les organisateurs d’essais d’aptitude pour concevoir des programmes d’essais d’aptitude

et pour analyser les données obtenues à partir de tels programmes. La présente norme donne des

recommandations sur l’interprétation des données d’essais d’aptitude par les participants à de tels

programmes et par les organismes d’accréditation.

Les procédures de la présente norme peuvent être appliquées pour démontrer que les résultats de

mesure obtenus par des laboratoires, des organismes de contrôle et des personnes remplissent les

critères spécifiés pour des performances acceptables.

La présente norme est applicable à des essais d’aptitude dans lesquels les résultats rapportés sont des

observations quantitatives ou qualitatives sur des d’entités soumises à l’essai.

NOTE Les procédures énoncées dans la présente norme peuvent être également applicables pour l’évaluation

d’un avis d’expert lorsque les avis ou les jugements sont rapportés sous une forme qui peut être comparée de

manière objective avec une valeur de référence indépendante ou avec une statistique consensuelle. Par exemple,

lorsque des entités soumises à l’essai d’aptitude sont classées en catégories connues par contrôle – ou lorsque

l’on cherche à déterminer par contrôle si des entités soumises à l’essai d’aptitude proviennent ou non de la même

source d’origine – et lorsque les résultats de la classification sont comparés de manière objective, il est possible

d’appliquer les dispositions de la présente norme qui se rapportent à des propriétés (qualitatives) nominales.

2 Références normatives

Les documents ci-après, dans leur intégralité ou non, sont des références normatives indispensables à

l’application du présent document. Pour les références datées, seule l’édition citée s’applique. Pour les

références non datées, la dernière édition du document de référence s’applique (y compris

...

PROJET DE NORME INTERNATIONALE ISO/DIS 13528
ISO/TC 69/SC 6 Secrétariat: JISC
Début de vote Vote clos le
2013-01-22 2013-04-22

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION • МЕЖДУНАРОДНАЯ ОРГАНИЗАЦИЯ ПО СТАНДАРТИЗАЦИИ • ORGANISATION INTERNATIONALE DE NORMALISATION

Méthodes statistiques utilisées dans les essais d'aptitude par
comparaisons interlaboratoires

Statistical methods for use in proficiency testing by interlaboratory comparisons

[Révision de la première édition (ISO 13528:2005)]
ICS 03.120.30

Pour accélérer la distribution, le présent document est distribué tel qu'il est parvenu du

secrétariat du comité. Le travail de rédaction et de composition de texte sera effectué au

Secrétariat central de l'ISO au stade de publication.

To expedite distribution, this document is circulated as received from the committee

secretariat. ISO Central Secretariat work of editing and text composition will be undertaken at

publication stage.

CE DOCUMENT EST UN PROJET DIFFUSÉ POUR OBSERVATIONS ET APPROBATION. IL EST DONC SUSCEPTIBLE DE MODIFICATION ET NE PEUT

ÊTRE CITÉ COMME NORME INTERNATIONALE AVANT SA PUBLICATION EN TANT QUE TELLE.

OUTRE LE FAIT D'ÊTRE EXAMINÉS POUR ÉTABLIR S'ILS SONT ACCEPTABLES À DES FINS INDUSTRIELLES, TECHNOLOGIQUES ET

COMMERCIALES, AINSI QUE DU POINT DE VUE DES UTILISATEURS, LES PROJETS DE NORMES INTERNATIONALES DOIVENT PARFOIS ÊTRE

CONSIDÉRÉS DU POINT DE VUE DE LEUR POSSIBILITÉ DE DEVENIR DES NORMES POUVANT SERVIR DE RÉFÉRENCE DANS LA

RÉGLEMENTATION NATIONALE.

LES DESTINATAIRES DU PRÉSENT PROJET SONT INVITÉS À PRÉSENTER, AVEC LEURS OBSERVATIONS, NOTIFICATION DES DROITS DE PRO-

PRIÉTÉ DONT ILS AURAIENT ÉVENTUELLEMENT CONNAISSANCE ET À FOURNIR UNE DOCUMENTATION EXPLICATIVE.

© Organisation Internationale de Normalisation, 2013
---------------------- Page: 1 ----------------------
ISO/DIS 13528
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2013

Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée sous

quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur l’internet ou sur un

Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à l’adresse ci-après ou au

comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2013 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 13528:2013(F)
Sommaire Page

Avant-propos ...................................................................................................................................................... v

0  Introduction ........................................................................................................................................... vi

0.1  Objectifs des essais d'aptitude ........................................................................................................... vi

0.2  ISO/CEI 17043 ....................................................................................................................................... vi

0.3  Expertise en statistique ...................................................................................................................... vii

0.4  Logiciels ............................................................................................................................................... vii

1  Domaine d'application .......................................................................................................................... 1

2  Références normatives ......................................................................................................................... 1

3  Termes et définitions ............................................................................................................................ 2

4  Lignes directrices pour le plan statistique de programmes d'essais d’aptitude ........................... 4

4.1  Introduction ............................................................................................................................................ 4

4.2  Base d’un plan statistique .................................................................................................................... 4

4.3  Considérations sur la distribution statistique des résultats ............................................................ 5

4.4  Considérations sur les petits nombres de participants .................................................................... 6

4.5  Considérations sur les données qualitatives (y compris les propriétés nominales et

ordinales) ............................................................................................................................................... 7

4.6  Lignes directrices pour choisir le format de rapport ......................................................................... 8

5  Lignes directrices pour la revue initiale des entités soumises à l’essai d’aptitude et des

résultats .................................................................................................................................................. 9

5.1  Homogénéité et stabilité des entités soumises à l’essai d’aptitude ................................................ 9

5.2  Considérations lorsque des méthodes différentes sont utilisées par les participants ............... 10

5.3  Elimination des valeurs aberrantes ................................................................................................... 11

5.4  Examen visuel des données .............................................................................................................. 11

5.5  Méthodes statistiques robustes ........................................................................................................ 12

5.6  Techniques de détection des valeurs aberrantes pour des résultats individuels ....................... 12

6  Détermination de la valeur assignée et de son incertitude type .................................................... 13

6.1  Choix de la méthode de détermination de la valeur assignée ........................................................ 13

6.2  Détermination de l’incertitude de la valeur assignée ...................................................................... 13

6.3  Formulation .......................................................................................................................................... 14

6.4  Matériau de référence certifié ............................................................................................................ 15

6.5  Résultats provenant d’un laboratoire ................................................................................................ 15

6.6  Résultats issus d’une étude réalisée par des laboratoires experts ............................................... 16

6.7  Résultats de mesure combinés fournis par les participants .......................................................... 17

6.8  Comparaison de la valeur assignée avec une valeur de référence indépendante ....................... 18

7  Détermination des critères d’évaluation des performances ........................................................... 18

7.1  Base de l’évaluation ............................................................................................................................ 18

7.2  Méthode par perception d’experts ..................................................................................................... 19

7.3  Par l’expérience acquise lors des campagnes précédentes .......................................................... 20

7.4  Détermination à partir d'un modèle général ..................................................................................... 21

7.5  Utilisation des écarts-types de répétabilité et de reproductibilité obtenus lors d’une étude

collaborative ........................................................................................................................................ 21

7.6  Détermination à partir de données obtenues lors d’une même campagne d'un programme

d'essais d'aptitude .............................................................................................................................. 22

7.7  Comparaison entre les valeurs de fidélité déduites d'un programme d’essais d'aptitude et

les valeurs établies .............................................................................................................................. 22

© ISO 2013 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 13528:2013(F)

8  Calcul des statistiques de performances ..........................................................................................23

8.1  Considérations générales pour la détermination des performances .............................................23

8.2  Estimations des écarts (erreur de mesure) .......................................................................................23

8.3  Scores z ................................................................................................................................................25

8.4  Scores z ...............................................................................................................................................26

8.5  Scores zêta () ......................................................................................................................................27

8.6  Scores E ..............................................................................................................................................28

8.7  Utilisation des rangs et des rangs en percentiles ............................................................................29

8.8  Interprétation des incertitudes des participants lors des essais ...................................................29

8.9  Scores composés de performance ....................................................................................................30

9  Méthodes graphiques de description des scores de performance à partir d’une campagne

d’un essai d’aptitude ...........................................................................................................................32

9.1  Application ...........................................................................................................................................32

9.2  Histogrammes de résultats ou de scores de performance .............................................................32

9.3  Diagrammes en bâtons des scores normalisés ...............................................................................33

9.4  Graphique de Youden .........................................................................................................................33

9.5  Graphiques d'écarts-types de répétabilité ........................................................................................34

9.6  Echantillons fractionnés .....................................................................................................................35

9.7  Méthodes graphiques de combinaison des scores de performance sur plusieurs

campagnes d’un programme d’essais d’aptitude ............................................................................36

Annexe A (normative) Symboles ....................................................................................................................38

Annexe B (normative) Vérification de l'homogénéité et de la stabilité des échantillons .........................39

Annexe C (normative) Analyse robuste .........................................................................................................45

Annexe D (informative) Exemples illustratifs ...............................................................................................52

Bibliographie .....................................................................................................................................................89

iv © ISO 2013 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 13528:2013(F)
Avant-propos

L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de

normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée

aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du

comité technique créé à cet effet. Les organisations internationales, gouvernementales et non

gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec

la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.

Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,

Partie 2.

La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes

internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur

publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres

votants.

L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de

droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne

pas avoir identifié de tels droits de propriété et averti de leur existence.

L'ISO 13528 a été élaborée par le comité technique ISO/TC 69, Application des méthodes statistiques,

sous-comité SC 6, Méthodes et résultats de mesure. La première édition a été publiée en 2005. La seconde

édition apporte des modifications destinées à harmoniser le document avec l’ISO/CEI 17043:2010, qui a

remplacé le Guide ISO 43-1. Le titre a été raccourci, car la mention « comparaison interlaboratoires » est

incluse dans la définition de « essais d’aptitude ». La deuxième édition suit une structure révisée afin de

mieux refléter le processus de conception, d'analyse et de compte-rendu des programmes d'essais d'aptitude.

Elle a également supprimé certaines procédures et ajouté ou modifié certains autres paragraphes afin de

mieux refléter l'ISO/CEI 17043 et d'apporter plus de clarté et de corriger des erreurs mineures. De nouveaux

paragraphes ont été ajoutés pour les données qualitatives et pour d'autres méthodes robustes.

© ISO 2013 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO 13528:2013(F)
0 Introduction
0.1 Objectifs des essais d'aptitude

Les essais d'aptitude impliquent l'utilisation de comparaisons interlaboratoires pour déterminer les

performances de participants (qui peuvent être des laboratoires, des organismes de contrôle, ou des

individus) relatives à des essais ou à des mesures spécifiques et pour surveiller la continuité des

performances des participants. Il existe un certain nombre d’objectifs pour les essais d’aptitude, tels que

décrits dans l’Introduction de l’ISO/CEI 17043:2010. Ces objectifs comprennent l'évaluation des performances

des laboratoires, l'identification de problèmes dans les laboratoires, la détermination de l'efficacité et la

possibilité de comparer les méthodes d’essai ou de mesure, l'amélioration de la confiance des clients des

laboratoires, la validation des 'incertitudes revendiquées et la formation des laboratoires participants.

Le plan et les techniques statistiques appliqués doivent être appropriés à ou aux objectifs définis. Cette

Norme présente des techniques statistiques pour les objectifs décrits, qui sont conformes à d’autres normes

internationales, notamment à celles du TC69/SC6, et en particulier à la série de normes ISO 5725 portant sur

l’Exactitude : justesse et fidélité. Les techniques sont également destinées à refléter les techniques

préconisées par d’autres normes internationales, le cas échéant, et à être en cohérence avec le Guide ISO 98

et avec le JCGM 200 (VIM).

La définition de l’essai d’aptitude donnée dans l’ISO/CEI 17043 est reprise dans l’ISO 13528, avec des notes

décrivant les différents types d'essais d’aptitude et l’étendue de la complexité des conceptions pouvant être

utilisées. La présente norme ne peut pas couvrir spécifiquement l’ensemble des conceptions, des objectifs,

des matrices et des mesurandes. Les techniques présentées dans l’ISO 13528 sont destinées à être

appliquées de façon étendue, notamment pour des programmes d’essais d’aptitude nouvellement établis. On

s’attend à ce que les techniques statistiques utilisées dans le cadre d’un programme d’essais d’aptitude

particulier évoluent au fur et à mesure que le programme gagnera en maturité ; et les scores, les critères

d’évaluation et les méthodes graphiques seront affinées afin de mieux répondre aux besoins spécifiques d’un

groupe cible de participants, d’organismes d’accréditation et d’organismes réglementaires.

L'ISO 13528 applique également des lignes directrices issues d’un protocole harmonisé pour les essais

[20]

d'aptitude de laboratoires d'analyses chimiques , mais elle est destinée à être utilisée avec toutes les

méthodes de mesure. La présente révision de l’ISO 13528:2005 contient la plupart des informations issues de

la première édition, complétées autant que nécessaire par les documents précédemment cités en référence,

par le domaine d'application étendu de l'ISO/CEI 17043, qui comprend des essais d’aptitude pour le contrôle,

et l’Annexe B qui comprend des éléments d'appréciation pour les résultats qualitatifs et ordinaux. Certaines

procédures issues de la première édition n'ont pas été reprises dans la présente édition, car l’expérience a

démontré que de telles techniques ne sont plus considérées comme appropriées.
0.2 ISO/CEI 17043

La présente norme soutiendra la mise en œuvre de l’ISO/CEI 17043 qui décrit différents types de

programmes d’essais d’aptitude et donne des lignes directrices pour l’organisation et la conception de

programmes d’essais d’aptitude. L’Annexe C de l’ISO/CEI 17043 donne des lignes directrices pour la

sélection et l’utilisation de programmes d’essais d’aptitude par les laboratoires, les organismes de contrôle,

les organismes d’accréditation et autres parties intéressées. Il convient de consulter l’ISO/CEI 17043 pour

avoir des informations détaillées sur ces questions, car les informations qui y figurent ne sont pas reprises ici.

L’Annexe B de l’ISO/CEI 17043 fournit une description succincte des méthodes statistiques générales

utilisées dans les programmes d’essais d’aptitude. La présente Norme internationale est destinée à être

complémentaire de l’Annexe B, en fournissant des indications détaillées ne figurant pas dans ce document

sur des méthodes particulières d'essais d’aptitude.
vi © ISO 2013 – Tous droits réservés
---------------------- Page: 6 ----------------------
ISO 13528:2013(F)
0.3 Expertise en statistique

L’ISO/CEI 17043:2010 exige que, pour être compétent, un organisateur d'essais d'aptitude doit avoir accès à

l'expertise statistique (4.4.1.4) et doit autoriser du personnel spécifique à mener l'analyse statistique (4.2.4).

Ni l’ISO/CEI 17043 ni le présent document ne peuvent définir plus en détail en quoi consiste cette expertise

nécessaire. Pour certaines applications, un niveau élevé en statistiques est utile, mais généralement les

besoins en expertise peuvent être assurés par des personnes ayant une expertise technique dans d’autres

domaines, si celles-ci connaissent les concepts et les techniques statistiques de base. Si un consultant est

chargé du plan et/ou de l’analyse statistique, il est très important que cette personne ait une expérience dans

le domaine des comparaisons interlaboratoires, même si elle a un niveau élevé dans le domaine des

statistiques. La formation classique en statistiques avancées n’inclut pas l’acquisition de connaissances dans

le domaine des comparaisons interlaboratoires, ni les causes d’erreur de mesure dans essais d’aptitude. Les

lignes directrices données dans la présente Norme internationale ne peuvent pas fournir toute l’expertise

nécessaire pour prendre en compte toutes les applications, et ne peuvent pas remplacer l’expérience acquise

lors de la pratique des comparaisons interlaboratoires.
0.4 Logiciels

Les logiciels nécessaires pour l’analyse statistique peuvent varier de façon importante, allant de l’absence

totale de logiciel (par exemple, concernant des programmes d’essais d’aptitude pour des participants

individuels, utilisant des valeurs de référence connues et des critères d’évaluation de l’adéquation à l’objectif),

jusqu’à des progiciels statistiques sophistiquées utilisés dans le cadre de programmes d’essais d’aptitude

avec des nombres importants de participants et de mesurandes, ou utilisant des méthodes robustes

compliquées. La plupart des techniques mentionnées dans la présente Norme internationale peuvent être

mises en œuvre par des tableurs classiques, éventuellement avec une analyse personnalisée pour un

programme ou une analyse spéciale ; certaines techniques nécessitent des logiciels gratuits (au moment de

la publication). Dans tous les cas, l’utilisateur est tenu de vérifier l’exactitude de leurs calculs, en particulier

lorsque des programmes spéciaux ont été entrés par l’utilisateur. Toutefois, même lorsque les techniques

traitées dans la présente Norme internationale sont appropriées et correctement mises en œuvre par des

logiciels adéquats, elles ne peuvent pas être appliquées sans la surveillance expérimentée d’une personne

disposant d’une expertise technique et statistique suffisante pour identifier et rechercher des anomalies

susceptibles de se produire lors de toute campagne d’essais d’aptitude.
© ISO 2013 – Tous droits réservés vii
---------------------- Page: 7 ----------------------
NORME INTERNATIONALE ISO 13528:2013(F)
Méthodes statistiques utilisées dans les essais d'aptitude par
comparaisons interlaboratoires
1 Domaine d'application

La présente Norme internationale fournit des descriptions détaillées de méthodes statistiques à utiliser par les

organisateurs pour concevoir des programmes d’essais d’aptitude et pour analyser les données obtenues à

partir de tels programmes ; elle donne également des recommandations sur l’utilisation pratique de

techniques statistiques par les participants à de tels programmes et par les organismes d’accréditation.

La présente Norme internationale peut être appliquée pour démontrer que les résultats de mesure obtenus

par des laboratoires, des organismes de contrôle et des personnes remplissent les critères spécifiés pour des

performances acceptables.

La présente Norme internationale est applicable à des essais d’aptitude dans lesquels les résultats consignés

sont des observations quantitatives ou qualitatives sur des d'entités soumises à l'essai.

NOTE Les procédures énoncées dans la présente norme peuvent être également applicables pour l’évaluation d’un

avis d’expert lorsque les avis ou les jugements sont consignés sous une forme qui peut être comparée de manière

objective avec une valeur de référence indépendante ou avec une statistique combinée de résultats de participants. Par

exemple, lorsque des entités soumises à essai sont classées en catégories connues par contrôle – ou lorsque l’on

cherche à déterminer par contrôle si des entités soumises à essai proviennent ou non de la même source d’origine – et

lorsque les résultats de la classification sont comparés de manière objective.
2 Références normatives

Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les

références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du

document de référence (y compris les éventuels amendements) s'applique.

ISO 3534-1, Statistique — Vocabulaire et symboles — Partie 1 : Termes statistiques généraux et termes

utilisés en calcul des probabilités.

ISO 3534-2, Statistique — Vocabulaire et symboles — Partie 2 : Statistique appliquée.

ISO 5725-1, Exactitude (justesse et fidélité) des résultats et méthodes de mesure — Partie 1 : Principes

généraux et définitions.

ISO/CEI 17043, Evaluation de la conformité — Exigences générales concernant les essais d’aptitude.

JCGM 200:2012, Vocabulaire international de métrologie — Concepts fondamentaux et généraux et termes

associés (VIM), 3ème édition.

ISO/CEI Guide 98-3, Incertitude de mesure — Partie 3 : Guide pour l’expression de l’incertitude de mesure

(GUM:1995).
© ISO 2013 – Tous droits réservés 1
---------------------- Page: 8 ----------------------
ISO 13528:2013(F)
3 Termes et définitions

Pour les besoins du présent document, les termes et définitions donnés dans l'ISO 3534-1, l'ISO 3534-2,

l'ISO 5725-1, l’ISO/CEI 17043, le JCGM 200, l’ISO Guide 34, ainsi que les suivants s'appliquent.

3.1
comparaison interlaboratoires

organisation, exécution et évaluation d’essais ou de mesures sur la même entité ou sur des entités similaires

par deux laboratoires ou plus dans des conditions prédéterminées
3.2
essai d’aptitude

évaluation de la performance d'un participant par rapport à des critères préétablis au moyen de comparaisons

interlaboratoires

NOTE Pour les besoins de la présente Norme internationale, le terme « essai d'aptitude » est considéré dans son sens

le plus large et il inclut sans s'y limiter :

a) les programmes quantitatifs, dans lesquels l'objectif est de quantifier un ou plusieurs mesurandes de l'entité soumise

à l'essai d'aptitude ;

b) les programmes qualitatifs, dans lesquels l'objectif est d'identifier ou de décrire une ou plusieurs caractéristiques de

l'entité soumise à l'essai d'aptitude ;

c) les programmes séquentiels, dans lesquels une ou plusieurs entités soumises à l'essai d'aptitude sont distribuées

séquentiellement pour procéder à l'essai ou au mesurage, et reviennent par intervalles à l'organisateur d'essais

d'aptitude ;

d) les programmes simultanés, dans lesquels les entités soumises à l'essai d'aptitude sont réparties en vue d'essais ou

de mesurages concurrents dans une période de temps définie ;

e) les exercices de situation unique, dans lesquels les entités soumises à l'essai d'aptitude sont fournies à une seule

occasion ;

f) les programmes continus, dans lesquels les entités soumises à l'essai d'aptitude sont fournies à intervalles réguliers ;

g) les échantillonnages, dans lequel des échantillons sont prélevés en vue d'une analyse ultérieure ; et

h) les transformations et interprétations de données, dans lesquelles des ensembles de données ou d'autres

informations sont fournis et les informations sont traitées pour en effectuer une interprétation (ou un autre résultat).

3.3
valeur assignée

valeur attribuée à une propriété particulière d'une entité soumise à l'essai d'aptitude

3.4
écart-type pour une évaluation de l’aptitude

mesure de la dispersion utilisée dans l'évaluation des résultats d'un essai d'aptitude, fondée sur les

informations disponibles

NOTE 1 Cela peut être interprété comme un écart-type cible pour une population de laboratoires compétents pour

réaliser une procédure de mesure particulière.

NOTE 2 L'écart-type pour l’évaluation de l’aptitude ne s'applique qu'aux résultats sur une échelle linéaire.

NOTE 3 Les programmes d'essais d'aptitude n'évaluent pas tous l'aptitude en se fondant sur la dispersion des résultats.

NOTE 4 Les notes relatives à la définition dans le présent document ne sont pas identiques aux celles de la définition

donnée dans l’ISO/CEI 17043.
2 © ISO 2013 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO 13528:2013(F)
3.5
score z

mesure normalisée de la performance, calculée à partir du résultat du participant, de la valeur assignée et de

l'écart-type pour l'évaluation de l'aptitude
3.6
valeur aberrante

observation dans un ensemble de données, semblant incohérente avec le reste de cet ensemble

NOTE 1 Une valeur aberrante peut provenir d'une population différente ou résulter d'un enregistrement incorrect ou

d'une autre erreur grossière.

NOTE 2 De nombreux programmes utilisent le terme « valeur aberrante » pour désigner un résultat qui génère un

signal d’action. Il ne s’agit pas là de l'utilisation prévue du terme. Bien que les valeurs aberrantes génèrent habituellement

des signaux d’action, il est possible d’avoir des signaux d’action issus de résultats qui ne sont pas considérés comme des

valeurs aberrantes.
3.7
participant

laboratoire, organisme ou particulier, recevant les entités soumises à l'essai d'aptitude et soumettant les

résultats à l'organisateur d'essais d'aptitude
3.8
entité soumise à l'essai d'aptitude

échantillon, produit, artefact, matériau de référence, élément d'un matériel, étalon, ensemble de données ou

autres informations utilisées pour un essai d'aptitude

NOTE Dans la plupart des cas, les entités soumises à l’essai d’aptitude sont conformes à la définition de « matériau

de référence » donnée dans le Guide ISO 34 (voir 3.11 ci-dessous)
3.9
organisateur d'essais d'aptitude

organisme ayant la responsabilité de toutes les tâches d'élaboration et d'exécution d'un programme d'essais

d'aptitude
3.10
programme d'essais d'aptitude

essai d'aptitude conçu et exécuté en une ou plusieurs campagnes dans un domaine spécifié d'essai, de

mesurage, d'étalonnage ou d'inspection
NOTE Un programme d'essais d'aptitude peut recouvrir un type particulier
...

Questions, Comments and Discussion

Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.