ISO 17258:2015
(Main)Statistical methods — Six Sigma — Basic criteria underlying benchmarking for Six Sigma in organisations
Statistical methods — Six Sigma — Basic criteria underlying benchmarking for Six Sigma in organisations
ISO 17258:2015 describes a methodology for establishing the level of quality, performance, and productivity of processes, products, and services according to Six Sigma principles. It is applicable to all sectors (industries, services, administration, etc.) and to all types of organizations, whether it is already involved in an improvement programme such as Six Sigma, Lean, or not. In particular, it can be used to initiate a Six Sigma programme by providing a selection of improvement projects. NOTE. The focus of this methodology is on criteria, measures, measurement process, and comparison process. The results can then be used to identify good practices of benchmarking.
Méthodes statistiques — Six Sigma — Critères fondamentaux d'une évaluation comparative Six Sigma pour les organisations
L'ISO17258:2015 décrit une méthodologie permettant d'établir le niveau de qualité, de performance et de productivité de processus, de produits et de services conformément aux principes Six Sigma. Elle s'applique à tous les secteurs (industries, services, administration, etc.) et à tous les types d'organisation, qu'ils soient ou non déjà impliqués dans un programme d'amélioration (Six Sigma ou Lean, par exemple). En particulier, elle peut être utilisée pour lancer un programme Six Sigma en proposant une sélection de projets d'amélioration.
General Information
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 17258
First edition
2015-01-15
Statistical methods — Six Sigma
— Basic criteria underlying
benchmarking for Six Sigma in
organisations
Méthodes statistiques — Six Sigma — Critères fondamentaux d’une
évaluation comparative Six Sigma pour les organisations
Reference number
ISO 17258:2015(E)
©
ISO 2015
---------------------- Page: 1 ----------------------
ISO 17258:2015(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2015
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2015 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 17258:2015(E)
Contents Page
Foreword .v
Introduction .vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Symbols and abbreviations . 1
5 General considerations on benchmarking . 2
5.1 Objectives and framework . 2
5.1.1 Objective . . 2
5.1.2 Framework . 2
6 Benchmark . 2
6.1 Overview and requirements for the criteria . 3
6.1.1 Types and description of criteria . 3
6.1.2 Requirements for criteria . 3
6.2 Overview and requirements for the measures . 3
6.2.1 Scope of measures . 3
6.2.2 Generic measures . 4
6.2.3 Industry specific measures . 8
6.2.4 Summary of measures . . 9
7 Benchmarking .10
7.1 Objective establishment step .10
7.2 Measurement step .10
7.2.1 Data collection .10
7.2.2 Data arrangement .11
7.2.3 Data quality validation . .11
7.3 Controlling the quality of the measurement results .11
7.3.1 Precision.11
7.3.2 Consistency .11
7.3.3 Up-to-date .11
7.4 Comparison step .11
7.5 Internal benchmarking .11
7.5.1 Historical benchmarking .12
7.5.2 Functional benchmarking .12
7.5.3 I/O benchmarking .12
7.6 External benchmarking .12
7.7 Supply chain benchmarking .12
7.7.1 Benchmarking in an organization .12
7.7.2 Benchmarking in a supply chain .13
7.8 Six Sigma project selection .13
8 Interface with other types of benchmarking .13
Annex A (informative) Three dimensions of benchmarking .15
Annex B (normative) Table of criteria (generic).16
Annex C (informative) Table of criteria with examples of results .18
Annex D (normative) Table of criteria for the food processing industry .20
Annex E (normative) Table of criteria for the automotive industry .22
Annex F (normative) Table of criteria for the retail banking industry .24
Annex G (normative) Table of criteria for clothing and leather industry .27
© ISO 2015 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 17258:2015(E)
Annex H (normative) Table of criteria for the telecoms industry .29
Annex I (normative) Table of criteria for the hotel business .31
Annex J (normative) Table of criteria for the retail business .33
Annex K (informative) Example from the poultry industry .35
Bibliography .37
iv © ISO 2015 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 17258:2015(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of any
patent rights identified during the development of the document will be in the Introduction and/or on
the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers
to Trade (TBT), see the following URL: Foreword — Supplementary information.
The committee responsible for this document is ISO/TC 69, Statistical methods, Subcommittee SC 7, Six Sigma.
© ISO 2015 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO 17258:2015(E)
Introduction
Benchmarking is frequently used in various domains in connection with business activities. The Six
Sigma methodology requires an evaluation step using a benchmarking process. In other words, a
method for the comparison of levels of quality, performance, and productivity with the state-of-the-art
is required. This International Standard establishes what to compare and develops a methodology to
conduct a correct comparison between an organization’s levels of quality, performance, and productivity.
The numbers given by the benchmarking can be integrated into any improvement programme to
quantify any progress. They can also be used by other assessment processes in the organization such as
regulation compliancy or financial performance evaluation.
Benchmarking is the whole process of collecting and processing data and information and comparing
the results. The benchmark is the reference point for comparison.
The main point of this benchmarking methodology, based on transparency and the universal principle
of evaluation, is to give confidence to its calculating procedures and the results, so that comparisons
between organizations are accepted by all parties.
Benchmark and Six Sigma’s principles
The Sigma measure is a number ranging from, typically, near zero to 10 or more. The value six has
traditionally been considered “world class” (that can be approximated by 3,4 defects per million
opportunities — see ISO 13053-1 5.3) for mechanical and electronic industries. The criticality of defects
within each industry typically defines the Sigma level required in order to be a “world class” benchmark
quality level for that application. So, according to the different sectors and markets, the level of “world
class” can be different.
The Sigma level is an estimate of the proportion of defects (typically expressed in defects per million). A
“world class” Sigma level is the Sigma level that is considered essential to consistently deliver excellence
of product and service.
This benchmarking method is applicable to all types of sectors, to all type of processes, to organizations
of all sizes, and to all methodologies for improvement, in association with DMAIC, or issues relating to
Design for Six Sigma (DFSS).
Criteria and defects
The Sigma level is based on the ratio of estimated (or observed or predicted) number of defects to the
number of opportunities according to the specifications and the variability of the process (for example,
one “defect” in a million deliveries).
A defect is something that a customer or a user cannot accept or it might have a negative impact on
performance.
Two types of customer are identified:
— the end user or consumer (Business to Consumer) and
— the professional (Business to Business).
The consumer has some needs but these needs are often implicit. Product requirements that address
these needs are not numerous and they can be summarized by the following:
a) to be safe in its intended usage (security, safety);
b) to do what it is supposed to do (functional, conformity);
c) to be available in the expected shape and not to break in its intended usage (availability, ease of use,
reliability);
d) to not do any harm to persons (ethical) or environment (pollution control).
vi © ISO 2015 – All rights reserved
---------------------- Page: 6 ----------------------
ISO 17258:2015(E)
These four criteria cover most of the consumer’s needs for all sectors and on all continents.
A customer will have other criteria but all of these are likely to be summarized by the four generic
criteria described above.
Supply chain
A supply chain is the whole supplier/transformer link from the raw material to the final product or the
service for the consumer. Each sector has its supply chain organization.
Examples:
— Petrol sector — from the offshore extracting (extractor) unit to the gasoline retailer for consumers.
— Food sector — from the fields and orchards (raw material) to the consumer.
— Automotive sector — from the steel and glass supplier to the car manufacturer.
— Cosmetic sector — from the molecule to the perfume or beauty cream.
The level of quality and performance delivered to the consumer is the “total” of all quality and
performance levels of the different transformers along the supply chain.
This benchmarking methodology aims to give a comparison of levels between upstream and downstream
transformers (chain efficiency benchmarking) or between transformers at the same step (competitive
benchmarking).
Producer B
Extractor
Supplier A
Main Producer Retailer
Consumer
Producer C
Chain ef iciency benchmarking
Competitive benchmarking
Product or service transformation
Figure 1 — Supply Chain Cycle
© ISO 2015 – All rights reserved vii
---------------------- Page: 7 ----------------------
INTERNATIONAL STANDARD ISO 17258:2015(E)
Statistical methods — Six Sigma — Basic criteria
underlying benchmarking for Six Sigma in organisations
1 Scope
This International Standard describes a methodology for establishing the level of quality, performance,
and productivity of processes, products, and services according to Six Sigma principles. It is applicable
to all sectors (industries, services, administration, etc.) and to all types of organizations, whether it is
already involved in an improvement programme such as Six Sigma, Lean, or not. In particular, it can be
used to initiate a Six Sigma programme by providing a selection of improvement projects.
NOTE The focus of this methodology is on criteria, measures, measurement process, and comparison process.
The results can then be used to identify good practices of benchmarking.
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated
references, the latest edition of the referenced document (including any amendments) applies.
ISO 13053-1, Quantitative methods in process improvement — Six Sigma — Part 1: DMAIC methodology
3 Terms and definitions
3.1
benchmark
reference point against which comparisons can be made
3.2
benchmarking
activity of comparing objects or practices of interest to each other or against a benchmark to evaluate
criteria (or characteristic)
3.3
benchmarking method
logical sequence of general steps to describe the process of quantitatively comparing one or more
attributes against a reference attribute with respect to a specified scale
4 Symbols and abbreviations
A measure of total “space”
A measure of total lost “space”
lost
C number (count)
C number of breaches of threshold of air pollution in a specified time
air
C input defects level
input
C output defects level
output
C process or activity defects level
process
© ISO 2015 – All rights reserved 1
---------------------- Page: 8 ----------------------
ISO 17258:2015(E)
C number of breaches of threshold of water pollution in a specified time
water
E category of user — experienced
F category of user — first time
k organization index
N total number
N number of experienced users
E
N number of first time users
F
t duration of time of study
t duration of time during which a product is returned
1
t measure of lost time
lost
t measure of time required for starting or understanding a product
start
X measure (continuous scale)
5 General considerations on benchmarking
Benchmarking is the method for collecting and analysing the data, and from these results, for comparing
the quality, performance, and productivity level between two or more organizations.
5.1 Objectives and framework
The following paragraphs describe what an organization is recommended to do in order to deploy
benchmarking and to obtain benchmark results.
5.1.1 Objective
The organization should decide upon the objective of the benchmarking before starting any measurement
or comparison activities.
NOTE Examples of objectives are to improve processes, to compare to competition, to evaluate the gap for
performance improvement.
5.1.2 Framework
The framework encompasses parts that are interrelated. This methodology is built with two main parts:
— benchmark;
— benchmarking.
In the objective’s description of benchmarking, an organization should detail these two parts.
6 Benchmark
This clause describes the overview and requirements to determine some reference points for comparison
(see 3.1.1 and 3.1.2). The points to be detailed are
— the criteria and
— measures of the criteria.
2 © ISO 2015 – All rights reserved
---------------------- Page: 9 ----------------------
ISO 17258:2015(E)
6.1 Overview and requirements for the criteria
Benchmarking is required to be applied to the criteria. This methodology defines 10 main criteria. If
one of the criteria is irrelevant, the organization will explicitly give an explanation for excluding it from
benchmarking. Two optional criteria are proposed, making a total of 12. This International Standard
focuses on 10 main and two optional criteria clustered into three types. The main criteria are also
named generic criteria.
6.1.1 Types and description of criteria
To have a universal benchmark, 10 main criteria are defined and they are clustered into two types. A
third type is for optional criteria (see Table 1).
Table 1 — Benchmarking criteria
Number Type Title
1 Type 1: generic quality Compliance
2 Ethical behaviour
3 Security/Safety
4 Returns (customer listening)
5 Availability
6 One-time delivery
7 On-time to market
8 Type 2: generic efficiency Productivity
9 Raw material efficiency
10 Energy efficiency
11 Type 3: Option Ease of use
12 Pollution control
These main criteria are divided into sub-criteria. Annex B gives the list of the sub-criteria. The main
criteria describe the basic requirement of the consumer such as security or on-time delivery. The sub-
criteria give a practical way to obtain the measure. A main criterion can have from one to eight sub-
criteria. In case of several sub-criteria, each one gives a measure and the main criteria can have up to
eight resulting measures (8-uple).
EXAMPLE Compliance has four sub-criteria: regulation, functional, contractual, and company policies. A
result of measures would be (100 %, 95 %, 82 %, and 95 %) and if the company has no policy, then it would be
(100 %, 95 %, 82 %, and not applicable).
6.1.2 Requirements for criteria
The organization should describe its policy and implementation of the 10 generic criteria with all its
sub-criteria (total of 30). Annex B gives the description of all main criteria and sub-criteria. If one of the
sub-criteria has no practice (e.g. no ethical charter or no charity programme in the organization), it shall
be explicitly mentioned and excluded from the benchmarking.
6.2 Overview and requirements for the measures
This sub-clause gives an overview and the requirements for the measures.
6.2.1 Scope of measures
The measures are performed on the main processes of the organization (see Introduction).
© ISO 2015 – All rights reserved 3
---------------------- Page: 10 ----------------------
ISO 17258:2015(E)
The inputs of the organization level process are the inputs of the organization. The outputs of the
organization level process are the outputs (or deliveries) of the organization. The main process is a bundle
of processes and each process is a set of activities. Each process can belong to a type of process such as
functional process (e.g. purchasing, sales, finance), support process (IT process, HR), or management
process (project management, accounting management).
For each benchmarking, the organization should describe which processes are in the scope.
6.2.2 Generic measures
This is a requirement to obtain measures for the generic criteria.
6.2.2.1 Measure for compliance
Compliance is related to the application of legal regulations, business commitments, and organizational
policies. The organization will describe the regulations, the business agreements, and the policies it
applies. The measure is described in Table 2.
Table 2 — Compliance
Information need Compliance on regulation commitments and policies
of an organization
Unit of measure Count number (compliance requirements, compliance
requirements not fulfilled)
Measurement method Count total number of compliance requirements (N)
Count number of compliance requirements not ful-
filled (C)
Data type Integer
Measure (N, C, (N - C)/N) (%)
Function Divide total number of requirements (N) minus num-
ber of requirements not fulfilled (C) by total number
of requirements (N)
Note For example, counting the number of non-conformities and the total number of requirements of
ISO 9001:2008 standard will give this measure.
Counting the number of security practices not fulfilled and the total number of security practices that
are mandatory will also give another measure.
6.2.2.2 Measure for ethical behaviour
Ethical behaviour is related to all of the social responsibility activities of an organization. The organization
should establish the list of its ethical “good practices” (GP). The measure is described in Table 3.
Table 3 — Ethical behaviour
Information need Ethical good practices (GP)
Unit of measure Count number (ethical good practices, ethical good
practices not fulfilled)
Measurement method Count total number of ethical GP to be applied (N)
Count the number of ethical GP not fulfilled (C)
Data type Integer
Measure (N, C, (N - C)/N) (%)
4 © ISO 2015 – All rights reserved
---------------------- Page: 11 ----------------------
ISO 17258:2015(E)
Table 3 (continued)
Function Divide the total number of ethical GP (N) to be applied
minus the number of ethical GP not fulfilled (C) by the
total number of ethical GP to be applied (N)
Note For example, do not throw your old computer but send it to a school or association.
6.2.2.3 Measure for security/safety
This measures what the consumer is expecting for its security (or safety). A breach of security (or
safety) is an event that jeopardizes the vital functions of an organism or an organization. The measure
is described in Table 4.
Table 4 — Security/Safety
Information need Security (or safety) for an organism or an organiza-
tion
Unit of measure Count number (breaches of security or safety)
Measurement method Count total number of breaches of security (or safety)
(C) over a specified period of time t
Data type Integer
Measure (C, t, C/t)
Function Number of breaches of security over a specified
period of time (week, month, year, etc.)
6.2.2.4 Measure for returns
A return is an explicit action issued from a dissatisfied customer (problem report, complaint, product
return, a request for return). The measure is described in Table 5.
Table 5 — Returns
Information need Returns from consumers
Unit of measure Count number identified returns (complaints, prod-
uct return, report, withdrawal of goods, etc.)
Measurement method Count number of returns (complaints, product
return) (C) by specified period of time (t)
Count number of units sold (U)
Data type Integer
Measure (C, t, U, C/U)
Function Divide the total number of returns by specified
period of time (week, month, year) by the number of
units sold
6.2.2.5 Measure for availability
This International Standard records availability with two measures:
— proportion of time (i.e. useful time/total time);
— proportion of space (i.e. space where usable/total space).
The measure is described in Table 6.
© ISO 2015 – All rights reserved 5
---------------------- Page: 12 ----------------------
ISO 17258:2015(E)
Table 6 — Availability of time and space
Information need Useful available time Useful available space
Unit of measure Time Space
Lost time Unavailable space
Measurement method Measure total time (t) Measure total space (A)
Measure lost time (t ) Measure lost space (A )
lost lost
Data type Continuous Continuous
Measure (t, t , (t - t )/t) (%) (A, A , (A - A )/A) (%)
lost lost lost lost
Function Divide total time (t) minus “lost” time Divide total space minus lost space by total
(t ) by total time (t) space
lost
6.2.2.6 Measure for on-time delivery
On-time delivery (OTD) gives the timeliness of deliveries to customers (see ISO 13053-1). The measure
is described in Table 7.
Table 7 — On-time delivery (OTD)
Information need Timeliness of deliveries to customers.
Unit of measure Count number (product deliveries)
Measurement method Count number of deliveries that are not on time to the
customer specifications (C) over a specified period of
time (t).
Count total number of deliveries that are planned (N).
Data type Integer
Measure (N, C, (N - C)/N) (%)
Function Total number of deliveries (N) minus number of
deliveries not on time (C) divided by total number of
deliveries (N) over a specified period of time (week,
month, year)
6.2.2.7 Measure for on-time to market
On-time to market (OTM) gives the timeliness of new products to the market. The measure is
described in Table 8.
Table 8 — On-time to market (OTM)
Information need Timeliness of deliveries of new products to market
Unit of measure Count number
Measurement method Count numbers of new
...
NORME ISO
INTERNATIONALE 17258
Première édition
2015-01-15
Méthodes statistiques — Six Sigma
— Critères fondamentaux d’une
évaluation comparative Six Sigma
pour les organisations
Statistical methods — Six Sigma — Basic criteria underlying
benchmarking for Six Sigma in organisations
Numéro de référence
ISO 17258:2015(F)
©
ISO 2015
---------------------- Page: 1 ----------------------
ISO 17258:2015(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2015
Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur
l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à
l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2015 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 17258:2015(F)
Sommaire Page
Avant-propos .v
Introduction .vi
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Symboles et termes abrégés . 1
5 Considérations générales relatives à l’évaluation comparative . 2
5.1 Objectifs et cadre . 2
5.1.1 Objectif . 2
5.1.2 Cadre . 2
6 Benchmark . 3
6.1 Aperçu et exigences des critères . 3
6.1.1 Types et description des critères . 3
6.1.2 Exigences pour les critères . 3
6.2 Aperçu et exigences des mesures . 4
6.2.1 Domaine d’application des mesures . 4
6.2.2 Mesures génériques . 4
6.2.3 Mesures spécifiques au secteur . 9
6.2.4 Récapitulatif des mesures .10
7 Évaluation comparative.10
7.1 Étape d’établissement des objectifs .11
7.2 Étape de mesure .11
7.2.1 Collecte des données .11
7.2.2 Classement des données .11
7.2.3 Validation de la qualité des données .11
7.3 Contrôle de la qualité des résultats de mesure .12
7.3.1 Précision.12
7.3.2 Cohérence .12
7.3.3 Actualisation .12
7.4 Étape de comparaison .12
7.5 Évaluation comparative interne .12
7.5.1 Évaluation comparative historique .12
7.5.2 Évaluation comparative fonctionnelle.12
7.5.3 Évaluation comparative des entrées/sorties . .13
7.6 Évaluation comparative externe .13
7.7 Évaluation comparative de la filière .13
7.7.1 Évaluation comparative au sein d’une organisation .13
7.7.2 Évaluation comparative dans une filière .14
7.8 Sélection d’un projet Six Sigma .14
8 Interface avec d’autres types d’évaluation comparative .14
Annexe A (informative) Les trois dimensions de l’évaluation comparative .15
Annexe B (normative) Tableau des critères (génériques) .16
Annexe C (informative) Tableau des critères avec exemples de résultats .19
Annexe D (normative) Tableau des critères pour l’industrie alimentaire.21
Annexe E (normative) Tableau des critères pour l’industrie automobile .24
Annexe F (normative) Tableau des critères pour les services bancaires aux particuliers .27
Annexe G (normative) Tableau des critères pour le secteur de l’habillement et du cuir .30
© ISO 2015 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 17258:2015(F)
Annexe H (normative) Tableau des critères pour le secteur des télécommunications .33
Annexe I (normative) Tableau des critères pour le secteur hôtelier .36
Annexe J (normative) Tableau des critères pour la grande distribution et le commerce de détail .39
Annexe K (informative) Exemple de l’industrie avicole .42
Bibliographie .44
iv © ISO 2015 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 17258:2015(F)
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui concerne
la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www.
iso.org/directives).
L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant les
références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de l’élaboration
du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de brevets reçues par
l’ISO (voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données pour
information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un engagement.
Pour une explication de la signification des termes et expressions spécifiques de l’ISO liés à l’évaluation de
la conformité, ou pour toute information au sujet de l’adhésion de l’ISO aux principes de l’OMC concernant
les obstacles techniques au commerce (OTC), voir le lien suivant: Avant-propos — Informations
supplémentaires.
Le comité en charge du présent document est l’ISO/TC 69, Application des méthodes statistiques, sous-
comité SC 7, Six Sigma.
© ISO 2015 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO 17258:2015(F)
Introduction
L’évaluation comparative est souvent utilisée dans de nombreux domaines liés au développement des
affaires. La méthodologie Six Sigma demande une étape d’évaluation s’appuyant sur un processus
d’évaluation comparative. En d’autres termes, une méthode de comparaison des niveaux de qualité,
de performance et de productivité prenant en compte l’état de l’art est requise. La présente Norme
internationale établit les points de comparaison et développe une méthodologie permettant de comparer
correctement les niveaux de qualité, de performance et de productivité d’une organisation. Les chiffres
donnés par l’évaluation comparative peuvent être intégrés dans un programme d’amélioration afin
de quantifier les progrès. Ils peuvent également être utilisés par d’autres processus d’évaluation de
l’organisation, tels que l’évaluation de la conformité réglementaire ou des performances financières.
L’évaluation comparative est l’ensemble du processus de collecte et de traitement des données et des
informations et de comparaison des résultats. Le benchmark est le point de référence pour la comparaison.
L’objet principal de cette méthodologie d’évaluation comparative, qui repose sur la transparence
et le principe d’évaluation universel, consiste à faire en sorte que ses procédures de calcul et ses
résultats inspirent la confiance, afin que toutes les parties prenantes acceptent les comparaisons entre
organisations.
Évaluation comparative et principes de Six Sigma
La mesure Sigma est un nombre compris entre zéro et dix, voire plus. Traditionnellement, la valeur
six est considérée comme étant la «classe internationale» (qui peut se rapprocher de 3,4 défauts par
million de possibilités – voir le paragraphe 5.3 de l’ISO 13053-1) pour les industries mécaniques et
électroniques. La criticité des défauts dans chaque secteur définit en général le niveau Sigma requis
afin de parvenir à un niveau de qualité d’évaluation comparative de «classe internationale» pour cette
application. Par conséquent, en fonction des secteurs et des marchés, le niveau «classe internationale»
peut être différent.
Le niveau Sigma est une estimation de la proportion des défauts (en général exprimée en défauts par
million). Un niveau Sigma de «classe internationale» est le niveau considéré comme essentiel pour
atteindre continuellement l’excellence du produit et du service.
Cette méthode d’évaluation comparative s’applique à tous les secteurs, à tous les processus, à toutes les
organisations sans distinction de taille et à toutes les méthodologies d’amélioration, en association avec
la méthode DMAIC ou aux questions relatives à la conception et à Design For Six Sigma (DFSS).
Critères et défauts
Le niveau Sigma repose sur le rapport entre le nombre de défauts estimés (ou observés ou prédits) et
le nombre de possibilités de défauts en fonction des spécifications et de la variabilité du processus (par
exemple, un «défaut» par million de livraisons).
Un défaut est une chose qu’un consommateur ou utilisateur ne peut accepter ou susceptible d’avoir des
conséquences négatives sur la performance.
Deux types de client sont définis:
— l’utilisateur final ou le client (B-to-C),
— le professionnel (B-to-B).
Le client a des besoins, qui sont souvent implicites. Les exigences de produit qui répondent à ces besoins
ne sont pas nombreuses et peuvent être récapitulées de la manière suivante:
a) sécurité dans l’utilisation prévue du produit (sécurité, sûreté);
b) accomplir sa fonction (fonctionnalité, conformité);
vi © ISO 2015 – Tous droits réservés
---------------------- Page: 6 ----------------------
ISO 17258:2015(F)
c) être disponible dans la forme prévue et ne pas faillir à son utilisation prévue (disponibilité, facilité
d’utilisation, fiabilité); et
d) ne pas être nuisible à l’Homme (éthique) ou à l’environnement (lutte antipollution).
Ces quatre critères couvrent la plupart des besoins du client dans tous les secteurs et sur tous les continents.
Un client aura d’autres critères, mais tous peuvent être résumés selon les quatre critères génériques ci-
dessus.
Filière
Une filière est la succession des liens de transformation des opérateurs depuis la matière première
jusqu’au produit final ou le service au client. Chaque secteur dispose de sa propre organisation en filière.
EXEMPLES
— Secteur pétrolier: de l’unité d’extraction offshore (extracteur) au vendeur d’essence.
— Secteur alimentaire: des champs et des vergers (matière première) jusqu’à l’assiette du client.
— Secteur automobile: du fournisseur d’acier et de verre au fabricant de voitures.
— Secteur cosmétique: de la molécule au parfum ou à la crème de beauté.
Le niveau de qualité et de performance proposé au client est le «total» de tous les niveaux de qualité et
de performance des différents transformateurs de la filière.
La présente méthodologie d’évaluation comparative vise à permettre la comparaison des niveaux
entre des transformateurs amont et aval (évaluation comparative d’efficacité de filière) ou entre des
transformateurs à une même étape (évaluation comparative concurrentielle).
Figure 1 — Décomposition d’une filière
© ISO 2015 – Tous droits réservés vii
---------------------- Page: 7 ----------------------
NORME INTERNATIONALE ISO 17258:2015(F)
Méthodes statistiques — Six Sigma — Critères
fondamentaux d’une évaluation comparative Six Sigma
pour les organisations
1 Domaine d’application
La présente Norme internationale décrit une méthodologie permettant d’établir le niveau de qualité, de
performance et de productivité de processus, de produits et de services conformément aux principes
Six Sigma. Elle s’applique à tous les secteurs (industries, services, administration, etc.) et à tous les
types d’organisation, qu’ils soient ou non déjà impliqués dans un programme d’amélioration (Six Sigma
ou Lean, par exemple). En particulier, elle peut être utilisée pour lancer un programme Six Sigma en
proposant une sélection de projets d’amélioration.
NOTE Cette méthodologie se concentre sur les critères, les mesures, le processus de mesurage et le processus de
comparaison. Les résultats peuvent alors être utilisés pour identifier les bonnes pratiques d’évaluation comparative.
2 Références normatives
Les documents ci-après, dans leur intégralité ou non, sont des références normatives indispensables à
l’application du présent document. Pour les références datées, seule l’édition citée s’applique. Pour les
références non datées, la dernière édition du document de référence s’applique (y compris les éventuels
amendements).
ISO 13053-1, Méthodes quantitatives dans l’amélioration de processus — Six Sigma — Partie 1:
Méthodologie DMAIC
3 Termes et définitions
3.1
benchmark
point de référence en fonction duquel il est possible de procéder à des comparaisons
3.2
évaluation comparative
activité consistant à comparer des objets ou des pratiques d’intérêt les uns par rapport aux autres ou par
rapport à un benchmark, afin d’évaluer les critères (ou les caractéristiques)
3.3
méthode d’évaluation comparative
séquence logique d’une procédure générale visant à décrire le processus de comparaison quantitative
d’un ou de plusieurs attributs par rapport à un attribut de référence en fonction d’une échelle spécifiée
4 Symboles et termes abrégés
A Mesure de l’espace total
A Mesure de l’espace perdu total
lost
C Nombre (dénombrement)
C Nombre de violations du seuil de pollution de l’air dans un temps spécifié
air
© ISO 2015 – Tous droits réservés 1
---------------------- Page: 8 ----------------------
ISO 17258:2015(F)
C Niveau de défauts d’entrée
input
C Niveau de défauts de sortie
output
C Niveau de défauts de processus ou d’activité
process
C Nombre de violations du seuil de pollution de l’eau dans un temps spécifié
water
E Catégorie d’utilisateur — expérimenté
F Catégorie d’utilisateur — débutant
k Indice de l’organisation
N Nombre total
N Nombre d’utilisateurs expérimentés
E
N Nombre d’utilisateurs débutants
F
t Durée de l’étude
t Durée au cours de laquelle un produit est renvoyé
1
t Mesure du temps perdu
lost
t Mesure du temps requis pour découvrir ou comprendre un produit
start
X Mesure (échelle continue)
5 Considérations générales relatives à l’évaluation comparative
L’évaluation comparative est la méthode de collecte et d’analyse des données, dont le résultat permet de
comparer le niveau de qualité, de performance et de productivité d’au moins deux organisations.
5.1 Objectifs et cadre
Les paragraphes suivants décrivent ce qu’une organisation est invitée à faire pour déployer l’évaluation
comparative et obtenir des résultats de benchmark.
5.1.1 Objectif
Il convient que l’organisation décide de l’objectif de l’évaluation comparative avant de procéder à des
activités de mesure ou de comparaison.
NOTE Il peut s’agir, par exemple, d’améliorer les processus, de se comparer à la concurrence, d’évaluer l’écart
pour améliorer les performances.
5.1.2 Cadre
Le cadre englobe des éléments qui interagissent. Cette méthodologie est conçue avec deux éléments
principaux:
— le benchmark,
— l’évaluation comparative.
Dans la description de l’objectif de l’évaluation comparative, il convient qu’une organisation détaille ces
deux éléments.
2 © ISO 2015 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO 17258:2015(F)
6 Benchmark
Le présent article donne un aperçu et présente les exigences permettant de déterminer certains points
de référence pour comparaison (voir les paragraphes 3.1.1 et 3.1.2). Les points à détailler sont:
— les critères, et
— les mesures des critères.
6.1 Aperçu et exigences des critères
L’évaluation comparative doit être appliquée sur les critères. Cette méthodologie définit 10 critères
principaux. Si l’un des critères n’est pas pertinent, l’organisation justifie de manière explicite son
exclusion de l’évaluation comparative. Deux critères facultatifs sont proposés, portant le total à 12. La
présente Norme internationale se concentre sur les 10 critères principaux et les 2 critères facultatifs,
regroupés en trois types. Les critères principaux sont aussi appelés critères génériques.
6.1.1 Types et description des critères
Pour obtenir un benchmark universel, 10 critères principaux sont définis et regroupés en deux types. Un
troisième type est réservé aux critères facultatifs (voir le Tableau 1).
Tableau 1 — Critères d’évaluation comparative
Numéro Type Titre
1 Type 1: Qualité générale Conformité
2 Comportement éthique
3 Sécurité/sûreté
4 Retours (écoute du client)
5 Disponibilité
6 Livraison à temps (OTD)
7 Mise sur le marché à temps (OTM)
8 Type 2: Efficacité générale Productivité
9 Efficacité des matières premières
10 Efficacité énergétique
11 Type 3: Facultatifs Facilité d’utilisation
12 Lutte antipollution
Ces principaux critères sont divisés en sous-critères. L’annexe B donne la liste de ces sous-critères.
Les critères principaux décrivent les exigences fondamentales du client – telles que la sécurité ou la
livraison à temps. Les sous-critères donnent une façon pratique d’obtenir la mesure. Un critère principal
peut avoir de un à huit sous-critères. Lorsqu’il y a plusieurs sous-critères, chacun donnant une mesure,
le critère principal peut avoir jusqu’à huit mesures résultantes (octuple).
EXEMPLE La conformité possède quatre sous-critères: réglementation, fonction, contrat et politique
d’entreprise. Un résultat de mesure pourrait alors être (100 %, 95 %, 82 %, et 95 %) et, si l’entreprise n’a pas de
politique, il devient (100 %, 95 %, 82 %, et «sans objet»).
6.1.2 Exigences pour les critères
Il convient que l’organisation décrive, dans une procédure, sa politique et la mise en œuvre des
10 critères génériques avec tous leurs sous-critères (total de 30). L’Annexe B donne la description de tous
les critères principaux et sous-critères. Si l’un des sous-critères n’a pas d’application pratique (pas de
charte éthique ni de programme de charité dans l’organisation, par exemple), il doit être explicitement
exclu de l’évaluation comparative.
© ISO 2015 – Tous droits réservés 3
---------------------- Page: 10 ----------------------
ISO 17258:2015(F)
6.2 Aperçu et exigences des mesures
Ce paragraphe donne un aperçu et les exigences des mesures.
6.2.1 Domaine d’application des mesures
Les mesures sont prises sur les principaux processus de l’organisation (voir l’introduction).
Les entrées de processus au niveau de l’organisation sont les entrées de l’organisation. Les sorties de
processus au niveau de l’organisation sont les sorties (ou livraisons) de l’organisation. Le processus
principal est un regroupement de processus, chacun étant un ensemble d’activités. Chaque processus
peut appartenir à un type de processus – tel que les processus fonctionnels (par exemple les
approvisionnements, les ventes, la finance), un processus de soutien (processus des TI, RH) ou processus
de gestion (gestion de projet, gestion comptable).
Pour chaque évaluation comparative, il convient que l’organisation décrive les processus entrant dans
le domaine d’application.
6.2.2 Mesures génériques
Obtenir des mesures pour les critères génériques est une exigence.
6.2.2.1 Mesure de conformité
La conformité fait référence à l’application des obligations légales, des engagements commerciaux et des
politiques internes. L’organisation décrit les réglementations, les accords commerciaux et les politiques
qu’elle applique. La mesure est décrite dans le Tableau 2.
Tableau 2 — Conformité
Information recherchée Conformité aux engagements réglementaires et
aux politiques internes
Unité de mesure Nombre (exigences de conformité, exigences de conform-
ité non satisfaites)
Méthode de mesure Compter toutes les exigences de conformité (N)
Compter les exigences de conformité non satisfaites (C)
Type de données Entier
Mesure (N, C, (N - C)/N) (%)
Fonction Diviser le nombre total d’exigences (N) moins le nombre
d’exigences non satisfaites (C) par le nombre total
d’exigences (N)
NOTE Par exemple, compter les non-conformités et toutes les exigences de la norme ISO 9001:2008 permet
d’obtenir cette mesure.
Compter le nombre d’exigences de sécurisation non satisfaites et le nombre d’exigences de sécurisation
satisfaites permet d’obtenir une autre mesure.
6.2.2.2 Mesure du comportement éthique
Le comportement éthique se rapporte à toutes les activités de responsabilité sociale d’une organisation.
Il convient que l’organisation dresse la liste de ses «bonnes pratiques» (BP) éthiques. La mesure est
décrite dans le Tableau 3.
4 © ISO 2015 – Tous droits réservés
---------------------- Page: 11 ----------------------
ISO 17258:2015(F)
Tableau 3 — Comportement éthique
Information recherchée Bonnes pratiques éthiques (BP)
Unité de mesure Nombre (bonnes pratiques éthiques, bonnes pratiques
éthiques non respectées)
Méthode de mesure Compter le nombre total de bonnes pratiques éthiques
à appliquer (N)
Compter le nombre de bonnes pratiques éthiques non
respectées (C)
Type de données Entier
Mesure (N, C, (N - C)/N) (%)
Fonction Diviser le nombre total de bonnes pratiques éthiques
(N) à appliquer moins le nombre de bonnes pratiques
éthiques non respectées (C) par le nombre total de
bonnes pratiques éthiques à appliquer (N)
NOTE Par exemple, ne pas jeter son vieil ordinateur, mais le donner à une école ou organisation.
6.2.2.3 Mesure de la sécurité/sûreté
Il s’agit de mesurer les attentes du client en matière de sécurité (ou de sûreté). Une atteinte à la sécurité
(ou à la sûreté) est un événement susceptible de remettre en question les fonctions vitales d’une
organisation ou entreprise. La mesure est décrite dans le Tableau 4.
Tableau 4 — Sécurité/Sûreté
Information recherchée Sécurité (ou sûreté) d’une organisation ou entreprise
Unité de mesure Nombre (atteintes à la sécurité ou la sûreté)
Méthode de mesure Compter le nombre total d’atteintes à la sécurité
(ou la sûreté) (C) sur une période donnée (t)
Type de données Entier
Mesure (C, t, C/t)
Fonction Nombre d’atteintes à la sécurité sur une période donnée
(semaine, mois, année, etc.)
6.2.2.4 Mesure des retours
Un retour est une action explicite de la part d’un client non satisfait (problème rapporté, plainte, retour
de produit, demande de retour). La mesure est décrite dans le Tableau 5.
Tableau 5 — Retours
Information recherchée Retours des clients
Unité de mesure Nombre retours identifiés (plaintes, retour de produit,
rapport, retrait de produits, etc.)
Méthode de mesure Compter les retours (plaintes, retours de produits) (C)
sur une période donnée (t)
Compter les unités vendues (U)
Type de données Entier
Mesure (C, t, U, C/U)
Fonction Diviser le nombre total de retours sur la période donnée
(semaine, mois, année) par le nombre d’unités
vendues
© ISO 2015 – Tous droits réservés 5
---------------------- Page: 12 ----------------------
ISO 17258:2015(F)
6.2.2.5 Mesure de la disponibilité
La présente Norme internationale enregistre la disponibilité avec deux mesures:
— proportion de temps (c’est-à-dire temps utile/temps total);
— proportion d’espace (c’est-à-dire espace utilisable/espace total).
La mesure est décrite dans l
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.