SIST ISO 3534-3:2014
Statistics - Vocabulary and symbols - Part 3: Design of experiments
Statistics - Vocabulary and symbols - Part 3: Design of experiments
This part of ISO 3534 defines the terms used in the field of design of experiments and may be used in the drafting of other International Standards. More specifically, it defines terms used in the field of design of experiments for which the response variable is one-dimensional and continuous and for which the expectation of the response variable is linear in the parameters. The terms with regard to the statistical analysis are based on the assumption that the error term follows a normal distribution with constant variance.
Statistique - Vocabulaire et symboles - Partie 3: Plans d'expériences
L'ISO 3534-3:2013 d�finit les termes utilis�s dans le domaine des plans d'exp�riences et peut �tre utilis�e pour l'�laboration d'autres Normes internationales.
Plus sp�cifiquement, elle d�finit les termes utilis�s dans le domaine des plans d'exp�riences pour lesquels la variable de r�ponse est unidimensionnelle et continue et pour lesquels l'esp�rance math�matique de la variable de r�ponse est lin�aire dans les param�tres. Les termes relatifs � l'analyse statistique sont fond�s sur l'hypoth�se que le terme d'erreur suit une loi normale avec une variance constante.
Statistika - Slovar in simboli - 3. del: Načrtovanje poskusov
Ta del standarda ISO 3534 določa izraze, ki se uporabljajo na področju načrtovanja poskusov, in se lahko uporablja pri pripravi drugih mednarodnih standardov. Natančneje, določa izraze, ki se uporabljajo na področju načrtovanja eksperimentov, za katere je odvisna spremenljivka enodimenzionalna in trajna ter za katere je pričakovanje odvisne spremenljivke linearno v parametrih. Izrazi v zvezi s statistično analizo temeljijo na predpostavki, da napaka sledi normalni porazdelitvi s stalnim odstopanjem.
General Information
Relations
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 3534-3
NORME
Third edition
Troisième édition
INTERNATIONALE
2013-04-15
Statistics — Vocabulary and symbols —
Part 3:
Design of experiments
Statistique — Vocabulaire et symboles —
Partie 3:
Plans d'expériences
Reference number
Numéro de référence
ISO 3534-3:2013(E/F)
©
ISO 2013
---------------------- Page: 1 ----------------------
ISO 3534-3:2013(E/F)
COPYRIGHT PROTECTED DOCUMENT
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2013
The reproduction of the terms and definitions contained in this International Standard is permitted in teaching manuals, instruction
booklets, technical publications and journals for strictly educational or implementation purposes. The conditions for such reproduction are:
that no modifications are made to the terms and definitions; that such reproduction is not permitted for dictionaries or similar publications
offered for sale; and that this International Standard is referenced as the source document.
With the sole exceptions noted above, no part of this publication may be reproduced or utilized otherwise in any form or by any means,
electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior written permission. Permission
can be requested from either ISO at the address below or ISO’s member body in the country of the requester.
La reproduction des termes et des définitions contenus dans la présente Norme internationale est autorisée dans les manuels
d'enseignement, les modes d'emploi, les publications et revues techniques destinés exclusivement à l'enseignement ou à la mise en
application. Les conditions d'une telle reproduction sont les suivantes: aucune modification n'est apportée aux termes et définitions; la
reproduction n'est pas autorisée dans des dictionnaires ou publications similaires destinés à la vente; la présente Norme internationale
est citée comme document source.
À la seule exception mentionnée ci-dessus, Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur l’internet ou
sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à l’adresse ci-après ou au
comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland/Publié en Suisse
ii © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 3534-3:2013(E/F)
Contents Page
Foreword .v
Introduction.vii
1 Scope.1
2 Normative references.1
3 Terms and definitions.2
3.1 General terms.2
3.2 Arrangements of experiments.25
3.3 Methods of analysis .54
Annex A (informative) Concept diagrams .66
Annex B (informative) Methodology used to develop the vocabulary .82
Annex C (informative) Experimental design checklists.85
Annex D (informative) Experimental design from the system model perspective.88
Bibliography.93
Alphabetical index.94
© ISO 2013 – All rights reserved/Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 3534-3:2013(E/F)
Sommaire Page
Avant-propos. vi
Introduction . viii
1 Domaine d'application . 1
2 Références normatives . 1
3 Termes et définitions . 2
3.1 Termes généraux . 2
3.2 Dispositifs expérimentaux . 25
3.3 Méthodes d'analyse . 54
Annexe A (informative) Schémas conceptuels . 66
Annexe B (informative) Méthodologie utilisée pour élaborer le vocabulaire. 82
Annexe C (informative) Listes de contrôle d'un plan expérimental . 85
Annexe D (informative) Plan d'expériences du point de vue du modèle de système. 88
Bibliographie . 93
Index alphabétique . 96
iv © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 3534-3:2013(E/F)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 3534-3 was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,
Subcommittee SC 1, Terminology and symbols.
This third edition cancels and replaces the second edition (ISO 3534-3:1999), which has been technically
revised.
ISO 3534 consists of the following parts, under the general title Statistics — Vocabulary and symbols:
— Part 1: General statistical terms and terms used in probability
— Part 2: Applied statistics
— Part 3: Design of experiments
— Part 4: Survey sampling
© ISO 2013 – All rights reserved/Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO 3534-3:2013(E/F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 3534-3 a été élaborée par le comité technique ISO/TC 69, Application des méthodes statistiques,
sous-comité SC 1, Terminologie et symboles.
Cette troisième édition annule et remplace la deuxième édition (ISO 3534-3:1999), qui a fait l'objet d'une
révision technique.
L'ISO 3534 comprend les parties suivantes, présentées sous le titre général Statistique — Vocabulaire et
symboles:
— Partie 1: Termes statistiques généraux et termes utilisés en calcul des probabilités
— Partie 2: Statistique appliquée
— Partie 3: Plans d'expériences
— Partie 4: Échantillonnage pour sondages
vi © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 6 ----------------------
ISO 3534-3:2013(E/F)
Introduction
Design of experiments (DOE) catalyses innovation, problem solving and discovery. DOE comprises a strategy
and a body of methods that are instrumental in achieving quality improvement in products, services and
processes. Although statistical quality control, management resolve, inspection and other quality tools also
serve this goal, experimental design represents the methodology of choice in complex, variable and
interactive settings. Historically, design of experiments has evolved and thrived in the agricultural area.
Medicine has also enjoyed a long history of careful experimental design. Industrial settings particularly benefit
from the methodology — due to the ease of initiating efforts (user-friendly software packages), improved
training, influential advocates, and accumulating successes with experimental design.
Design of experiments is fundamental to continuous improvement and product development. Experimentation
often evolves sequentially with improvements taking place following each stage of the learning process. If the
objective is to optimize a response, then response surface designs (3.2.19) play a critical role. Multiple
levels of factors recognized to be important are considered to accommodate neatly curvilinear effects, for
example in the vicinity of the optimum settings.
Factorial experiments (3.2.1) and fractional factorial experiments (3.2.3) provide a methodology for
studying the interrelationships among multiple factors of interest to the experimenter. These types of
experiments can be far more resource efficient and effective than intuitive one-factor-at-a-time experiments.
Factorial experiments are particularly well-suited for determining that a factor behaves differently (as reflected
in the experimental response) at different levels of other factors. Frequently, the “breakthrough” in quality
comes from the synergism revealed in a study of “interactions” (3.1.17). If the number of factors under
consideration is large, then factorial experiments could exceed resources. However, fractional factorial
experiments offer a possible compromise. Actually, if the initial goal is to identify factors warranting further
investigation, then screening designs (3.2.8) can be useful.
In planning an experiment, it is necessary to limit biases introduced by the experimental conditions or in the
assignment of treatments to experimental units. Topics such as “randomization” (3.1.30) and “blocking”
(3.1.26) deal with minimizing the effects of nuisance or extraneous elements. Specific blocking strategies
include randomized block designs (3.2.10), Latin square designs (3.2.11) and variants, and balanced
incomplete block designs (3.2.14).
Designs for experiments with mixtures [mixture designs (3.2.20)] apply in situations where factors constitute
proportions of a total, such as ingredients in an alloy. Nested designs (3.2.21) are particularly useful in inter-
laboratory testing and in measurement system analyses.
Methods of analysis of the collected data are straightforward, if the experiment has been carried out according
to the plan. Graphical methods (3.3.1) can be particularly effective in revealing overall conclusions.
Estimation of parameters from a model is commonly handled using regression analysis (3.3.7). Regression
analysis methods can also handle difficulties with missing data, identification of outliers, and other problems.
Annex A provides associated Concept Diagrams that relate the various terms. To assist users of this part of
ISO 3534, an explanation of Concept Diagrams is provided in Annex B.
Design of experiments consists of a complex process to implement experimental plans (3.1.29). Annex C
provides checklists that are intended to identify key items to be considered in designing and implementing a
designed experiment (3.1.27). Annex D describes experimental design from the systems model perspective.
© ISO 2013 – All rights reserved/Tous droits réservés vii
---------------------- Page: 7 ----------------------
ISO 3534-3:2013(E/F)
Introduction
Les plans d'expériences (DOE, design of experiments) catalysent l'innovation, la résolution de problèmes et la
découverte. Les DOE comprennent une stratégie et un corps de méthodes qui sont les instruments
permettant d'améliorer la qualité des produits, des services et des processus. Bien que la maîtrise statistique
de la qualité, les solutions managériales, les inspections et autres outils de qualité remplissent également cet
objectif, les plans d'expériences représentent la méthodologie par excellence dans le cas d'un environnement
de paramètres complexes, variables et interactifs. D'un point de vue historique, les plans d'expériences ont
évolué et se sont développés dans le secteur de l'agriculture. La médecine a également bénéficié d'une
longue histoire de plans d'expériences élaborés avec soin. Les environnements industriels tirent
particulièrement profit de la méthodologie, en raison de la facilité d'initiation des efforts (logiciels d'application
conviviaux), d'une meilleure formation, de défenseurs influents et des nombreux succès obtenus grâce aux
plans d'expériences.
Les plans d'expériences sont indispensables à l'amélioration continue et au développement de produit.
L'expérimentation évolue souvent de manière séquentielle, les améliorations intervenant après chaque étape
du processus d'apprentissage. Si l'objectif est d'optimiser une réponse, alors les plans à surface de réponse
(3.2.19) jouent un rôle critique. De multiples niveaux de facteurs jugés importants sont pris en compte pour
s'adapter parfaitement aux effets curvilignes, par exemple à proximité des valeurs optimales.
Les plans factoriels (voir 3.2.1) et les plans factoriels fractionnaires (3.2.3) fournissent une méthodologie
d'étude des interrelations entre les multiples facteurs d'intérêt pour la personne qui réalise l'expérience. Ces
types de plans d'expériences peuvent être bien plus efficaces et économes en ressources que les plans
d'expériences intuitifs du type «un facteur à la fois». Les plans d'expériences factoriels conviennent
particulièrement pour déterminer le fait qu'un facteur se comporte différemment (comme reflété dans la
réponse expérimentale) avec des niveaux différents d'autres facteurs. La «percée» de qualité provient
fréquemment de la synergie révélée par une étude d'«interactions» (3.1.17). Lorsque le nombre de facteurs
considérés est important, les plans d'expériences factoriels peuvent alors dépasser les ressources.
Cependant, les plans factoriels fractionnaires offrent un compromis possible. En effet, lorsque le but initial est
d'identifier les facteurs justifiant d'autres analyses, les plans de criblage (3.2.8) peuvent être utiles.
La planification d'une expérience nécessite de limiter les biais dus aux conditions expérimentales ou à
l'affectation des traitements aux unités expérimentales. Les sujets tels que «randomisation» (3.1.30) et
«mise en blocs» (3.1.26) traitent de la réduction des effets de nuisance ou des éléments étrangers. Les
stratégies spécifiques de mise en blocs comprennent les plans en blocs randomisés (3.2.10), les plans en
carré latin (3.2.11) et leurs variantes, ainsi que les plans en blocs incomplets équilibrés (3.2.14).
Les plans pour l'étude de mélanges (3.2.20) s'appliquent aux situations dans lesquelles les facteurs
constituent les proportions d'un ensemble, telles que les ingrédients d'un alliage. Les plans emboîtés (3.2.21)
sont particulièrement utiles dans les essais interlaboratoires et dans les analyses des systèmes de mesure.
Les méthodes d'analyse des données recueillies sont directes lorsque l'expérience est effectuée selon le plan.
Les méthodes graphiques (3.3.1) peuvent être particulièrement efficaces pour révéler des conclusions
générales. L'estimation des paramètres d'un modèle s'effectue communément en utilisant l'analyse de
régression (3.3.7). Les méthodes d'analyse de régression peuvent également traiter des difficultés
rencontrées avec les données manquantes, l'identification de valeurs aberrantes et autres problèmes.
L'Annexe A fournit des schémas conceptuels qui précisent les différents termes. Afin d'aider les utilisateurs de
la présente partie de l’ISO 3534, une explication des schémas conceptuels est fournie à l'Annexe B.
Un plan d'expériences est un processus complexe pour mettre en œuvre des plans expérimentaux (3.1.29).
L'Annexe C fournit des listes de contrôle destinées à identifier les points clés à prendre en considération lors
de la conception et de la mise en œuvre d'une expérience planifiée (3.1.27). L'Annexe D décrit les plans
d'expériences du point de vue des modèles.
viii © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 8 ----------------------
INTERNATIONAL STANDARD
ISO 3534-3:2013(E/F)
NORME INTERNATIONALE
Statistics — Vocabulary and symbols —
Part 3:
Design of experiments
Statistique — Vocabulaire et symboles —
Partie 3:
Plans d'expériences
1 Scope 1 Domaine d'application
This part of ISO 3534 defines the terms used in the La présente partie de l'ISO 3534 définit les termes
field of design of experiments and may be used in utilisés dans le domaine des plans d'expériences et
the drafting of other International Standards. peut être utilisée pour l'élaboration d'autres Normes
internationales.
More specifically, it defines terms used in the field
of design of experiments for which the response Plus spécifiquement, elle définit les termes utilisés
variable is one-dimensional and continuous and for dans le domaine des plans d'expériences pour
which the expectation of the response variable is lesquels la variable de réponse est
linear in the parameters. The terms with regard to unidimensionnelle et continue et pour lesquels
the statistical analysis are based on the assumption l'espérance mathématique de la variable de
that the error term follows a normal distribution with réponse est linéaire dans les paramètres. Les
constant variance. termes relatifs à l'analyse statistique sont fondés
sur l'hypothèse que le terme d'erreur suit une loi
normale avec une variance constante.
2 Normative references 2 Références normatives
The following referenced documents are Les documents de référence suivants sont
indistinguishable for the application of this indispensables pour l'application du présent
document. For dated references, only the edition document. Pour les références datées, seule
cited applies. For undated references, the latest l'édition citée s'applique. Pour les références non
edition of the referenced document (including any datées, la dernière édition du document de
amendments) applies. référence s'applique (y compris les éventuels
amendements).
ISO 3534-1:2006, Statistics — Vocabulary and
symbols — Part 1: General statistical terms and ISO 3534-1:2006, Statistique — Vocabulaire et
terms used in probability symboles — Partie 1: Termes statistiques généraux
et termes utilisés en calcul des probabilités
ISO 3534-2:2006, Statistics — Vocabulary and
symbols — Part 2: Applied statistics ISO 3534-2:2006, Statistique — Vocabulaire et
symboles — Partie 2: Statistique appliquée
© ISO 2013 – All rights reserved/Tous droits réservés 1
---------------------- Page: 9 ----------------------
ISO 3534-3:2013(E/F)
3 Terms and definitions 3 Termes et définitions
For the purposes of this document, the following Pour les besoins du présent document, les termes
terms and definitions apply. et définitions suivants s'appliquent.
3.1 General terms 3.1 Termes généraux
3.1.1 3.1.1
experiment expérience
purposive investigation of a system through étude intentionnelle d'un système par l'ajustement
selective adjustment of controllable conditions and sélectif de conditions maîtrisables et l'affectation de
allocation of resources ressources
NOTE 1 A system is an interacting combination of NOTE 1 Un système est une combinaison interactive
elements, viewed in relation to function. Deliberate d'éléments, considérée par rapport à une fonction. Des
alterations or adjustments are made to a system in order modifications ou ajustements sont volontairement réalisés
to improve or to understand it. In other words, an sur un système en vue de l'améliorer ou de le
experiment is a systematic and objective means of getting comprendre. En d'autres termes, une expérience est un
unambiguous and valid answers to the questions that the moyen systématique et objectif permettant à
experimenter has in mind by varying controllable factors l'expérimentateur d'obtenir des réponses valables et
in a predetermined manner. dépourvues d'ambiguïté aux questions qu'il se pose, en
faisant varier des facteurs maîtrisables de manière
NOTE 2 A critical aspect to an experiment is control —
prédéterminée.
the investigator has the capability to vary settings, input
materials, assignment of procedures to individuals and so NOTE 2 Un aspect critique d'une expérience est la
forth with the intention of obtaining an understanding of maîtrise — l'analyste a la possibilité de faire varier des
the system efficiently. By proper design and conduct of paramètres, des matériaux d'entrée, l'attribution de
the experiment, it is possible to attribute causation to the procédures à des individus, etc., dans le but d'obtenir une
impact of the settings. compréhension effective du système. Une conception et
une conduite appropriées de l'expérience permet
NOTE 3 Experiments are different from observational
d'attribuer une causalité à l'impact des paramètres.
studies where the investigators may determine which
units are to be studied and the observational process to NOTE 3 Les expériences se distinguent des études par
be observed, but the assignment of experimental observation où les analystes peuvent déterminer les
treatments (3.1.13) is outside their control. unités à étudier et le processus d'observation à suivre,
mais ne maîtrisent pas l'affectation des traitements
expérimentaux (3.1.13).
3.1.2 3.1.2
model modèle
〈experiment〉 formalized representation of outcomes 〈expérience〉 représentation formalisée des résultats
of an experiment (3.1.1) d'une expérience (3.1.1)
NOTE 1 The model consists of three parts. The first NOTE 1 Le modèle comprend trois parties. La
part is the response variable (3.1.3) that is being première partie est la variable de réponse (3.1.3)
modelled. The second part is the deterministic or the modélisée. La deuxième partie est la partie déterministe
systematic part of the model that includes predictor ou systématique du modèle qui inclut la (les) variable(s)
variable(s) (3.1.4). Finally, the third part is the residual de prédiction (3.1.4). Enfin, la troisième partie est
error (3.1.6) that can involve pure random error (3.1.9) l'erreur résiduelle (3.1.6) qui peut inclure l'erreur
and misspecification error (3.1.10). The model applies aléatoire pure (3.1.9) et l'erreur de mauvaise
for the experiment as a whole and for separate outcomes spécification (3.1.10). Le modèle s'applique à
denoted with subscripts. The model is a mathematical l'expérience dans son intégralité et à des résultats
description that relates the response variable to predictor distincts indiqués par des indices. Le modèle est une
variables and includes associated assumptions. description mathématique qui associe la variable de
Outcomes refer to recorded or measured observations of réponse à des variables de prédiction et comprend des
the response variable. hypothèses associées. Les résultats se rapportent à des
observations enregistrées ou mesurées de la variable de
NOTE 2 The model is a simplified representation of the
réponse.
actual system where only key or fundamental features are
considered. NOTE 2 Le modèle est une représentation simplifiée
du système réel dans laquelle seules les caractéristiques
clés ou fondamentales sont prises en compte.
2 © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 10 ----------------------
ISO 3534-3:2013(E/F)
EXAMPLE 1 The lifetime of a component is related to EXEMPLE 1 La durée de vie d'un composant est liée
the environmental conditions that it experiences. aux conditions environnementales auxquelles il est
soumis.
EXAMPLE 2 A formal model including two factors
(3.1.5) is: EXEMPLE 2 Un modèle formel comprenant deux
facteurs (3.1.5) est le suivant:
y = µ + α + β + ε i = 1, 2, …, I ; j = 1, 2, …, J,
ij i j ij
y = µ + α + β + ε i = 1, 2, …, I ; j = 1, 2, …, J,
ij i j ij
where
où
y is the response variable at level i of factor A
ij
y est la variable de réponse au niveau i du
ij
and level j of factor B;
facteur A et au niveau j du facteur B;
µ is the overall mean response;
µ est la réponse moyenne globale;
α is the incremental effect of factor A at level i;
i
α est l'effet d'incrément du facteur A au niveau i;
i
β is the incremental effect of factor B at level j;
j
β est l'effet d'incrément du facteur B au niveau j;
j
ε is the residual error.
ij
ε est l'erreur résiduelle.
ij
The response part of the model consists simply of y . The
ij
predictive part of this model is µ + α + β consisting of an La partie réponse du modèle est constituée simplement
i j
overall mean response and two terms related to the par y . La partie prédictive de ce modèle est µ + α + β ,
ij i j
effects of factors. The random or error part of this model qui consiste en une réponse moyenne globale et en deux
consists of ε that includes inherent variability in the termes relatifs aux effets des facteurs. La partie aléatoire
ij
process which produces the response. ou d'erreur de ce modèle comprend ε qui intègre la
ij
variabilité inhérente au processus qui produit la réponse.
EXAMPLE 3 A commonly used model is:
EXEMPLE 3 Un modèle communément utilisé est:
y = α + β + τ + ε i = 1, 2, …, I ; j = 1, 2, …, J ;
ijk i j ij ijk
y = α + β + τ + ε i = 1, 2, …, I ; j = 1, 2, …, J ;
k = 1, 2, …, K ijk i j ij ijk
k = 1, 2, …, K
where
où
y is the response of the kth replicate;
ijk
y est la réponse de la k-ième réplique;
ijk
α is the adjustment due to factor 1;
i
α est l'ajustement dû au facteur 1;
i
β is the adjustment due to factor 2;
j
β est l'ajustement dû au facteur 2;
j
τ is the adjustment due to interaction of the
ij
τ est l'ajustement dû à l'interaction des facteurs;
ij
factors;
ε est l'erreur résiduelle.
ε is the residual error.
ijk
ijk
Le terme «ajustement» est utilisé au lieu «d'effet
The terminology “adjustment” is
...
SLOVENSKI STANDARD
SIST ISO 3534-3:2014
01-januar-2014
1DGRPHãþD
SIST ISO 3534-3:2003
6WDWLVWLND6ORYDULQVLPEROLGHO 1DþUWRYDQMHSRVNXVRY
Statistics - Vocabulary and symbols - Part 3: Design of experiments
Statistique - Vocabulaire et symboles - Partie 3: Plans d'expériences
Ta slovenski standard je istoveten z: ISO 3534-3:2013
ICS:
01.040.03 Storitve. Organizacija Services. Company
podjetja, vodenje in kakovost. organization, management
Uprava. Transport. and quality. Administration.
Sociologija. (Slovarji) Transport. Sociology.
(Vocabularies)
03.120.30 8SRUDEDVWDWLVWLþQLKPHWRG Application of statistical
methods
SIST ISO 3534-3:2014 en,fr
2003-01.Slovenski inštitut za standardizacijo. Razmnoževanje celote ali delov tega standarda ni dovoljeno.
---------------------- Page: 1 ----------------------
SIST ISO 3534-3:2014
---------------------- Page: 2 ----------------------
SIST ISO 3534-3:2014
INTERNATIONAL ISO
STANDARD 3534-3
NORME
Third edition
Troisième édition
INTERNATIONALE
2013-04-15
Statistics — Vocabulary and symbols —
Part 3:
Design of experiments
Statistique — Vocabulaire et symboles —
Partie 3:
Plans d'expériences
Reference number
Numéro de référence
ISO 3534-3:2013(E/F)
©
ISO 2013
---------------------- Page: 3 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
COPYRIGHT PROTECTED DOCUMENT
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2013
The reproduction of the terms and definitions contained in this International Standard is permitted in teaching manuals, instruction
booklets, technical publications and journals for strictly educational or implementation purposes. The conditions for such reproduction are:
that no modifications are made to the terms and definitions; that such reproduction is not permitted for dictionaries or similar publications
offered for sale; and that this International Standard is referenced as the source document.
With the sole exceptions noted above, no part of this publication may be reproduced or utilized otherwise in any form or by any means,
electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior written permission. Permission
can be requested from either ISO at the address below or ISO’s member body in the country of the requester.
La reproduction des termes et des définitions contenus dans la présente Norme internationale est autorisée dans les manuels
d'enseignement, les modes d'emploi, les publications et revues techniques destinés exclusivement à l'enseignement ou à la mise en
application. Les conditions d'une telle reproduction sont les suivantes: aucune modification n'est apportée aux termes et définitions; la
reproduction n'est pas autorisée dans des dictionnaires ou publications similaires destinés à la vente; la présente Norme internationale
est citée comme document source.
À la seule exception mentionnée ci-dessus, Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur l’internet ou
sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à l’adresse ci-après ou au
comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland/Publié en Suisse
ii © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 4 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
Contents Page
Foreword .v
Introduction.vii
1 Scope.1
2 Normative references.1
3 Terms and definitions.2
3.1 General terms.2
3.2 Arrangements of experiments.25
3.3 Methods of analysis .54
Annex A (informative) Concept diagrams .66
Annex B (informative) Methodology used to develop the vocabulary .82
Annex C (informative) Experimental design checklists.85
Annex D (informative) Experimental design from the system model perspective.88
Bibliography.93
Alphabetical index.94
© ISO 2013 – All rights reserved/Tous droits réservés iii
---------------------- Page: 5 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
Sommaire Page
Avant-propos. vi
Introduction . viii
1 Domaine d'application . 1
2 Références normatives . 1
3 Termes et définitions . 2
3.1 Termes généraux . 2
3.2 Dispositifs expérimentaux . 25
3.3 Méthodes d'analyse . 54
Annexe A (informative) Schémas conceptuels . 66
Annexe B (informative) Méthodologie utilisée pour élaborer le vocabulaire. 82
Annexe C (informative) Listes de contrôle d'un plan expérimental . 85
Annexe D (informative) Plan d'expériences du point de vue du modèle de système. 88
Bibliographie . 93
Index alphabétique . 96
iv © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 6 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 3534-3 was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,
Subcommittee SC 1, Terminology and symbols.
This third edition cancels and replaces the second edition (ISO 3534-3:1999), which has been technically
revised.
ISO 3534 consists of the following parts, under the general title Statistics — Vocabulary and symbols:
— Part 1: General statistical terms and terms used in probability
— Part 2: Applied statistics
— Part 3: Design of experiments
— Part 4: Survey sampling
© ISO 2013 – All rights reserved/Tous droits réservés v
---------------------- Page: 7 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 3534-3 a été élaborée par le comité technique ISO/TC 69, Application des méthodes statistiques,
sous-comité SC 1, Terminologie et symboles.
Cette troisième édition annule et remplace la deuxième édition (ISO 3534-3:1999), qui a fait l'objet d'une
révision technique.
L'ISO 3534 comprend les parties suivantes, présentées sous le titre général Statistique — Vocabulaire et
symboles:
— Partie 1: Termes statistiques généraux et termes utilisés en calcul des probabilités
— Partie 2: Statistique appliquée
— Partie 3: Plans d'expériences
— Partie 4: Échantillonnage pour sondages
vi © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 8 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
Introduction
Design of experiments (DOE) catalyses innovation, problem solving and discovery. DOE comprises a strategy
and a body of methods that are instrumental in achieving quality improvement in products, services and
processes. Although statistical quality control, management resolve, inspection and other quality tools also
serve this goal, experimental design represents the methodology of choice in complex, variable and
interactive settings. Historically, design of experiments has evolved and thrived in the agricultural area.
Medicine has also enjoyed a long history of careful experimental design. Industrial settings particularly benefit
from the methodology — due to the ease of initiating efforts (user-friendly software packages), improved
training, influential advocates, and accumulating successes with experimental design.
Design of experiments is fundamental to continuous improvement and product development. Experimentation
often evolves sequentially with improvements taking place following each stage of the learning process. If the
objective is to optimize a response, then response surface designs (3.2.19) play a critical role. Multiple
levels of factors recognized to be important are considered to accommodate neatly curvilinear effects, for
example in the vicinity of the optimum settings.
Factorial experiments (3.2.1) and fractional factorial experiments (3.2.3) provide a methodology for
studying the interrelationships among multiple factors of interest to the experimenter. These types of
experiments can be far more resource efficient and effective than intuitive one-factor-at-a-time experiments.
Factorial experiments are particularly well-suited for determining that a factor behaves differently (as reflected
in the experimental response) at different levels of other factors. Frequently, the “breakthrough” in quality
comes from the synergism revealed in a study of “interactions” (3.1.17). If the number of factors under
consideration is large, then factorial experiments could exceed resources. However, fractional factorial
experiments offer a possible compromise. Actually, if the initial goal is to identify factors warranting further
investigation, then screening designs (3.2.8) can be useful.
In planning an experiment, it is necessary to limit biases introduced by the experimental conditions or in the
assignment of treatments to experimental units. Topics such as “randomization” (3.1.30) and “blocking”
(3.1.26) deal with minimizing the effects of nuisance or extraneous elements. Specific blocking strategies
include randomized block designs (3.2.10), Latin square designs (3.2.11) and variants, and balanced
incomplete block designs (3.2.14).
Designs for experiments with mixtures [mixture designs (3.2.20)] apply in situations where factors constitute
proportions of a total, such as ingredients in an alloy. Nested designs (3.2.21) are particularly useful in inter-
laboratory testing and in measurement system analyses.
Methods of analysis of the collected data are straightforward, if the experiment has been carried out according
to the plan. Graphical methods (3.3.1) can be particularly effective in revealing overall conclusions.
Estimation of parameters from a model is commonly handled using regression analysis (3.3.7). Regression
analysis methods can also handle difficulties with missing data, identification of outliers, and other problems.
Annex A provides associated Concept Diagrams that relate the various terms. To assist users of this part of
ISO 3534, an explanation of Concept Diagrams is provided in Annex B.
Design of experiments consists of a complex process to implement experimental plans (3.1.29). Annex C
provides checklists that are intended to identify key items to be considered in designing and implementing a
designed experiment (3.1.27). Annex D describes experimental design from the systems model perspective.
© ISO 2013 – All rights reserved/Tous droits réservés vii
---------------------- Page: 9 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
Introduction
Les plans d'expériences (DOE, design of experiments) catalysent l'innovation, la résolution de problèmes et la
découverte. Les DOE comprennent une stratégie et un corps de méthodes qui sont les instruments
permettant d'améliorer la qualité des produits, des services et des processus. Bien que la maîtrise statistique
de la qualité, les solutions managériales, les inspections et autres outils de qualité remplissent également cet
objectif, les plans d'expériences représentent la méthodologie par excellence dans le cas d'un environnement
de paramètres complexes, variables et interactifs. D'un point de vue historique, les plans d'expériences ont
évolué et se sont développés dans le secteur de l'agriculture. La médecine a également bénéficié d'une
longue histoire de plans d'expériences élaborés avec soin. Les environnements industriels tirent
particulièrement profit de la méthodologie, en raison de la facilité d'initiation des efforts (logiciels d'application
conviviaux), d'une meilleure formation, de défenseurs influents et des nombreux succès obtenus grâce aux
plans d'expériences.
Les plans d'expériences sont indispensables à l'amélioration continue et au développement de produit.
L'expérimentation évolue souvent de manière séquentielle, les améliorations intervenant après chaque étape
du processus d'apprentissage. Si l'objectif est d'optimiser une réponse, alors les plans à surface de réponse
(3.2.19) jouent un rôle critique. De multiples niveaux de facteurs jugés importants sont pris en compte pour
s'adapter parfaitement aux effets curvilignes, par exemple à proximité des valeurs optimales.
Les plans factoriels (voir 3.2.1) et les plans factoriels fractionnaires (3.2.3) fournissent une méthodologie
d'étude des interrelations entre les multiples facteurs d'intérêt pour la personne qui réalise l'expérience. Ces
types de plans d'expériences peuvent être bien plus efficaces et économes en ressources que les plans
d'expériences intuitifs du type «un facteur à la fois». Les plans d'expériences factoriels conviennent
particulièrement pour déterminer le fait qu'un facteur se comporte différemment (comme reflété dans la
réponse expérimentale) avec des niveaux différents d'autres facteurs. La «percée» de qualité provient
fréquemment de la synergie révélée par une étude d'«interactions» (3.1.17). Lorsque le nombre de facteurs
considérés est important, les plans d'expériences factoriels peuvent alors dépasser les ressources.
Cependant, les plans factoriels fractionnaires offrent un compromis possible. En effet, lorsque le but initial est
d'identifier les facteurs justifiant d'autres analyses, les plans de criblage (3.2.8) peuvent être utiles.
La planification d'une expérience nécessite de limiter les biais dus aux conditions expérimentales ou à
l'affectation des traitements aux unités expérimentales. Les sujets tels que «randomisation» (3.1.30) et
«mise en blocs» (3.1.26) traitent de la réduction des effets de nuisance ou des éléments étrangers. Les
stratégies spécifiques de mise en blocs comprennent les plans en blocs randomisés (3.2.10), les plans en
carré latin (3.2.11) et leurs variantes, ainsi que les plans en blocs incomplets équilibrés (3.2.14).
Les plans pour l'étude de mélanges (3.2.20) s'appliquent aux situations dans lesquelles les facteurs
constituent les proportions d'un ensemble, telles que les ingrédients d'un alliage. Les plans emboîtés (3.2.21)
sont particulièrement utiles dans les essais interlaboratoires et dans les analyses des systèmes de mesure.
Les méthodes d'analyse des données recueillies sont directes lorsque l'expérience est effectuée selon le plan.
Les méthodes graphiques (3.3.1) peuvent être particulièrement efficaces pour révéler des conclusions
générales. L'estimation des paramètres d'un modèle s'effectue communément en utilisant l'analyse de
régression (3.3.7). Les méthodes d'analyse de régression peuvent également traiter des difficultés
rencontrées avec les données manquantes, l'identification de valeurs aberrantes et autres problèmes.
L'Annexe A fournit des schémas conceptuels qui précisent les différents termes. Afin d'aider les utilisateurs de
la présente partie de l’ISO 3534, une explication des schémas conceptuels est fournie à l'Annexe B.
Un plan d'expériences est un processus complexe pour mettre en œuvre des plans expérimentaux (3.1.29).
L'Annexe C fournit des listes de contrôle destinées à identifier les points clés à prendre en considération lors
de la conception et de la mise en œuvre d'une expérience planifiée (3.1.27). L'Annexe D décrit les plans
d'expériences du point de vue des modèles.
viii © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 10 ----------------------
SIST ISO 3534-3:2014
INTERNATIONAL STANDARD
ISO 3534-3:2013(E/F)
NORME INTERNATIONALE
Statistics — Vocabulary and symbols —
Part 3:
Design of experiments
Statistique — Vocabulaire et symboles —
Partie 3:
Plans d'expériences
1 Scope 1 Domaine d'application
This part of ISO 3534 defines the terms used in the La présente partie de l'ISO 3534 définit les termes
field of design of experiments and may be used in utilisés dans le domaine des plans d'expériences et
the drafting of other International Standards. peut être utilisée pour l'élaboration d'autres Normes
internationales.
More specifically, it defines terms used in the field
of design of experiments for which the response Plus spécifiquement, elle définit les termes utilisés
variable is one-dimensional and continuous and for dans le domaine des plans d'expériences pour
which the expectation of the response variable is lesquels la variable de réponse est
linear in the parameters. The terms with regard to unidimensionnelle et continue et pour lesquels
the statistical analysis are based on the assumption l'espérance mathématique de la variable de
that the error term follows a normal distribution with réponse est linéaire dans les paramètres. Les
constant variance. termes relatifs à l'analyse statistique sont fondés
sur l'hypothèse que le terme d'erreur suit une loi
normale avec une variance constante.
2 Normative references 2 Références normatives
The following referenced documents are Les documents de référence suivants sont
indistinguishable for the application of this indispensables pour l'application du présent
document. For dated references, only the edition document. Pour les références datées, seule
cited applies. For undated references, the latest l'édition citée s'applique. Pour les références non
edition of the referenced document (including any datées, la dernière édition du document de
amendments) applies. référence s'applique (y compris les éventuels
amendements).
ISO 3534-1:2006, Statistics — Vocabulary and
symbols — Part 1: General statistical terms and ISO 3534-1:2006, Statistique — Vocabulaire et
terms used in probability symboles — Partie 1: Termes statistiques généraux
et termes utilisés en calcul des probabilités
ISO 3534-2:2006, Statistics — Vocabulary and
symbols — Part 2: Applied statistics ISO 3534-2:2006, Statistique — Vocabulaire et
symboles — Partie 2: Statistique appliquée
© ISO 2013 – All rights reserved/Tous droits réservés 1
---------------------- Page: 11 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
3 Terms and definitions 3 Termes et définitions
For the purposes of this document, the following Pour les besoins du présent document, les termes
terms and definitions apply. et définitions suivants s'appliquent.
3.1 General terms 3.1 Termes généraux
3.1.1 3.1.1
experiment expérience
purposive investigation of a system through étude intentionnelle d'un système par l'ajustement
selective adjustment of controllable conditions and sélectif de conditions maîtrisables et l'affectation de
allocation of resources ressources
NOTE 1 A system is an interacting combination of NOTE 1 Un système est une combinaison interactive
elements, viewed in relation to function. Deliberate d'éléments, considérée par rapport à une fonction. Des
alterations or adjustments are made to a system in order modifications ou ajustements sont volontairement réalisés
to improve or to understand it. In other words, an sur un système en vue de l'améliorer ou de le
experiment is a systematic and objective means of getting comprendre. En d'autres termes, une expérience est un
unambiguous and valid answers to the questions that the moyen systématique et objectif permettant à
experimenter has in mind by varying controllable factors l'expérimentateur d'obtenir des réponses valables et
in a predetermined manner. dépourvues d'ambiguïté aux questions qu'il se pose, en
faisant varier des facteurs maîtrisables de manière
NOTE 2 A critical aspect to an experiment is control —
prédéterminée.
the investigator has the capability to vary settings, input
materials, assignment of procedures to individuals and so NOTE 2 Un aspect critique d'une expérience est la
forth with the intention of obtaining an understanding of maîtrise — l'analyste a la possibilité de faire varier des
the system efficiently. By proper design and conduct of paramètres, des matériaux d'entrée, l'attribution de
the experiment, it is possible to attribute causation to the procédures à des individus, etc., dans le but d'obtenir une
impact of the settings. compréhension effective du système. Une conception et
une conduite appropriées de l'expérience permet
NOTE 3 Experiments are different from observational
d'attribuer une causalité à l'impact des paramètres.
studies where the investigators may determine which
units are to be studied and the observational process to NOTE 3 Les expériences se distinguent des études par
be observed, but the assignment of experimental observation où les analystes peuvent déterminer les
treatments (3.1.13) is outside their control. unités à étudier et le processus d'observation à suivre,
mais ne maîtrisent pas l'affectation des traitements
expérimentaux (3.1.13).
3.1.2 3.1.2
model modèle
〈experiment〉 formalized representation of outcomes 〈expérience〉 représentation formalisée des résultats
of an experiment (3.1.1) d'une expérience (3.1.1)
NOTE 1 The model consists of three parts. The first NOTE 1 Le modèle comprend trois parties. La
part is the response variable (3.1.3) that is being première partie est la variable de réponse (3.1.3)
modelled. The second part is the deterministic or the modélisée. La deuxième partie est la partie déterministe
systematic part of the model that includes predictor ou systématique du modèle qui inclut la (les) variable(s)
variable(s) (3.1.4). Finally, the third part is the residual de prédiction (3.1.4). Enfin, la troisième partie est
error (3.1.6) that can involve pure random error (3.1.9) l'erreur résiduelle (3.1.6) qui peut inclure l'erreur
and misspecification error (3.1.10). The model applies aléatoire pure (3.1.9) et l'erreur de mauvaise
for the experiment as a whole and for separate outcomes spécification (3.1.10). Le modèle s'applique à
denoted with subscripts. The model is a mathematical l'expérience dans son intégralité et à des résultats
description that relates the response variable to predictor distincts indiqués par des indices. Le modèle est une
variables and includes associated assumptions. description mathématique qui associe la variable de
Outcomes refer to recorded or measured observations of réponse à des variables de prédiction et comprend des
the response variable. hypothèses associées. Les résultats se rapportent à des
observations enregistrées ou mesurées de la variable de
NOTE 2 The model is a simplified representation of the
réponse.
actual system where only key or fundamental features are
considered. NOTE 2 Le modèle est une représentation simplifiée
du système réel dans laquelle seules les caractéristiques
clés ou fondamentales sont prises en compte.
2 © ISO 2013 – All rights reserved/Tous droits réservés
---------------------- Page: 12 ----------------------
SIST ISO 3534-3:2014
ISO 3534-3:2013(E/F)
EXAMPLE 1 The lifetime of a component is related to EXEMPLE 1 La durée de vie d'un composant est liée
the environmental conditions that it experiences. aux conditions environnementales auxquelles il est
soumis.
EXAMPLE 2 A formal model including two factors
(3.1.5) is: EXEMPLE 2 Un modèle formel comprenant deux
facteurs (3.1.5) est le suivant:
y = µ + α + β + ε i = 1, 2, …, I ; j = 1, 2, …, J,
ij i j ij
y = µ + α + β + ε i = 1, 2, …, I ; j = 1, 2, …, J,
ij i j ij
where
où
y is the response variable at level i of factor A
ij
y est la variable de réponse au niveau i du
ij
and level j of factor B;
facteur A et au niveau j du facteur B;
µ is the overall mean response;
µ est la réponse moyenne globale;
α is the incremental effect of factor A at level i;
i
α est l'effet d'incrément du facteur A au niveau i;
i
β is the incremental effect of factor B at level j;
j
β est l'effet d'incrément du facteur B au niveau j;
j
ε is the residual error.
ij
ε est l'erreur résiduelle.
ij
The response part of the model consists simply of y . The
ij
predictive part of this model is µ + α + β consisting of an La partie réponse du modèle est constituée simplement
i j
overall mean response and two terms related to the par y . La partie prédictive de ce modèle est µ + α + β ,
ij i j
effects
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.