ISO 11132:2021
(Main)Sensory analysis — Methodology — Guidelines for the measurement of the performance of a quantitative descriptive sensory panel
Sensory analysis — Methodology — Guidelines for the measurement of the performance of a quantitative descriptive sensory panel
This document gives guidelines for assessing the overall performance of a quantitative descriptive panel and the performance of each panel member. This document is applicable to the validation of the training of individual assessors or panels, as well as to the performance monitoring of established panels. This document does not apply to the panel performance for descriptive methods where the individual scores of each assessor are not recorded, where there is no single list of attributes that is common to all the assessors, or where dominance rather than intensity is measured. Consequently, the performance of descriptive panels using methods such as consensus profile, free-choice profile, flash profile and temporal dominance of sensations (TDS) are out of scope. The methods specified in this document are for monitoring and assessing the ability of a panel and its assessors to discriminate between products, the agreement between assessors of the same panel and the repeatability of these assessors in their intensity scoring. Reproducibility, including both the comparison between panels and the comparison within the same panel of several evaluations conducted under different conditions (i.e. separated in time), is out of scope of this document. The methods specified in this document can be used, in full or a selection only, by the panel leader to appraise continuously the performance of panels or individual assessors. The methods listed are not exhaustive and other appropriate methods can also be used.
Analyse sensorielle — Méthodologie — Lignes directrices pour le mesurage de la performance d'un jury descriptif quantitatif
Le présent document donne des lignes directrices pour évaluer la performance globale d’un jury descriptif quantitatif et la performance de chaque membre du jury. Le présent document est applicable à la validation de l’entraînement des sujets ou des jurys, ainsi qu’au contrôle de la performance des jurys établis. Le présent document ne s’applique pas à la performance du jury pour les méthodes descriptives dans lesquelles les notes individuelles de chaque sujet ne sont pas enregistrées, dans lesquelles il n’existe pas une liste unique d’attributs communs à tous les sujets, ou dans lesquelles la dominance plutôt que l’intensité est mesurée. Par conséquent, la performance des jurys descriptifs utilisant des méthodes telles que le profil par consensus, le profil libre choix, le profil flash et la dominance temporelle des sensations (DTS) ne fait pas partie du domaine d’application. Les méthodes spécifiées dans le présent document servent à contrôler et évaluer la capacité d’un jury et de ses sujets à discriminer les produits, l’accord entre les sujets d’un même jury et la répétabilité de ces sujets lorsqu’ils attribuent des notes d’intensité. La reproductibilité, y compris la comparaison entre jurys et la comparaison au sein d’un même jury, de plusieurs évaluations effectuées sous différentes conditions (c’est-à-dire, séparées dans le temps), ne fait pas partie du domaine d’application du présent document. Les méthodes spécifiées dans le présent document peuvent être utilisées, en totalité ou en partie, par le responsable du jury pour évaluer de façon continue la performance du jury ou de chaque sujet. Les méthodes énumérées ne sont pas exhaustives et d’autres méthodes appropriées peuvent également être utilisées.
General Information
Relations
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 11132
Second edition
2021-09
Sensory analysis — Methodology —
Guidelines for the measurement of
the performance of a quantitative
descriptive sensory panel
Analyse sensorielle — Méthodologie — Lignes directrices pour le
mesurage de la performance d'un jury descriptif quantitatif
Reference number
ISO 11132:2021(E)
©
ISO 2021
---------------------- Page: 1 ----------------------
ISO 11132:2021(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2021
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting
on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address
below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii © ISO 2021 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 11132:2021(E)
Contents Page
Foreword .iv
Introduction .vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Principle . 3
4.1 Two possible approaches . 3
4.1.1 General. 3
4.1.2 Performance measurement via a dedicated procedure . 3
4.1.3 Ongoing monitoring via routine product profiling . 4
4.2 Indicators of panel or individual assessor performance . 4
4.3 Statistical analyses . 5
5 Prerequisites . 5
5.1 Experimental conditions . 5
5.2 Qualification of assessors . 5
6 Performance measurement via a dedicated procedure . 5
6.1 Sample and attribute selection . 5
6.2 Experimental designs . 5
6.2.1 General. 5
6.2.2 Randomized block design . 6
6.2.3 Balanced and random designs . 6
6.2.4 Same order design . 6
6.3 Statistical analyses . 7
6.4 Performance of the overall panel — Interpretation of statistical output . 9
6.4.1 Key attribute discrimination . 9
6.4.2 Agreement at panel level . 9
6.4.3 Repeatability of the panel .10
6.5 Performance of individual assessors — Interpretation of statistical output .10
6.5.1 Discrimination ability of an assessor .10
6.5.2 Repeatability of an assessor .10
6.5.3 Consistency of an assessor .10
6.5.4 Agreement among assessors .11
6.5.5 Bias — Different use of scale .11
6.6 Performance issues .12
6.6.1 General.12
6.6.2 Panel .12
6.6.3 Individual assessor .12
6.7 Experimental design for following up the performance over time .12
7 Procedure for ongoing monitoring via routine product profiling .12
7.1 Attribute selection .12
7.2 Statistical analyses .12
7.3 Following up the performance over time .12
7.4 Statistical analysis of data over time .12
7.5 Statistical analysis of complete profiles .13
Annex A (informative) Example of a practical application .14
Bibliography .22
© ISO 2021 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 11132:2021(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/ directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/ patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO’s adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www .iso .org/
iso/ foreword .html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12,
Sensory analysis, in collaboration with the European Committee for Standardization (CEN) Technical
Committee CEN/SS C01, Food Products, in accordance with the Agreement on technical cooperation
between ISO and CEN (Vienna Agreement).
This second edition cancels and replaces the first edition (ISO 11132:2012), which has been technically
revised. The main changes compared with the previous edition are as follows:
— the title has been changed to specify that the document is applicable to descriptive sensory panels;
— the Scope has been revised:
— in order to provide a distinction of application for validation and monitoring, with improved
wording to clarify;
— it has been reduced to measure repeatability only, and reproducibility has been stated to be out
of scope;
— the type of quantitative descriptive sensory panels for which the document is applicable to has
been specified;
— the definitions have been revised and new terminological entries have been added;
— the process for the dedicated procedure has been improved;
— experimental designs have been reviewed and augmented;
— statistical analyses related to analysis of variance have been reviewed and augmented to include
more models, especially regarding sessions and panellists (fixed or random) effects and interactions;
— the subclauses (specifically the original 6.4.4 and 7.4) and Annexes B and C related to reproducibility
have been removed to align with the changes to the Scope.
iv © ISO 2021 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 11132:2021(E)
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www .iso .org/ members .html.
© ISO 2021 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO 11132:2021(E)
Introduction
A panel of assessors can be used as an instrument to identify products’ sensory attributes and to assess
the magnitude of sensory attributes.
Performance is the measure of the ability of a panel or an assessor to make reliable and valid attribute
assessments across the products being evaluated. It can be assessed at a given time point, typically after
a training period (validation) or tracked over time (monitoring). Performance comprises the ability of
a panel to detect, identify and measure an attribute, use attributes in a similar way to other panels or
between assessors within a panel, discriminate between stimuli, use a scale properly, repeat their own
results, and reproduce results in comparison to other panels or assessors.
Measuring performance enables the panel leader to improve panel and assessor output, to identify
issues and retraining needs or to identify assessors who are not performing well enough to continue
participating.
vi © ISO 2021 – All rights reserved
---------------------- Page: 6 ----------------------
INTERNATIONAL STANDARD ISO 11132:2021(E)
Sensory analysis — Methodology — Guidelines for the
measurement of the performance of a quantitative
descriptive sensory panel
1 Scope
This document gives guidelines for assessing the overall performance of a quantitative descriptive
panel and the performance of each panel member.
This document is applicable to the validation of the training of individual assessors or panels, as well as
to the performance monitoring of established panels.
This document does not apply to the panel performance for descriptive methods where the individual
scores of each assessor are not recorded, where there is no single list of attributes that is common to all
the assessors, or where dominance rather than intensity is measured. Consequently, the performance
of descriptive panels using methods such as consensus profile, free-choice profile, flash profile and
temporal dominance of sensations (TDS) are out of scope.
The methods specified in this document are for monitoring and assessing the ability of a panel and its
assessors to discriminate between products, the agreement between assessors of the same panel and
the repeatability of these assessors in their intensity scoring.
Reproducibility, including both the comparison between panels and the comparison within the same
panel of several evaluations conducted under different conditions (i.e. separated in time), is out of scope
of this document.
The methods specified in this document can be used, in full or a selection only, by the panel leader to
appraise continuously the performance of panels or individual assessors. The methods listed are not
exhaustive and other appropriate methods can also be used.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 5492, Sensory analysis — Vocabulary
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 5492 and the following apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at http:// www .electropedia .org/
3.1
agreement
ability of different panels or assessors to exhibit the same product differences when assigning scores on
a given attribute to the same set of products
© ISO 2021 – All rights reserved 1
---------------------- Page: 7 ----------------------
ISO 11132:2021(E)
3.2
panel drift
phenomenon where a panel, over time, changes in sensitivity or becomes susceptible to biases and as
a consequence changes the location on the scale where an attribute is rated for a constant, reference
product
3.3
performance
ability of a panel or an assessor to make reliable and valid assessments of stimuli and stimulus attributes
3.4
validation
process of establishing that a panel or assessor is able to meet specified performance (3.3) criteria
3.5
session
period of time in which products are assessed
Note 1 to entry: In a single session either one or several products may be assessed by one or several assessors.
For an assessor, whether alone or as part of a panel, sessions are separated in time.
[SOURCE: ISO 5492:2008/Amd.1:2016, 4.63]
3.6
replicate
occurrence of a particular condition in an experimental design
Note 1 to entry: The term usually implies that the occurrence is one of several of the same kind, but it can refer to
a single occurrence. When the condition is performed twice, the wording is “two repetitions”, etc.
Note 2 to entry: To specify more than one occurrence of a condition, the terms “replication” or “replicate session”
are more explicit.
Note 3 to entry: A “replicate session” is a session (3.5) in which the assessors, products, test conditions and task
are the same.
3.7
assessor bias
tendency of an assessor to give scores which are consistently above or below the true score when that is
known or the panel mean when it is not
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.40]
3.8
order bias
arising from a product’s spatial or temporal position relative to a group of products being assessed
Note 1 to entry: The term includes both “position bias” and “sequential bias”.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.42]
3.9
repeatability
agreement (3.1) in assessments of the same products under the same test conditions by the same
assessor or panel
Note 1 to entry: Repeatability can be measured within one session (3.5) or over several distinctly separate
sessions, provided that the replicate (3.6) evaluations are conducted under the test conditions that can be
considered to be the same. If replicate evaluations are conducted in distinctly separate sessions/sittings, the
sessions are generally separated by several days only. In this case, the distinction between repeatability and
reproducibility (3.10) in the short term is minor and relates to the test conditions being considered the same or
not.
2 © ISO 2021 – All rights reserved
---------------------- Page: 8 ----------------------
ISO 11132:2021(E)
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.45, modified — Note 1 to entry has been added.]
3.10
reproducibility
agreement (3.1) in assessments of the same products under different test conditions or by different
assessors or panels
Note 1 to entry: Reproducibility may be measured as any of the following:
— the reproducibility of a panel (or an assessor) in the short term, measured between two or more sessions (3.5)
separated by several days;
— the reproducibility of a panel (or an assessor) in the medium or long term, measured among sessions separated
by several months;
— the reproducibility between different panels, in the same laboratory or in different laboratories.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.46]
4 Principle
4.1 Two possible approaches
4.1.1 General
This document is concerned with sensory panels used to assess the magnitude of one or more sensory
attributes in order to make quantitative descriptions or profiles of products (see ISO 13299). Different
methods are appropriate to the measurement of the performance of panels used for difference testing.
The performance of a quantitative sensory panel may be evaluated from panel sessions conducted
specifically for the purpose of obtaining performance (called “dedicated procedure”) by using
assessments already available (called “ongoing monitoring”).
4.1.2 Performance measurement via a dedicated procedure
A dedicated procedure is the method of choice for the certification of individual assessors and for other
validation purposes. For the certification renewal, this dedicated procedure should be repeated at
periodic intervals, as needed. Figure 1 is a flow chart for this procedure.
This approach can typically be used at the end of the training phase of a panel to ensure that the panel
and the individual assessors have achieved the desired level of performance and can be considered as
trained sensory assessors or expert sensory assessors (depending on the performance criteria).
© ISO 2021 – All rights reserved 3
---------------------- Page: 9 ----------------------
ISO 11132:2021(E)
Figure 1 — Process steps for the performance measurement via a dedicated procedure
4.1.3 Ongoing monitoring via routine product profiling
Another approach consists of monitoring profile data that was already collected. To review ongoing
profile data generated by a panel, it can be appropriate to use data that originated from quite different
profiling experiments using different product types, product numbers, etc. The procedure is the
same as that shown in Figure 1. However, as there are no predefined differences, it is recommended
that attributes for which the products are significantly discriminated by the panel as a whole for a
given profile be used as the key measures to check the performance of individual sensory assessors.
Attributes that result in no significant difference cannot be reliably used to check consistency since the
lack of agreement within and between sensory assessors probably means that the products are very
similar for those characteristics.
In this case, over a given period, it will be necessary to check on a set of products more different that
the panel is indeed capable of highlighting difference in these characteristics.
4.2 Indicators of panel or individual assessor performance
For one assessment, the following indicators can be determined:
— discrimination of the panel, measured as the ability of the panel to exhibit significant differences
among products;
— discrimination of an assessor, measured as the ability of the assessor to exhibit significant differences
among products;
— agreement of an assessor, measured as the degree of alignment between the assessor’s average
product scores and the ones of the panel;
— agreement of the panel, measured as the degree of alignment between the assessors’ average
product scores.
For replicate assessments:
— repeatability of an assessor, measured as the degree of homogeneity between replicated assessments
of the same product;
4 © ISO 2021 – All rights reserved
---------------------- Page: 10 ----------------------
ISO 11132:2021(E)
— repeatability of a panel, measured as the average degree of homogeneity between replicated
assessments of the same product for each assessor.
4.3 Statistical analyses
A single, consistent approach to statistical analysis of the results is described in this document. However,
some indicators of panel performance can be assessed by more than one measure. For instance, error
mean square and error standard deviation (SD) (its square root) both express variability in the
evaluation of a product. The measures used should be those that are usual in the field of application.
Other relevant measures of agreement between assessors in the use of the scale for an attribute are the
interaction of assessor and product and the coefficient of correlation between an assessor’s scores and
the panel means. An assessor may have no bias but may use the scale in a different way. A correlation
close to 1, a regression slope close to 1 and a regression intercept close to 0 indicate good agreement
between an assessor and the rest of the panel.
When each assessor evaluates a small number of samples (fewer than six), the correlation coefficient
should be interpreted with caution, as it can be high (up to 0,7) by chance alone.
5 Prerequisites
5.1 Experimental conditions
The test facilities should be in accordance with ISO 8589.
5.2 Qualification of assessors
The panel should have the level of qualification and experience of selected/screened assessors in
accordance with ISO 8586 or higher.
6 Performance measurement via a dedicated procedure
6.1 Sample and attribute selection
At each dedicated study, the panel of assessors should be presented with a set of samples similar to those
the panel are to assess when evaluating products and for which statistically significant differences
between at least one pair of the samples are expected for each of the relevant attributes.
In order to ensure that all key aspects of the products are examined, an adequately diverse set of
attributes should be included in the test.
These relevant attributes are used as key measures against which to assess panel performance. The
sample set should include replicates. There should be the same number of replicates of each sample.
The replicates can be evaluated within a single session or over two or more sessions. The number of
assessors, samples and replicates depends on the products, sensory attributes assessed and purpose
of the procedure. For example, two or three replicates of three or four samples might be used. Care
should be taken to limit the number of assessments required in a session, so as to avoid sensory fatigue.
The attributes of the samples should be similar to the range of values that the panel assesses when
evaluating products.
6.2 Experimental designs
6.2.1 General
Several types of experimental designs can be used in the dedicated procedure, depending on the most
important objective to answer.
© ISO 2021 – All rights reserved 5
---------------------- Page: 11 ----------------------
ISO 11132:2021(E)
6.2.2 Randomized block design
A randomized block experimental design can be used, in which the assessors are the “blocks”. This
design is appropriate when no carry-over effect from one sample to the next is expected. Otherwise, a
balanced design should be used instead (see 6.2.3).
6.2.3 Balanced and random designs
If a carry-over effect is expected from one sample to the next, a suitable experimental design is the
[12]
Williams Latin square . Table 1 shows the Williams Latin square design with four assessors and four
samples.
Table 1 — Williams Latin square design for four assessors and four samples
Order
Assessor Session
1 2 3 4
1 1 A B C D
2 1 B D A C
3 1 C A D B
4 1 D C B A
1 2 B D A C
2 2 C A D B
3 2 D C B A
4 2 A B C D
In this design, each assessor samples the four products in a different order in a given session and
any particular product is followed by a different one for each assessor. For example, in session 1, A is
followed by B for assessor 1, C for assessor 2, D for assessor 3 and none for assessor 4.
For each replicate of the products’ evaluation, it is recommended to use a different product order for
each assessor, in order to reduce the order effect and the carry-over effect.
If multiples of four assessors are available, the same design can be repeated for each set of four.
It is also possible to choose a random product order design, i.e. to randomly affect each product to each
position in each session.
The advantage of these approaches is to minimize the carry-over effect at panel level and therefore
get better estimates of the product means at panel level for performance evaluation. However, if the
product order does have an impact, the agreement between assessors will be impacted because each
assessor will not experience the same product order. In order to compare the assessors on the exact
same task, the same product order can be used for all sensory assessors (see 6.2.4).
6.2.4 Same order design
In order to focus on individual assessor performance and, in an effort to compare assessors under the
most similar conditions, an alternative design is proposed, whereby all assessors evaluate the products
in the same order, see Table 2.
6 © ISO 2021 – All rights reserved
---------------------- Page: 12 ----------------------
ISO 11132:2021(E)
Table 2 — Same order design for four assessors and four samples
Order
Assessor Session
1 2 3 4
1 1 A B C D
2 1 A B C D
3 1 A B C D
4 1 A B C D
1 2 A B C D
2 2 A B C D
3 2 A B C D
4 2 A B C D
It is worth mentioning that in this case the assessors are not evaluating the products per se but the
products at a given position (product and position effects are confounded). This will lead to a biased
estimate of the product effect (biased by the order effect), but to an unbiased estimate of the assessor
effect and the product*assessor interaction.
6.3 Statistical analyses
Table 3 illustrates one way to tabulate and summa
...
NORME ISO
INTERNATIONALE 11132
Deuxième édition
2021-09
Analyse sensorielle — Méthodologie
— Lignes directrices pour le mesurage
de la performance d'un jury descriptif
quantitatif
Sensory analysis — Methodology — Guidelines for the measurement
of the performance of a quantitative descriptive sensory panel
Numéro de référence
ISO 11132:2021(F)
©
ISO 2021
---------------------- Page: 1 ----------------------
ISO 11132:2021(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2021
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii © ISO 2021 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 11132:2021(F)
Sommaire Page
Avant-propos .iv
Introduction .vi
1 Domaine d'application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Principe . 3
4.1 Deux approches possibles . 3
4.1.1 Généralités . 3
4.1.2 Mesurage de la performance à l’aide d’une procédure dédiée . 3
4.1.3 Contrôle continu à l’aide de profils sensoriels de routine . 4
4.2 Indicateurs de performance d’un jury ou d’un sujet . 4
4.3 Analyse statistique . 5
5 Préalables . 5
5.1 Conditions expérimentales . 5
5.2 Qualification des sujets . 5
6 Mesurage de la performance à l’aide d’une procédure dédiée . 5
6.1 Sélection des échantillons et des attributs . 5
6.2 Plans expérimentaux . 6
6.2.1 Généralités . 6
6.2.2 Plan en blocs aléatoires . . 6
6.2.3 Plans équilibrés et aléatoires . 6
6.2.4 Plan dans le même ordre . 7
6.3 Analyse statistique . 7
6.4 Performance de l’ensemble du jury — Interprétation du résultat statistique .10
6.4.1 Discrimination des attributs clés .10
6.4.2 Accord au niveau du jury .10
6.4.3 Répétabilité du jury .11
6.5 Performance de chaque sujet — Interprétation du résultat statistique .11
6.5.1 Capacité de discrimination d'un sujet .11
6.5.2 Répétabilité d’un sujet .11
6.5.3 Cohérence d’un sujet .11
6.5.4 Accord entre les sujets .11
6.5.5 Biais — Utilisation différente de l’échelle .12
6.6 Problèmes de performance .12
6.6.1 Généralités .12
6.6.2 Jury . .12
6.6.3 Sujet individuel.12
6.7 Plan expérimental pour suivre la performance au fil du temps .13
7 Mode opératoire de contrôle continu à l’aide de profils sensoriels de routine .13
7.1 Sélection des attributs .13
7.2 Analyse statistique .13
7.3 Suivi de la performance au fil du temps .13
7.4 Analyse statistique des données au fil du temps .13
7.5 Analyse statistique de profils complets .14
Annexe A (informative) Exemple d’application pratique .15
Bibliographie .23
© ISO 2021 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 11132:2021(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes
nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/ directives).
L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de
brevets reçues par l'ISO (voir www .iso .org/ brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion
de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir www .iso .org/ avant -propos.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-
comité SC 12, Analyse sensorielle, en collaboration avec le comité technique CEN/SS C01, Produits
alimentaires, du Comité européen de normalisation (CEN), conformément à l'Accord de coopération
technique entre l'ISO et le CEN (Accord de Vienne).
Cette deuxième édition annule et remplace la première édition (ISO 11132:2012), qui a fait l'objet d'une
révision technique. Les principales modifications par rapport à l’édition précédente sont les suivantes:
— le titre a été modifié pour spécifier que le document est applicable aux jurys descriptifs;
— le domaine d’application a été revu:
— pour différencier l’application de validation et de surveillance, avec une formulation plus claire;
— la décision a été prise de mesurer uniquement la répétabilité et de considérer la reproductibilité
comme en dehors du domaine d’application;
— le type de jurys descriptifs quantitatifs pour lesquels le document est applicable a été spécifié;
— les définitions ont été revues et de nouvelles entrées terminologiques ont été ajoutées;
— le processus applicable au mode opératoire dédié a été amélioré;
— les plans expérimentaux ont été revus et complétés;
— les analyses statistiques en rapport avec l’analyse de variance ont été revues et complétées pour
inclure davantage de modèles, notamment en ce qui concerne les effets (fixes ou aléatoires) et
interactions entre séances et membres du jury;
iv © ISO 2021 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 11132:2021(F)
— les paragraphes (notamment les paragraphes 6.4.4 et 7.4 d’origine) ainsi que les Annexes B et C en
rapport avec la reproductibilité ont été supprimés pour être conformes aux modifications apportées
au domaine d’application.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www .iso .org/ fr/ members .html.
© ISO 2021 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO 11132:2021(F)
Introduction
Un jury de sujets peut être utilisé comme un instrument pour identifier les attributs sensoriels de
produits et pour évaluer l’intensité des attributs sensoriels.
La performance est la mesure de la capacité d’un jury ou d’un sujet à effectuer des jugements fiables
et valides d’attributs concernant les produits à évaluer. Elle peut être contrôlée à un moment donné,
généralement après une période d’entraînement (validation) ou suivie au fil du temps (contrôle). La
performance comprend la capacité d’un jury à détecter, identifier et mesurer un attribut, à utiliser les
attributs de la même manière que d’autres jurys ou entre les sujets d’un jury, à différencier les stimulus,
à utiliser correctement une échelle, à répéter ses propres résultats et à reproduire les résultats d’autres
jurys ou sujets.
Le mesurage de la performance permet au responsable du jury d’améliorer les résultats du jury et des
sujets, d’identifier les problèmes et les besoins de remise à niveau ou d’identifier les sujets qui ne sont
pas suffisamment performants pour continuer à participer.
vi © ISO 2021 – Tous droits réservés
---------------------- Page: 6 ----------------------
NORME INTERNATIONALE ISO 11132:2021(F)
Analyse sensorielle — Méthodologie — Lignes directrices
pour le mesurage de la performance d'un jury descriptif
quantitatif
1 Domaine d'application
Le présent document donne des lignes directrices pour évaluer la performance globale d’un jury
descriptif quantitatif et la performance de chaque membre du jury.
Le présent document est applicable à la validation de l’entraînement des sujets ou des jurys, ainsi qu’au
contrôle de la performance des jurys établis.
Le présent document ne s’applique pas à la performance du jury pour les méthodes descriptives dans
lesquelles les notes individuelles de chaque sujet ne sont pas enregistrées, dans lesquelles il n’existe
pas une liste unique d’attributs communs à tous les sujets, ou dans lesquelles la dominance plutôt que
l’intensité est mesurée. Par conséquent, la performance des jurys descriptifs utilisant des méthodes
telles que le profil par consensus, le profil libre choix, le profil flash et la dominance temporelle des
sensations (DTS) ne fait pas partie du domaine d’application.
Les méthodes spécifiées dans le présent document servent à contrôler et évaluer la capacité d’un jury et
de ses sujets à discriminer les produits, l’accord entre les sujets d’un même jury et la répétabilité de ces
sujets lorsqu’ils attribuent des notes d’intensité.
La reproductibilité, y compris la comparaison entre jurys et la comparaison au sein d’un même jury, de
plusieurs évaluations effectuées sous différentes conditions (c’est-à-dire, séparées dans le temps), ne
fait pas partie du domaine d’application du présent document.
Les méthodes spécifiées dans le présent document peuvent être utilisées, en totalité ou en partie, par
le responsable du jury pour évaluer de façon continue la performance du jury ou de chaque sujet. Les
méthodes énumérées ne sont pas exhaustives et d’autres méthodes appropriées peuvent également
être utilisées.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.
Pour les références non datées, la dernière édition du document de référence s’applique (y compris les
éventuels amendements).
ISO 5492, Analyse sensorielle — Vocabulaire
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 5492 ainsi que les
suivants s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l’adresse http:// www .electropedia .org/
© ISO 2021 – Tous droits réservés 1
---------------------- Page: 7 ----------------------
ISO 11132:2021(F)
3.1
accord
capacité de jurys ou de sujets différents à démontrer les mêmes différences entre les produits lors de
l’attribution de notes sur un attribut donné au même groupe de produits
3.2
dérive du jury
phénomène par lequel un jury, au fil du temps, change en sensibilité ou devient sensible à des biais et
qui, en conséquence, pour un produit de référence constant, modifie la position sur l’échelle sur laquelle
un attribut est noté
3.3
performance
capacité d’un jury ou d’un sujet à réaliser des évaluations fiables et valides sur des stimulus et des
attributs de stimulus
3.4
validation
processus consistant à établir qu’un jury ou sujet est capable de remplir les critères de performance
(3.3) spécifiés
3.5
séance
période de temps pendant laquelle les produits sont évalués
Note 1 à l'article: En une séance, un ou plusieurs produits peuvent être évalués par un ou plusieurs sujets. Pour
un sujet, qu’il soit seul ou membre d’un jury, les séances sont séparées dans le temps.
[SOURCE: ISO 5492:2008/Amd.1:2016, 4.63]
3.6
répétition
occurrence d’une condition particulière dans un plan expérimental
Note 1 à l'article: Le terme implique d’habitude qu’il s’agit de l’occurrence d’une condition parmi plusieurs de
même nature, mais il peut faire référence à une seule occurrence. Lorsque la condition est mise en œuvre deux
fois, on peut parler de deux répétitions, etc.
Note 2 à l'article: Pour spécifier plus d’une occurrence d’une condition, les termes «réplication» ou «séance
répliquée» sont plus explicites.
Note 3 à l'article: Une «séance répliquée» est une séance (3.5) dans laquelle les sujets, produits, conditions d’essai
et tâches sont identiques.
3.7
biais lié au sujet
tendance d’un sujet à attribuer des notes sensiblement supérieures ou inférieures à la vraie note
lorsqu’elle est connue, ou à la moyenne du jury lorsque la vraie note n’est pas connue
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.40]
3.8
biais lié à l’ordre
biais lié à la position spatiale ou temporelle d’un produit par rapport à un groupe de produits évalués
Note 1 à l'article: Le terme comprend à la fois le «biais de position» et le «biais séquentiel».
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.42]
2 © ISO 2021 – Tous droits réservés
---------------------- Page: 8 ----------------------
ISO 11132:2021(F)
3.9
répétabilité
concordance (3.1) des évaluations des mêmes produits, dans les même conditions d’essai, par un même
sujet ou un même jury
Note 1 à l'article: La répétabilité peut être mesurée pendant une séance (3.5) ou pendant plusieurs séances
distinctement séparées, à condition que les évaluations répétées (3.6) soient effectuées dans les conditions d’essai
qui peuvent être considérées comme identiques. Si des évaluations répétées sont effectuées au cours de séances/
séances distinctement séparées, les séances sont généralement séparées de plusieurs jours seulement. Dans ce
cas, la distinction entre répétabilité et reproductibilité (3.10) à court terme est mineure et concerne les conditions
d’essai considérées identiques ou non.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.45, modifié — La Note 1 à l’article a été ajoutée.]
3.10
reproductibilité
concordance (3.1) des évaluations des mêmes produits, dans des conditions d’essai différentes ou par
des sujets ou des jurys différents
Note 1 à l'article: La reproductibilité peut être mesurée comme suit:
— reproductibilité d’un jury (ou d’un sujet) à court terme, mesurée entre deux séances (3.5) ou plus réalisées à
plusieurs jours d’intervalle;
— reproductibilité d’un jury (ou d’un sujet) à moyen ou long terme, mesurée entre des séances réalisées à
plusieurs mois d’intervalle;
— reproductibilité entre différents jurys, dans le même laboratoire ou dans différents laboratoires.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.46]
4 Principe
4.1 Deux approches possibles
4.1.1 Généralités
Le présent document concerne les jurys utilisés pour évaluer l’intensité d’un ou de plusieurs attributs
sensoriels afin de réaliser des descriptions ou des profils quantitatifs de produits (voir l’ISO 13299).
Différentes méthodes sont appropriées pour mesurer la performance des jurys utilisés pour analyser
des différences.
La performance d’un jury quantitatif peut être évaluée soit en utilisant les séances réalisées
spécialement dans le but d’obtenir des données de performance (appelées «procédure dédiée ») soit en
utilisant les évaluations déjà disponibles (appelées «contrôle continu »).
4.1.2 Mesurage de la performance à l’aide d’une procédure dédiée
Une procédure dédiée est une méthode de choix pour la certification de chaque sujet et pour d’autres
besoins de validation. Pour le renouvellement de la certification, il convient de répéter cette procédure
dédiée à intervalles réguliers, si besoin. Un logigramme de cette procédure est donné à la Figure 1.
Cette approche peut être généralement utilisée à la fin de la phase d’entraînement d’un jury, pour
s’assurer que le jury ou que chaque sujet a atteint le niveau de performance souhaité et qu’il peut être
considéré comme sujet qualifié ou sujet expert (selon les critères de performance).
© ISO 2021 – Tous droits réservés 3
---------------------- Page: 9 ----------------------
ISO 11132:2021(F)
Figure 1 — Logigramme du mesurage de la performance à l’aide d’une procédure dédiée
4.1.3 Contrôle continu à l’aide de profils sensoriels de routine
Une autre approche consiste à contrôler les données de profil déjà collectées. Pour examiner des
données de profil générées par un jury, il peut être approprié d’utiliser des données qui proviennent
d’expériences de profil bien différentes en employant différents types de produits, nombres de
produits, etc. La procédure est la même que celle indiquée à la Figure 1. Cependant, comme il n’y a
aucune différence prédéfinie, il est recommandé que les attributs pour lesquels les produits sont
significativement discriminés par l’ensemble du jury, pour un profil donné, soient ensuite utilisés
comme mesures clés pour contrôler la performance de chaque sujet. Les attributs pour lesquels aucune
différence n’est observée ne peuvent pas être utilisés de manière fiable pour contrôler la cohérence;
en effet, l’absence de concordance chez un sujet et entre les sujets signifie vraisemblablement que les
produits sont très similaires pour ces caractéristiques.
Dans ce cas, sur une période donnée, il sera nécessaire de contrôler à l’aide d’un ensemble de produits
plus différents que le jury est en effet capable de percevoir des différences sur ces caractéristiques.
4.2 Indicateurs de performance d’un jury ou d’un sujet
Pour une évaluation, les indicateurs suivants peuvent être déterminés:
— discrimination du jury, mesurée comme la capacité du jury à mettre en évidence des différences
significatives entre les produits;
— discrimination d’un sujet, mesurée comme la capacité du sujet à mettre en évidence des différences
significatives entre les produits;
— accord d’un sujet, mesuré comme le degré de concordance entre les notes moyennes attribuées à un
produit par le sujet et celles du jury;
— accord du jury, mesuré comme le degré de concordance entre les notes moyennes attribuées à un
produit par les sujets.
4 © ISO 2021 – Tous droits réservés
---------------------- Page: 10 ----------------------
ISO 11132:2021(F)
Pour les évaluations répétées:
— répétabilité d’un sujet, mesurée comme le degré d’homogénéité entre les évaluations répétées du
même produit;
— répétabilité d’un jury, mesurée comme le degré moyen d’homogénéité entre les évaluations répétées
du même produit pour chaque sujet.
4.3 Analyse statistique
Une seule approche cohérente pour l’analyse statistique des résultats est décrite dans le présent
document. Toutefois, certains indicateurs de performance du jury peuvent être évalués par plus d’une
mesure. Par exemple, le carré moyen de l’erreur et l’erreur sur l’écart-type (SD) (sa racine carrée)
expriment tous deux la variabilité dans l'évaluation d'un produit. Il convient que les mesures utilisées
soient celles habituellement employées dans le domaine d’application.
D’autres mesures pertinentes concernant l’accord entre les sujets quant à l’utilisation de l’échelle pour
un attribut sont l’interaction entre sujet et produit et le coefficient de corrélation entre les notes d’un
sujet et les moyennes du jury. Il se peut qu’un sujet n'ait pas de biais mais qu'il utilise l'échelle de manière
différente. Une corrélation proche de 1, une pente de régression proche de 1 et une ordonnée à l’origine
de la droite de régression proche de 0 indiquent un bon accord entre un sujet et le reste du jury.
Lorsque chaque sujet évalue un petit nombre d’échantillons (moins de six), il convient d’interpréter
avec prudence le coefficient de corrélation car il peut être élevé (jusqu’à 0,7) par le seul fait du hasard.
5 Préalables
5.1 Conditions expérimentales
Il convient que les installations d’essai soient conformes à l'ISO 8589.
5.2 Qualification des sujets
Il est recommandé que le jury ait au moins le niveau de qualification et d’expérience de sujets qualifiés/
sélectionnés conformément à l’ISO 8586.
6 Mesurage de la performance à l’aide d’une procédure dédiée
6.1 Sélection des échantillons et des attributs
Lors de chaque étude dédiée, il convient de présenter au jury de sujets un jeu d’échantillons similaires
à ceux que le jury doit examiner lors de l'évaluation des produits et pour lesquels des différences
statistiquement significatives entre au moins deux échantillons sont attendues sur des attributs
pertinents.
Pour s’assurer que tous les aspects clés des produits sont examinés, il convient d’inclure un ensemble
varié d’attributs dans l’essai.
Ces attributs pertinents sont utilisés comme des mesures clés pour évaluer la performance du jury. Il
convient que le jeu d'échantillons comprenne des répétitions. Il convient que le nombre de répétitions
soit identique pour chaque échantillon. Les répétitions peuvent être évaluées au cours d’une seule
séance ou sur deux séances ou plus. Le nombre de sujets, d’échantillons et de répétitions dépend des
produits, attributs sensoriels évalués et de l’objectif du mode opératoire. Par exemple, deux ou trois
répétitions de trois ou quatre échantillons peuvent être utilisées. Il convient de veiller à limiter le
nombre d’évaluations requises en une séance, de façon à éviter la fatigue sensorielle. Il convient que
les attributs des échantillons couvrent l’étendue des valeurs que le jury estime lors de l’évaluation des
produits.
© ISO 2021 – Tous droits réservés 5
---------------------- Page: 11 ----------------------
ISO 11132:2021(F)
6.2 Plans expérimentaux
6.2.1 Généralités
Plusieurs types de plans expérimentaux peuvent être utilisés lors de la procédure dédiée, en fonction
du principal objectif auquel il faut répondre.
6.2.2 Plan en blocs aléatoires
Un plan expérimental en blocs aléatoires peut être utilisé, les sujets étant les «blocs». Ce plan est
approprié lorsqu’aucun effet de report d’un échantillon à l’autre n’est attendu. Sinon, il convient d’utiliser
un plan équilibré (voir 6.2.3).
6.2.3 Plans équilibrés et aléatoires
Si l’on attend un effet de report d’un échantillon à l’autre, un plan expérimental approprié est le carré
[12]
latin de Williams. Le Tableau 1 illustre le carré latin de Williams pour quatre sujets et quatre
échantillons.
Tableau 1 — Carré latin de Williams pour quatre sujets et quatre échantillons
Ordre
Sujet Séance
1 2 3 4
1 1 A B C D
2 1 B D A C
3 1 C A D B
4 1 D C B A
1 2 B D A C
2 2 C A D B
3 2 D C B A
4 2 A B C D
Dans ce plan, chaque sujet évalue les quatre produits dans un ordre différent au cours d’une séance
donnée et, pour chaque sujet, chaque produit en question est suivi d’un produit différent. Par exemple,
au cours de la séance 1, A est suivi d
...
FINAL
INTERNATIONAL ISO/FDIS
DRAFT
STANDARD 11132
ISO/TC 34/SC 12
Sensory analysis — Methodology —
Secretariat: IRAM
Guidelines for the measurement of
Voting begins on:
20210602 the performance of a quantitative
descriptive sensory panel
Voting terminates on:
20210728
ISO/CEN PARALLEL PROCESSING
RECIPIENTS OF THIS DRAFT ARE INVITED TO
SUBMIT, WITH THEIR COMMENTS, NOTIFICATION
OF ANY RELEVANT PATENT RIGHTS OF WHICH
THEY ARE AWARE AND TO PROVIDE SUPPOR TING
DOCUMENTATION.
IN ADDITION TO THEIR EVALUATION AS
Reference number
BEING ACCEPTABLE FOR INDUSTRIAL, TECHNO
ISO/FDIS 11132:2021(E)
LOGICAL, COMMERCIAL AND USER PURPOSES,
DRAFT INTERNATIONAL STANDARDS MAY ON
OCCASION HAVE TO BE CONSIDERED IN THE
LIGHT OF THEIR POTENTIAL TO BECOME STAN
DARDS TO WHICH REFERENCE MAY BE MADE IN
©
NATIONAL REGULATIONS. ISO 2021
---------------------- Page: 1 ----------------------
ISO/FDIS 11132:2021(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2021
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting
on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address
below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii © ISO 2021 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/FDIS 11132:2021(E)
Contents Page
Foreword .iv
Introduction .vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Principle . 3
4.1 Two possible approaches . 3
4.1.1 General. 3
4.1.2 Performance measurement via a dedicated procedure . 3
4.1.3 Ongoing monitoring via routine product profiling . 4
4.2 Indicators of panel or individual assessor performance . 4
4.3 Statistical analyses . 5
5 Prerequisites . 5
5.1 Experimental conditions . 5
5.2 Qualification of assessors . 5
6 Performance measurement via a dedicated procedure . 5
6.1 Sample and attribute selection . 5
6.2 Experimental designs . 5
6.2.1 General. 5
6.2.2 Randomized block design . 6
6.2.3 Balanced and random designs . 6
6.2.4 Same order design . 6
6.3 Statistical analyses . 7
6.4 Performance of the overall panel — Interpretation of statistical output . 9
6.4.1 Key attribute discrimination . 9
6.4.2 Agreement at panel level . 9
6.4.3 Repeatability of the panel .10
6.5 Performance of individual assessors — Interpretation of statistical output .10
6.5.1 Discrimination ability of an assessor .10
6.5.2 Repeatability of an assessor .10
6.5.3 Consistency of an assessor .10
6.5.4 Agreement among assessors .11
6.5.5 Bias — Different use of scale .11
6.6 Performance issues .12
6.6.1 General.12
6.6.2 Panel .12
6.6.3 Individual assessor .12
6.7 Experimental design for following up the performance over time .12
7 Procedure for ongoing monitoring via routine product profiling .12
7.1 Attribute selection .12
7.2 Statistical analyses .12
7.3 Following up the performance over time .12
7.4 Statistical analysis of data over time .12
7.5 Statistical analysis of complete profiles .13
Annex A (informative) Example of a practical application .14
Bibliography .21
© ISO 2021 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO/FDIS 11132:2021(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and nongovernmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/ directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/ patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO’s adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www .iso .org/
iso/ foreword .html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12,
Sensory analysis, in collaboration with the European Committee for Standardization (CEN) Technical
Committee CEN/SS C01, Food Products, in accordance with the Agreement on technical cooperation
between ISO and CEN (Vienna Agreement).
This second edition cancels and replaces the first edition (ISO 11132:2012), which has been technically
revised. The main changes compared with the previous edition are as follows:
— the title has been changed to specify that the document is applicable to descriptive sensory panels;
— the Scope has been revised:
— in order to provide a distinction of application for validation and monitoring, with improved
wording to clarify;
— it has been reduced to measure repeatability only, and reproducibility has been stated to be out
of scope;
— the type of quantitative descriptive sensory panels for which the document is applicable to has
been specified;
— the definitions have been revised and new terminological entries have been added;
— the process for the dedicated procedure has been improved;
— experimental designs have reviewed and augmented;
— statistical analyses related to analysis of variance have been reviewed and augmented to include
more models, especially regarding sessions and panellists (fixed or random) effects and interactions;
— the subclauses (specifically the original 6.4.4 and 7.4) and Annexes B and C related to reproducibility
have been removed to align with the changes to the Scope.
iv © ISO 2021 – All rights reserved
---------------------- Page: 4 ----------------------
ISO/FDIS 11132:2021(E)
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www .iso .org/ members .html.
© ISO 2021 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO/FDIS 11132:2021(E)
Introduction
A panel of assessors can be used as an instrument to identify products’ sensory attributes and to assess
the magnitude of sensory attributes.
Performance is the measure of the ability of a panel or an assessor to make reliable and valid attribute
assessments across the products being evaluated. It can be assessed at a given time point, typically after
a training period (validation) or tracked over time (monitoring). Performance comprises the ability of
a panel to detect, identify and measure an attribute, use attributes in a similar way to other panels or
between assessors within a panel, discriminate between stimuli, use a scale properly, repeat their own
results, and reproduce results in comparison to other panels or assessors.
Measuring performance enables the panel leader to improve panel and assessor output, to identify
issues and retraining needs or to identify assessors who are not performing well enough to continue
participating.
vi © ISO 2021 – All rights reserved
---------------------- Page: 6 ----------------------
FINAL DRAFT INTERNATIONAL STANDARD ISO/FDIS 11132:2021(E)
Sensory analysis — Methodology — Guidelines for the
measurement of the performance of a quantitative
descriptive sensory panel
1 Scope
This document gives guidelines for assessing the overall performance of a quantitative descriptive
panel and the performance of each panel member.
This document is applicable to the validation of the training of individual assessors or panels, as well as
to the performance monitoring of established panels.
This document does not apply to the panel performance for descriptive methods where the individual
scores of each assessor are not recorded, where there is no single list of attributes that is common to all
the assessors, or where dominance rather than intensity is measured. Consequently, the performance
of descriptive panels using methods such as consensus profile, free-choice profile, flash profile and
temporal dominance of sensations (TDS) are out of scope.
The methods specified in this document are for monitoring and assessing the ability of a panel and its
assessors to discriminate between products, the agreement between assessors of the same panel and
the repeatability of these assessors in their intensity scoring.
Reproducibility, including both the comparison between panels and the comparison within the same
panel of several evaluations conducted under different conditions (i.e. separated in time), is out of scope
of this document.
The methods specified in this document can be used, in full or a selection only, by the panel leader to
appraise continuously the performance of panels or individual assessors. The methods listed are not
exhaustive and other appropriate methods can also be used.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 5492, Sensory analysis — Vocabulary
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 5492 and the following apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at http:// www .electropedia .org/
3.1
agreement
ability of different panels or assessors to exhibit the same product differences when assigning scores on
a given attribute to the same set of products
© ISO 2021 – All rights reserved 1
---------------------- Page: 7 ----------------------
ISO/FDIS 11132:2021(E)
3.2
panel drift
phenomenon where a panel, over time, changes in sensitivity or becomes susceptible to biases and as
a consequence changes the location on the scale where an attribute is rated for a constant, reference
product
3.3
performance
ability of a panel or an assessor to make reliable and valid assessments of stimuli and stimulus attributes
3.4
validation
process of establishing that a panel or assessor is able to meet specified performance (3.3) criteria
3.5
session
period of time in which products are assessed
Note 1 to entry: In a single session either one or several products may be assessed by one or several assessors.
For an assessor, whether alone or as part of a panel, sessions are separated in time.
[SOURCE: ISO 5492:2008/Amd.1:2016, 4.63]
3.6
replicate
occurrence of a particular condition in an experimental design
Note 1 to entry: The term usually implies that the occurrence is one of several of the same kind, but it can refer to
a single occurrence. When the condition is performed twice, the wording is “two repetitions”, etc.
Note 2 to entry: To specify more than one occurrence of a condition, the terms “replication” or “replicate session”
are more explicit.
Note 3 to entry: A “replicate session” is a session (3.5) in which the assessors, products, test conditions and task
are the same.
3.7
assessor bias
tendency of an assessor to give scores which are consistently above or below the true score when that is
known or the panel mean when it is not
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.40]
3.8
order bias
arising from a product’s spatial or temporal position relative to a group of products being assessed
Note 1 to entry: The term includes both “position bias” and “sequential bias”.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.42]
3.9
repeatability
agreement (3.1) in assessments of the same products under the same test conditions by the same
assessor or panel
Note 1 to entry: Repeatability can be measured within one session (3.5) or over several distinctly separate
sessions, provided that the replicate (3.6) evaluations are conducted under the test conditions that can be
considered to be the same. If replicate evaluations are conducted in distinctly separate sessions/sittings, the
sessions are generally separated by several days only. In this case, the distinction between repeatability and
reproducibility (3.10) in the short term is minor and relates to the test conditions being considered the same or
not.
2 © ISO 2021 – All rights reserved
---------------------- Page: 8 ----------------------
ISO/FDIS 11132:2021(E)
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.45, modified — Note 1 to entry has been added.]
3.10
reproducibility
agreement (3.1) in assessments of the same products under different test conditions or by different
assessors or panels
Note 1 to entry: Reproducibility may be measured as any of the following:
— the reproducibility of a panel (or an assessor) in the short term, measured between two or more sessions (3.5)
separated by several days;
— the reproducibility of a panel (or an assessor) in the medium or long term, measured among sessions separated
by several months;
— the reproducibility between different panels, in the same laboratory or in different laboratories.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.46]
4 Principle
4.1 Two possible approaches
4.1.1 General
This document is concerned with sensory panels used to assess the magnitude of one or more sensory
attributes in order to make quantitative descriptions or profiles of products (see ISO 13299). Different
methods are appropriate to the measurement of the performance of panels used for difference testing.
The performance of a quantitative sensory panel may be evaluated from panel sessions conducted
specifically for the purpose of obtaining performance (called “dedicated procedure”) by using
assessments already available (called “ongoing monitoring”).
4.1.2 Performance measurement via a dedicated procedure
A dedicated procedure is the method of choice for the certification of individual assessors and for other
validation purposes. For the certification renewal, this dedicated procedure should be repeated at
periodic intervals, as needed. Figure 1 is a flow chart for this procedure.
This approach can typically be used at the end of the training phase of a panel to ensure that the panel
and the individual assessors have achieved the desired level of performance and can be considered as
trained sensory assessors or expert sensory assessors (depending on the performance criteria).
© ISO 2021 – All rights reserved 3
---------------------- Page: 9 ----------------------
ISO/FDIS 11132:2021(E)
Figure 1 — Process steps for the performance measurement via a dedicated procedure
4.1.3 Ongoing monitoring via routine product profiling
Another approach consists of monitoring profile data that was already collected. To review ongoing
profile data generated by a panel, it can be appropriate to use data that originated from quite different
profiling experiments using different product types, product numbers, etc. The procedure is the
same as that shown in Figure 1. However, as there are no predefined differences, it is recommended
that attributes for which the products are significantly discriminated by the panel as a whole for a
given profile be used as the key measures to check the performance of individual sensory assessors.
Attributes that result in no significant difference cannot be reliably used to check consistency since the
lack of agreement within and between sensory assessors probably means that the products are very
similar for those characteristics.
In this case, over a given period, it will be necessary to check on a set of products more different that
the panel is indeed capable of highlighting difference in these characteristics.
4.2 Indicators of panel or individual assessor performance
For one assessment, the following indicators can be determined:
— discrimination of the panel, measured as the ability of the panel to exhibit significant differences
among products;
— discrimination of an assessor, measured as the ability of the assessor to exhibit significant differences
among products;
— agreement of an assessor, measured as the degree of alignment between the assessor’s average
product scores and the ones of the panel;
— agreement of the panel, measured as the degree of alignment between the assessors’ average
product scores.
For replicate assessments:
— repeatability of an assessor, measured as the degree of homogeneity between replicated assessments
of the same product;
4 © ISO 2021 – All rights reserved
---------------------- Page: 10 ----------------------
ISO/FDIS 11132:2021(E)
— repeatability of a panel, measured as the average degree of homogeneity between replicated
assessments of the same product for each assessor.
4.3 Statistical analyses
A single, consistent approach to statistical analysis of the results is described in this document. However,
some indicators of panel performance can be assessed by more than one measure. For instance, error
mean square and error standard deviation (SD) (its square root) both express variability in the
evaluation of a product. The measures used should be those that are usual in the field of application.
Other relevant measures of agreement between assessors in the use of the scale for an attribute are the
interaction of assessor and product and the coefficient of correlation between an assessor’s scores and
the panel means. An assessor may have no bias but may use the scale in a different way. A correlation
close to 1, a regression slope close to 1 and a regression intercept close to 0 indicate good agreement
between an assessor and the rest of the panel.
When each assessor evaluates a small number of samples (fewer than six), the correlation coefficient
should be interpreted with caution, as it can be high (up to 0,7) by chance alone.
5 Prerequisites
5.1 Experimental conditions
The test facilities should be in accordance with ISO 8589.
5.2 Qualification of assessors
The panel should have the level of qualification and experience of selected/screened assessors in
accordance with ISO 8586 or higher.
6 Performance measurement via a dedicated procedure
6.1 Sample and attribute selection
At each dedicated study, the panel of assessors should be presented with a set of samples similar to those
the panel are to assess when evaluating products and for which statistically significant differences
between at least one pair of the samples are expected for the list of relevant attributes.
In order to ensure that all key aspects of the products are examined, an adequately diverse set of
attributes should be included in the test.
These relevant attributes are used as key measures against which to assess panel performance. The
sample set should include replicates. There should be the same number of replicates of each sample.
The replicates can be evaluated within a single session or over two or more sessions. The number of
assessors, samples and replicates depends on the products, sensory attributes assessed and purpose
of the procedure. For example, two or three replicates of three or four samples might be used. Care
should be taken to limit the number of assessments required in a session, so as to avoid sensory fatigue.
The attributes of the samples should be similar to the range of values that the panel assesses when
evaluating products.
6.2 Experimental designs
6.2.1 General
Several types of experimental designs can be used in the dedicated procedure, depending on the most
important objective to answer.
© ISO 2021 – All rights reserved 5
---------------------- Page: 11 ----------------------
ISO/FDIS 11132:2021(E)
6.2.2 Randomized block design
A randomized block experimental design can be used, in which the assessors are the “blocks”. This
design is appropriate when no carry-over effect from one sample to the next is expected. Otherwise, a
balanced design should be used instead (see 6.2.3).
6.2.3 Balanced and random designs
If a carry-over effect is expected from one sample to the next, a suitable experimental design is the
[12]
Williams Latin square . Table 1 shows the Williams Latin square design with four assessors and four
samples.
Table 1 — Williams Latin square design for four assessors and four samples
Order
Assessor Session
1 2 3 4
1 1 A B C D
2 1 B D A C
3 1 C A D B
4 1 D C B A
1 2 B D A C
2 2 C A D B
3 2 D C B A
4 2 A B C D
In this design, each assessor samples the four products in a different order in a given session and
any particular product is followed by a different one for each assessor. For example, in session 1, A is
followed by B for assessor 1, C for assessor 2, D for assessor 3 and none for assessor 4.
For each replicate of the products’ evaluation, it is recommended to use a different product order for
each assessor, in order to reduce the order effect and the carry-over effect.
If multiples of four assessors are available, the same design can be repeated for each set of four.
It is also possible to choose a random product order design, i.e. to randomly affect each product to each
position in each session.
The advantage of these approaches is to minimize the carry-over effect at panel level and therefore
get better estimates of the product means at panel level for performance evaluation. However, if the
product order does have an impact, the agreement between assessors will be impacted because each
assessor will not experience the same product order. In order to compare the assessors on the exact
same task, the same product order can be used for all sensory assessors (see 6.2.4).
6.2.4 Same order design
In order to focus on individual assessor performance and, in an effort to compare assessors under the
most similar conditions, an alternative design is proposed, whereby all assessors evaluate the products
in the same order, see Table 2.
6 © ISO 2021 – All rights reserved
---------------------- Page: 12 ----------------------
ISO/FDIS 11132:2021(E)
Table 2 — Same order design for four assessors and four samples
Order
Assess
...
PROJET
NORME ISO/FDIS
FINAL
INTERNATIONALE 11132
ISO/TC 34/SC 12
Analyse sensorielle — Méthodologie
Secrétariat: IRAM
— Lignes directrices pour le mesurage
Début de vote:
2021-06-02 de la performance d'un jury descriptif
quantitatif
Vote clos le:
2021-07-28
Sensory analysis — Methodology — Guidelines for the measurement
of the performance of a quantitative descriptive sensory panel
LES DESTINATAIRES DU PRÉSENT PROJET SONT
INVITÉS À PRÉSENTER, AVEC LEURS OBSER-
VATIONS, NOTIFICATION DES DROITS DE PRO-
TRAITEMENT PARALLÈLE ISO/CEN
PRIÉTÉ DONT ILS AURAIENT ÉVENTUELLEMENT
CONNAISSANCE ET À FOURNIR UNE DOCUMEN-
TATION EXPLICATIVE.
OUTRE LE FAIT D’ÊTRE EXAMINÉS POUR
ÉTABLIR S’ILS SONT ACCEPTABLES À DES FINS
INDUSTRIELLES, TECHNOLOGIQUES ET COM-
Numéro de référence
MERCIALES, AINSI QUE DU POINT DE VUE
ISO/FDIS 11132:2021(F)
DES UTILISATEURS, LES PROJETS DE NORMES
INTERNATIONALES DOIVENT PARFOIS ÊTRE
CONSIDÉRÉS DU POINT DE VUE DE LEUR POSSI-
BILITÉ DE DEVENIR DES NORMES POUVANT
SERVIR DE RÉFÉRENCE DANS LA RÉGLEMENTA-
©
TION NATIONALE. ISO 2021
---------------------- Page: 1 ----------------------
ISO/FDIS 11132:2021(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2021
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii © ISO 2021 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO/FDIS 11132:2021(F)
Sommaire Page
Avant-propos .iv
Introduction .vi
1 Domaine d'application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Principe . 3
4.1 Deux approches possibles . 3
4.1.1 Généralités . 3
4.1.2 Mesurage de la performance à l’aide d’une procédure dédiée . 3
4.1.3 Contrôle continu à l’aide de profils sensoriels de routine . 4
4.2 Indicateurs de performance d’un jury ou d’un sujet . 4
4.3 Analyse statistique . 5
5 Préalables . 5
5.1 Conditions expérimentales . 5
5.2 Qualification des sujets . 5
6 Mesurage de la performance à l’aide d’une procédure dédiée . 5
6.1 Sélection des échantillons et des attributs . 5
6.2 Plans expérimentaux . 6
6.2.1 Généralités . 6
6.2.2 Plan en blocs aléatoires . . 6
6.2.3 Plans équilibrés et aléatoires . 6
6.2.4 Plan dans le même ordre . 7
6.3 Analyse statistique . 7
6.4 Performance de l’ensemble du jury — Interprétation du résultat statistique . 9
6.4.1 Discrimination des attributs clés . 9
6.4.2 Accord au niveau du jury .10
6.4.3 Répétabilité du jury .10
6.5 Performance de chaque sujet — Interprétation du résultat statistique .10
6.5.1 Capacité de discrimination d'un sujet .10
6.5.2 Répétabilité d’un sujet .11
6.5.3 Cohérence d’un sujet .11
6.5.4 Accord entre les sujets .11
6.5.5 Biais — Utilisation différente de l’échelle .11
6.6 Problèmes de performance .12
6.6.1 Généralités .12
6.6.2 Jury . .12
6.6.3 Sujet individuel.12
6.7 Plan expérimental pour suivre la performance au fil du temps .12
7 Mode opératoire de contrôle continu à l’aide de profils sensoriels de routine .12
7.1 Sélection des attributs .12
7.2 Analyse statistique .13
7.3 Suivi de la performance au fil du temps .13
7.4 Analyse statistique des données au fil du temps .13
7.5 Analyse statistique de profils complets .13
Annexe A (informative) Exemple d’application pratique .14
Bibliographie .21
© ISO 2021 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO/FDIS 11132:2021(F)
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/ directives).
L’attention est attirée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de
brevets rédigées par l’ISO (voir www .iso .org/ brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, de la signification des termes et expressions
spécifiques de l’ISO liés à l’évaluation de la conformité, ou pour toute autre information au sujet de
l’adhésion de l’ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les
obstacles techniques au commerce (OTC), voir le lien suivant: www .iso .org/ iso/ fr/ avant -propos .html.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-
comité SC 12, Analyse sensorielle, en collaboration avec le comité technique CEN/SS C01, Produits
alimentaires, du Comité européen de normalisation (CEN), conformément à l'Accord de coopération
technique entre l'ISO et le CEN (Accord de Vienne).
Cette deuxième édition annule et remplace la première édition (ISO 11132:2012), qui a fait l'objet d'une
révision technique. Les principales modifications par rapport à l’édition précédente sont les suivantes:
— le titre a été modifié pour spécifier que le document est applicable aux jurys descriptifs;
— le domaine d’application a été revu:
— pour différencier l’application de validation et de surveillance, avec une formulation plus claire;
— la décision a été prise de mesurer uniquement la répétabilité et de considérer la reproductibilité
comme en dehors du domaine d’application;
— le type de jurys descriptifs quantitatifs pour lesquels le document est applicable a été spécifié;
— les définitions ont été revues et de nouvelles entrées terminologiques ont été ajoutées;
— le processus applicable au mode opératoire dédié a été amélioré;
— les plans expérimentaux ont été revus et complétés;
— les analyses statistiques en rapport avec l’analyse de variance ont été revues et complétées pour
inclure davantage de modèles, notamment en ce qui concerne les effets (fixes ou aléatoires) et
interactions entre séances et membres du jury;
iv © ISO 2021 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO/FDIS 11132:2021(F)
— les paragraphes (notamment les paragraphes 6.4.4 et 7.4 d’origine) ainsi que les Annexes B et C en
rapport avec la reproductibilité ont été supprimés pour être conformes aux modifications apportées
au domaine d’application.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l'adresse www .iso .org/ members .html.
© ISO 2021 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO/FDIS 11132:2021(F)
Introduction
Un jury de sujets peut être utilisé comme un instrument pour identifier les attributs sensoriels de
produits et pour évaluer l’intensité des attributs sensoriels.
La performance est la mesure de la capacité d’un jury ou d’un sujet à effectuer des jugements fiables
et valides d’attributs concernant les produits à évaluer. Elle peut être contrôlée à un moment donné,
généralement après une période d’entraînement (validation) ou suivie au fil du temps (contrôle). La
performance comprend la capacité d’un jury à détecter, identifier et mesurer un attribut, à utiliser les
attributs de la même manière que d’autres jurys ou entre les sujets d’un jury, à différencier les stimulus,
à utiliser correctement une échelle, à répéter ses propres résultats et à reproduire les résultats d’autres
jurys ou sujets.
Le mesurage de la performance permet au responsable du jury d’améliorer les résultats du jury et des
sujets, d’identifier les problèmes et les besoins de remise à niveau ou d’identifier les sujets qui ne sont
pas suffisamment performants pour continuer à participer.
vi © ISO 2021 – Tous droits réservés
---------------------- Page: 6 ----------------------
PROJET FINAL DE NORME INTERNATIONALE ISO/FDIS 11132:2021(F)
Analyse sensorielle — Méthodologie — Lignes directrices
pour le mesurage de la performance d'un jury descriptif
quantitatif
1 Domaine d'application
Le présent document donne des lignes directrices pour évaluer la performance globale d’un jury
descriptif quantitatif et la performance de chaque membre du jury.
Le présent document est applicable à la validation de l’entraînement des sujets ou des jurys, ainsi qu’au
contrôle de la performance des jurys établis.
Le présent document ne s’applique pas à la performance du jury pour les méthodes descriptives dans
lesquelles les notes individuelles de chaque sujet ne sont pas enregistrées, dans lesquelles il n’existe
pas une liste unique d’attributs communs à tous les sujets, ou dans lesquelles la dominance plutôt que
l’intensité est mesurée. Par conséquent, la performance des jurys descriptifs utilisant des méthodes
telles que le profil par consensus, le profil libre choix, le profil flash et la dominance temporelle des
sensations (DTS) ne fait pas partie du domaine d’application.
Les méthodes spécifiées dans le présent document servent à contrôler et évaluer la capacité d’un jury et
de ses sujets à discriminer les produits, l’accord entre les sujets d’un même jury et la répétabilité de ces
sujets lorsqu’ils attribuent des notes d’intensité.
La reproductibilité, y compris la comparaison entre jurys et la comparaison au sein d’un même jury, de
plusieurs évaluations effectuées sous différentes conditions (c’est-à-dire, séparées dans le temps), ne
fait pas partie du domaine d’application du présent document.
Les méthodes spécifiées dans le présent document peuvent être utilisées, en totalité ou en partie, par
le responsable du jury pour évaluer de façon continue la performance du jury ou de chaque sujet. Les
méthodes énumérées ne sont pas exhaustives et d’autres méthodes appropriées peuvent également
être utilisées.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.
Pour les références non datées, la dernière édition du document de référence s'applique (y compris les
éventuels amendements).
ISO 5492, Analyse sensorielle — Vocabulaire
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 5492 ainsi que les
suivants s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l’adresse http:// www .electropedia .org/
© ISO 2021 – Tous droits réservés 1
---------------------- Page: 7 ----------------------
ISO/FDIS 11132:2021(F)
3.1
accord
capacité de jurys ou de sujets différents à démontrer les mêmes différences entre les produits lors de
l’attribution de notes sur un attribut donné au même groupe de produits
3.2
dérive du jury
phénomène par lequel un jury, au fil du temps, change en sensibilité ou devient sensible à des biais et
qui, en conséquence, pour un produit de référence constant, modifie la position sur l’échelle sur laquelle
un attribut est noté
3.3
performance
capacité d’un jury ou d’un sujet à réaliser des évaluations fiables et valides sur des stimulus et des
attributs de stimulus
3.4
validation
processus consistant à établir qu’un jury ou sujet est capable de remplir les critères de performance
(3.3) spécifiés
3.5
séance
période de temps pendant laquelle les produits sont évalués
Note 1 à l'article: En une séance, un ou plusieurs produits peuvent être évalués par un ou plusieurs sujets. Pour
un sujet, qu’il soit seul ou membre d’un jury, les séances sont séparées dans le temps.
[SOURCE: ISO 5492:2008/Amd.1:2016, 4.63]
3.6
répétition
occurrence d’une condition particulière dans un plan expérimental
Note 1 à l'article: Le terme implique d’habitude qu’il s’agit de l’occurrence d’une condition parmi plusieurs de
même nature, mais il peut faire référence à une seule occurrence. Lorsque la condition est mise en œuvre deux
fois, on peut parler de deux répétitions, etc.
Note 2 à l'article: Pour spécifier plus d’une occurrence d’une condition, les termes «réplication» ou «séance
répliquée» sont plus explicites.
Note 3 à l'article: Une «séance répliquée» est une séance (3.5) dans laquelle les sujets, produits, conditions d’essai
et tâches sont identiques.
3.7
biais lié au sujet
tendance d’un sujet à attribuer des notes sensiblement supérieures ou inférieures à la vraie note
lorsqu’elle est connue, ou à la moyenne du jury lorsque la vraie note n’est pas connue
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.40]
3.8
biais lié à l’ordre
biais lié à la position spatiale ou temporelle d’un produit par rapport à un groupe de produits évalués
Note 1 à l'article: Le terme comprend à la fois le «biais de position» et le «biais séquentiel».
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.42]
2 © ISO 2021 – Tous droits réservés
---------------------- Page: 8 ----------------------
ISO/FDIS 11132:2021(F)
3.9
répétabilité
concordance (3.1) des évaluations des mêmes produits, dans les même conditions d’essai, par un même
sujet ou un même jury
Note 1 à l'article: La répétabilité peut être mesurée pendant une séance (3.5) ou pendant plusieurs séances
distinctement séparées, à condition que les évaluations répétées (3.6) soient effectuées dans les conditions d’essai
qui peuvent être considérées comme identiques. Si des évaluations répétées sont effectuées au cours de séances/
séances distinctement séparées, les séances sont généralement séparées de plusieurs jours seulement. Dans ce
cas, la distinction entre répétabilité et reproductibilité (3.10) à court terme est mineure et concerne les conditions
d’essai considérées identiques ou non.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.45, modifié — La Note 1 à l’article a été ajoutée.]
3.10
reproductibilité
concordance (3.1) des évaluations des mêmes produits, dans des conditions d’essai différentes ou par
des sujets ou des jurys différents
Note 1 à l'article: La reproductibilité peut être mesurée comme suit:
— reproductibilité d’un jury (ou d’un sujet) à court terme, mesurée entre deux séances (3.5) ou plus réalisées à
plusieurs jours d’intervalle;
— reproductibilité d’un jury (ou d’un sujet) à moyen ou long terme, mesurée entre des séances réalisées à
plusieurs mois d’intervalle;
— reproductibilité entre différents jurys, dans le même laboratoire ou dans différents laboratoires.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.46]
4 Principe
4.1 Deux approches possibles
4.1.1 Généralités
Le présent document concerne les jurys utilisés pour évaluer l’intensité d’un ou de plusieurs attributs
sensoriels afin de réaliser des descriptions ou des profils quantitatifs de produits (voir l’ISO 13299).
Différentes méthodes sont appropriées pour mesurer la performance des jurys utilisés pour analyser
des différences.
La performance d’un jury quantitatif peut être évaluée soit en utilisant les séances réalisées
spécialement dans le but d’obtenir des données de performance (appelées «procédure dédiée ») soit en
utilisant les évaluations déjà disponibles (appelées «contrôle continu »).
4.1.2 Mesurage de la performance à l’aide d’une procédure dédiée
Une procédure dédiée est une méthode de choix pour la certification de chaque sujet et pour d’autres
besoins de validation. Pour le renouvellement de la certification, il convient de répéter cette procédure
dédiée à intervalles réguliers, si besoin. Un logigramme de cette procédure est donné à la Figure 1.
Cette approche peut être généralement utilisée à la fin de la phase d’entraînement d’un jury, pour
s’assurer que le jury ou que chaque sujet a atteint le niveau de performance souhaité et qu’il peut être
considéré comme sujet qualifié ou sujet expert (selon les critères de performance).
© ISO 2021 – Tous droits réservés 3
---------------------- Page: 9 ----------------------
ISO/FDIS 11132:2021(F)
Figure 1 — Logigramme du mesurage de la performance à l’aide d’une procédure dédiée
4.1.3 Contrôle continu à l’aide de profils sensoriels de routine
Une autre approche consiste à contrôler les données de profil déjà collectées. Pour examiner des
données de profil générées par un jury, il peut être approprié d’utiliser des données qui proviennent
d’expériences de profil bien différentes en employant différents types de produits, nombres de
produits, etc. La procédure est la même que celle indiquée à la Figure 1. Cependant, comme il n’y a
aucune différence prédéfinie, il est recommandé que les attributs pour lesquels les produits sont
significativement discriminés par l’ensemble du jury, pour un profil donné, soient ensuite utilisés
comme mesures clés pour contrôler la performance de chaque sujet. Les attributs pour lesquels aucune
différence n’est observée ne peuvent pas être utilisés de manière fiable pour contrôler la cohérence;
en effet, l’absence de concordance chez un sujet et entre les sujets signifie vraisemblablement que les
produits sont très similaires pour ces caractéristiques.
Dans ce cas, sur une période donnée, il sera nécessaire de contrôler à l’aide d’un ensemble de produits
plus différents que le jury est en effet capable de percevoir des différences sur ces caractéristiques.
4.2 Indicateurs de performance d’un jury ou d’un sujet
Pour une évaluation, les indicateurs suivants peuvent être déterminés:
— discrimination du jury, mesurée comme la capacité du jury à mettre en évidence des différences
significatives entre les produits;
— discrimination d’un sujet, mesurée comme la capacité du sujet à mettre en évidence des différences
significatives entre les produits;
— accord d’un sujet, mesuré comme le degré de concordance entre les notes moyennes attribuées à un
produit par le sujet et celles du jury;
— accord du jury, mesuré comme le degré de concordance entre les notes moyennes attribuées à un
produit par les sujets.
4 © ISO 2021 – Tous droits réservés
---------------------- Page: 10 ----------------------
ISO/FDIS 11132:2021(F)
Pour les évaluations répétées:
— répétabilité d’un sujet, mesurée comme le degré d’homogénéité entre les évaluations répétées du
même produit;
— répétabilité d’un jury, mesurée comme le degré moyen d’homogénéité entre les évaluations répétées
du même produit pour chaque sujet.
4.3 Analyse statistique
Une seule approche cohérente pour l’analyse statistique des résultats est décrite dans le présent
document. Toutefois, certains indicateurs de performance du jury peuvent être évalués par plus d’une
mesure. Par exemple, le carré moyen de l’erreur et l’erreur sur l’écart-type (SD) (sa racine carrée)
expriment tous deux la variabilité dans l'évaluation d'un produit. Il convient que les mesures utilisées
soient celles habituellement employées dans le domaine d’application.
D’autres mesures pertinentes concernant l’accord entre les sujets quant à l’utilisation de l’échelle pour
un attribut sont l’interaction entre sujet et produit et le coefficient de corrélation entre les notes d’un
sujet et les moyennes du jury. Il se peut qu’un sujet n'ait pas de biais mais qu'il utilise l'échelle de manière
différente. Une corrélation proche de 1, une pente de régression proche de 1 et une ordonnée à l’origine
de la droite de régression proche de 0 indiquent un bon accord entre un sujet et le reste du jury.
Lorsque chaque sujet évalue un petit nombre d’échantillons (moins de six), il convient d’interpréter
avec prudence le coefficient de corrélation car il peut être élevé (jusqu’à 0,7) par le seul fait du hasard.
5 Préalables
5.1 Conditions expérimentales
Il convient que les installations d’essai soient conformes à l'ISO 8589.
5.2 Qualification des sujets
Il est recommandé que le jury ait au moins le niveau de qualification et d’expérience de sujets qualifiés/
sélectionnés conformément à l’ISO 8586.
6 Mesurage de la performance à l’aide d’une procédure dédiée
6.1 Sélection des échantillons et des attributs
Lors de chaque étude dédiée, il convient de présenter au jury de sujets un jeu d’échantillons similaires
à ceux que le jury doit examiner lors de l'évaluation des produits et pour lesquels des différences
statistiquement significatives entre au moins deux échantillons sont attendues sur des attributs
pertinents.
Pour s’assurer que tous les aspects clés des produits sont examinés, il convient d’inclure un ensemble
varié d’attributs dans l’essai.
Ces attributs pertinents sont utilisés comme des mesures clés pour évaluer la performance du jury. Il
convient que le jeu d'échantillons comprenne des répétitions. Il convient que le nombre de répétitions
soit identique pour chaque échantillon. Les répétitions peuvent être évaluées au cours d’une seule
séance ou sur deux séances ou plus. Le nombre de sujets, d’échantillons et de répétitions dépend des
produits, attributs sensoriels évalués et de l’objectif du mode opératoire. Par exemple, deux ou trois
répétitions de trois ou quatre échantillons peuvent être utilisées. Il convient de veiller à limiter le
nombre d’évaluations requises en une séance, de façon à éviter la fatigue sensorielle. Il convient que
les attributs des échantillons couvrent l’étendue des valeurs que le jury estime lors de l’évaluation des
produits.
© ISO 2021 – Tous droits réservés 5
---------------------- Page: 11 ----------------------
ISO/FDIS 11132:2021(F)
6.2 Plans expérimentaux
6.2.1 Généralités
Plusieurs types de plans expérimentaux peuvent être utilisés lors de la procédure dédiée, en fonction
du principal objectif auquel il faut répondre.
6.2.2 Plan en blocs aléatoires
Un plan expérimental en blocs aléatoires peut être utilisé, les sujets étant les «blocs». Ce plan est
approprié lorsqu’aucun effet
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.