ISO/FDIS 11132

Sensory analysis -- Methodology -- Guidelines for the measurement of the performance of a quantitative descriptive sensory panel

Analyse sensorielle -- Méthodologie -- Lignes directrices pour le mesurage de la performance d'un jury descriptif quantitatif

General Information

• Status: Published
• ICS: 67.240 - Sensory analysis
• Technical Committee: ISO/TC 34/SC 12 - Sensory analysis
• Drafting Committee: ISO/TC 34/SC 12/WG 2 - Panel selection, training and monitoring
• Current Stage: 5020 - FDIS ballot initiated: 2 months. Proof sent to secretariat
• Start Date: 02-Jun-2021
• Completion Date: 02-Jun-2021

RELATIONS

• Revised: ISO 11132:2012 - Sensory analysis -- Methodology -- Guidelines for monitoring the performance of a quantitative sensory panel
• Effective Date: 23-Apr-2020

Standards Content (sample)

FINAL
INTERNATIONAL ISO/FDIS
DRAFT
STANDARD 11132
ISO/TC 34/SC 12
Sensory analysis — Methodology —
Secretariat: IRAM
Guidelines for the measurement of
Voting begins on:
2021­06­02 the performance of a quantitative
descriptive sensory panel
Voting terminates on:
2021­07­28
ISO/CEN PARALLEL PROCESSING
RECIPIENTS OF THIS DRAFT ARE INVITED TO
SUBMIT, WITH THEIR COMMENTS, NOTIFICATION
OF ANY RELEVANT PATENT RIGHTS OF WHICH
THEY ARE AWARE AND TO PROVIDE SUPPOR TING
DOCUMENTATION.
IN ADDITION TO THEIR EVALUATION AS
Reference number
BEING ACCEPTABLE FOR INDUSTRIAL, TECHNO­
ISO/FDIS 11132:2021(E)
LOGICAL, COMMERCIAL AND USER PURPOSES,
DRAFT INTERNATIONAL STANDARDS MAY ON
OCCASION HAVE TO BE CONSIDERED IN THE
LIGHT OF THEIR POTENTIAL TO BECOME STAN­
DARDS TO WHICH REFERENCE MAY BE MADE IN
NATIONAL REGULATIONS. ISO 2021
---------------------- Page: 1 ----------------------
ISO/FDIS 11132:2021(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2021

All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may

be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting

on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address

below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH­1214 Vernier, Geneva
Phone: [phone]
Email: [e-mail]
Website: www.iso.org
Published in Switzerland
ii © ISO 2021 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/FDIS 11132:2021(E)
Contents Page

Foreword ........................................................................................................................................................................................................................................iv

Introduction ................................................................................................................................................................................................................................vi

1 Scope ................................................................................................................................................................................................................................. 1

2 Normative references ...................................................................................................................................................................................... 1

3 Terms and definitions ..................................................................................................................................................................................... 1

4 Principle ........................................................................................................................................................................................................................ 3

4.1 Two possible approaches ............................................................................................................................................................... 3

4.1.1 General...................................................................................................................................................................................... 3

4.1.2 Performance measurement via a dedicated procedure ................................................................. 3

4.1.3 Ongoing monitoring via routine product profiling ............................................................................ 4

4.2 Indicators of panel or individual assessor performance .................................................................................... 4

4.3 Statistical analyses ............................................................................................................................................................................... 5

5 Prerequisites ............................................................................................................................................................................................................ 5

5.1 Experimental conditions ................................................................................................................................................................ 5

5.2 Qualification of assessors .............................................................................................................................................................. 5

6 Performance measurement via a dedicated procedure .............................................................................................. 5

6.1 Sample and attribute selection ................................................................................................................................................. 5

6.2 Experimental designs ........................................................................................................................................................................ 5

6.2.1 General...................................................................................................................................................................................... 5

6.2.2 Randomized block design ........................................................................................................................................ 6

6.2.3 Balanced and random designs ............................................................................................................................. 6

6.2.4 Same order design .......................................................................................................................................................... 6

6.3 Statistical analyses ............................................................................................................................................................................... 7

6.4 Performance of the overall panel — Interpretation of statistical output ............................................. 9

6.4.1 Key attribute discrimination ................................................................................................................................. 9

6.4.2 Agreement at panel level .......................................................................................................................................... 9

6.4.3 Repeatability of the panel .....................................................................................................................................10

6.5 Performance of individual assessors — Interpretation of statistical output .................................10

6.5.1 Discrimination ability of an assessor ..........................................................................................................10

6.5.2 Repeatability of an assessor ................................................................................................................................10

6.5.3 Consistency of an assessor ...................................................................................................................................10

6.5.4 Agreement among assessors ..............................................................................................................................11

6.5.5 Bias — Different use of scale ..............................................................................................................................11

6.6 Performance issues ..........................................................................................................................................................................12

6.6.1 General...................................................................................................................................................................................12

6.6.2 Panel ........................................................................................................................................................................................12

6.6.3 Individual assessor .....................................................................................................................................................12

6.7 Experimental design for following up the performance over time ........................................................12

7 Procedure for ongoing monitoring via routine product profiling .................................................................12

7.1 Attribute selection ............................................................................................................................................................................12

7.2 Statistical analyses ............................................................................................................................................................................12

7.3 Following up the performance over time ......................................................................................................................12

7.4 Statistical analysis of data over time .................................................................................................................................12

7.5 Statistical analysis of complete profiles .........................................................................................................................13

Annex A (informative) Example of a practical application .........................................................................................................14

Bibliography .............................................................................................................................................................................................................................21

© ISO 2021 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO/FDIS 11132:2021(E)
Foreword

ISO (the International Organization for Standardization) is a worldwide federation of national standards

bodies (ISO member bodies). The work of preparing International Standards is normally carried out

through ISO technical committees. Each member body interested in a subject for which a technical

committee has been established has the right to be represented on that committee. International

organizations, governmental and non­governmental, in liaison with ISO, also take part in the work.

ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of

electrotechnical standardization.

The procedures used to develop this document and those intended for its further maintenance are

described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the

different types of ISO documents should be noted. This document was drafted in accordance with the

editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/ directives).

Attention is drawn to the possibility that some of the elements of this document may be the subject of

patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of

any patent rights identified during the development of the document will be in the Introduction and/or

on the ISO list of patent declarations received (see www .iso .org/ patents).

Any trade name used in this document is information given for the convenience of users and does not

constitute an endorsement.

For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and

expressions related to conformity assessment, as well as information about ISO’s adherence to the

World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www .iso .org/

iso/ foreword .html.

This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12,

Sensory analysis, in collaboration with the European Committee for Standardization (CEN) Technical

Committee CEN/SS C01, Food Products, in accordance with the Agreement on technical cooperation

between ISO and CEN (Vienna Agreement).

This second edition cancels and replaces the first edition (ISO 11132:2012), which has been technically

revised. The main changes compared with the previous edition are as follows:

— the title has been changed to specify that the document is applicable to descriptive sensory panels;

— the Scope has been revised:

— in order to provide a distinction of application for validation and monitoring, with improved

wording to clarify;

— it has been reduced to measure repeatability only, and reproducibility has been stated to be out

of scope;

— the type of quantitative descriptive sensory panels for which the document is applicable to has

been specified;

— the definitions have been revised and new terminological entries have been added;

— the process for the dedicated procedure has been improved;
— experimental designs have reviewed and augmented;

— statistical analyses related to analysis of variance have been reviewed and augmented to include

more models, especially regarding sessions and panellists (fixed or random) effects and interactions;

— the subclauses (specifically the original 6.4.4 and 7.4) and Annexes B and C related to reproducibility

have been removed to align with the changes to the Scope.
iv © ISO 2021 – All rights reserved
---------------------- Page: 4 ----------------------
ISO/FDIS 11132:2021(E)

Any feedback or questions on this document should be directed to the user’s national standards body. A

complete listing of these bodies can be found at www .iso .org/ members .html.
© ISO 2021 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO/FDIS 11132:2021(E)
Introduction

A panel of assessors can be used as an instrument to identify products’ sensory attributes and to assess

the magnitude of sensory attributes.

Performance is the measure of the ability of a panel or an assessor to make reliable and valid attribute

assessments across the products being evaluated. It can be assessed at a given time point, typically after

a training period (validation) or tracked over time (monitoring). Performance comprises the ability of

a panel to detect, identify and measure an attribute, use attributes in a similar way to other panels or

between assessors within a panel, discriminate between stimuli, use a scale properly, repeat their own

results, and reproduce results in comparison to other panels or assessors.

Measuring performance enables the panel leader to improve panel and assessor output, to identify

issues and retraining needs or to identify assessors who are not performing well enough to continue

participating.
vi © ISO 2021 – All rights reserved
---------------------- Page: 6 ----------------------
FINAL DRAFT INTERNATIONAL STANDARD ISO/FDIS 11132:2021(E)
Sensory analysis — Methodology — Guidelines for the
measurement of the performance of a quantitative
descriptive sensory panel
1 Scope

This document gives guidelines for assessing the overall performance of a quantitative descriptive

panel and the performance of each panel member.

This document is applicable to the validation of the training of individual assessors or panels, as well as

to the performance monitoring of established panels.

This document does not apply to the panel performance for descriptive methods where the individual

scores of each assessor are not recorded, where there is no single list of attributes that is common to all

the assessors, or where dominance rather than intensity is measured. Consequently, the performance

of descriptive panels using methods such as consensus profile, free-choice profile, flash profile and

temporal dominance of sensations (TDS) are out of scope.

The methods specified in this document are for monitoring and assessing the ability of a panel and its

assessors to discriminate between products, the agreement between assessors of the same panel and

the repeatability of these assessors in their intensity scoring.

Reproducibility, including both the comparison between panels and the comparison within the same

panel of several evaluations conducted under different conditions (i.e. separated in time), is out of scope

of this document.

The methods specified in this document can be used, in full or a selection only, by the panel leader to

appraise continuously the performance of panels or individual assessors. The methods listed are not

exhaustive and other appropriate methods can also be used.
2 Normative references

The following documents are referred to in the text in such a way that some or all of their content

constitutes requirements of this document. For dated references, only the edition cited applies. For

undated references, the latest edition of the referenced document (including any amendments) applies.

ISO 5492, Sensory analysis — Vocabulary
3 Terms and definitions

For the purposes of this document, the terms and definitions given in ISO 5492 and the following apply.

ISO and IEC maintain terminological databases for use in standardization at the following addresses:

— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at http:// www .electropedia .org/
3.1
agreement

ability of different panels or assessors to exhibit the same product differences when assigning scores on

a given attribute to the same set of products
© ISO 2021 – All rights reserved 1
---------------------- Page: 7 ----------------------
ISO/FDIS 11132:2021(E)
3.2
panel drift

phenomenon where a panel, over time, changes in sensitivity or becomes susceptible to biases and as

a consequence changes the location on the scale where an attribute is rated for a constant, reference

product
3.3
performance

ability of a panel or an assessor to make reliable and valid assessments of stimuli and stimulus attributes

3.4
validation

process of establishing that a panel or assessor is able to meet specified performance (3.3) criteria

3.5
session
period of time in which products are assessed

Note 1 to entry: In a single session either one or several products may be assessed by one or several assessors.

For an assessor, whether alone or as part of a panel, sessions are separated in time.

[SOURCE: ISO 5492:2008/Amd.1:2016, 4.63]
3.6
replicate
occurrence of a particular condition in an experimental design

Note 1 to entry: The term usually implies that the occurrence is one of several of the same kind, but it can refer to

a single occurrence. When the condition is performed twice, the wording is “two repetitions”, etc.

Note 2 to entry: To specify more than one occurrence of a condition, the terms “replication” or “replicate session”

are more explicit.

Note 3 to entry: A “replicate session” is a session (3.5) in which the assessors, products, test conditions and task

are the same.
3.7
assessor bias

tendency of an assessor to give scores which are consistently above or below the true score when that is

known or the panel mean when it is not
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.40]
3.8
order bias

arising from a product’s spatial or temporal position relative to a group of products being assessed

Note 1 to entry: The term includes both “position bias” and “sequential bias”.
[SOURCE: ISO 5492:2008/Amd.1:2016, 1.42]
3.9
repeatability

agreement (3.1) in assessments of the same products under the same test conditions by the same

assessor or panel

Note 1 to entry: Repeatability can be measured within one session (3.5) or over several distinctly separate

sessions, provided that the replicate (3.6) evaluations are conducted under the test conditions that can be

considered to be the same. If replicate evaluations are conducted in distinctly separate sessions/sittings, the

sessions are generally separated by several days only. In this case, the distinction between repeatability and

reproducibility (3.10) in the short term is minor and relates to the test conditions being considered the same or

not.
2 © ISO 2021 – All rights reserved
---------------------- Page: 8 ----------------------
ISO/FDIS 11132:2021(E)

[SOURCE: ISO 5492:2008/Amd.1:2016, 1.45, modified — Note 1 to entry has been added.]

3.10
reproducibility

agreement (3.1) in assessments of the same products under different test conditions or by different

assessors or panels
Note 1 to entry: Reproducibility may be measured as any of the following:

— the reproducibility of a panel (or an assessor) in the short term, measured between two or more sessions (3.5)

separated by several days;

— the reproducibility of a panel (or an assessor) in the medium or long term, measured among sessions separated

by several months;

— the reproducibility between different panels, in the same laboratory or in different laboratories.

[SOURCE: ISO 5492:2008/Amd.1:2016, 1.46]
4 Principle
4.1 Two possible approaches
4.1.1 General

This document is concerned with sensory panels used to assess the magnitude of one or more sensory

attributes in order to make quantitative descriptions or profiles of products (see ISO 13299). Different

methods are appropriate to the measurement of the performance of panels used for difference testing.

The performance of a quantitative sensory panel may be evaluated from panel sessions conducted

specifically for the purpose of obtaining performance (called “dedicated procedure”) by using

assessments already available (called “ongoing monitoring”).
4.1.2 Performance measurement via a dedicated procedure

A dedicated procedure is the method of choice for the certification of individual assessors and for other

validation purposes. For the certification renewal, this dedicated procedure should be repeated at

periodic intervals, as needed. Figure 1 is a flow chart for this procedure.

This approach can typically be used at the end of the training phase of a panel to ensure that the panel

and the individual assessors have achieved the desired level of performance and can be considered as

trained sensory assessors or expert sensory assessors (depending on the performance criteria).

© ISO 2021 – All rights reserved 3
---------------------- Page: 9 ----------------------
ISO/FDIS 11132:2021(E)

Figure 1 — Process steps for the performance measurement via a dedicated procedure

4.1.3 Ongoing monitoring via routine product profiling

Another approach consists of monitoring profile data that was already collected. To review ongoing

profile data generated by a panel, it can be appropriate to use data that originated from quite different

profiling experiments using different product types, product numbers, etc. The procedure is the

same as that shown in Figure 1. However, as there are no predefined differences, it is recommended

that attributes for which the products are significantly discriminated by the panel as a whole for a

given profile be used as the key measures to check the performance of individual sensory assessors.

Attributes that result in no significant difference cannot be reliably used to check consistency since the

lack of agreement within and between sensory assessors probably means that the products are very

similar for those characteristics.

In this case, over a given period, it will be necessary to check on a set of products more different that

the panel is indeed capable of highlighting difference in these characteristics.
4.2 Indicators of panel or individual assessor performance
For one assessment, the following indicators can be determined:

— discrimination of the panel, measured as the ability of the panel to exhibit significant differences

among products;

— discrimination of an assessor, measured as the ability of the assessor to exhibit significant differences

among products;

— agreement of an assessor, measured as the degree of alignment between the assessor’s average

product scores and the ones of the panel;

— agreement of the panel, measured as the degree of alignment between the assessors’ average

product scores.
For replicate assessments:

— repeatability of an assessor, measured as the degree of homogeneity between replicated assessments

of the same product;
4 © ISO 2021 – All rights reserved
---------------------- Page: 10 ----------------------
ISO/FDIS 11132:2021(E)

— repeatability of a panel, measured as the average degree of homogeneity between replicated

assessments of the same product for each assessor.
4.3 Statistical analyses

A single, consistent approach to statistical analysis of the results is described in this document. However,

some indicators of panel performance can be assessed by more than one measure. For instance, error

mean square and error standard deviation (SD) (its square root) both express variability in the

evaluation of a product. The measures used should be those that are usual in the field of application.

Other relevant measures of agreement between assessors in the use of the scale for an attribute are the

interaction of assessor and product and the coefficient of correlation between an assessor’s scores and

the panel means. An assessor may have no bias but may use the scale in a different way. A correlation

close to 1, a regression slope close to 1 and a regression intercept close to 0 indicate good agreement

between an assessor and the rest of the panel.

When each assessor evaluates a small number of samples (fewer than six), the correlation coefficient

should be interpreted with caution, as it can be high (up to 0,7) by chance alone.

5 Prerequisites
5.1 Experimental conditions
The test facilities should be in accordance with ISO 8589.
5.2 Qualification of assessors

The panel should have the level of qualification and experience of selected/screened assessors in

accordance with ISO 8586 or higher.
6 Performance measurement via a dedicated procedure
6.1 Sample and attribute selection

At each dedicated study, the panel of assessors should be presented with a set of samples similar to those

the panel are to assess when evaluating products and for which statistically significant differences

between at least one pair of the samples are expected for the list of relevant attributes.

In order to ensure that all key aspects of the products are examined, an adequately diverse set of

attributes should be included in the test.

These relevant attributes are used as key measures against which to assess panel performance. The

sample set should include replicates. There should be the same number of replicates of each sample.

The replicates can be evaluated within a single session or over two or more sessions. The number of

assessors, samples and replicates depends on the products, sensory attributes assessed and purpose

of the procedure. For example, two or three replicates of three or four samples might be used. Care

should be taken to limit the number of assessments required in a session, so as to avoid sensory fatigue.

The attributes of the samples should be similar to the range of values that the panel assesses when

evaluating products.
6.2 Experimental designs
6.2.1 General

Several types of experimental designs can be used in the dedicated procedure, depending on the most

important objective to answer.
© ISO 2021 – All rights reserved 5
---------------------- Page: 11 ----------------------
ISO/FDIS 11132:2021(E)
6.2.2 Randomized block design

A randomized block experimental design can be used, in which the assessors are the “blocks”. This

design is appropriate when no carry-over effect from one sample to the next is expected. Otherwise, a

balanced design should be used instead (see 6.2.3).
6.2.3 Balanced and random designs

If a carry-over effect is expected from one sample to the next, a suitable experimental design is the

[12]

Williams Latin square . Table 1 shows the Williams Latin square design with four assessors and four

samples.
Table 1 — Williams Latin square design for four assessors and four samples
Order
Assessor Session
1 2 3 4
1 1 A B C D
2 1 B D A C
3 1 C A D B
4 1 D C B A
1 2 B D A C
2 2 C A D B
3 2 D C B A
4 2 A B C D

In this design, each assessor samples the four products in a different order in a given session and

any particular product is followed by a different one for each assessor. For example, in session 1, A is

followed by B for assessor 1, C for assessor 2, D for assessor 3 and none for assessor 4.

For each replicate of the products’ evaluation, it is recommended to use a different product order for

each assessor, in order to reduce the order effect and the carry-over effect.

If multiples of four assessors are available, the same design can be repeated for each set of four.

It is also possible to choose a random product order design, i.e. to randomly affect each product to each

position in each session.

The advantage of these approaches is to minimize the carry-over effect at panel level and therefore

get better estimates of the product means at panel level for performance evaluation. However, if the

product order does have an impact, the agreement between assessors will be impacted because each

assessor will not experience the same product order. In order to compare the assessors on the exact

same task, the same product order can be used for all sensory assessors (see 6.2.4).

6.2.4 Same order design

In order to focus on individual assessor performance and, in an effort to compare assessors under the

most similar conditions, an alternative design is proposed, whereby all assessors evaluate the products

in the same order, see Table 2.
6 © ISO 2021 – All rights reserved
---------------------- Page: 12 ----------------------
ISO/FDIS 11132:2021(E)
Table 2 — Same order design for four assessors and four samples
Order
Assess
...

PROJET
NORME ISO/FDIS
FINAL
INTERNATIONALE 11132
ISO/TC 34/SC 12
Analyse sensorielle — Méthodologie
Secrétariat: IRAM
— Lignes directrices pour le mesurage
Début de vote:
2021-06-02 de la performance d'un jury descriptif
quantitatif
Vote clos le:
2021-07-28
Sensory analysis — Methodology — Guidelines for the measurement
of the performance of a quantitative descriptive sensory panel
LES DESTINATAIRES DU PRÉSENT PROJET SONT
INVITÉS À PRÉSENTER, AVEC LEURS OBSER-
VATIONS, NOTIFICATION DES DROITS DE PRO-
TRAITEMENT PARALLÈLE ISO/CEN
PRIÉTÉ DONT ILS AURAIENT ÉVENTUELLEMENT
CONNAISSANCE ET À FOURNIR UNE DOCUMEN-
TATION EXPLICATIVE.
OUTRE LE FAIT D’ÊTRE EXAMINÉS POUR
ÉTABLIR S’ILS SONT ACCEPTABLES À DES FINS
INDUSTRIELLES, TECHNOLOGIQUES ET COM-
Numéro de référence
MERCIALES, AINSI QUE DU POINT DE VUE
ISO/FDIS 11132:2021(F)
DES UTILISATEURS, LES PROJETS DE NORMES
INTERNATIONALES DOIVENT PARFOIS ÊTRE
CONSIDÉRÉS DU POINT DE VUE DE LEUR POSSI-
BILITÉ DE DEVENIR DES NORMES POUVANT
SERVIR DE RÉFÉRENCE DANS LA RÉGLEMENTA-
TION NATIONALE. ISO 2021
---------------------- Page: 1 ----------------------
ISO/FDIS 11132:2021(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2021

Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette

publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,

y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut

être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.

ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: [phone]
E-mail: [e-mail]
Web: www.iso.org
Publié en Suisse
ii © ISO 2021 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO/FDIS 11132:2021(F)
Sommaire Page

Avant-propos ..............................................................................................................................................................................................................................iv

Introduction ................................................................................................................................................................................................................................vi

1 Domaine d'application ................................................................................................................................................................................... 1

2 Références normatives ................................................................................................................................................................................... 1

3 Termes et définitions ....................................................................................................................................................................................... 1

4 Principe .......................................................................................................................................................................................................................... 3

4.1 Deux approches possibles ............................................................................................................................................................. 3

4.1.1 Généralités ............................................................................................................................................................................ 3

4.1.2 Mesurage de la performance à l’aide d’une procédure dédiée ................................................ 3

4.1.3 Contrôle continu à l’aide de profils sensoriels de routine ........................................................... 4

4.2 Indicateurs de performance d’un jury ou d’un sujet .............................................................................................. 4

4.3 Analyse statistique ............................................................................................................................................................................... 5

5 Préalables .................................................................................................................................................................................................................... 5

5.1 Conditions expérimentales ........................................................................................................................................................... 5

5.2 Qualification des sujets .................................................................................................................................................................... 5

6 Mesurage de la performance à l’aide d’une procédure dédiée ............................................................................ 5

6.1 Sélection des échantillons et des attributs ..................................................................................................................... 5

6.2 Plans expérimentaux ......................................................................................................................................................................... 6

6.2.1 Généralités ............................................................................................................................................................................ 6

6.2.2 Plan en blocs aléatoires ........................................................................................................................................... ... 6

6.2.3 Plans équilibrés et aléatoires ................................................................................................................................ 6

6.2.4 Plan dans le même ordre .......................................................................................................................................... 7

6.3 Analyse statistique ............................................................................................................................................................................... 7

6.4 Performance de l’ensemble du jury — Interprétation du résultat statistique ................................ 9

6.4.1 Discrimination des attributs clés ....................................................................................................................... 9

6.4.2 Accord au niveau du jury .......................................................................................................................................10

6.4.3 Répétabilité du jury ....................................................................................................................................................10

6.5 Performance de chaque sujet — Interprétation du résultat statistique ............................................10

6.5.1 Capacité de discrimination d'un sujet ........................................................................................................10

6.5.2 Répétabilité d’un sujet .............................................................................................................................................11

6.5.3 Cohérence d’un sujet .................................................................................................................................................11

6.5.4 Accord entre les sujets .............................................................................................................................................11

6.5.5 Biais — Utilisation différente de l’échelle ...............................................................................................11

6.6 Problèmes de performance .......................................................................................................................................................12

6.6.1 Généralités .........................................................................................................................................................................12

6.6.2 Jury ........................................................................................................................................... .................................................12

6.6.3 Sujet individuel...............................................................................................................................................................12

6.7 Plan expérimental pour suivre la performance au fil du temps ................................................................12

7 Mode opératoire de contrôle continu à l’aide de profils sensoriels de routine ...............................12

7.1 Sélection des attributs ...................................................................................................................................................................12

7.2 Analyse statistique ............................................................................................................................................................................13

7.3 Suivi de la performance au fil du temps .........................................................................................................................13

7.4 Analyse statistique des données au fil du temps ....................................................................................................13

7.5 Analyse statistique de profils complets ..........................................................................................................................13

Annexe A (informative) Exemple d’application pratique .............................................................................................................14

Bibliographie ...........................................................................................................................................................................................................................21

© ISO 2021 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO/FDIS 11132:2021(F)
Avant-propos

L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes

nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est

en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude

a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,

gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.

L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui

concerne la normalisation électrotechnique.

Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont

décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents

critères d'approbation requis pour les différents types de documents ISO. Le présent document a été

rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www

.iso .org/ directives).

L’attention est attirée sur le fait que certains des éléments du présent document peuvent faire l’objet de

droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable

de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant

les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de

l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de

brevets rédigées par l’ISO (voir www .iso .org/ brevets).

Les appellations commerciales éventuellement mentionnées dans le présent document sont données

pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un

engagement.

Pour une explication de la nature volontaire des normes, de la signification des termes et expressions

spécifiques de l’ISO liés à l’évaluation de la conformité, ou pour toute autre information au sujet de

l’adhésion de l’ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les

obstacles techniques au commerce (OTC), voir le lien suivant: www .iso .org/ iso/ fr/ avant -propos .html.

Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-

comité SC 12, Analyse sensorielle, en collaboration avec le comité technique CEN/SS C01, Produits

alimentaires, du Comité européen de normalisation (CEN), conformément à l'Accord de coopération

technique entre l'ISO et le CEN (Accord de Vienne).

Cette deuxième édition annule et remplace la première édition (ISO 11132:2012), qui a fait l'objet d'une

révision technique. Les principales modifications par rapport à l’édition précédente sont les suivantes:

— le titre a été modifié pour spécifier que le document est applicable aux jurys descriptifs;

— le domaine d’application a été revu:

— pour différencier l’application de validation et de surveillance, avec une formulation plus claire;

— la décision a été prise de mesurer uniquement la répétabilité et de considérer la reproductibilité

comme en dehors du domaine d’application;

— le type de jurys descriptifs quantitatifs pour lesquels le document est applicable a été spécifié;

— les définitions ont été revues et de nouvelles entrées terminologiques ont été ajoutées;

— le processus applicable au mode opératoire dédié a été amélioré;
— les plans expérimentaux ont été revus et complétés;

— les analyses statistiques en rapport avec l’analyse de variance ont été revues et complétées pour

inclure davantage de modèles, notamment en ce qui concerne les effets (fixes ou aléatoires) et

interactions entre séances et membres du jury;
iv © ISO 2021 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO/FDIS 11132:2021(F)

— les paragraphes (notamment les paragraphes 6.4.4 et 7.4 d’origine) ainsi que les Annexes B et C en

rapport avec la reproductibilité ont été supprimés pour être conformes aux modifications apportées

au domaine d’application.

Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent

document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes

se trouve à l'adresse www .iso .org/ members .html.
© ISO 2021 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO/FDIS 11132:2021(F)
Introduction

Un jury de sujets peut être utilisé comme un instrument pour identifier les attributs sensoriels de

produits et pour évaluer l’intensité des attributs sensoriels.

La performance est la mesure de la capacité d’un jury ou d’un sujet à effectuer des jugements fiables

et valides d’attributs concernant les produits à évaluer. Elle peut être contrôlée à un moment donné,

généralement après une période d’entraînement (validation) ou suivie au fil du temps (contrôle). La

performance comprend la capacité d’un jury à détecter, identifier et mesurer un attribut, à utiliser les

attributs de la même manière que d’autres jurys ou entre les sujets d’un jury, à différencier les stimulus,

à utiliser correctement une échelle, à répéter ses propres résultats et à reproduire les résultats d’autres

jurys ou sujets.

Le mesurage de la performance permet au responsable du jury d’améliorer les résultats du jury et des

sujets, d’identifier les problèmes et les besoins de remise à niveau ou d’identifier les sujets qui ne sont

pas suffisamment performants pour continuer à participer.
vi © ISO 2021 – Tous droits réservés
---------------------- Page: 6 ----------------------
PROJET FINAL DE NORME INTERNATIONALE ISO/FDIS 11132:2021(F)
Analyse sensorielle — Méthodologie — Lignes directrices
pour le mesurage de la performance d'un jury descriptif
quantitatif
1 Domaine d'application

Le présent document donne des lignes directrices pour évaluer la performance globale d’un jury

descriptif quantitatif et la performance de chaque membre du jury.

Le présent document est applicable à la validation de l’entraînement des sujets ou des jurys, ainsi qu’au

contrôle de la performance des jurys établis.

Le présent document ne s’applique pas à la performance du jury pour les méthodes descriptives dans

lesquelles les notes individuelles de chaque sujet ne sont pas enregistrées, dans lesquelles il n’existe

pas une liste unique d’attributs communs à tous les sujets, ou dans lesquelles la dominance plutôt que

l’intensité est mesurée. Par conséquent, la performance des jurys descriptifs utilisant des méthodes

telles que le profil par consensus, le profil libre choix, le profil flash et la dominance temporelle des

sensations (DTS) ne fait pas partie du domaine d’application.

Les méthodes spécifiées dans le présent document servent à contrôler et évaluer la capacité d’un jury et

de ses sujets à discriminer les produits, l’accord entre les sujets d’un même jury et la répétabilité de ces

sujets lorsqu’ils attribuent des notes d’intensité.

La reproductibilité, y compris la comparaison entre jurys et la comparaison au sein d’un même jury, de

plusieurs évaluations effectuées sous différentes conditions (c’est-à-dire, séparées dans le temps), ne

fait pas partie du domaine d’application du présent document.

Les méthodes spécifiées dans le présent document peuvent être utilisées, en totalité ou en partie, par

le responsable du jury pour évaluer de façon continue la performance du jury ou de chaque sujet. Les

méthodes énumérées ne sont pas exhaustives et d’autres méthodes appropriées peuvent également

être utilisées.
2 Références normatives

Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur

contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.

Pour les références non datées, la dernière édition du document de référence s'applique (y compris les

éventuels amendements).
ISO 5492, Analyse sensorielle — Vocabulaire
3 Termes et définitions

Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 5492 ainsi que les

suivants s’appliquent.

L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en

normalisation, consultables aux adresses suivantes:

— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp

— IEC Electropedia: disponible à l’adresse http:// www .electropedia .org/
© ISO 2021 – Tous droits réservés 1
---------------------- Page: 7 ----------------------
ISO/FDIS 11132:2021(F)
3.1
accord

capacité de jurys ou de sujets différents à démontrer les mêmes différences entre les produits lors de

l’attribution de notes sur un attribut donné au même groupe de produits
3.2
dérive du jury

phénomène par lequel un jury, au fil du temps, change en sensibilité ou devient sensible à des biais et

qui, en conséquence, pour un produit de référence constant, modifie la position sur l’échelle sur laquelle

un attribut est noté
3.3
performance

capacité d’un jury ou d’un sujet à réaliser des évaluations fiables et valides sur des stimulus et des

attributs de stimulus
3.4
validation

processus consistant à établir qu’un jury ou sujet est capable de remplir les critères de performance

(3.3) spécifiés
3.5
séance
période de temps pendant laquelle les produits sont évalués

Note 1 à l'article: En une séance, un ou plusieurs produits peuvent être évalués par un ou plusieurs sujets. Pour

un sujet, qu’il soit seul ou membre d’un jury, les séances sont séparées dans le temps.

[SOURCE: ISO 5492:2008/Amd.1:2016, 4.63]
3.6
répétition
occurrence d’une condition particulière dans un plan expérimental

Note 1 à l'article: Le terme implique d’habitude qu’il s’agit de l’occurrence d’une condition parmi plusieurs de

même nature, mais il peut faire référence à une seule occurrence. Lorsque la condition est mise en œuvre deux

fois, on peut parler de deux répétitions, etc.

Note 2 à l'article: Pour spécifier plus d’une occurrence d’une condition, les termes «réplication» ou «séance

répliquée» sont plus explicites.

Note 3 à l'article: Une «séance répliquée» est une séance (3.5) dans laquelle les sujets, produits, conditions d’essai

et tâches sont identiques.
3.7
biais lié au sujet

tendance d’un sujet à attribuer des notes sensiblement supérieures ou inférieures à la vraie note

lorsqu’elle est connue, ou à la moyenne du jury lorsque la vraie note n’est pas connue

[SOURCE: ISO 5492:2008/Amd.1:2016, 1.40]
3.8
biais lié à l’ordre

biais lié à la position spatiale ou temporelle d’un produit par rapport à un groupe de produits évalués

Note 1 à l'article: Le terme comprend à la fois le «biais de position» et le «biais séquentiel».

[SOURCE: ISO 5492:2008/Amd.1:2016, 1.42]
2 © ISO 2021 – Tous droits réservés
---------------------- Page: 8 ----------------------
ISO/FDIS 11132:2021(F)
3.9
répétabilité

concordance (3.1) des évaluations des mêmes produits, dans les même conditions d’essai, par un même

sujet ou un même jury

Note 1 à l'article: La répétabilité peut être mesurée pendant une séance (3.5) ou pendant plusieurs séances

distinctement séparées, à condition que les évaluations répétées (3.6) soient effectuées dans les conditions d’essai

qui peuvent être considérées comme identiques. Si des évaluations répétées sont effectuées au cours de séances/

séances distinctement séparées, les séances sont généralement séparées de plusieurs jours seulement. Dans ce

cas, la distinction entre répétabilité et reproductibilité (3.10) à court terme est mineure et concerne les conditions

d’essai considérées identiques ou non.

[SOURCE: ISO 5492:2008/Amd.1:2016, 1.45, modifié — La Note 1 à l’article a été ajoutée.]

3.10
reproductibilité

concordance (3.1) des évaluations des mêmes produits, dans des conditions d’essai différentes ou par

des sujets ou des jurys différents
Note 1 à l'article: La reproductibilité peut être mesurée comme suit:

— reproductibilité d’un jury (ou d’un sujet) à court terme, mesurée entre deux séances (3.5) ou plus réalisées à

plusieurs jours d’intervalle;

— reproductibilité d’un jury (ou d’un sujet) à moyen ou long terme, mesurée entre des séances réalisées à

plusieurs mois d’intervalle;

— reproductibilité entre différents jurys, dans le même laboratoire ou dans différents laboratoires.

[SOURCE: ISO 5492:2008/Amd.1:2016, 1.46]
4 Principe
4.1 Deux approches possibles
4.1.1 Généralités

Le présent document concerne les jurys utilisés pour évaluer l’intensité d’un ou de plusieurs attributs

sensoriels afin de réaliser des descriptions ou des profils quantitatifs de produits (voir l’ISO 13299).

Différentes méthodes sont appropriées pour mesurer la performance des jurys utilisés pour analyser

des différences.

La performance d’un jury quantitatif peut être évaluée soit en utilisant les séances réalisées

spécialement dans le but d’obtenir des données de performance (appelées «procédure dédiée ») soit en

utilisant les évaluations déjà disponibles (appelées «contrôle continu »).
4.1.2 Mesurage de la performance à l’aide d’une procédure dédiée

Une procédure dédiée est une méthode de choix pour la certification de chaque sujet et pour d’autres

besoins de validation. Pour le renouvellement de la certification, il convient de répéter cette procédure

dédiée à intervalles réguliers, si besoin. Un logigramme de cette procédure est donné à la Figure 1.

Cette approche peut être généralement utilisée à la fin de la phase d’entraînement d’un jury, pour

s’assurer que le jury ou que chaque sujet a atteint le niveau de performance souhaité et qu’il peut être

considéré comme sujet qualifié ou sujet expert (selon les critères de performance).

© ISO 2021 – Tous droits réservés 3
---------------------- Page: 9 ----------------------
ISO/FDIS 11132:2021(F)

Figure 1 — Logigramme du mesurage de la performance à l’aide d’une procédure dédiée

4.1.3 Contrôle continu à l’aide de profils sensoriels de routine

Une autre approche consiste à contrôler les données de profil déjà collectées. Pour examiner des

données de profil générées par un jury, il peut être approprié d’utiliser des données qui proviennent

d’expériences de profil bien différentes en employant différents types de produits, nombres de

produits, etc. La procédure est la même que celle indiquée à la Figure 1. Cependant, comme il n’y a

aucune différence prédéfinie, il est recommandé que les attributs pour lesquels les produits sont

significativement discriminés par l’ensemble du jury, pour un profil donné, soient ensuite utilisés

comme mesures clés pour contrôler la performance de chaque sujet. Les attributs pour lesquels aucune

différence n’est observée ne peuvent pas être utilisés de manière fiable pour contrôler la cohérence;

en effet, l’absence de concordance chez un sujet et entre les sujets signifie vraisemblablement que les

produits sont très similaires pour ces caractéristiques.

Dans ce cas, sur une période donnée, il sera nécessaire de contrôler à l’aide d’un ensemble de produits

plus différents que le jury est en effet capable de percevoir des différences sur ces caractéristiques.

4.2 Indicateurs de performance d’un jury ou d’un sujet
Pour une évaluation, les indicateurs suivants peuvent être déterminés:

— discrimination du jury, mesurée comme la capacité du jury à mettre en évidence des différences

significatives entre les produits;

— discrimination d’un sujet, mesurée comme la capacité du sujet à mettre en évidence des différences

significatives entre les produits;

— accord d’un sujet, mesuré comme le degré de concordance entre les notes moyennes attribuées à un

produit par le sujet et celles du jury;

— accord du jury, mesuré comme le degré de concordance entre les notes moyennes attribuées à un

produit par les sujets.
4 © ISO 2021 – Tous droits réservés
---------------------- Page: 10 ----------------------
ISO/FDIS 11132:2021(F)
Pour les évaluations répétées:

— répétabilité d’un sujet, mesurée comme le degré d’homogénéité entre les évaluations répétées du

même produit;

— répétabilité d’un jury, mesurée comme le degré moyen d’homogénéité entre les évaluations répétées

du même produit pour chaque sujet.
4.3 Analyse statistique

Une seule approche cohérente pour l’analyse statistique des résultats est décrite dans le présent

document. Toutefois, certains indicateurs de performance du jury peuvent être évalués par plus d’une

mesure. Par exemple, le carré moyen de l’erreur et l’erreur sur l’écart-type (SD) (sa racine carrée)

expriment tous deux la variabilité dans l'évaluation d'un produit. Il convient que les mesures utilisées

soient celles habituellement employées dans le domaine d’application.

D’autres mesures pertinentes concernant l’accord entre les sujets quant à l’utilisation de l’échelle pour

un attribut sont l’interaction entre sujet et produit et le coefficient de corrélation entre les notes d’un

sujet et les moyennes du jury. Il se peut qu’un sujet n'ait pas de biais mais qu'il utilise l'échelle de manière

différente. Une corrélation proche de 1, une pente de régression proche de 1 et une ordonnée à l’origine

de la droite de régression proche de 0 indiquent un bon accord entre un sujet et le reste du jury.

Lorsque chaque sujet évalue un petit nombre d’échantillons (moins de six), il convient d’interpréter

avec prudence le coefficient de corrélation car il peut être élevé (jusqu’à 0,7) par le seul fait du hasard.

5 Préalables
5.1 Conditions expérimentales
Il convient que les installations d’essai soient conformes à l'ISO 8589.
5.2 Qualification des sujets

Il est recommandé que le jury ait au moins le niveau de qualification et d’expérience de sujets qualifiés/

sélectionnés conformément à l’ISO 8586.
6 Mesurage de la performance à l’aide d’une procédure dédiée
6.1 Sélection des échantillons et des attributs

Lors de chaque étude dédiée, il convient de présenter au jury de sujets un jeu d’échantillons similaires

à ceux que le jury doit examiner lors de l'évaluation des produits et pour lesquels des différences

statistiquement significatives entre au moins deux échantillons sont attendues sur des attributs

pertinents.

Pour s’assurer que tous les aspects clés des produits sont examinés, il convient d’inclure un ensemble

varié d’attributs dans l’essai.

Ces attributs pertinents sont utilisés comme des mesures clés pour évaluer la performance du jury. Il

convient que le jeu d'échantillons comprenne des répétitions. Il convient que le nombre de répétitions

soit identique pour chaque échantillon. Les répétitions peuvent être évaluées au cours d’une seule

séance ou sur deux séances ou plus. Le nombre de sujets, d’échantillons et de répétitions dépend des

produits, attributs sensoriels évalués et de l’objectif du mode opératoire. Par exemple, deux ou trois

répétitions de trois ou quatre échantillons peuvent être utilisées. Il convient de veiller à limiter le

nombre d’évaluations requises en une séance, de façon à éviter la fatigue sensorielle. Il convient que

les attributs des échantillons couvrent l’étendue des valeurs que le jury estime lors de l’évaluation des

produits.
© ISO 2021 – Tous droits réservés 5
---------------------- Page: 11 ----------------------
ISO/FDIS 11132:2021(F)
6.2 Plans expérimentaux
6.2.1 Généralités

Plusieurs types de plans expérimentaux peuvent être utilisés lors de la procédure dédiée, en fonction

du principal objectif auquel il faut répondre.
6.2.2 Plan en blocs aléatoires

Un plan expérimental en blocs aléatoires peut être utilisé, les sujets étant les «blocs». Ce plan est

approprié lorsqu’aucun effet
...