ISO 16820:2019

Sensory analysis — Methodology — Sequential analysis

This document specifies a procedure for statistically analysing data from forced-choice sensory discrimination tests, such as the triangle, duo-trio, 3-AFC, 2-AFC, in which after every trial of the discrimination test the decision can be made to stop testing and declare a difference, to stop testing and declare no difference, or to continue testing. The sequential method often allows for a decision to be made after fewer trials of the discrimination test than would be required by conventional approaches that use predetermined numbers of assessments. The method is effective for: a) determining that either: a perceptible difference results; or a perceptible difference does not result when, for example, a change is made in ingredients, processing, packaging, handling or storage; b) selecting, training and monitoring assessors. N

Analyse sensorielle — Méthodologie — Analyse séquentielle

Le présent document spécifie un mode opératoire d'analyse statistique des données provenant d'essais de discrimination sensorielle à choix forcé, tels que l'essai triangulaire, l'essai duo-trio, l'essai à choix forcé 1 parmi trois (3-AFC), l'essai à choix forcé 1 parmi deux (2-AFC), dans lequel, après chaque essai de discrimination, il peut être décidé soit d'arrêter les essais et de déclarer une différence, soit d'arrêter les essais et de déclarer l'absence de différence, soit de poursuivre les essais. La méthode séquentielle permet souvent de prendre une décision après un plus petit nombre d'essais de discrimination qu'il n'est requis pour des approches classiques utilisant un nombre prédéfini d'évaluations. La méthode est efficace dans les cas suivants: a) pour déterminer: s'il existe une différence perceptible; ou s'il n'existe pas de différence perceptible quand, par exemple, des modifications sont apportées aux ingrédients, à la transformation, à l'emballage, aux opérations de manutention ou de stockage; b) ou pour sélectionner, entraîner et contrôler les sujets.

General Information

• Status: Published
• Publication Date: 02-Oct-2019
• ICS: 67.240 - Sensory analysis
• Technical Committee: ISO/TC 34/SC 12 - Sensory analysis
• Drafting Committee: ISO/TC 34/SC 12 - Sensory analysis
• Current Stage: 6060 - International Standard published
• Start Date: 03-Oct-2019
• Due Date: 26-Oct-2019
• Completion Date: 03-Oct-2019

Relations

• Revises: ISO 16820:2004 - Sensory analysis — Methodology — Sequential analysis
• Effective Date: 23-Apr-2020

Standards Content (Sample)

INTERNATIONAL ISO
STANDARD 16820
Second edition
2019-10
Sensory analysis — Methodology —
Sequential analysis
Analyse sensorielle — Méthodologie — Analyse séquentielle
Reference number
ISO 16820:2019(E)
©
ISO 2019

---------------------- Page: 1 ----------------------
ISO 16820:2019(E)

COPYRIGHT PROTECTED DOCUMENT
© ISO 2019
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting
on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address
below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: [phone]
Fax: [phone]
Email: [e-mail]
Website: www.iso.org
Published in Switzerland
ii © ISO 2019 – All rights reserved

---------------------- Page: 2 ----------------------
ISO 16820:2019(E)

Contents Page
Foreword .iv
1 Scope . 1
2 Normative references . 1
3 Terms, definitions and symbols . 1
3.1 Terms and definitions . 1
3.2 Symbols . 2
4 Principle . 2
5 Procedure. 2
Annex A (informative) Examples . 4
Bibliography .10
© ISO 2019 – All rights reserved iii

---------------------- Page: 3 ----------------------
ISO 16820:2019(E)

Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO's adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see www .iso
.org/iso/foreword .html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12,
Sensory analysis.
This second edition cancels and replaces the first edition (ISO 16820:2004), of which it constitutes a
minor revision. Information on using the Thurstonian δ approach and a citation for a new Reference [7]
has been added in 5.1.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www .iso .org/members .html.
iv © ISO 2019 – All rights reserved

---------------------- Page: 4 ----------------------
INTERNATIONAL STANDARD ISO 16820:2019(E)
Sensory analysis — Methodology — Sequential analysis
1 Scope
This document specifies a procedure for statistically analysing data from forced-choice sensory
discrimination tests, such as the triangle, duo-trio, 3-AFC, 2-AFC, in which after every trial of the
discrimination test the decision can be made to stop testing and declare a difference, to stop testing
and declare no difference, or to continue testing.
The sequential method often allows for a decision to be made after fewer trials of the discrimination test
than would be required by conventional approaches that use predetermined numbers of assessments.
The method is effective for:
a) determining that either:
1) a perceptible difference results; or
2) a perceptible difference does not result when, for example, a change is made in ingredients,
processing, packaging, handling or storage;
b) selecting, training and monitoring assessors.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 5492, Sensory analysis — Vocabulary
3 Terms, definitions and symbols
3.1 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 5492 and the following apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https: //www .iso .org/obp
— IEC Electropedia: available at http: //www .electropedia .org/
3.1.1
alpha-risk
α-risk
probability of concluding that a perceptible difference exists when one does not
Note 1 to entry: This is also known as Type I error, significance level or false positive rate.
3.1.2
beta-risk
β-risk
probability of concluding that no perceptible difference exists when one does
Note 1 to entry: This is also known as Type II error or false negative rate.
© ISO 2019 – All rights reserved 1

---------------------- Page: 5 ----------------------
ISO 16820:2019(E)

3.1.3
sensitivity
general term used to summarize the performance characteristics of the test
Note 1 to entry: In statistical terms, the sensitivity of the test is defined by the values of α, β and p .
d
3.2 Symbols
p probability of a correct response when no perceptible difference exists
0
p proportion of assessments in which a perceptible difference is detected between the two
d
products
p probability of a correct response when a perceptible difference does exist
1
4 Principle
The type of discrimination test (triangle, duo-trio, etc.) is chosen. The sensitivity of the test is defined
by selecting values for α, β and p .
d
The boundaries of the decision regions are computed based on α, β, p and p . After every trial of the
0 1
discrimination test, the total number of correct responses [for the panel, see Clause 1 a), or per assessor,
see Clause 1 b)] is compared to the decision boundaries to determine:
— if testing can be stopped and a difference can be declared;
— if testing can be stopped and no difference can be declared;
— if testing should continue.
5 Procedure
5.1 Construct a graph, as in Figure A.1, which illustrates the boundaries of the decision regions based
on α, β, p and p , as follows.
0 1
a) α and β are chosen based on the risks the researcher is willing to take of obtaining a false positive
or a false-negative result, respectively. α is the probability of declaring that a difference exists
when the true probability of a correct response is p . β is the probability of failing to declare that a
0
difference exists when the true probability of a correct response is p (p > p ).
1 1 0
b) p is the probability of a correct response when no perceptible difference exists (i.e. the probability
0
of a correct guess). The value of p depends on the discrimination test being used:
0
1) for the triangle and the 3-AFC tests, p = 1/3;
0
2) for the duo-trio and the 2-AFC tests, p = 1/2.
0
c) p is the probability of a correct response when a perceptible difference does exist. The value of p
1 1
depends on p :
d
1− p
 
d
1) for the triangle and 3-AFC tests, pp=+ ;
1d  
3
 
1− p
 
d
2) for the duo-trio and 2-AFC tests, pp=+ ;
1 d  
2
 
3) researchers who use the Thurstonian δ approach to measure the magnitude of the sensory
difference between two products can use the conversion tables (from δ to p and from p to δ)
d d
2 © ISO 2019 – All rights reserved

---------------------- Page: 6 ----------------------
ISO 16820:2019(E)

presented in Reference [7] to choose the value of p that corresponds to the chosen value of δ
d
for the test method being used.
d) The lines that form the boundaries of the decision regions are calculated as:
lg βα−−lg 1l−×npgl1− +×npg1−
() () () ()
10
lower line: d =
0
lg pp−lg −−lg 1 p +−lg 1 p
() () (() ()
10 1 0
lg 11−βα−lg −×nplg − +×nplg 1−
() () () ()
10
upper line: d =
1
lg pp−lg −−lg 1 p +−lg 1 p
() ()
...

NORME ISO
INTERNATIONALE 16820
Deuxième édition
2019-10
Analyse sensorielle — Méthodologie
— Analyse séquentielle
Sensory analysis — Methodology — Sequential analysis
Numéro de référence
ISO 16820:2019(F)
©
ISO 2019

---------------------- Page: 1 ----------------------
ISO 16820:2019(F)

DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2019
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: [phone]
Fax: [phone]
E-mail: [e-mail]
Web: www.iso.org
Publié en Suisse
ii © ISO 2019 – Tous droits réservés

---------------------- Page: 2 ----------------------
ISO 16820:2019(F)

Sommaire Page
Avant-propos .iv
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes, définitions et symboles . 1
3.1 Termes et définitions . 1
3.2 Symboles . 2
4 Principe . 2
5 Mode opératoire. 2
Annexe A (informative) Exemples . 4
Bibliographie .10
© ISO 2019 – Tous droits réservés iii

---------------------- Page: 3 ----------------------
ISO 16820:2019(F)

Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes
nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/directives).
L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de
brevets reçues par l'ISO (voir www .iso .org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion
de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir www .iso .org/avant -propos.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-
comité SC 12, Analyse sensorielle.
Cette seconde édition annule et remplace la première édition (ISO 16820:2004), dont elle constitue
une révision mineure. Une nouvelle Référence [7] et des informations sur l’utilisation de l’approche δ
Thurstonienne ont été ajoutées en 5.1.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www .iso .org/fr/members .html.
iv © ISO 2019 – Tous droits réservés

---------------------- Page: 4 ----------------------
NORME INTERNATIONALE ISO 16820:2019(F)
Analyse sensorielle — Méthodologie — Analyse
séquentielle
1 Domaine d’application
Le présent document spécifie un mode opératoire d’analyse statistique des données provenant d’essais
de discrimination sensorielle à choix forcé, tels que l’essai triangulaire, l’essai duo-trio, l’essai à choix
forcé 1 parmi trois (3-AFC), l’essai à choix forcé 1 parmi deux (2-AFC), dans lequel, après chaque essai
de discrimination, il peut être décidé soit d’arrêter les essais et de déclarer une différence, soit d’arrêter
les essais et de déclarer l’absence de différence, soit de poursuivre les essais.
La méthode séquentielle permet souvent de prendre une décision après un plus petit nombre d’essais
de discrimination qu’il n’est requis pour des approches classiques utilisant un nombre prédéfini
d’évaluations.
La méthode est efficace dans les cas suivants:
a) pour déterminer:
1) s’il existe une différence perceptible; ou
2) s’il n’existe pas de différence perceptible quand, par exemple, des modifications sont apportées
aux ingrédients, à la transformation, à l’emballage, aux opérations de manutention ou de
stockage;
b) ou pour sélectionner, entraîner et contrôler les sujets.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.
Pour les références non datées, la dernière édition du document de référence s'applique (y compris les
éventuels amendements).
ISO 5492, Analyse sensorielle — Vocabulaire
3 Termes, définitions et symboles
3.1 Termes et définitions
Pour les besoins du présent document, les termes et définitions de l’ISO 5492, ainsi que les suivants,
s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https: //www .iso .org/obp
— IEC Electropedia: disponible à l’adresse http: //www .electropedia .org/
© ISO 2019 – Tous droits réservés 1

---------------------- Page: 5 ----------------------
ISO 16820:2019(F)

3.1.1
risque alpha
risque α
probabilité de conclure qu’il existe une différence perceptible alors qu’il n’en existe pas
Note 1 à l'article: Ceci est également appelé erreur de type I, niveau de signification ou taux de faux positifs.
3.1.2
risque bêta
risque β
probabilité de conclure qu’il n’existe aucune différence perceptible alors qu’il en existe une
Note 1 à l'article: Ceci est également appelé erreur de type II ou taux de faux négatifs.
3.1.3
sensibilité
terme général utilisé pour résumer les caractéristiques de performance de l’analyse
Note 1 à l'article: En termes statistiques, la sensibilité de l’essai est définie par les valeurs de α, β et p .
d
3.2 Symboles
p probabilité d’une réponse correcte quand il n’existe aucune différence perceptible
0
p proportion d’évaluations au cours desquelles une différence perceptible est détectée entre les
d
deux produits
p probabilité d’une réponse correcte quand il existe une différence perceptible
1
4 Principe
Le type d’essai de discrimination (triangulaire, duo-trio, etc.) est choisi. La sensibilité de l’essai est
définie en choisissant des valeurs pour α, β et p .
d
Les limites des domaines décisionnels sont calculées à partir de α, β, p et p . Après chaque essai de
0 1
discrimination, le nombre total de réponses correctes [pour le jury, voir Article 1 a), ou par sujet, voir
Article 1 b)] est comparé aux limites du domaine décisionnel pour déterminer si:
— les essais peuvent être arrêtés et une différence peut être déclarée;
— les essais peuvent être arrêtés et l’absence de différence peut être déclarée;
— il convient de poursuivre les essais.
5 Mode opératoire
5.1 Construire un graphique, comme à la Figure A.1, illustrant les limites des domaines décisionnels
fondées sur α, β, p et p comme indiqué ci-après:
0 1
a) α et β sont choisis à partir des risques d’obtenir respectivement un résultat faussement positif ou
un résultat faussement négatif, que le chercheur est prêt à prendre. α est la probabilité de déclarer
qu’il existe une différence alors que la probabilité vraie d’obtenir une réponse correcte est p . β est
0
la probabilité de ne pas déclarer qu’il existe une différence alors que la probabilité vraie d’obtenir
une réponse correcte est p (p > p );
1 1 0
2 © ISO 2019 – Tous droits réservés

---------------------- Page: 6 ----------------------
ISO 16820:2019(F)

b) p est la probabilité d’obtenir une réponse correcte lorsqu’il n’existe aucune différence perceptible
0
(c’est-à-dire la probabilité d’obtention d’une réponse correcte par le seul fait du hasard). La valeur
de p est fonction de l’essai de discrimination mis en œuvre:
0
1) pour les essais triangulaire et 3-AFC, p = 1/3;
0
2) pour les essais duo-trio et 2-AFC, p = 1/2;
0
c) p est la probabilité d’obtenir une réponse correcte lorsqu’il existe une différence perceptible. La
1
valeur de p est fonction de p :
1 d
1− p 
d
1) pour les essais triangulaire et 3-AFC, pp=+ ;
 
1d
3
 
1− p
 
d
2) pour les essais duo-trio et 2-AFC, pp=+ ;
 
1 d
2
 
3) les chercheurs qui utilisent l’approche δ Thurstonienne pour mesurer la grandeur de la
différence sensorielle entre deux produits peuvent utiliser les tables de conversion (pour passer
de δ à p et de p à δ) présentées en Référence [7] pour choisir la valeur de p qui correspond à
d d d
la valeur choisie pour δ avec la méthode utilisée;
d) les droites qui forment les limites des domaines décisionnels sont calculées comme indiqué ci-après:
lg βα−−lg 1l−×npgl1− +×npg1−
() () () ()
10
droite inférieure: d =
0
lg pp−lg −−lg 1 p +−lg 1 p
() () (() ()
10 1 0
lg 11−βα−lg −×nplg − +×nplg 1−
() () () ()
10
droite supérieure: d =
1
lg pp−lg −−lg 1 p +−lg 1 p
() () (() ()
10 1 0
où α, β, p et p sont tels que défini
...