ISO 11136:2014
(Main)Sensory analysis — Methodology — General guidance for conducting hedonic tests with consumers in a controlled area
Sensory analysis — Methodology — General guidance for conducting hedonic tests with consumers in a controlled area
ISO 11136:2014 describes approaches for measuring, within a controlled area, the degree to which consumers like or relatively like products. It uses tests based on collecting consumers' responses to questions, generally on paper or via a keyboard or a touch screen. Tests of a behavioural nature (such as recording quantities consumed ad libitum by the consumers) do not fall within the scope of ISO 11136:2014.
Analyse sensorielle — Méthodologie — Lignes directrices générales pour la réalisation d'épreuves hédoniques effectuées avec des consommateurs dans un espace contrôlé
La présente Norme internationale décrit des méthodes de mesure, dans un espace contrôlé, du degré d'appréciation ou d'appréciation relative de produits par des consommateurs. Elle utilise des essais reposant sur la collecte de réponses des consommateurs à des questions, généralement sur papier ou à l'aide d'un clavier ou d'un écran tactile. Les essais de nature comportementale (notamment l'enregistrement des quantités consommées ad libitum par les consommateurs) ne font pas partie du domaine d'application de la présente Norme internationale. Les épreuves hédoniques traitées dans la présente Norme internationale peuvent être utilisées sous la forme d'une contribution aux éléments suivants: — comparer un produit avec des produits concurrentiels; — optimiser un produit afin qu'il obtienne une note hédonique élevée ou qu'il soit apprécié par un grand nombre de consommateurs; — aider à définir une gamme de produits correspondant à une population cible de consommateurs particuliers; — aider à définir la date de durabilité minimale; — évaluer l'impact d'un changement de formulation du produit sur le plaisir procuré par le produit; — étudier l'impact des caractéristiques sensorielles d'un produit sur le degré d'appréciation de celui-ci, quelles que soient les caractéristiques extrinsèques du produit, notamment la marque, le prix ou la publicité; — étudier l'effet d'une variable commerciale ou de présentation, notamment l'emballage. Les méthodes sont efficaces pour déterminer: — s'il existe ou non une préférence perceptible (différence du degré d'appréciation); ou — s'il existe ou non une préférence imperceptible (essais par paires de similitude).
General Information
Relations
Standards Content (Sample)
DRAFT INTERNATIONAL STANDARD ISO/DIS 11136
ISO/TC 34/SC 12 Secretariat: IRAM
Voting begins on Voting terminates on
2012-12-30 2013-03-30
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION • МЕЖДУНАРОДНАЯ ОРГАНИЗАЦИЯ ПО СТАНДАРТИЗАЦИИ • ORGANISATION INTERNATIONALE DE NORMALISATION
Sensory analysis — Methodology — General guidance for
conducting hedonic tests with consumers in an controlled area
Analyse sensorielle — Méthodologie — Lignes directrices générales pour la réalisation d'épreuves hédoniques
effectuées avec des consommateurs dans un espace contrôlé
ICS 67.240
To expedite distribution, this document is circulated as received from the committee
secretariat. ISO Central Secretariat work of editing and text composition will be undertaken at
publication stage.
Pour accélérer la distribution, le présent document est distribué tel qu'il est parvenu du
secrétariat du comité. Le travail de rédaction et de composition de texte sera effectué au
Secrétariat central de l'ISO au stade de publication.
THIS DOCUMENT IS A DRAFT CIRCULATED FOR COMMENT AND APPROVAL. IT IS THEREFORE SUBJECT TO CHANGE AND MAY NOT BE
REFERRED TO AS AN INTERNATIONAL STANDARD UNTIL PUBLISHED AS SUCH.
IN ADDITION TO THEIR EVALUATION AS BEING ACCEPTABLE FOR INDUSTRIAL, TECHNOLOGICAL, COMMERCIAL AND USER PURPOSES, DRAFT
INTERNATIONAL STANDARDS MAY ON OCCASION HAVE TO BE CONSIDERED IN THE LIGHT OF THEIR POTENTIAL TO BECOME STANDARDS TO
WHICH REFERENCE MAY BE MADE IN NATIONAL REGULATIONS.
RECIPIENTS OF THIS DRAFT ARE INVITED TO SUBMIT, WITH THEIR COMMENTS, NOTIFICATION OF ANY RELEVANT PATENT RIGHTS OF WHICH
THEY ARE AWARE AND TO PROVIDE SUPPORTING DOCUMENTATION.
© International Organization for Standardization, 2012
ISO/DIS 11136
Copyright notice
This ISO document is a Draft International Standard and is copyright-protected by ISO. Except as permitted
under the applicable laws of the user’s country, neither this ISO draft nor any extract from it may be
reproduced, stored in a retrieval system or transmitted in any form or by any means, electronic,
photocopying, recording or otherwise, without prior written permission being secured.
Requests for permission to reproduce should be addressed to either ISO at the address below or ISO’s
member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Reproduction may be subject to royalty payments or a licensing agreement.
Violators may be prosecuted.
ii © ISO 2012 – All rights reserved
ISO/DIS 11136
Contents Page
Foreword .vi
1 Scope.1
2 Normative references.2
3 Terms and definitions .2
4 Preliminary considerations .4
4.1 Study proposal .4
4.2 Specification of the target population.5
4.3 Further specifications.5
5 The consumer sample.5
5.1 General.5
5.2 Recruiting the consumers .6
5.2.1 Task-specific recruitment.6
5.2.2 Recruitment from a consumer pool.7
5.2.3 Frequency of employing the consumers .7
5.3 Assembling a consumer sample .7
5.3.1 Selection of consumers by means of recruitment questionnaires .7
5.3.2 Representativeness of the consumer sample.8
5.4 Sample segmentation .8
6 Size of the consumer sample.9
6.1 Decisions of measurement.9
6.2 Determining the sample size.9
6.3 Working with subgroups .10
6.3.1 Separate tests using pre-formed assessor groups .10
6.3.2 Unified test using pre-formed assessor groups .10
6.3.3 Segmentation of the assessors .10
6.4 Number of product samples and experimental design .10
6.5 Safety margin in recruitment.10
7 Test area.11
8 Products .11
8.1 Anonymous presentation of the products.11
8.2 Preparation and presentation of the products .11
8.2.1 Quantity of products presented.12
8.2.2 Form of the presented products .12
9 Procedures.12
9.1 Rating tests .13
9.1.1 Sample presentation plans.13
9.2 Paired comparison tests (see ISO 5495).13
9.2.1 Sample presentation plans.14
9.3 Ranking test (see ISO 8587) .14
9.3.1 Questionnaires .14
9.4 Additional questions .14
9.4.1 Questions about assessors .15
9.4.2 Questions about products.15
9.5 Instructions to the assessors .15
10 Organization of test sessions .16
10.1 General.16
10.2 Plans.16
ISO/DIS 11136
10.2.1 Complete plan.16
10.2.2 Incomplete plan.16
10.2.3 Single assessment.17
10.3 Number of products evaluated in a single session.17
10.3.1 Too many products for a single session.17
10.3.2 Several sessions.17
10.3.3 Single session.18
10.4 Nature of the products evaluated within a session.18
10.5 Time of the session .18
10.6 Repetition of a product within a test.18
10.7 Pre-test.18
11 Analysis of the results .18
11.1 Inferential analysis.19
11.2 Ratings (subclause 8.1).19
11.2.1 Paired comparisons (Subclause 8.1).19
11.2.2 Ranking (Subclause 8.3) .19
12 Study report.20
12.1 General.20
12.2 Products .20
12.3 Testing procedure.21
12.4 Consumers.21
12.4.2 Recruitment from a consumer pool.22
12.5 Results.22
12.6 Annexes.22
Annex A (informative) Example of a recruitment questionnaire .23
Annex B (informative) Methods for evaluating the data of segmentation subgroups .26
B.1 Population subgroups.26
B.2 Segmentation of the consumers.27
Annex C (informative) Plans for assigning products to assessors .28
Annex D (informative) Influence of the sample size on the accuracy of one mean .29
Annex E (informative) Minimum sample size for tests using rating .30
E.1 Case 1: To prove that two products, A and B, are differently liked; each assessor only
rates one product (A or B) .31
E.2 Case 2: To prove that two products A and B are differently liked; each assessor rates
both products A and B).32
E.3 Case 3: To prove that the product A is not inferior to the product B; each assessor only
rates one product (A or B) .33
E.4 Case 4: To prove that the product A is not inferior to the product B; each assessor rates
both products A and B .33
Annex F (informative) Minimum sample size for tests using ranking .35
F.1 Case 1: Demonstrate that there is a preference between the two products A and B.35
F.2 Case 2 – Demonstrate that there is no preference between 2 products (in other words, the
frequency of preference for product A is not inferior to that of product B).36
Annex G (informative) Examples of data analysis for ratings .37
G.1 Example 1 (case 1 of Annex E To prove that two products, A and B, are differently liked) .37
G.2 Example 2 (case 2 of Annex E To prove that two products A and B are differently liked) .38
G.3 Example 3 (case 3 of Annex E: To prove that the product A is not inferior to the product
B) .39
G.4 Example 4 (case 4 of Annex E: To prove that the product A is not inferior to the product
B) .39
Annex H (informative) Examples of data analysis for rankings .41
H.1 Example 1 (case 1 of Annex F).41
H.2 Example 2 (case 2 of Annex F).41
Bibliography .43
iv © ISO 2012 – All rights reserved
ISO/DIS 11136
ISO/DIS 11136
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 11136 was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12,
Sensorial analysis.
This second/third/. edition cancels and replaces the first/second/. edition (), [clause(s) / subclause(s) /
table(s) / figure(s) / annex(es)] of which [has / have] been technically revised.
vi © ISO 2012 – All rights reserved
DRAFT INTERNATIONAL STANDARD ISO/DIS 11136
Sensory analysis — Methodology — General guidance for
conducting hedonic tests with consumers in an controlled area
1 Scope
This document describes approaches for measuring, within a controlled area, the liking or relative liking of
consumers for products.
It concerns tests based on collecting assessors' responses to questions, generally on paper or via a keyboard
or a touch screen. Tests of a behavioural nature (such as recording quantities consumed ad libitum by the
assessors) do not fall within the scope of this document.
The hedonic tests dealt with in this document can be used as a contribution to :
⎯ comparing a product with competitor products;
⎯ optimising a product so that it obtains a high hedonic rating or is liked by a large number of consumers;
⎯ helping to define a range of products to correspond to a particular consumer target population;
⎯ helping to define a best-before date;
⎯ assessing the impact of a product formulation change on the pleasure given by the product;
⎯ studying the impact of sensory characteristics of a product on degree of liking, independently of the
product's extrinsic characteristics such as brand, price or advertising;
⎯ studying the effect of a commercial or presentation variable such as packaging.
The methods are effective for determining:
⎯ whether a perceptible preference exists (difference of liking); or
⎯ whether no perceptible p exists (paired similarity test).
ISO/DIS 11136
2 Normative references
The following referenced documents are indispensable for the application of this document. For dated
references, only the edition cited applies. For undated references, the latest edition of the referenced
document (including any amendments) applies.
ISO 4121, Sensory analysis — Guidelines for the use of quantitative response scales.
ISO 5492, Sensory analysis — Vocabulary.
ISO 5495, Sensory analysis — Methodology — Paired comparison test.
ISO 8587, Sensory analysis — Methodology — Ranking.
ISO 20252, Market, opinion and social research - Vocabulary and service requirements.
ISO 29842, Sensory analysis — Methodology — Balanced incomplete block designs.
3 Terms and definitions
For the purposes of this document, the definitions in ISO 5492 and the following terms and definitions apply.
3.1
closed-ended question
question requiring respondents to select from a predetermined list of possible answers
3.2
commissioning party
any person, body or service who commissions a third party to conduct a study
Note 1 to the clause The concept of commissioning party corresponds to that of purchaser or customer in quality
control. It contrasts with that of supplier, service provider or laboratory.
Note 2 to the clause Usually, the commissioning party and the service provider belong to different enterprises. When
they belong to two departments of the same enterprise, the respective responsibilities of the two departments shall be
carefully differentiated and explicitly clarified in the study proposal.
3.3
consumer (or assessor, or respondent)
person who uses a product
Note 1 to the clause For the purpose of this standard, the meaning is restricted to a person who is not an expert, an
expert assessor or a specialised expert assessor within the meaning of ISO 5492, nor a trained assessor within the
meaning of ISO 11035
3.4
consumer pool to search a new definition to clarify (see ISO 20252 on market opinion)
panel, notion of repetitivity, sample
Sensory panel vs market research definition.etc
households or individuals forming a collection of persons from whom consumer samples can be drawn on a
more or less regular basis
3.5
consumer sample
group of consumers recruited on the basis of criteria specified by the nature of the target population
2 © ISO 2012 – All rights reserved
ISO/DIS 11136
3.6
controlled area
a location providing:
⎯ controlled preparation and presentation of the products;
⎯ comfortable conditions for consuming the products and for questioning the assessors;
⎯ absence of communication (verbal and non-verbal) between the assessors, guaranteeing independent
responses.
3.7
hedonic perception
amount of pleasure given by the sensory properties of a product
3.8
hedonic test
test aimed at measuring the overall hedonic perception of a product by consumers
3.9
open-ended question
question that does not provide ready-made alternatives for respondents but asks them to answer in their own
words
Note 1 to the clause It can concern each of the products presented to the assessors or only some of them (e.g., when
it asks why a particular product has appealed most, or least, to an assessor).
3.10
position bias
bias related to the spatial location of a product in a set of products being evaluated
3.11
product family
group of products which can replace one another under normal conditions of consumption; product families
may vary according to culture and consumption habits
3.12
representativeness (of a sample)
the degree to which attributes of the sample agree with relevant attributes of the population it is drawn from
3.13
sequential bias
bias related to the temporal or sequential position of a product in a set of products being evaluated
3.14
session
meeting of assessors working simultaneously according to the same protocol during a defined time period
Note 1 to the clause A session can be divided into several sub-sessions separated by a defined rest time. For
example, a session lasting 1 h 30 can be divided into two sub-sessions with a 10 minute break between them.
3.15
target population
population whose hedonic response to a product is to be evaluated
ISO/DIS 11136
4 Preliminary considerations
4.1 Study proposal
The study proposal is drawn up by the service-providing laboratory as a written document that binds the
laboratory and the commissioning party contractually. It includes the following elements:
⎯ the objective of the study;
⎯ the products to be evaluated (and the procedures for their procurement, especially when the laboratory
has to procure one or more products);
⎯ the target population for the study;
⎯ the size of the consumer sample and the way it is to be recruited;
⎯ any limitations on assessors' prior history of participation in consumer studies;
⎯ any limitations on other products to be evaluated in the same testing session;
⎯ the evaluation conditions:
⎯ The type of interview (self-completion forms or interviewers)
⎯ the questionnaire;
⎯ the place of evaluation;
⎯ the number of products to be evaluated per session in the proposed study together with an indication of
other products to be evaluated where the session comprises several product families (where these
products are not known at the time of drawing up the proposal, the laboratory is committed to
communicate them as soon as it knows them);
⎯ the conditions of preparation specific to the products to be evaluated (if they are known at this stage);
⎯ any instructions specific to the products to be evaluated (if they are known at this stage) together with any
specific information to be given about the products or the test at the start of the session;
⎯ the name of the statistical tests to be used for interpreting the results; the type of risks used and their
tolerable values; the magnitude of the minimum difference to be detected in a difference of liking test or of
the maximum tolerable difference in a similarity of liking test;
⎯ any envisaged segmentation of the consumer population, based either on attributes known before
obtaining judgment data or from the responses obtained;
⎯ the method of examining and summarising open-ended questions;
⎯ any recommendations the commissioning party wishes the laboratory to draft on the basis of the results;
⎯ the dates envisaged for the tests and for submission of the report.
4 © ISO 2012 – All rights reserved
ISO/DIS 11136
When any of the above elements are unknown at the time of the study proposal, the proposal includes for
each element concerned the following statement: “This element will be specified by the commissioning party
by. [specifying the stage of the study]."
NOTE If a specification already exists, the study proposal may make reference to it without repeating technical points
described in an operational manner in the specification.
4.2 Specification of the target population
Before performing hedonic tests, at least the following questions should be considered because the
specification of the target population depends on the answers. The questions shall be considered for each test
to be performed because the consumer target group can be different from one test to the next, even for the
same product.
⎯ Has the product to be tested already been introduced on the market? If so, is it possible to distinguish
between actual and potential consumers?
⎯ Are the consumers of interest those who actually use the product, potential consumers who have not
been using the product or both groups?
⎯ Are results from specified subgroups to be examined and compared?
⎯ Are the results of the total consumer sample to be analysed with a view identifying subgroups?
⎯ Are differences between the results of individuals of interest?
4.3 Further specifications
Subsequent to specifying the target population, the following aspects shall be specified:
⎯ place of test (see Clause 6);
⎯ expected precision of measurement (see Clause 10);
⎯ test method (see Clause 8);
⎯ product presentation plan for the test methods selected (see Clause 9);
⎯ Specifications for the hypothesis to be tested (see Clause 11);
For the hypothesis to be tested the following aspects shall then be specified:
⎯ the composition of the consumer sample(see Clause 5);
⎯ the size of the consumer sample (see Clause 10).
5 The consumer sample
5.1 General
A hedonic test aims to determine the acceptability of the products and/or to determine preferences among two
or more products by the specified consumer population.
The composition of the consumer sample is decisive for any hedonic test as regards whether or not the result
can answer the questions of interest to the commissioning party.
ISO/DIS 11136
The consumers shall be volunteers, which does not imply that it is not permitted for them to receive expenses
or a reward for participation.
It is essential to obtain spontaneous reactions.
Trained assessors shall be excluded from these tests since they are likely to differ systematically from the
target population.
It is usually inadvisable to recruit a consumer sample from the personnel of a company manufacturing the
products to be tested. The factors most likely to distort the results when an in-house consumer panel is used
are:
⎯ a risk of the products to be tested being recognised;
⎯ a tendency to judge in favour of the recognised products;
⎯ excessive familiarity with the products;
These factors carry a serious risk of the results not being representative for the target population of
consumers.
Any criteria to be followed when selecting the consumers (e.g., whether or not they may be recruited from the
staff of the manufacturing company or its competitors or from a particular socio-economic sector) shall be
agreed with the client ordering the test irrespective of the recruiting method used.
5.2 Recruiting the consumers
WARNING
⎯ Confidentiality shall be observed and relevant legislation shall be complied with when creating
and documenting files containing personal data.
⎯ Legislation with respect to age restrictions shall be adhered to.
Assessors may be recruited either on a task-specific basis (where consumers are freshly recruited for a
particular study) or from a consumer pool (a list of potential assessors having known characteristics). Task-
specific recruitment has often been considered a means of recruiting assessors who have not participated
much in consumer studies but this idea may have become erroneous with the multiplication of locations where
hedonic tests are organised in a quasi-permanent manner.
5.2.1 Task-specific recruitment
Task-specific recruitment may be conducted in a public place, at a sales point, by telephone, by mail or
electronic mail or by advertisement in a local newspaper or radio station. In many cases it is necessary to
reach a prior agreement with the corporation or organisation responsible for the area in which the recruitment
occurs.
The manner of recruiting and the time of approaching the consumers (in particular when making contact at
public places or by phone and when distributing information through the media) can have a strong effect on
the composition of the consumer sample.
6 © ISO 2012 – All rights reserved
ISO/DIS 11136
5.2.2 Recruitment from a consumer pool
For efficiency in recruiting it is also possible to assemble a consumer pool in the form of a file of consumer
descriptions. Prior to each test and subsequent to specifying the target group, a pre-selection can be made
based on criteria recorded in the file.
A consumer description may include consumer data such as the following:
⎯ identity details of the person concerned, contact data;
⎯ age, gender;
⎯ marital status, household composition;
⎯ social situation, profession, income;
⎯ possible health problems (e.g., allergies, diabetes, vision impairments) relevant to the products to be
tested;
⎯ other information relevant to the products to be tested (e.g., eating or drinking habits, religious
prohibitions, lifestyle, household equipment);
⎯ information on the person's availability for participation in tests;
⎯ information on previous participation(s) in consumer tests.
Every consumer description shall be updated at regular intervals.
Such a database allows an efficient dialogue between the commissioning party and the service provider
insofar as it enables the latter to ensure, a priori, that the initial desires of the commissioning party regarding
target consumers can be satisfied.
5.2.3 Frequency of employing the consumers
In comparison to task-specific recruitment, there is a greater risk of “consumer professionalising” when
recruiting from an existing pool of consumers.
It is important to avoid a training effect for the individual assessor in relation to the product group concerned.
Therefore, the same consumers shall not be employed too often. As guidance an interval of at least three
months between individual tests on the same product is recommended.
The laboratory shall keep records of each assessor's frequency of participation in tests involving each product
and each product family. The participation history of the assessors shall be included in the study report,
possibly including information about the product families involved if requested by the commissioning party.
5.3 Assembling a consumer sample
5.3.1 Selection of consumers by means of recruitment questionnaires
When consumers are selected by means of a recruitment questionnaire relating to criteria stipulated for the
composition of the consumer sample, it shall not be possible for the consumer to identify which criteria in the
questionnaire are decisive for being selected to participate in the test.
ISO/DIS 11136
The following are examples of possible criteria:
⎯ previous participation in testing the product group concerned;
⎯ frequency of using the product ;
⎯ the product brand usually used, product description, place of purchase, etc.;
⎯ habits in the use or consumption of the product.
Other criteria such as age, sex, social stratum, occupational group or geographical location may be relevant.
For reasons of practicability, classes should be specified for each of these criteria. For each class a percen-
tage should be stated by which this class is to be represented in the consumer sample.
For each consumer selected to take part in the test the recruitment questionnaire shall be filled out
completely.
The required recruitment details may be verified.
An example of a recruitment questionnaire is given in Annex A.
The recruitment questionnaire must be preserved, or information arising therefrom must be stored to ensure
the traceability of recruitment parameters of the study
5.3.2 Representativeness of the consumer sample
Representativeness with respect to the target population is the foremost quality required of a sample. Defining
this population generally results from a concerted action between the study-commissioning party who
proposes a target population and the laboratory which evaluates the feasibility of implementing this proposal.
To select consumers who are representative of the target population, criteria such as the following can be
used:
⎯ frequency of use or consumption of the product (this criterion is often considered fundamental on account
of its supposed influence on the discriminating power of the study);
⎯ age, gender, socio-economic status, occupation, geographical location;
⎯ brand of product usually used or consumed;
⎯ place of purchase of the product.
5.4 Sample segmentation
There are two ways in which the consumer sample may be segmented:
a) segmentation at the outset in order to obtain answers to questions such as:
⎯ do women respond in the same way as men ?
⎯ are responses different for different age groups ?
⎯ do responses depend on consumption habits ?
8 © ISO 2012 – All rights reserved
ISO/DIS 11136
In this case, each subgroup is analysed separately and their results are compared.
b) Segmentation may be derived from the data collected if there is evidence (such as multimodality) of
different subgroups.
In Annex B guidance is given as to how to deal with segmentation data.
6 Size of the consumer sample
6.1 Decisions of measurement
The numerical precision of any averages or estimates obtained from the results increases with sample size.
However, increased precision of measurement does not in itself ensure the relevance and validity of
conclusions reached. Appropriate choices of assessors and procedures are also essential.
Annex D contains an example that shows the influence of the consumer sample size on the precision of
measurement.
Precision also depends on the variability of the assessors in their responses to a single product. The larger
the dispersion, the larger the sample size must be to achieve a given precision. Knowledge of this parameter
comes from the experience of both the laboratory and the commissioning party.
The precision of the results depends also on the test procedure. For example, all other things being equal, the
difference between two products is established more precisely if each assessor assesses both products than
if they are judged by different assessors.
The required precision depends on the purpose of the test. With all other things being equal, it is influenced
by:
⎯ the smallest difference between two mean pleasure ratings that is considered large enough to be useful
when the purpose is to demonstrate a difference (the smaller it is, the larger the sample size has to be);
⎯ the greatest difference between two mean pleasure ratings that is considered small enough to be ignored,
when the purpose is to demonstrate equivalence (the smaller it is, the larger the sample size has to be);
⎯ the risk, α, that the commissioning party is willing to accept of mistakenly concluding that there is a
difference (the smaller the risk, α, the larger the sample size has to be);
⎯ the power, P, that the commissioning party desires for the test. (P = 1 – β, where β is the risk of
mistakenly concluding that there is no difference); the larger the desired power, the larger the sample size
has to be);
⎯ the directionality of the intended statistical test. If the commissioning party is interested only in
reassurance that product B is not inferior to product A, a directional test is appropriate and the power of
the test is greater than if the conclusions that B is inferior to A or that B is superior to A would be of equal
interest.
6.2 Determining the sample size
Determining the sample size is a critical step in the development of a test and demands the assistance of a
statistician. Annex E gives expressions (accompanied by examples) which can be used for the calculations for
either a difference test or a similarity test based on ratings. Annex F does the same for tests based on
preferences.
In all cases, the size of a consumer sample conforming to this Standard shall never be less than 60.
ISO/DIS 11136
Where the laboratory does not have the information required by the methods described in Annexes E or F,
this standard fixes the minimum sample size at 100.
Where the laboratory uses the methods described in Annex E or F, the sample size is given by the calculation
result. However, this number
⎯ can be lowered to 100 when the calculated number of assessors is over 100 but the laboratory and/or the
commissioning party does not have the means to question a larger number of assessors. If this occurs,
the laboratory shall calculate the estimated power of the test for a number of assessors equal to 100 and
obtain the agreement of the commissioning party that this lower power is acceptable.
⎯ shall be brought up to 60 when the calculated number of assessors is below 60.
The values of 100 and 60 suppose that the commissioning party does not hope for conclusions segmented
according to consumer characteristics such as age or gender. Where a segmentation is decided on prior to
the test, the minimum number of assessors per segment is 60.
6.3 Working with subgroups
Subgroups of the consumer sample may be formed before collecting test data or by making use of test data.
For any of the options listed below, statistical advice should be obtained at the design stage.
6.3.1 Separate tests using pre-formed assessor groups
The commissioning party may wish to study separate subgroups formed by taking account of consumer
characteristics (such as gender or age) that are known before conducting the test. One option is to analyze
their results independently. If this is done, each subgroup shall be of at least 60 consumers.
6.3.2 Unified test using pre-formed assessor groups
The above procedure is less efficient than balancing presentations over the whole consumer sample, followed
by an integrated analysis of all the results that takes account of subgroup membership. The same degree of
confidence will normally be achieved with fewer than 60 consumers in each subgroup. This style of analysis is
at its most efficient when all subgroups are of the same, or of very similar, size.
6.3.3 Segmentation of the assessors
The membership of subgroups may be an outcome derived from the results of a test on a large consumer
sample. The subgroups are then classes resulting from the evaluation of all the data on hand (measurement
results and/or socio-demographic data). This segmentation serves to describe the consumer sample and can
be used for developing new hypotheses. The number of groups formed, their characteristics and their sizes all
depend on the amount and nature of the results obtained.
6.4 Number of product samples and experimental design
The number of samples and the experimental design affect the size of the consumer sample. If a complete
plan is used for product presentation, the number of consumers needed for the test is equal to the number of
responses per product to be obtained. If an incomplete plan is used, the number of consumers must be larger.
6.5 Safety margin in recruitment
The number of responses actually obtained will usually be smaller than the number of consumers recruited
since some consumers selected for the sample may be absent and some who participate may not use the
questionnaires correctly. To compensate for this, a safety margin should be included when calculating the
number of consumers required.
10 © ISO 2012 – All rights reserved
ISO/DIS 11136
7 Test area
a) This document concerns hedonic measurements conducted within a controlled area as defined in 3.6.
This is distinguished from hedonic tests conducted, for instance, at a point of sale or in consumers' own
homes, which are outside the scope of this Standard. Three examples of relevant test areas are
described below.A permanent, sensory evaluation laboratory specifically equipped in accordance with
ISO 8589 for conducting sensory analysis tests. It has a reception area for welcoming the assessors, a
room for preparing the products and a room equipped with test booths, temperature control and a
ventilation system for periodic air renewal. This area provides the best product-preparation, product-
presentation and response-logging conditions.
b) A mobile sensory evaluation laboratory installed in a vehicle that has been specifically converted for the
conduct of sensory tests. It is likely to have much less space than a stationary laboratory. Zones reserved
for welcoming assessors and for preparing products are generally very li
...
INTERNATIONAL ISO
STANDARD 11136
First edition
2014-12-01
Sensory analysis — Methodology
— General guidance for conducting
hedonic tests with consumers in a
controlled area
Analyse sensorielle — Méthodologie — Lignes directrices générales
pour la réalisation d’épreuves hédoniques effectuées avec des
consommateurs dans un espace contrôlé
Reference number
©
ISO 2014
© ISO 2014
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2014 – All rights reserved
Contents Page
Foreword .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Preliminary considerations . 3
4.1 Study proposal. 3
4.2 Specification of the target population . 4
4.3 Further specifications . 4
5 The consumer sample . 5
5.1 General . 5
5.2 Recruiting the consumers. 5
5.3 Assembling a consumer sample . 7
5.4 Sample segmentation . 7
6 Size of the consumer sample . 8
6.1 Decisions of measurement . 8
6.2 Determining the sample size . 8
6.3 Working with subgroups . 9
6.4 Number of product samples and experimental design . 9
6.5 Safety margin in recruitment . 9
7 Test area .10
8 Products .10
8.1 Anonymous presentation of the products .10
8.2 Preparation and presentation of the products .10
9 Procedures .11
9.1 Two groups of hedonic tests .11
9.2 Rating tests .12
9.3 Paired comparison tests .12
9.4 Ranking test .13
9.5 Additional questions .14
9.6 Instructions for the consumers .14
10 Organization of test sessions .15
10.1 General .15
10.2 Plans .15
10.3 Number of products evaluated in a single session .16
10.4 Nature of the products evaluated within a session .17
10.5 Time of the session .17
10.6 Repetition of a product within a test .17
10.7 Pre-test .17
11 Analysis of the results .18
11.1 General .18
11.2 Inferential analysis .18
11.3 Ratings (see 9.2) .18
11.4 Paired comparisons (9.3) .18
11.5 Ranking (9.4) .18
12 Study report .19
12.1 General .19
12.2 Products .19
12.3 Test procedure .20
12.4 Consumers .20
12.5 Results .21
12.6 Annexes to the report .21
Annex A (informative) Example of a recruitment questionnaire .22
Annex B (informative) Methods for evaluating the data of segmentation subgroups .26
Annex C (informative) Plans for assigning products to consumers .28
Annex D (informative) Influence of the sample size on the accuracy of one mean .29
Annex E (informative) Minimum sample size for tests using rating.30
Annex F (informative) Minimum sample size for tests using ranking .34
Annex G (informative) Examples of data analysis for ratings .36
Annex H (informative) Examples of data analysis for rankings .41
Bibliography .43
iv © ISO 2014 – All rights reserved
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of any
patent rights identified during the development of the document will be in the Introduction and/or on
the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers
to Trade (TBT) see the following URL: Foreword - Supplementary information
The committee responsible for this document is ISO/TC 34, Food products, Subcommittee SC 12,
Sensory analysis.
INTERNATIONAL STANDARD ISO 11136:2014(E)
Sensory analysis — Methodology — General guidance for
conducting hedonic tests with consumers in a controlled area
1 Scope
This International Standard describes approaches for measuring, within a controlled area, the degree to
which consumers like or relatively like products.
It uses tests based on collecting consumers’ responses to questions, generally on paper or via a keyboard
or a touch screen. Tests of a behavioural nature (such as recording quantities consumed ad libitum by
the consumers) do not fall within the scope of this International Standard.
The hedonic tests dealt with in this International Standard, can be used as a contribution to the following:
— comparing a product with competitor products;
— optimizing a product so that it obtains a high hedonic rating or is liked by a large number of consumers;
— helping to define a range of products to correspond to a particular consumer target population;
— helping to define a best-before date;
— assessing the impact of a product formulation change on the pleasure given by the product;
— studying the impact of sensory characteristics of a product on degree to which it is liked,
independently of the product’s extrinsic characteristics, such as brand, price, or advertising;
— studying the effect of a commercial or presentation variable, such as packaging.
The methods are effective for determining
— whether or not, a perceptible preference exists (difference in degree of liking), or
— whether or not, no perceptible preference (paired similarity test) exists.
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated
references, the latest edition of the referenced document (including any amendments) applies.
ISO 4121, Sensory analysis — Guidelines for the use of quantitative response scales
ISO 5492, Sensory analysis — Vocabulary
ISO 5495, Sensory analysis — Methodology — Paired comparison test
ISO 8587, Sensory analysis — Methodology — Ranking
ISO 8589, Sensory analysis — General guidance for the design of test rooms
ISO 29842, Sensory analysis — Methodology — Balanced incomplete block designs
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 5492 and the following apply.
3.1
access panel
sample database of potential respondents who declare that they will cooperate for future data
collection if selected
[SOURCE: ISO 20252]
Note 1 to entry: Respondents can be drawn on a more or less regular basis.
3.2
closed-ended question
question requiring respondents to select from a predetermined list of possible answers
3.3
commissioning party
person, body, or service who commissions a third party to conduct a study
Note 1 to entry: The concept of commissioning party corresponds to that of purchaser or customer in quality
control. It contrasts with that of the supplier, service provider, or laboratory
Note 2 to entry: Usually, the commissioning party and the service provider belong to different enterprises. Where
they belong to two departments of the same enterprise, the respective responsibilities of the two departments
shall be carefully differentiated and explicitly clarified in the study proposal
3.4
consumer
respondent
person who uses a product
Note 1 to entry: For the purposes of this International Standard, the meaning is restricted to a person who is
neither an expert, an expert sensory assessor nor a selected assessor in conformity with ISO 5492.
3.5
consumer sample
group of consumers recruited on the basis of criteria specified by the nature of the target population
3.6
controlled area
location providing
— controlled preparation and presentation of the products,
— comfortable conditions for consuming the products and for questioning the consumers, and
— absence of communication (verbal and non-verbal) between the consumers, guaranteeing
independent responses
3.7
hedonic perception
amount of pleasure given by the sensory properties of a product
3.8
hedonic test
test aimed at measuring the overall hedonic perception of a product by consumers
3.9
open-ended question
question that does not provide ready-made alternatives for respondents but asks them to answer in
their own words
Note 1 to entry: It can concern each of the products presented to the consumers or only some of them (e.g. when
the question asks why a particular product has appealed most, or least, to an consumer).
2 © ISO 2014 – All rights reserved
3.10
position bias
bias related to the location of a product in a set of products being evaluated
3.11
product family
group of products that can replace one another under normal conditions of consumption
Note 1 to entry: Product families may vary according to culture and consumption habits.
3.12
representativeness
degree to which attributes of the sample agree with relevant attributes of the population
from which it is drawn
3.13
sequential bias
bias related to the temporal or sequential position of a product in a set of products being evaluated
3.14
session
meeting of consumers working simultaneously according to the same protocol during a defined time period
Note 1 to entry: A session can be divided into several subsessions separated by a defined rest time. For example, a
session lasting 1 h 30 min can be divided into two subsessions with a 10-min break between them.
3.15
target population
population whose hedonic response to a product is to be evaluated
4 Preliminary considerations
4.1 Study proposal
The study proposal is drawn up by the service-providing laboratory based on the information (especially
concerning the objective of the study and target population) given by the commissioning party, as a
written document that binds the laboratory and the commissioning party contractually. It includes the
following elements:
— the objective of the study;
— the products to be evaluated (and the procedures for their procurement, especially when the
laboratory has to procure one or more products);
— the target population for the study;
— the size of the consumer sample (sample size) and the way it is to be recruited;
— any limitations on consumers’ prior history of participation in consumer studies;
— any limitations on other products to be evaluated in the same testing session;
— the evaluation conditions;
— the type of interview (self-completion forms or interviewers);
— the questionnaire;
— the place of evaluation;
— the number of products to be evaluated per session in the proposed study, together with an
indication of other products to be evaluated where the session comprises several product families
(where these products are not known at the time of drawing up the proposal, the laboratory should
be committed to communicate them as soon as the laboratory knows the nature of the products);
— the conditions of preparation specific to the products to be evaluated (if they are known at this stage);
— any instructions specific to the products to be evaluated (if they are known at this stage) together
with any specific information to be given about the products or the test at the start of the session;
— the name of the statistical tests to be used for interpreting the results; the type of risks used and
their tolerable values; the magnitude of the minimum difference to be detected in a difference of
liking test or of the maximum tolerable difference in a similarity of liking test;
— any envisaged segmentation of the consumer population, based either on characteristics known
before obtaining judgment data or from the responses obtained;
— the method of examining and summarizing open-ended questions;
— any recommendations the commissioning party wishes the laboratory to draft on the basis of the results;
— the dates envisaged for the tests and for submission of the report.
When any of the above elements are unknown at the time of the study proposal, the proposal includes for
each element concerned the following statement: “This element will be specified by the commissioning
party by. [specifying the stage of the study].”
NOTE If a specification already exists, the study proposal may make reference to it without repeating
technical points described in an operational manner in the specification.
4.2 Specification of the target population
In order to specify the target population, it is necessary to answer the following questions. These
questions shall be considered for each test to be performed because the consumer target group can be
different from one test to the next, even for the same product.
— Has the product to be tested already been introduced on the market? If so, is it possible to distinguish
between actual and potential consumers?
— Are the consumers of interest those who actually use the product, potential consumers who have
not been using the product or both groups?
— Are results from specified subgroups to be examined and compared?
— Are the results of the total consumer sample to be analysed with a view identifying subgroups?
— Are differences between the results of individuals of interest?
4.3 Further specifications
Subsequent to specifying the target population, the following aspects shall be specified:
— place of test (see Clause 7);
— expected precision of measurement (see 6.1);
— test method (see Clause 9);
— product presentation plan for the test methods selected (see 10.2);
— specifications for the hypothesis to be tested (see 6.1);
4 © ISO 2014 – All rights reserved
For the hypothesis to be tested, the following aspects shall then be specified:
— the composition of the consumer sample(see Clause 5);
— the size of the consumer sample (see Clause 6).
5 The consumer sample
5.1 General
A hedonic test aims to determine the acceptability of the products and/or to determine preferences
among two or more products by the specified consumer population.
The composition of the consumer sample is decisive for any hedonic test as regards whether or not the
result can answer the questions of interest to the commissioning party.
The consumers shall be volunteers, which does not imply that it is not permitted for them to receive
expenses or a reward for participation.
It is essential to obtain spontaneous reactions.
Trained consumers shall be excluded from these tests since they are likely to differ systematically from
the target population.
It is usually inadvisable to recruit a consumer sample from the personnel of a company manufacturing
the products to be tested. The factors most likely to distort the results when an in-house consumer
panel is used are
— a risk of the products to be tested being recognized,
— a tendency to judge in favour of the recognized products, and
— excessive familiarity with the products.
These factors carry a serious risk of the results not being representative for the target population
of consumers.
Any criteria to be followed when selecting the consumers (e.g. whether or not they may be recruited
from the staff of the manufacturing company or its competitors or from a particular socio-economic
sector) shall be agreed with the client ordering the test irrespective of the recruiting method used.
5.2 Recruiting the consumers
5.2.1 General
WARNING The following shall be observed.
— Confidentiality shall be observed and relevant legislation shall be complied with when
creating and documenting files containing personal data.
— Legislation with respect to age restrictions shall be adhered to.
Consumers can be recruited either on a task-specific basis (where consumers are freshly recruited for a
particular study) or from an access panel (a list of potential consumers having known characteristics).
Task-specific recruitment has often been considered a means of recruiting consumers who have
not participated much in consumer studies, but this idea might have become erroneous with the
multiplication of locations where hedonic tests are organized in a quasi-permanent manner.
5.2.2 Task-specific recruitment
Task-specific recruitment can be conducted in a public place, at a sales point, by telephone, by mail
or electronic mail or by advertisement in a local newspaper or radio station, or by social network or
other internet ways. In many cases, it is necessary to reach a prior agreement with the corporation or
organization responsible for the area in which the recruitment occurs.
The manner of recruiting and the time of approaching the consumers (in particular when making contact
at public places or by phone and when distributing information through the media) can have a strong
effect on the composition of the consumer sample.
5.2.3 Recruitment from an access panel
For efficiency in recruiting, it is also possible to assemble an access panel in the form of a file of consumer
descriptions. Prior to each test and subsequent to specifying the target group, a pre-selection can be
made based on criteria recorded in the file.
A consumer description may include consumer data such as the following:
— identity details of the person concerned, contact data;
— age, gender;
— marital status, household composition;
— social situation, profession, income;
— possible health problems (e.g. on allergies, diabetes, vision impairments, etc.) relevant to the
products to be tested;
— other information relevant to the products to be tested (e.g. eating or drinking habits, religious
prohibitions, lifestyle, household equipment);
— information on the person’s availability for participation in tests;
— information on previous participation(s) in consumer tests.
Every consumer description shall be updated at regular intervals.
Such a database allows an efficient dialogue between the commissioning party and the service provider
insofar as it enables the latter to ensure, a priori, that the initial desires of the commissioning party
regarding target consumers can be satisfied.
5.2.4 Frequency of employing the consumers
In comparison to task-specific recruitment, there is a greater risk of “consumer professionalizing” when
recruiting from an existing pool of consumers.
It is important to avoid a training effect for the individual consumer in relation to the product group
concerned. Therefore, the same consumers shall not be employed too often. As guidance, an interval of
at least three months between individual tests on the same product is recommended.
The laboratory shall keep records of each consumer’s frequency of participation in tests involving each
product and each product family. The participation history of the consumers shall be included in the
study report, possibly including information about the product families involved if requested by the
commissioning party.
6 © ISO 2014 – All rights reserved
5.3 Assembling a consumer sample
5.3.1 Selection of consumers by means of recruitment questionnaires
When consumers are selected by means of a recruitment questionnaire relating to criteria stipulated
for the composition of the consumer sample, it shall not be possible for the consumer to identify which
criteria in the questionnaire are decisive for selection to participate in the test.
The following are examples of possible criteria:
— previous participation in testing the product group concerned;
— frequency of using the product ;
— the product brand usually used, product description, place of purchase, etc.;
— habits in the use or consumption of the product.
Other criteria, such as age, sex, social stratum, occupational group, or geographical location can be
relevant. For reasons of practicability, classes should be specified for each of these criteria. For each
class, a percentage should be stated by which this class is to be represented in the consumer sample.
For each consumer selected to take part in the test, the recruitment questionnaire shall be filled out
completely.
The required recruitment details may be verified.
An example of a recruitment questionnaire is given in Annex A.
The recruitment questionnaire shall be preserved, or information arising therefrom shall be stored to
ensure the traceability of recruitment parameters of the study.
5.3.2 Representativeness of the consumer sample
Representativeness with respect to the target population is the foremost quality required of a sample.
Defining this population generally results from a concerted action between the study-commissioning
party who proposes a target population and the laboratory which evaluates the feasibility of
implementing this proposal.
To select consumers who are representative of the target population, criteria such as the following
shall be used:
— frequency of use or consumption of the product (this criterion is often considered fundamental on
account of its supposed influence on the discriminating power of the study);
— age, gender, socio-economic status, occupation, geographical location;
— brand of product usually used or consumed;
— place of purchase of the product.
5.4 Sample segmentation
There are two ways in which the consumer sample can be segmented:
a) Segmentation at the outset in order to obtain answers to questions such as the following:
1) Do women respond in the same way as men?
2) Are responses different for different age groups?
3) Do responses depend on consumption habits?
In this case, each subgroup is analysed separately and the results are compared.
b) Segmentation may be derived from the data collected if there is evidence (such as multimodality) of
different subgroups.
In Annex B, guidance is given as to how to deal with segmentation data.
6 Size of the consumer sample
6.1 Decisions of measurement
The numerical precision of any averages or estimates obtained from the results increases with sample
size. However, increased precision of measurement does not in itself ensure the relevance and validity
of conclusions reached. Appropriate choices of consumers and procedures are also essential.
Annex D contains some considerations on the influence of the consumer sample size on the precision
of measurement.
Precision also depends on the variability of the consumers in their responses to a single product. The
larger the dispersion, the larger the sample size shall be to achieve a given precision. Knowledge of this
parameter comes from the experience of both the laboratory and the commissioning party.
The precision of the results depends also on the test procedure. For example, all other things being
equal, the difference between two products is established more precisely if each consumer assesses
both products rather than if they are judged by different consumers.
The required precision depends on the purpose of the test. With all other things being equal, it is
influenced by the following:
— the smallest difference between two mean pleasure ratings that is considered large enough to be useful
when the purpose is to demonstrate a difference (the smaller it is, the larger the sample size has to be);
— the greatest difference between two mean pleasure ratings that is considered small enough to be
ignored, when the purpose is to demonstrate equivalence (the smaller it is, the larger the sample
size has to be);
— the risk, α, that the commissioning party is willing to accept of mistakenly concluding that there is
a difference (the smaller the risk, α, the larger the sample size has to be);
— the power, P, that the commissioning party desires for the test. (P = 1 – β, where β is the risk of
mistakenly concluding that there is no difference); the larger the desired power, the larger the
sample size has to be);
— the directionality of the intended statistical test. If the commissioning party is interested only in
reassurance that product B is not inferior to product A, a directional test is appropriate and the
power of the test is greater than if the conclusions that B is inferior to A or that B is superior to A
would be of equal interest.
6.2 Determining the sample size
Determining the sample size is a critical step in the development of a test and demands the assistance
of a statistician. Annex E gives expressions (accompanied by examples) which can be used for the
calculations for either a difference test or a similarity test based on ratings. Annex F does the same for
tests based on preferences.
In all cases, the size of a consumer sample conforming to this International Standard shall never be
less than 60.
Where the laboratory does not have the information required by the methods described in Annex E or
Annex F, this International Standard fixes the minimum sample size at 100.
8 © ISO 2014 – All rights reserved
Where the laboratory uses the methods described in Annex E or Annex F, the sample size is given by the
calculation result. However, this number
— can be lowered to 100 when the calculated number of consumers is over 100, but the laboratory
and/or the commissioning party does not have the means to question a larger number of consumers.
If this occurs, the laboratory shall calculate the estimated power of the test for a number of
consumers equal to 100 and obtain the agreement of the commissioning party that this lower power
is acceptable, and
— shall be increased to 60 when the calculated number of consumers is below 60.
The values of 100 and 60 suppose that the commissioning party does not hope for conclusions segmented
according to consumer characteristics such as age or gender. Where a segmentation is decided on prior
to the test, the minimum number of consumers per segment is 60.
6.3 Working with subgroups
6.3.1 General
Subgroups of the consumer sample can be formed before collecting test data or by making use of test
data. For any of the options listed below, statistical advice should be obtained at the design stage.
6.3.2 Separate tests using pre-formed consumer groups
The commissioning party may wish to study separate subgroups formed by taking account of consumer
characteristics (such as gender or age), which are known before conducting the test. One option is to
analyse their results independently. If this is done, each subgroup shall consist of at least 60 consumers.
6.3.3 Unified test using pre-formed consumer groups
The procedure in 6.3.2 is less efficient than balancing presentations over the whole consumer sample,
followed by an integrated analysis of all the results that takes account of subgroup membership. The
same degree of confidence will normally be achieved with fewer than 60 consumers in each subgroup.
This style of analysis is at its most efficient when all subgroups are of the same, or of very similar, size.
6.3.4 Segmentation of the consumers
The membership of subgroups may be an outcome derived from the results of a test on a large consumer
sample. The subgroups are then classes resulting from the evaluation of all the data on hand (measurement
results and/or socio-demographic data). This segmentation serves to describe the consumer sample and
can be used for developing new hypotheses. The number of groups formed, their characteristics, and
their sizes all depend on the amount and nature of the results obtained.
6.4 Number of product samples and experimental design
The number of samples and the experimental design affect the size of the consumer sample. If a complete
plan is used for product presentation, the number of consumers needed for the test is equal to the
number of responses per product to be obtained. If an incomplete plan is used, the number of consumers
must be larger.
6.5 Safety margin in recruitment
The number of responses actually obtained is usually smaller than the number of consumers recruited
since some consumers selected for the sample might be absent and some who participate might not
use the questionnaires correctly. To compensate for this, a safety margin should be included when
calculating the number of consumers required.
7 Test area
This International Standard concerns hedonic measurements conducted within a controlled area as
defined in 3.6. This is distinguished from hedonic tests conducted, for instance, at a point of sale or in
consumers’ own homes, which are outside the scope of this International Standard. Three examples of
relevant test areas are described.
a) A permanent, sensory evaluation laboratory specifically equipped in accordance with ISO 8589
for conducting sensory analysis tests. It has a reception area for welcoming the consumers, a
room for preparing the products and a room equipped with test booths, temperature control, and
a ventilation system for periodic air renewal. This area provides the best product-preparation,
product-presentation, and response-logging conditions.
b) A mobile sensory evaluation laboratory installed in a vehicle, which has been specifically converted
for the conduct of sensory tests. It is likely to have much less space than a stationary laboratory.
Zones reserved for welcoming consumers and for preparing products are generally very limited.
c) A room or rooms equipped temporarily in a “task-specific” way for assessing products that require
little preparation. The area is arranged in two separate parts, one dedicated to conducting the
tests and the other to preparing and coding the products. The layout of the test area allows the
consumers to be physically isolated from each other. The test conditions (temperature, room
lighting, ventilation, and storage and preparation of the samples) can be monitored. Unlike the
stationary or mobile laboratories, the product preparation and presentation system is redefined
each time the room is adapted for a specific task.
8 Products
8.1 Anonymous presentation of the products
Products to be tested shall be presented to the consumers after being made as anonymous as possible,
the only means of identification being an arbitrary code (such as a three-digit random number) assigned
by the laboratory. All references to a brand or to a quality mark shall be deleted or masked, except in the
two following cases:
a) when deletion or masking is impossible;
b) when the objective is to determine the impact of the brand or quality mark.
NOTE In this International Standard, by quality mark is meant any mark which the consumer might interpret
to influence expectation. For example, the type of packaging can constitute a quality mark.
8.2 Preparation and presentation of the products
8.2.1 General
The products to be evaluated shall be prepared according to the procedures recommended by the
manufacturers or, when these procedures are not known, according to a method formalized following
preliminary tests. Allowing for duly justified exceptions, the preparation conditions shall approximate
the usual conditions of use and consumption.
The same rule applies to the presentation of the products (temperature, associated products, tableware
and serving method).
WARNING — Any product is likely to vary from batch to batch and as a consequence of storage.
This variation may be of interest to the commissioning party and in some cases will be the focus
of the investigation. In all other cases, variation should be minimized by using products that all
come from the same batch and have had identical storage durations and conditions.
10 © ISO 2014 – All rights reserved
8.2.2 Quantity of products presented
The amount of product presented to an consumer shall correspond to the portion of product normally
consumed or to a portion specified by the commissioning party. The consumer shall be informed of the
minimum amount of the sample to be tested and, if necessary, also of the maximum amount to be tested
or consumed. Care shall be taken to ensure that the test portion is neither too small (risking only a
fleeting, initial impression) nor too great (risking repletion or aversion).
The quantity presented may need to be adjusted to be less than the quantity usually consumed in cases
where the consumers consume several products of the same family. However, the quantity presented
shall always be sufficient to avoid the appraisal being conducted on too small a quantity and thereby
provoking only an initial, fleeting sensory impression.
When presenting a ready-made dish, the portion presented to each consumer shall proportionally
include all of the constituents of the product.
8.2.3 Form of the presented products
Sometimes, there are two options for presenting a product: the product as purchased and the product
in a form ready to be consumed.
EXAMPLE 1 Examples include bread (whole or sliced), sausage (whole or sliced), cheese (whole or cut), a pizza
(whole or in portions), instant coffee (in a cup prior to the water being poured in or after the water has been poured in).
The laboratory and the commissioning party may consider that both forms have the same objective:
to best approximate the pleasure elicited by the product. There is no need to know if any halo effect
is provoked by one of the forms on the other. If so,
...
NORME ISO
INTERNATIONALE 11136
Première édition
2014-12-01
Analyse sensorielle — Méthodologie
— Lignes directrices générales pour
la réalisation d'épreuves hédoniques
effectuées avec des consommateurs
dans un espace contrôlé
Sensory analysis — Methodology — General guidance for conducting
hedonic tests with consumers in a controlled area
Numéro de référence
©
ISO 2014
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2014
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
Fax: +41 22 749 09 47
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii © ISO 2014 – Tous droits réservés
Sommaire Page
Avant-propos .v
1 Domaine d'application . 1
2 Références normatives . 1
3 Termes et définitions . 2
4 Considérations préliminaires . 3
4.1 Proposition d’étude. 3
4.2 Spécification de la population cible . 4
4.3 Spécifications supplémentaires . 5
5 Échantillon de consommateurs. 5
5.1 Généralités . 5
5.2 Recrutement des consommateurs . 6
5.2.1 Généralités . 6
5.2.2 Recrutement en fonction de la tâche . 6
5.2.3 Recrutement parmi un «access panel» . 6
5.2.4 Fréquence de recours aux consommateurs . 7
5.3 Assemblage d’un échantillon de consommateurs . 7
5.3.1 Sélection de consommateurs à l’aide de questionnaires de recrutement . 7
5.3.2 Représentativité de l’échantillon de consommateurs . 7
5.4 Segmentation de l’échantillon . 8
6 Effectif de l’échantillon de consommateurs . 8
6.1 Décisions de mesure . 8
6.2 Détermination de l’effectif de l’échantillon . 9
6.3 Travail avec des sous-groupes . 9
6.3.1 Généralités . 9
6.3.2 Essais séparés à l’aide de groupes de consommateurs préformés . 9
6.3.3 Essai unifié à l’aide de groupes de consommateurs préformés .10
6.3.4 Segmentation des consommateurs .10
6.4 Nombre d’échantillons de produits et plan d’expérience .10
6.5 Marge de sécurité pendant le recrutement .10
7 Zone d’essai .10
8 Produits.11
8.1 Présentation anonyme des produits .11
8.2 Préparation et présentation des produits .11
8.2.1 Généralités .11
8.2.2 Quantité de produits présentée .11
8.2.3 Forme des produits présentés.11
9 Modes opératoires .12
9.1 Deux groupes d’épreuves hédoniques .12
9.2 Essais de notation .12
9.2.1 Généralités .12
9.2.2 Plans de présentation des échantillons .13
9.3 Essais de comparaison par paires .13
9.3.1 Généralités .13
9.3.2 Plans de présentation des échantillons .14
9.4 Essai de classement par rangs .14
9.4.1 Généralités .14
9.4.2 Questionnaires .14
9.5 Questions complémentaires .14
9.5.1 Généralités .14
9.5.2 Questions à propos des consommateurs .15
9.5.3 Questions à propos des produits .15
9.6 Instructions destinées aux consommateurs .15
10 Organisation des sessions d’essai .16
10.1 Généralités .16
10.2 Plans .16
10.2.1 Plan complet .16
10.2.2 Plan incomplet .16
10.2.3 Évaluation unique .17
10.3 Nombre de produits évalués au cours d’une seule session .17
10.3.1 Généralités .17
10.3.2 Quantité de produits trop importante pour une seule session .17
10.3.3 Plusieurs sessions .17
10.3.4 Session unique .18
10.4 Nature des produits évalués au cours d’une session .18
10.5 Période de la session .18
10.6 Répétition d’un produit au cours d’un essai .18
10.7 Essai préliminaire .18
11 Analyse des résultats .19
11.1 Généralités .19
11.2 Analyse déductive .19
11.3 Notations (voir en 9.2) .19
11.4 Comparaisons par paires (9.3) .19
11.5 Classement par rangs (9.4) .20
12 Rapport d’étude .20
12.1 Généralités .20
12.2 Produits .21
12.3 Mode opératoire d’essai .21
12.4 Consommateurs .21
12.4.1 Généralités .21
12.4.2 Recrutement en fonction de la tâche .22
12.4.3 Recrutement parmi un «access panel» .22
12.5 Résultats .22
12.6 Annexes au rapport .22
Annexe A (informative) Exemple de questionnaire de recrutement .23
Annexe B (informative) Méthodes d’évaluation des données des sous-groupes de segmentation .26
Annexe C (informative) Plans d’attribution des produits aux consommateurs .28
Annexe D (informative) Influence de l’effectif de l’échantillon sur l’exactitude d’une moyenne .29
Annexe E (informative) Effectif minimal de l’échantillon pour les essais de notation.30
Annexe F (informative) Effectif minimal de l’échantillon pour les essais de classement
par rangs .35
Annexe G (informative) Exemples d’analyse des données de notations.37
Annexe H (informative) Exemples d’analyse de données des classements par rangs .42
Bibliographie .44
iv © ISO 2014 – Tous droits réservés
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre noter des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/directives).
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de
brevets reçues par l'ISO (voir www .iso .org/patents).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la signification des termes et expressions spécifiques de l’ISO liés à l’évaluation
de la conformité, ou pour toute autre information au sujet de l’adhésion de l’ISO aux principes de
l’Organisation mondiale du commerce (OMC) concernant les obstacles techniques au commerce (OTC),
voir le lien suivant: www .iso .org/iso/fr/foreword .html.
Le comité chargé de l'élaboration du présent document est l'ISO/TC 34, Produits alimentaires, sous-
comité SC 12, Analyse sensorielle.
NORME INTERNATIONALE ISO 11136:2014(F)
Analyse sensorielle — Méthodologie — Lignes directrices
générales pour la réalisation d'épreuves hédoniques
effectuées avec des consommateurs dans un espace
contrôlé
1 Domaine d'application
La présente Norme internationale décrit des méthodes de mesure, dans un espace contrôlé, du degré
d’appréciation ou d’appréciation relative de produits par des consommateurs.
Elle utilise des essais reposant sur la collecte de réponses des consommateurs à des questions,
généralement sur papier ou à l’aide d’un clavier ou d’un écran tactile. Les essais de nature
comportementale (notamment l’enregistrement des quantités consommées ad libitum par les
consommateurs) ne font pas partie du domaine d’application de la présente Norme internationale.
Les épreuves hédoniques traitées dans la présente Norme internationale peuvent être utilisées sous la
forme d’une contribution aux éléments suivants:
— comparer un produit avec des produits concurrentiels;
— optimiser un produit afin qu’il obtienne une note hédonique élevée ou qu’il soit apprécié par un
grand nombre de consommateurs;
— aider à définir une gamme de produits correspondant à une population cible de consommateurs
particuliers;
— aider à définir la date de durabilité minimale;
— évaluer l’impact d’un changement de formulation du produit sur le plaisir procuré par le produit;
— étudier l’impact des caractéristiques sensorielles d’un produit sur le degré d’appréciation de celui-
ci, quelles que soient les caractéristiques extrinsèques du produit, notamment la marque, le prix ou
la publicité;
— étudier l’effet d’une variable commerciale ou de présentation, notamment l’emballage.
Les méthodes sont efficaces pour déterminer:
— s’il existe ou non une préférence perceptible (différence du degré d’appréciation); ou
— s’il existe ou non une préférence imperceptible (essais par paires de similitude).
2 Références normatives
Les documents ci-après, dans leur intégralité ou non, sont des références normatives indispensables à
l’application du présent document. Pour les références datées, seule l'édition citée s'applique. Pour les
références non datées, la dernière édition du document de référence s'applique (y compris les éventuels
amendements).
ISO 4121, Analyse sensorielle — Lignes directrices pour l'utilisation d'échelles de réponses quantitatives
ISO 5492, Analyse sensorielle — Vocabulaire
ISO 5495, Analyse sensorielle — Méthodologie — Essai de comparaison par paires
ISO 8587, Analyse sensorielle — Méthodologie — Classement par rangs
ISO 8589, Analyse sensorielle — Directives générales pour la conception de locaux destinés à l'analyse
ISO 29842, Analyse sensorielle — Méthodologie — Plans de présentation en blocs incomplets équilibrés
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 5492 ainsi que les
suivants s’appliquent.
3.1
access panel
base de données de participants qui se déclarent prêts à participer à de futures enquêtes, s’ils sont
sélectionnés
[SOURCE: ISO 20252]
Note 1 à l'article: Les participants peuvent être sélectionnés à intervalles plus ou moins réguliers.
3.2
question fermée
type de question sur laquelle il est demandé aux participants de choisir parmi une liste prédéterminée
de réponses possibles
3.3
partie prenante
personne, organisme ou service qui charge une tierce partie d’effectuer une étude
Note 1 à l'article: Le concept de partie prenante correspond à celui de l’acheteur ou du client dans le domaine du
contrôle qualité. Il se différencie de celui de l’acheteur, du prestataire de services ou du laboratoire.
Note 2 à l'article: Généralement, la partie prenante et le prestataire de services appartiennent à des entreprises
différentes. Lorsqu’ils appartiennent à deux départements d’une même entreprise, les responsabilités respectives
des deux départements doivent être soigneusement différenciées et explicitement clarifiées dans la proposition
d’étude.
3.4
consommateur
participant
personne qui utilise un produit
Note 1 à l'article: Pour les besoins de la présente Norme internationale, la définition est limitée à une personne
qui n’est ni un expert, ni un sujet sensoriel expert ni un sujet qualifié conformément à l’ISO 5492.
3.5
échantillon de consommateurs
groupe de consommateurs recrutés selon des critères spécifiés par la nature de la population cible
3.6
espace contrôlé
lieu garantissant:
— une préparation et une présentation contrôlées des produits;
— des conditions agréables pour consommer les produits et interroger les consommateurs; et
— l’absence de communication (verbale et non verbale) entre les consommateurs, garantissant des
réponses indépendantes
2 © ISO 2014 – Tous droits réservés
3.7
perception hédonique
degré de plaisir procuré par les propriétés sensorielles d’un produit
3.8
épreuve hédonique
essai visant à mesurer la perception hédonique globale d’un produit par les consommateurs
3.9
question ouverte
type de question sur laquelle il est demandé aux participants de s’exprimer avec leurs propres mots et
non d’utiliser des tournures toutes prêtes
Note 1 à l'article: Elle peut concerner tous les produits présentés aux consommateurs ou seulement une partie
d’entre eux (par exemple, lorsque la question est de savoir pourquoi un produit particulier a attiré plus ou moins
un consommateur).
3.10
biais de position
biais associé à l’emplacement d’un produit dans un groupe de produits évalués
3.11
famille de produits
groupe de produits pouvant remplacer un autre dans des conditions normales de consommation
Note 1 à l'article: Les familles de produits peuvent varier en fonction des cultures et des habitudes de
consommation.
3.12
représentativité
degré de concordance des attributs de l’échantillon avec les attributs pertinents de
la population dont il est issu
3.13
biais séquentiel
biais associé à l’emplacement temporel ou séquentiel d’un produit dans un groupe de produits évalués
3.14
session
réunion de consommateurs travaillant simultanément selon le même protocole pendant une période de
temps définie
Note 1 à l'article: Une session peut être divisée en plusieurs sous-sessions séparées par une période de repos
définie. Par exemple, une session d’1 h 30 min peut être divisée en deux sous-sessions avec une pause de 10 min
entre les deux.
3.15
population cible
population dont la réponse hédonique à un produit doit être évaluée
4 Considérations préliminaires
4.1 Proposition d’étude
La proposition d’étude est rédigée par le laboratoire prestataire de services d’après les informations
(notamment concernant l’objectif de l’étude et la population cible) données par la partie prenante, sous
la forme d’un document écrit établissant une relation contractuelle entre le laboratoire et la partie
prenante. Elle comprend les éléments suivants:
— l'objectif de l’étude;
— les produits à évaluer (et les méthodes relatives à leur approvisionnement, notamment lorsque le
laboratoire doit se procurer un ou plusieurs produits);
— la population cible de l’étude;
— l’effectif de l’échantillon de consommateurs (effectif d’échantillon) et la façon dont il doit être
recruté;
— des restrictions relatives aux antécédents de participation des consommateurs à des essais
consommateurs;
— des restrictions relatives à d’autres produits à évaluer au cours de la même session d’essai;
— les conditions d’évaluation;
— le type d’enquête (formulaires d’auto-évaluation ou enquêteurs);
— le questionnaire;
— le lieu de l’évaluation;
— le nombre de produits à évaluer par session lors de l’étude proposée, avec une indication mentionnant
si d’autres produits doivent être évalués lorsque la session comprend plusieurs familles de produits
(lorsque ces produits ne sont pas connus lors de la rédaction de la proposition, il convient que le
laboratoire s’engage à les communiquer dès qu’il connaîtra la nature des produits);
— les conditions de préparation spécifiques aux produits à évaluer (si elles sont connues à ce stade);
— des instructions spécifiques aux produits à évaluer (si elles sont connues à ce stade) ainsi que des
informations spécifiques sur les produits ou l’essai au début de la session;
— le nom des essais statistiques à utiliser pour interpréter les résultats; le type de risques utilisés
et leurs valeurs admissibles; l’amplitude de la différence minimale à détecter lors d’un essai par
différence d’appréciation ou de la différence maximale admissible lors d’un essai par similitude
d’appréciation;
— toute segmentation envisagée de la population de consommateurs, soit d’après des caractéristiques
connues avant d’obtenir les données d’évaluation soit d’après les réponses obtenues;
— la méthode d’examen et de récapitulation des questions ouvertes;
— des recommandations que la partie prenante souhaite faire rédiger par le laboratoire d’après les
résultats;
— les dates envisagées pour les essais et pour la soumission du rapport.
Lorsqu’un des éléments ci-dessus n’est pas connu au moment de la proposition d’étude, la proposition
comprend pour chaque élément concerné l’indication suivante: «Cet élément sera spécifié par la partie
prenante au moment de… [spécifier le stade de l’étude].»
NOTE S’il existe déjà une spécification, la proposition d’étude peut y faire référence sans répéter les points
techniques décrits de manière opérationnelle dans la spécification.
4.2 Spécification de la population cible
Pour spécifier la population cible, il est nécessaire de répondre aux questions suivantes. Ces questions
doivent être examinées pour chaque essai effectué car le groupe de consommateurs cibles peut être
différent d’un essai à l’autre, même pour un produit identique.
— Le produit soumis à essai est-il déjà commercialisé? Si tel est le cas, est-il possible de différencier les
consommateurs actuels des consommateurs potentiels?
4 © ISO 2014 – Tous droits réservés
— Les consommateurs concernés sont-ils ceux qui utilisent actuellement le produit, les consommateurs
potentiels qui n’utilisent pas le produit ou les deux?
— Les résultats des sous-groupes spécifiés doivent-ils être examinés et comparés?
— Les résultats de l’ensemble de l’échantillon de consommateurs doivent-ils être analysés afin
d’identifier des sous-groupes?
— Existe-t-il des différences entre les résultats des personnes concernées?
4.3 Spécifications supplémentaires
Après avoir spécifié la population cible, les aspects suivants doivent être précisés:
— le lieu de l’essai (voir l’Article 7);
— la précision de mesure prévue (voir 6.1);
— la méthode d’essai (voir l’Article 9);
— le plan de présentation des produits pour les méthodes d’essai sélectionnées (voir 10.2);
— les spécifications relatives à l’hypothèse soumise à essai (voir 6.1).
Pour l’hypothèse soumise à essai, les aspects suivants doivent ensuite être spécifiés:
— la composition de l’échantillon de consommateurs (voir l’Article 5);
— l’effectif de l’échantillon de consommateurs (voir l’Article 6).
5 Échantillon de consommateurs
5.1 Généralités
Une épreuve hédonique sert à déterminer l’acceptabilité des produits et/ou à déterminer les préférences
parmi deux produits ou plus par la population de consommateurs spécifiée.
La composition de l’échantillon de consommateurs est décisive pour déterminer si le résultat de
l’épreuve hédonique permet ou non de répondre aux questions d’intérêt de la partie prenante.
Les consommateurs doivent être des volontaires, ce qui ne signifie pas qu’ils ne sont pas autorisés à
recevoir des indemnités ou une prime de participation.
Il est essentiel d’obtenir des réactions spontanées.
Les consommateurs entraînés doivent être exclus de ces essais car ils sont susceptibles de se distinguer
systématiquement de la population cible.
Généralement, il est déconseillé de recruter un échantillon de consommateurs parmi le personnel
d’une société fabriquant les produits soumis à essai. Les principaux facteurs susceptibles de fausser les
résultats en cas d’utilisation d’un échantillon de consommateurs interne sont:
— un risque de reconnaissance des produits soumis à essai;
— une tendance à effectuer un jugement en faveur des produits reconnus; et
— une connaissance excessive des produits.
Ces facteurs posent un sérieux risque de non-représentativité des résultats pour la population cible de
consommateurs.
Les critères à respecter lors de la sélection des consommateurs (qu’ils soient par exemple recrutés
ou non parmi le personnel de la société manufacturière ou de ses concurrents ou d’un secteur socio-
économique particulier) doivent être déterminés avec le client exigeant l’essai, quelle que soit la
méthode de recrutement utilisée.
5.2 Recrutement des consommateurs
5.2.1 Généralités
AVERTISSEMENT — Les critères suivants doivent être respectés.
— La confidentialité doit être préservée et la législation en vigueur doit être respectée lors de
la création et de la documentation de fichiers contenant des données personnelles.
— La législation relative aux restrictions d’âge doit être respectée.
Les consommateurs peuvent être recrutés soit pour une tâche spécifique (auquel cas les consommateurs
sont recrutés pour une étude particulière) soit parmi un «access panel» (une liste de consommateurs
potentiels ayant des caractéristiques connues). Le recrutement pour une tâche spécifique a souvent
été considéré comme un moyen de recruter des consommateurs ayant peu participé à des essais
consommateurs mais cette idée pourrait devenir erronée avec la multiplication des lieux où les épreuves
hédoniques sont organisées de manière quasi-permanente.
5.2.2 Recrutement en fonction de la tâche
Le recrutement en fonction de la tâche peut être effectué dans un lieu public, sur un point de vente, par
téléphone, par courrier ou courrier électronique ou par le biais d’une publicité dans un journal local
ou une station de radio, sur les réseaux sociaux ou sur d’autres supports Internet. Dans la plupart des
cas, il est nécessaire de conclure un accord préalable avec l’entreprise ou l’organisme responsable du
secteur dans lequel le recrutement est effectué.
La méthode de recrutement et le moment choisi pour aborder les consommateurs (en particulier lors de
la prise de contact sur un lieu public ou par téléphone et lors de la distribution d’informations par le biais
des médias) peuvent avoir un effet important sur la composition de l’échantillon de consommateurs.
5.2.3 Recrutement parmi un «access panel»
Pour que le recrutement soit efficace, il est également possible de compiler un «access panel» sous la
forme d’un fichier de descriptions de consommateurs. Avant chaque essai et après avoir spécifié le
groupe cible, une présélection peut être effectuée sur la base des critères enregistrés dans le fichier.
Une description des consommateurs peut comprendre des données sur les consommateurs telles que:
— l’identité et les coordonnées de la personne concernée;
— l’âge, le sexe;
— le statut marital, la composition du foyer;
— la situation socioprofessionnelle, les revenus;
— les éventuels problèmes de santé (par exemple, allergies, diabète, déficiences visuelles, etc.) en
rapport avec les produits soumis essai;
— d’autres informations en rapport avec les produits soumis essai (par exemple, habitudes de
consommation, interdits religieux, mode de vie, appareils ménagers);
— des informations sur la disponibilité de participation aux essais de la personne;
— des informations sur des participations antérieures à des essais consommateurs.
6 © ISO 2014 – Tous droits réservés
Chaque description de consommateur doit être mise à jour régulièrement.
Cette base de données permet d’instaurer un dialogue efficace entre la partie prenante et le prestataire
de services dans la mesure où elle permet à ce dernier de garantir, a priori, que les desiderata initiaux
de la partie prenante concernant les consommateurs cibles peuvent être satisfaits.
5.2.4 Fréquence de recours aux consommateurs
Comparé au recrutement en fonction de la tâche, le recrutement parmi un groupe de consommateurs
existant implique un risque plus élevé de «professionnalisation du consommateur».
Il est important d’éviter un effet d’entraînement du consommateur vis-à-vis du groupe de produits
concerné. Par conséquent, il ne faut pas recourir trop souvent aux mêmes consommateurs. À titre de
référence, il est recommandé de respecter un intervalle d’au moins trois mois entre chaque essai sur le
même produit.
Le laboratoire doit conserver des dossiers sur la fréquence de participation de chaque consommateur
aux essais impliquant chaque produit et chaque famille de produits. Les antécédents de participation des
consommateurs doivent figurer dans le rapport d’étude, éventuellement en incluant des informations
sur les familles de produits impliquées si la partie prenante l’exige.
5.3 Assemblage d’un échantillon de consommateurs
5.3.1 Sélection de consommateurs à l’aide de questionnaires de recrutement
Lorsque les consommateurs sont sélectionnés à l’aide d’un questionnaire de recrutement sur la base
des critères stipulés pour la construction de l’échantillon de consommateurs, le consommateur ne doit
pas pouvoir identifier les critères décisifs d’inclusion dans l’essai.
Des exemples de critères possibles sont les suivants:
— participation antérieure à des essais du groupe de produits concerné;
— fréquence d’utilisation du produit;
— marque du produit généralement utilisée, description du produit, lieu d’achat, etc.;
— habitudes d’utilisation ou de consommation du produit.
D’autres critères tels que l’âge, le sexe, la catégorie socioprofessionnelle ou la situation géographique
peuvent être pertinents. Pour des raisons pratiques, il convient de spécifier les classes relatives à
chacun de ces critères. Pour chaque classe, il convient d’indiquer un pourcentage selon lequel cette
classe doit être représentée dans l’échantillon de consommateurs.
Pour chaque consommateur sélectionné pour participer à l’essai, le questionnaire de recrutement doit
être rempli dans son intégralité.
Les détails du recrutement peuvent être vérifiés.
Un exemple de questionnaire de recrutement est donné dans l’Annexe A.
Le questionnaire de recrutement doit être conservé, ou les informations qui en découlent doivent être
enregistrées pour garantir la traçabilité des paramètres de recrutement de l’étude.
5.3.2 Représentativité de l’échantillon de consommateurs
La représentativité vis-à-vis de la population cible est la principale qualité requise d’un échantillon. La
définition de cette population résulte généralement d’une action concertée entre la partie prenante de
l’étude qui propose une population cible et le laboratoire qui évalue la faisabilité de mise en œuvre de
cette proposition.
Pour sélectionner des consommateurs représentatifs de la population cible, les critères suivants doivent
être utilisés:
— fréquence d’utilisation ou de consommation du produit (ce critère est souvent considéré fondamental
en raison de son influence supposée sur le pouvoir discriminatif de l’étude);
— âge, sexe, statut socio-économique, profession, situation géographique;
— marque du produit généralement utilisé ou consommé;
— lieu d’achat du produit.
5.4 Segmentation de l’échantillon
Il existe deux façons de segmenter l’échantillon de consommateurs:
a) Segmentation dès le départ afin d’obtenir des réponses à des questions telles que:
1) Les femmes répondent-elles de la même manière que les hommes?
2) Les réponses sont-elles différentes selon les groupes d’âge?
3) Les réponses dépendent-elles des habitudes de consommation?
Dans ce cas, chaque sous-groupe est analysé séparément et les résultats sont comparés.
b) Segmentation issue des données collectées en cas de preuve (telle qu’une multimodalité) de
différents sous-groupes.
L’Annexe B donne des lignes directrices relatives au traitement des données de segmentation.
6 Effectif de l’échantillon de consommateurs
6.1 Décisions de mesure
La précision numérique des moyennes ou estimations obtenues à partir des résultats augmente en
fonction de l’effectif de l’échantillon. Cependant, une précision de mesure accrue ne peut à elle seule
garantir la pertinence et la validité des conclusions obtenues. Il est également essentiel de bien choisir
les consommateurs et les modes opératoires.
L’Annexe D contient des considérations sur l’influence de l’effectif de l’échantillon de consommateurs
sur la précision de mesure.
La précision dépend également de la variabilité des consommateurs quant à leurs réponses à un seul
produit. Plus la dispersion est élevée, plus l’effectif de l’échantillon doit être important pour obtenir une
précision donnée. La connaissance de ce paramètre vient de l’expérience du laboratoire et de la partie
prenante.
La précision des résultats dépend également du mode opératoire d’essai. Par exemple, toutes choses
égales par ailleurs, la différence entre deux produits est établie plus précisément si les deux produits
sont évalués par chaque consommateur plutôt que par différents consommateurs.
La précision requise dépend de l’objectif de l’essai. Toutes choses égales par ailleurs, elle est influencée
par les éléments suivants:
— la plus petite différence entre deux notes hédoniques moyennes qui est considérée suffisamment
élevée pour être utile lorsque l’objectif est de démontrer une différence (plus elle est petite, plus
l’effectif de l’échantillon doit être important);
8 © ISO 2014 – Tous droits réservés
— la plus grande différence entre deux notes hédoniques moyennes qui est considérée suffisamment
faible pour être ignorée lorsque l’objectif est de démontrer une équivalence (plus elle est petite, plus
l’effectif de l’échantillon doit être important);
— la probabilité, α, pour que la partie prenante soit prête à accepter de conclure par erreur qu’il y a une
différence (plus la probabilité, α, est faible, plus l’effectif de l’échantillon doit être important);
— la puissance, P, que la partie prenante souhaite en ce qui concerne l’essai. (P = 1 – β, où β est le risque
de conclure par erreur qu’il n’y a pas de différence); plus la puissance souhaitée est élevée, plus
l’effectif de l’échantillon doit être important);
— la directionalité de l’essai statistique prévu. Si la partie prenante cherche uniquement à s’assurer
que le produit B n’est pas inférieur au produit A, un essai directionnel est approprié et la puissance
de l’essai est plus élevée que si les conclusions selon lesquelles B est inférieur à A ou selon lesquelles
B est supérieur à A étaient d’intérêt légal.
6.2 Détermination de l’effectif de l’échantillon
La détermination de l’effectif de l’échantillon est une étape critique dans le développement d’un essai
et nécessite l’aide d’un statisticien. L’Annexe E donne des expressions (accompagnées d’exemples) qui
peuvent être utilisées pour les calculs soit pour un essai par différence soit pour un essai par similitude
en fonction des notes. L’Annexe F fait de même pour les essais reposant sur les préférences.
Dans tous les cas, l’effectif d’un échantillon de consommateurs conforme à la présente Norme
internationale ne doit jamais être inférieur à 60.
Si le laboratoire ne dispose pas des informations requises par les méthodes décrites dans l’Annexe E ou
l’Annexe F, la présente Norme internationale fixe un effectif d’échantillon minimal de 100.
Si le laboratoire utilise les méthodes décrites dans l’Annexe E ou l’Annexe F, l’effectif de l’échantillon est
donné par le résultat du calcul. Toutefois, ce nombre:
— peut être abaissé à 100 lorsque le nombre calculé de consommateurs est supérieur à 100, mais que le
laboratoire et/ou la partie prenante n’a pas les moyens d’interroger davantage de consommateurs.
Dans ce cas, le laboratoire doit calculer la puissance estimée de l’essai pour un nombre de
consommateurs égal à 100 et obtenir l’acco
...
МЕЖДУНАРОДНЫЙ ISO
СТАНДАРТ 11136
Первое издание
2014-12-01
Сенсорный анализ. Методология.
Общее руководство по проведению
гедонических испытаний
потребителями в контролируемой зоне
Sensory analysis — Methodology — General guidance for conducting
hedonic tests with consumers in a controlled area
Ответственность за подготовку русской версии несёт GOST R
(Российская Федерация) в соответствии со статьёй 18.1 Устава ISO
Ссылочный номер
©
ISO 2014
ДОКУМЕНТ ЗАЩИЩЕН АВТОРСКИМ ПРАВОМ
© ISO 2014
Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO по адресу ниже или членов ISO в стране регистрации пребывания.
ISO copyright office
Case postale 56 CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2014– Все права сохраняются
Содержание Страница
Предисловие . v
1 Область применения . 1
2 Нормативные ссылки . 1
3 Термины и определения . 2
4 Предварительные соображения . 4
4.1 Предложение о проведении исследования . 4
4.2 Параметры целевой совокупности . 5
4.3 Дополнительные спецификации . 5
5 Выборка потребителей . 6
5.1 Общие положения . 6
5.2 Набор потребителей . 6
5.3 Составление выборки потребителей . 8
5.4 Разделение выборки . 8
6 Объем выборки потребителей . 9
6.1 Решение об измерении . 9
6.2 Определение объема выборки . 10
6.3 Работа с подгруппами . 10
6.4 Количество образцов продуктов и план эксперимента . 11
6.5 Надежность набора участников . 11
7 Зона проведения испытания . 11
8 Продукты . 12
8.1 Анонимное представление продуктов . 12
8.2 Подготовка и презентация продуктов . 12
9 Методы . 13
9.1 Две группы гедонических испытаний . 13
9.2 Рейтинговый метод (метод шкал) . 13
9.3 Метод парного сравнения образцов . 14
9.4 Ранжирование . 15
9.5 Дополнительные вопросы . 16
9.6 Инструкции для испытателей . 16
10 Организация испытательных сессий . 17
10.1 Общие положения . 17
10.2 Планы . 17
10.3 Количество продуктов, оцениваемых за одну сессию . 18
10.4 Характер продуктов, оцениваемых за одну сессию . 19
10.5 Продолжительность сессии . 19
10.6 Повторение оценки продукта в одном испытании . 19
10.7 Предварительное испытание . 20
11 Анализ результатов . 20
11.1 Общие положения . 20
11.2 Анализ выводов . 20
11.3 Рейтинги (см. 9.2) . 21
11.4 Парные сравнения (9.3) . 21
11.5 Ранжирование (9.4) . 21
12 Отчет об исследовании . 21
12.1 Общие положения . 21
12.2 Продукты .22
12.3 Метод испытания .22
12.4 Испытатели (потребители) .23
12.5 Результаты .24
12.6 Приложения к отчету .24
Annex A (информативное) Пример вопросника для набора потребителей .25
Annex B (информативное) Методы оценивания подгрупп при сегментации .29
Annex C (информативное) Планы распределения продуктов по испытателям .31
Annex D (информативное) Влияние объема выборки на точность одного среднего .32
Annex E (информативное) Минимальный размер выборки для рейтинговых тестов .33
Annex F (информативное) Минимальный объем выборки для ранжирования .37
Annex G (информативное) Примеры анализа данных для рейтингов .39
Annex H (информативное) Примеры анализа данных для ранжирования .45
Библиография .47
iv © ISO 2014– Все права сохраняются
Предисловие
Международная организация по стандартизации (ISO) всемирная федерация национальных органов
по стандартизации (комитеты-члены ISO). Работа по подготовке международных стандартов обычно
ведется через технические комитеты ISO. Каждый комитет-член ISO, проявляющий интерес к
тематике, по которой учрежден технический комитет, имеет право быть представленным в этом
комитете. Международные организации, государственные и негосударственные, имеющие связи с ISO,
также принимают участие в работе. ISO тесно сотрудничает с Международной электротехнической
комиссией (IEC) по всем вопросам стандартизации в области электротехники.
Процедуры, используемые для разработки данного документа, и процедуры, предусмотренные для его
дальнейшего ведения, описаны в Части 1 Директив ISO/IEC. В частности, следует отметить различные
критерии утверждения, требуемые для различных типов документов ISO. Проект данного документа
был разработан в соответствии с редакционными правилами Части 2 Директив ISO/IEC.
www.iso.org/directives.
Необходимо обратить внимание на возможность того, что ряд элементов данного документа могут
быть предметом патентных прав. Международная организация ISO не должна нести ответственность
за идентификацию таких прав, частично или полностью. Сведения о патентных правах,
идентифицированных при разработке документа, будут указаны во Введении и/или в перечне
полученных ISO объявлениях о патентном праве. www.iso.org/patents .
Любое торговое название, использованное в данном документе, является информацией,
предоставляемой для удобства пользователей, а не свидетельством в пользу того или иного товара
или той или иной компании.
Для пояснения значений конкретных терминов и выражений ISO, относящихся к оценке соответствия, а
также информация о соблюдении Международной организацией ISO принципов ВТО по техническим
барьерам в торговле (TБT), см. следующий унифицированный локатор ресурса (URL): Foreword -
Supplementary information.
За данный документ несет ответственность технический комитет ISO/TC 34, Пищевые продукты,
Подкомитет SC 12, Сенсорный анализ.
МЕЖДУНАРОДНЫЙ СТАНДАРТ ISO 11136:2014(R)
Сенсорный анализ. Методология. Общее руководство по
проведению гедонических испытаний потребителями в
контролируемой зоне
1 Область применения
Этот международный стандарт описывает подходы к измерению, в пределах контролируемой зоны,
степени, в которой потребителям нравится или относительно нравится предлагаемая продукция.
В стандарте использованы испытания, основанные на сборе ответов на вопросы, обычно
представленные на бумаге или посредством клавиатуры или сенсорной панели. Испытания
поведенческой природы (например, параметры записей, использованные ad libitum потребителями) не
подпадают под данный международный стандарт.
Гедонические испытания, описанные в данном международном стандарте, можно использовать как
вклад в следующее:
— сравнение предложенного продукта с конкурирующими продуктами;
— оптимизацию продукта с целью получения высокой гедонической оценки или с целью понравиться
большому количеству потребителей;
— помощь в определении диапазона продуктов, соответствующих конкретной целевой совокупности
потребителей;
— помощь в определении срока окончания годности (продукта);
— оценку воздействия изменения состава продукта на удовольствие, доставляемое этим продуктом;
— изучение воздействия сенсорных характеристик продукта на степень, в которой этот продукт
нравится, независимо от внешних характеристик, таких как бренд, цена или реклама;
— изучение влияния коммерческой переменной или формы преподнесения продукции, например,
упаковки.
Описанные методы являются эффективными для определения
— существуют или нет предпочтения в восприятии (различие в степени предпочтительности), или
— существуют или нет отрицательные предпочтения (тест на проверку подобия методом парного
сравнения).
2 Нормативные ссылки
Следующие документы, на которые приводится ссылка, являются обязательными для применения
настоящего документа. В отношении датированных ссылок применимо только указываемое издание. В
отношении недатированных ссылок действительно только последнее издание ссылаемого документа,
включая любые к нему изменения.
ISO 4121, Сенсорный анализ. Руководство по использованию количественных шкал
ISO 5492, Сенсорный анализ. Словарь
ISO 5495, Сенсорный анализ. Методология. Испытание спаренных проб
ISO 8587, Сенсорный анализ. Методология. Классификация
ISO 8589, Сенсорный анализ. Общее руководство по проектированию помещений для испытаний
ISO 29842, Сенсорный анализ. Методология. Сбалансированные неполноблочные планы
3 Термины и определения
В данном документе используются термины и определения, приведенные в ISO 5492, а также
следующие.
3.1
группа испытателей
access panel
примерная база данных потенциальных респондентов, которые заявили о своем желании
сотрудничать в планируемых сборах данных, если будут выбраны
[ИСТОЧНИК: ISO 20252]
Ƕримечание 1 к статье: Респонденты могут выбираться из базы на более или менее регулярной основе.
3.2
вопрос, предусматривающий стереотипные альтернативные ответы
closed-ended question
вопрос, который требует от респондента выбрать из предварительно составленного перечня
возможные ответы
3.3
сторона-инициатор
commissioning party
лицо, орган или служба, которая уполномочивает третью сторону на проведение исследования
Примечание 1 к статье: Понятие «сторона-инициатор» соответствует концепции «покупатель» или «заказчик» в
области контроля качества и противоположно концепции «поставщик», «поставщик услуг», или «лаборатория»
Примечание 2 к статье: Обычно сторона-инициатор и поставщик услуг принадлежат к разным предприятиям. Там
где они принадлежат к двум департаментам одного и того же предприятия, соответствующие обязанности этих
двух департаментов должны четко дифференцироваться и разъясняться в предложении о проведении
исследования.
3.4
потребитель (испытатель)
consumer
респондент
respondent
лицо, использующее продукт
Примечание 1 к статье: В данном международном стандарте это значение ограничено лицом, которое не является
экспертом, специалистом-дегустатором или экспертом по оценке, выбранным в соответствии с ISO 5492.
3.5
выборка потребителей (испытателей)
consumer sample
группа потребителей, набранных на основе критериев, установленных в соответствии с характером
целевой совокупности
2 © ISO 2014– Все права сохраняются
3.6
контролируемая зона
controlled area
место, обеспечивающее
— контролируемую подготовку и представление продуктов,
— комфортабельные условия для потребления продуктов и опроса потребителей, и
— отсутствие обмена информацией (вербального и невербального) между потребителями
(испытателями), гарантирующее независимость ответов
3.7
гедоническое восприятие
hedonic perception
количество удовольствия, доставляемого органолептическими свойствами продукта
3.8
гедоническое испытание
hedonic test
испытание, целью которого является измерение общего гедонического восприятия продукта
потребителями
3.9
вопрос, допускающий неограниченное число ответов
открытый вопрос
open-ended question
вопрос, который не предусматривает готовые альтернативы для респондентов, а просит дать ответ
собственными словами
Примечание 1 к статье: Он может касаться каждого из продуктов, представленных потребителям (испытателям),
или только некоторых из них (например, когда задается вопрос, почему определенный продукт является наиболее
(наименее) привлекательным для потребителя (испытателя).
3.10
необъективность, связанная с положением
position bias
косвенное влияние, связанное с расположением продукта в наборе оцениваемых продуктов
3.11
семейство продуктов
product family
группа продуктов, которые могут быть взаимозаменяемыми в нормальных условиях потребления
Примечание 1 к статье: Семейства продуктов могут зависеть от культуры и привычек потребителей.
3.12
репрезентативность
representativeness
<выборки> степень, в которой а качественные признаки выборки согласуются с соответствующими
качественными признаками совокупности, из которой эта выборка получена
3.13
необъективность, связанная с последовательностью
sequential bias
косвенное влияние временного положения или положения в последовательности продукта в наборе
оцениваемых продуктов
3.14
сессия
session
заседание потребителей (испытателей), работающих одновременно по одному и тому же протоколу в
течение определенного периода времени
Примечание 1 к статье: Сессию можно разделить на несколько сеансов, между которыми дается определенное
время на отдых. Например, сессию продолжительностью 1 ч 30 мин можно разделить на два сеанса с 10-
минутным перерывом между ними.
3.15
целевая совокупность
target population
совокупность потребителей, чей гедонический ответ на продукт предполагается оценить
4 Предварительные соображения
4.1 Предложение о проведении исследования
Предложение о проведении исследования выдвигается предоставляющей услуги лабораторией на
основе информации (обычно касающейся цели исследования и целевой совокупности), выданной
стороной-инициатором, как письменный документ, который связывает лабораторию и сторону-
инициатора договором. Он включает следующие элементы:
— цель исследования;
— подлежащие оценке продукты (и процедуры для их закупки, особенно в тех случаях, когда
лаборатории требуется обеспечить один или более продуктов);
— целевая совокупность для исследования;
— размер выборки потребителей (объем выборки) и способ набора участников;
— любые ограничения в отношении потребителей, ранее участвовавших в подобных исследованиях;
— любые ограничения на другие продукты, которые предполагается оценить, за одну и ту же сессию
испытаний;
— условия оценивания;
— тип интервью (формы для самостоятельного заполнения или интервьюеры);
— вопросник (анкета);
— место проведения оценивания;
— количество продуктов для оценивания на сессию в предлагаемом исследовании, наряду с
указанием других продуктов для оценивания, там где сессия охватывает несколько семейств
продуктов (там где эти продукты неизвестны на момент составления предложения, лаборатории
следует взять на себя обязательство связаться с испытателями, как только лаборатория узнает о
характере продуктов);
— условия подготовки, конкретно для оцениваемых продуктов (если они известны на данном этапе);
— любые инструкции, конкретно для оцениваемых продуктов (если они известны на данном этапе)
наряду с конкретной информацией, предоставляемой о продуктах или испытании в начале сессии;
4 © ISO 2014– Все права сохраняются
— наименование статистических критериев, которые предполагается использовать для
интерпретации результатов; тип использованных рисков и их допустимых значений; величина
минимального различия, которое предполагается обнаружить в тестах на проверку различия или
максимально допустимого различия в тестах на проверку подобия;
— любое предусмотренное разделение (сегментация) совокупности потребителей на основе
характеристик, известных до получения данных оценивания или на основании полученных
ответов;
— метод изучения и получения итогов по вопросам, допускающим неограниченное число ответов;
— любые рекомендации, которые сторона-инициатор желает, чтобы лаборатория разработала на
основе результатов исследования;
— данные, предусмотренные для тестов и предоставления отчета.
Если какие-либо из указанных выше элементов неизвестны на момент внесения предложения об
исследовании, это предложение включает для каждого рассматриваемого элемента следующее
заявление: “Данный элемент будет установлен стороной-инициатором посредством. [задание этапа
исследования].”
ПРИМЕЧАНИЕ Если спецификация уже существует, предложение о проведении исследования дает на нее
ссылку, не повторяя технические пункты, описанные в рабочем порядке в этой спецификации.
4.2 Параметры целевой совокупности
Чтобы установить целевую совокупность, необходимо ответить на следующие вопросы. Эти вопросы
должны быть рассмотрены для каждого испытания, которое предполагается осуществить, потому что
целевая группа потребителей, участвующая в одном испытании, может отличаться от группы для
другого испытания, даже при испытании одного и того же продукта.
— Представлен ли уже подлежащий испытаниям продукт на рынке? Если да, то можно ли отличить
реальных потребителей от потенциальных?
— Являются ли представляющие интерес потребители реально использующим представленный
продукт, потенциальными потребителями, которые еще не использовали этот продукт или группа
будет смешанной?
— Будут ли результаты, полученные от установленных подгрупп, изучаться и сравниваться?
— Будут ли результаты всей выборки потребителей проанализированы с намерением
идентификации подгрупп?
— Представляют ли интерес расхождения между результатами отдельных представляющих интерес
потребителей?
4.3 Дополнительные спецификации
После задания целевой совокупности, необходимо установить следующие аспекты:
― место проведения испытания (см. Раздел 7);
― ожидаемая прецизионность измерения (см. 6.1);
― метод испытания (см. Раздел 9);
― план представления продукта для выбранных методов испытания (см. 10.2);
― спецификации для проверяемой гипотезы (см. 6.1);
Для проверяемой гипотезы затем должны быть установлены следующие аспекты:
— состав выборки потребителей (см. Раздел 5);
— объем выборки потребителей (см. Раздел 6).
5 Выборка потребителей
5.1 Общие положения
Целью гедонического испытания является определение приемлемости продуктов и/или определение
предпочтений по отношению к двум или более продуктам установленной совокупностью потребителей.
Состав выборки потребителей является решающим для любого гедонического испытания, поскольку
рассматривают, сможет или нет результат ответить на интересующие вопросы стороны-инициатора.
Потребители должны быть добровольцами, что означает запрет на получение вознаграждения или
оплаты за участие в испытаниях.
Важно получить спонтанную реакцию.
Подготовленные потребители должны быть исключены из таких испытаний, поскольку они будут
систематически отличаться от целевой совокупности.
Обычно не рекомендуется набирать потребителей из персонала компании, производящей испытуемый
продукт. Если используют группу внутренних потребителей, то среди факторов, наиболее
неблагоприятно сказывающихся на результатах, будет
— риск узнавания испытываемых продуктов,
— тенденция вынести суждение в пользу узнанных продуктов, и
— хорошая осведомленность в отношении испытываемых продуктов.
Эти факторы несут серьезный риск нарушения репрезентативности результатов для целевой
совокупности потребителей.
Все критерии, которым следуют при выборе потребителей (например, можно или нет набирать их из
штата компании–изготовителя или ее конкурентов или из конкретного социально-экономического
сектора), должны быть согласованы с клиентом, заказавшим проведение исследования, независимо от
используемого метода набора.
5.2 Набор потребителей
5.2.1 Общие положения
ПРЕДУПРЕЖДЕНИЕ Необходимо соблюдать следующее.
— Конфиденциальность и соответствующие законы при создании и оформлении файлов с
персональными данными.
— Законодательство в отношении возрастных ограничений.
Потребителей можно набирать либо на основе конкретной задачи (там где потребители набираются
заново непосредственно под конкретное исследование) или из группы ожидания (перечень
потенциальных потребителей с известными характеристиками). Набор под конкретную задачу часто
считают средством набора потребителей, которые активно не участвовали в подобных исследованиях,
6 © ISO 2014– Все права сохраняются
но эта идея может стать ошибочной, когда происходит значительное увеличение мест, где организуют
гедонические испытания квазистационарным образом.
5.2.2 Набор под конкретную задачу
Набор под конкретную задачу можно проводить в общественном месте, в торговой точке, по телефону,
по обычно или электронной почте или по объявлению в местной газете или на радиостанции, или в
социальных сетях или иными путями через Интернет. В большинстве случаев необходимо достичь
предварительного соглашения с корпорацией или организацией, несущей ответственность за участок,
на котором ведется набор.
Способ набора и время подхода к потребителю (в частности, когда контакт происходит в
общественном месте или по телефону и при распространении информации через средства массовой
информации) может в значительной степени повлиять на состав выборки потребителей.
5.2.3 Набор из группы ожидания
Для эффективности набора также можно укомплектовать группу ожидания, участников которой внести
в файл описания потребителя. Перед каждым испытанием и после установления целевой
совокупности, можно сделать предварительный выбор на основе критериев, записанных в этом файле.
Описание потребителей может включать следующие данные о потребителе:
— идентификационные данные рассматриваемого лица, контактные данные;
— возраст, пол;
— семейное положение, состав семьи;
— социальное положение, профессия, доход;
— возможные проблемы со здоровьем (например, аллергия, диабет, проблемы со зрением, и т.д.) в
отношении испытываемых продуктов;
— другая информация, связанная с испытываемыми продуктами (например, привычки в еде и питье,
религиозные запреты, образ жизни, бытовое оборудование);
— информация о доступности потребителя для участия в испытаниях;
— информация о случаях предыдущего участия в испытаниях потребителем.
Описание каждого потребителя необходимо регулярно актуализировать.
Описанная база данных позволит эффективно работать в диалоге между стороной-инициатором и
поставщиком услуг в такой мере, в какой это позволит последнему обеспечить, a priori,
удовлетворение основных пожеланий стороны-инициатора в отношении целевых потребителей.
5.2.4 Частота привлечения потребителей
По сравнению с набором под конкретную задачу, существует большой риск “профессионализации
потребителя”, при наборе из существующей совокупности потребителей.
Важно избежать эффекта обучения отдельного потребителя в отношении исследуемой группы
продуктов. Поэтому нельзя привлекать одних и тех же потребителей слишком часто. В качестве
руководства рекомендуется проводить отдельные испытания одного и того же продукта не менее чем с
трехмесячным интервалом.
Лаборатория должна сохранять записи частоты участия каждого потребителя в испытаниях каждого
продукта и каждого семейства продуктов. История участия потребителей должна быть включена в
отчет об исследовании, возможно наряду с информацией о семействе продуктов по запросу стороны-
инициатора.
5.3 Составление выборки потребителей
5.3.1 Выбор потребителей с помощью анкеты
Когда потребителей набирают с помощью анкеты, относящейся к критериям, установленным для
состава выборки потребителей, потребитель не должен иметь возможность идентифицировать, какие
критерии в анкете являются решающими в выборе для участия в испытаниях.
Примеры возможных критериев:
— предыдущее участие в испытаниях рассматриваемой группы продуктов;
— частота использования рассматриваемого продукта;
— обычно используемый бренд, описание продукта, место приобретения и т.д.;
— привычки в использовании или потреблении рассматриваемого продукта.
Могут подойти другие критерии, такие как возраст, пол, социальный слой, сословие, или
географическое местоположение. Из соображений практичности следует установить классы для
каждого из этих критериев. Для каждого класса следует установить процент, которым этот класс будет
представлен в выборке потребителей.
Для каждого потребителя, выбранного для участия в испытании, анкета должна быть заполнена
полностью.
Можно проверить требуемые детали набора.
Пример анкеты для набора участников дается в Приложении A.
Анкету необходимо хранить, или хранить информацию из этой анкеты, чтобы обеспечить
прослеживаемость параметров набора участников исследования.
5.3.2 Репрезентативность выборки потребителей
Репрезентативность в отношении целевой совокупности является главным качеством, требуемым от
выборки. Определение такой совокупности обычно вытекает из взаимодействия между стороной-
инициатором исследования, которая предлагает целевую совокупность, и лабораторией, которая
оценивает осуществимость этого предложения.
Для выбора потребителей, которые будут представительными для целевой совокупности, необходимо
использовать следующие критерии:
— частота использования или потребления продукта (этот критерий зачастую считается основным в
отношении его предполагаемого влияния на различающую способность исследования);
— возраст, пол, социально-экономический статус, занятие, географическое местоположение;
— бренд продукта, обычно используемого или потребляемого;
— место приобретения этого продукта.
5.4 Разделение выборки
Существует два пути возможного разделения выборки (потребителей):
8 © ISO 2014– Все права сохраняются
a) Разделение в на начальной стадии, чтобы получить ответы на вопросы, такие как:
1) Отвечают женщины и мужчины одинаково или по-разному?
2) Одинаковы или нет ответы разных возрастных групп?
3) Зависят ли ответы от привычек потребления?
В этом случае каждую подгруппу анализируют по отдельности и сравнивают результаты.
b) Разделение может быть произведено по собранным данным, если имеется подтверждение
(например, мультимодальность) наличия различных подгрупп.
В Приложении B, дается руководство в отношении, как обращаться с данными сегментации.
6 Объем выборки потребителей
6.1 Решение об измерении
Численная прецизионность любых средних значений или оценок, полученных по результатам,
увеличивается с увеличением численности выборки. В то же время, повышенная прецизионность
измерения сама по себе не обеспечивает релевантность и достоверность полученных заключений.
Большое значение имеют также правильный выбор потребителей и методов.
В Приложении D содержатся некоторые соображения по влиянию объема выборки потребителей на
прецизионность измерения.
Прецизионность также зависит от вариантности ответов потребителей в отношении одного продукта.
Чем больше разброс, тем больше должен быть размер выборки, чтобы получить заданную
прецизионность. Знание данного параметра вытекает из опыта как лаборатории, так и стороны-
инициатора.
Прецизионность результатов зависит также от метода испытания. Например, при прочих равных
условиях, различие между двумя продуктами устанавливается более прецизионно, если каждый
потребитель оценивает оба продукта, а не в случае оценки продуктов разными потребителями.
Требующаяся прецизионность зависит от цели испытания. При прочих равных условиях, на
прецизионность влияет:
— наименьшее различие между двумя средними оценками удовольствия, которое считается
достаточно большим, чтобы использоваться, когда целью исследования является демонстрация
различия (чем различие меньше, тем больше надо брать размер выборки);
— наибольшее различие между двумя средними оценками удовольствия, которое считается
достаточно малым, чтобы им пренебречь, когда целью исследования является демонстрация
равноценности (чем равноценность меньше, тем больше надо брать размер выборки);
— риск, α (альфа), выбираемый стороной-инициатором на принятие ошибочного заключения о
наличии различия (чем меньше риск, α, тем больше надо брать размер выборки);
— мощность, P, которую сторона-инициатор желает для критерия. (P = 1 – β, где β представляет
собой риск ошибочного заключения, что различие отсутствует); чем больше желательная
мощность, тем больше надо брать размер выборки);
— направленность предполагаемого статистического критерия. Если сторона-инициатор
заинтересована только в повторном подтверждении, что продукт B не уступает продукту A,
направленный критерий подходит, и мощность этого критерия больше, чем если заключения, что B
уступает A или что B превосходит A, представляют одинаковый интерес.
6.2 Определение объема выборки
Определение объема выборки является критическим этапом в разработке испытания и требует
помощи специалиста в области статистики. В Приложении E даны формулы (сопровождаемые
примерами), которые можно использовать для расчетов в тестах на проверку различия, либо на
проверку подобия на основе рейтингов. Приложение F дает то же самое для испытаний, основанных
на предпочтениях.
Во всех случаях объем выборки потребителей, соответствующий данному международному стандарту,
не допускается меньше 60.
Там где лаборатория не имеет данных, требующихся для методов, описанных в Приложении E или в
Приложении F, данный международный стандарт фиксирует минимальный размер выборки на 100.
Там где лаборатория использует методы, описанные в Приложении E или в Приложении F, размер
выборки задается результатом расчета. В то же время это число
— может быть снижено до 100, когда рассчитанное число потребителей выше 100, но лаборатория
и/или сторона-инициатор не имеет средств для опроса большего количества потребителей. Если
это происходит, лаборатория должна рассчитать оцененную мощность критерия для количества
потребителей равного 100 и получить согласие стороны-инициатора на принятие более низкой
мощности, и
— должно быть увеличено до 60, если рассчитанное количество меньше 60.
Значения 100 и 60 предполагают, что сторона-инициатор не надеется на заключения,
сегментированные согласно характеристикам потребителей, таким как возраст и пол. Там где решение
о разделении принято до испытания, минимальное число потребителей на сегмент составляет 60.
6.3 Работа с подгруппами
6.3.1 Общие положения
Подгруппы выборки потребителей можно сформировать до сбора данных испытания или используя
эти данные. Для любых вариантов, перечисленных ниже, необходимо получить рекомендации у
статистиков на стадии планирования исследования.
6.3.2 Отдельные испытания с использованием заранее сформированных групп потребителей
Сторона-инициатор может пожелать изучить отдельные подгруппы, сформированные с учетом
характеристик потребителей (таких как возраст и пол), которые известны до начала испытаний. Один
вариант заключается в независимом анализе полученных результатов. В этом случае каждая
подгруппа должна состоять, как минимум из 60 испытателей.
6.3.3 Унифицированное испытание с использованием заранее сформированных групп
потребителей
Процедура 6.3.2 менее эффективна, чем уравнивающие презентации для всей выборки потребителей
с последующим комплексным анализом всех результатов с учетом количества членов в подгруппах.
Такая же степень доверия обычно достигается с меньшим, чем 60, количеством потребителей в
каждой подгруппе. Такой стиль анализа в высшей степени эффективен, когда все подгруппы
одинаковы или очень схожи по размеру.
10 © ISO 2014– Все права сохраняются
6.3.4 Разделение потребителей
Число членов в подгруппе может быть результатом, выведенным по результатам испытаний на
большой выборке потребителей. Подгруппы тогда классифицируют по оценке всех имеющихся данных
(результаты измерений и/или социально-демографические данные). Такое разделение служит для
описания выборки потребителей и может использоваться для разработки новых гипотез. Число
сформированных групп, их характеристики, и их размеры зависят от количества и характера
полученных результатов.
6.4 Количество образцов продуктов и план эксперимента
Количество образцов и план эксперимента влияют на размер выборки потребителей. Если для
презентации продукта используется полный план, то число потребителей, необходимое для испытания
будет равно числу полученных ответов на продукт. Если используется неполный план, количество
потребителей должно быть больше.
6.5 Надежность набора участников
Реально полученное число ответов обычно меньше числа набранных для испытания потребителей,
поскольку некоторые потребители в выборке могут отсутствовать, а некоторые участники неправильно
использовать вопросник. Чтобы компенсировать это, следует включить резерв при расчете
требующегося количества потребителей.
7 Зона проведения испытания
Настоящий международный стандарт касается гедонических измерений, проводимых в
контролируемой зоне согласно 3.6. Это отличается от гедонических испытаний, проводимых, например,
в торговой точке ли на дому у потребителей, что выходит за рамки области применения настоящего
международного стандарта. Описано три примера соответствующих зон испытания.
a) Стационарная лаборатория сенсорной оценки, специально оборудованная в соответствии с
ISO 8589 для проведения испытаний сенсорного анализа. Она имеет приемную для встречи
участников, помещение для подготовки продуктов и помещение, оснащенное боксами для
испытаний, температурным контролем и системой вентиляции для периодического обновления
воздуха. Такая зона обеспечивает наилучшую подготовку продуктов, представление продуктов и
условия протоколирования ответов.
b) Передвижная лаборатория сенсорной оценки, установленная на транспортном средстве, которое
специально переоборудовано для проведения сенсорных испытаний. Обычно такая лаборатория
имеет меньше площадей, чем стационарная. Зоны для приема испытателей и подготовки
продуктов очень ограничены.
c) Комната или комнаты, оснащаемые на время в соответствии с “конкретной задачей” для
оценивания продуктов, которые требуют минимум подготовки. Эту зону разбивают на две
отдельные части, одну для проведения испытаний, другую для подготовки и кодирования
продуктов. Планировка зоны испытания позволяет потребителям работать в физической изоляции
друг от друга. Условия испытания (температура, комнатное освещение, вентиляция и хранение и
подготовка образцов) можно отслеживать. В отличие от стационарных и передвижных
лабораторий подготовку продуктов и систему презентации каждый раз определяют заново,
адаптируя помещение под конкретную задачу.
8 Продукты
8.1 Анонимное представление продуктов
Подлежащие испытанию продукты должны быть представлены испытателям после того, как будут
максимально лишены индивидуальности и единственным средством идентификации останется
произвольный код (например, трехзначное случайное число), присвоенный лабораторией. Все ссылки
на бренд или знак качества должны быть удалены или закрыты, за исключением двух случаев:
a) когда удаление или маскировка невозможны;
b) когда целью является определение влияния бренда или знака качества.
ПРИМЕЧАНИЕ В данном международном стандарте под знаком качества подразумевают любой знак, который
потребитель может воспринять как влияние на оценку. Например, тип упаковки может представлять собой знак
качества.
8.2 Подготовка и презентация продуктов
8.2.1 Общие положения
Подлежащие оценке продукты должны быть подготовлены согласно методам, рекомендованным
изготовителями, или, если такие методы неизвестны, то согласно методу, официально оформленному
по предварительным испытаниям. Допуская надлежащим образом обоснованные ожидания, условия
подготовки должны приближаться к обычным условиям использования и потребления.
То же самое правило применяется к представлению продуктов (температура, сопутствующие продукты,
посуда и метод обслуживания).
ПРЕДУПРЕЖДЕНИЕ — Любой продукт меняется от партии к партии и вследствие хранения.
Такая изменчивость может представлять интерес для стороны-инициатора и в некоторых
случаях может стать основной задачей исследования. Во всех других случаях изменчивость
следует минимизировать, используя продукты из одной и той же партии, которые хранились в
одинаковых условиях и в течение одинакового времени.
8.2.2 Количество представляемых продуктов
Количество продукта, представленного испытателю, должно соответствовать обычно потребляемой
порции продукта, установленной стороной-инициатором. Испытателя необходимо информировать о
минимальном количестве образца для испытания и, при необходимости, о максимальном количестве
образца для испытания или потребления. Необходимо следить за тем, чтобы порция образца не была
слишком маленькой (риск получить только мимолетное исчезающее начальное впечатление) или
слишком большой (риск добиться пресыщения или отвращения).
Представленное количество может потребовать уменьшения по сравнению с обычно потребляемым
количеством, в тех случаях, когда участники пробуют несколько продуктов одного и того же семейства.
В то же время, представленного количества всегда должно быть достаточно, чтобы избежать
проведения оценки на слишком малом количестве провоцируя, таким образом, получение
мимолетного исчезающего начального впечатления.
При представлении готовой рыбы порция, предоставленная каждому участнику, должна
пропорционально включать все составляющие испытуемого продукта.
8.2.3 Форма представленных продуктов
Иногда существует два варианта представления продукта: продукт в состоянии непосредственно
после закупки и продукт в форме, готовой к употреблению.
12 © ISO 2014– Все права сохраняются
ПРИМЕР 1 Примеры включают хлеб (целиком или нарезанный), сосиску (целиком или нарезанную), сыр
(целиком или отрезанный), пиццу (целиком или порциями), растворимый кофе (в чашке до или после добавления
воды).
Лаборатория и сторона-инициатор могут считать, что обе формы имеют одну и ту же цель: наилучшим
образом оценить удовольствие, вызываемое продуктом. Не требуется знать, провоцируется или нет
эффект ореола той или иной формой. Если да, то две формы представляют одновременно
(целиком/кусочками) или последовательно (растворимый кофе). Потребитель дает отдельную оценку
обеим формам представления, причем потребители не знают, что один и тот же продукт представлен в
двух формах. Такой подход соответствует нормальному поведению потребителя, которому, в
повседневной жизни, не требуется разделять свои восприятия.
ПРИМЕР 2 Слова инструкции и вопроса могут звучать так: Вам дают сосиску под кодом 148. Вам следует
осмотреть ее, понюхать, съесть несколько кусочков и затем сообщить свою оценку с помощью указанной ниже
шкалы.
Если лаборатория и сторона-инициатор согласны, что обе формы вносят вклад в удовольствие,
получаемое от продукта, и что они не нуждаются в обработке как разные продукты. Наоборот обе эти
формы можно представить вместе или по очереди и получить один рейтинг.
ПРИМЕЧАНИЕ Под настоящий международный стандарт не подпадает случай, когда лаборатория и сторона-
инициатор считают необходимым узнать эффект ожидания, создаваемый визуальной информацией. Такая
сит
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.