ISO 29842:2011
(Main)Sensory analysis — Methodology — Balanced incomplete block designs
Sensory analysis — Methodology — Balanced incomplete block designs
ISO 29842:2011 specifies a method for the application of balanced incomplete block designs to sensory descriptive and hedonic tests. ISO 29842:2011 applies when the number of test samples exceeds the number of evaluations that an assessor can perform reliably in a single session. ISO 29842:2011 also specifies the fundamental characteristics of balanced incomplete block designs and establishes guidelines for their application in sensory evaluation.
Analyse sensorielle — Méthodologie — Plans de présentation en blocs incomplets équilibrés
L'ISO 29842:2011 spécifie une méthode pour l'application de plans de présentation en blocs incomplets équilibrés destinés aux essais sensoriels descriptifs et hédoniques. L'ISO 29842:2011 s'applique lorsque le nombre d'échantillons pour essai est supérieur au nombre d'évaluations qu'un sujet peut effectuer de manière fiable au cours d'une seule session. L'ISO 29842:2011 spécifie également les caractéristiques fondamentales des plans de présentation en blocs incomplets équilibrés et établit les directives relatives à leur application dans le cadre de l'évaluation sensorielle.
General Information
Relations
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 29842
First edition
2011-07-15
Sensory analysis — Methodology —
Balanced incomplete block designs
Analyse sensorielle — Méthodologie — Plans de présentation en blocs
incomplets équilibrés
Reference number
©
ISO 2011
© ISO 2011
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2011 – All rights reserved
Contents Page
Foreword .iv
1 Scope.1
2 Normative references.1
3 Terms and definitions .1
4 Specification of balanced incomplete block designs.1
5 Data analysis.3
5.1 General .3
5.2 Analysis of variance for rating data .3
5.3 Friedman's sum rank analysis for rank data .5
6 Application in sensory evaluation .6
Annex A (informative) Catalogue of incomplete block designs.7
Annex B (informative) Example of balanced incomplete block design with ratings data.15
Annex C (informative) Example of balanced incomplete block design with rank data .17
Bibliography.19
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 29842 was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12, Sensory
analysis.
iv © ISO 2011 – All rights reserved
INTERNATIONAL STANDARD ISO 29842:2011(E)
Sensory analysis — Methodology — Balanced incomplete block
designs
1 Scope
This International Standard specifies a method for the application of balanced incomplete block designs to
sensory descriptive and hedonic tests.
This International Standard applies when the number of test samples exceeds the number of evaluations that
an assessor can perform reliably in a single session.
This International Standard also specifies the fundamental characteristics of balanced incomplete block
designs and establishes guidelines for their application in sensory evaluation.
2 Normative references
The following referenced documents are indispensable for the application of this document. For dated
references, only the edition cited applies. For undated references, the latest edition of the referenced
document (including any amendments) applies.
ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in
probability
ISO 5492, Sensory analysis — Vocabulary
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 5492, ISO 3534-1, and the following
apply.
3.1
block design
〈sensory analysis〉 multi-sample serving protocol in which an assessor evaluates all or a subset of the samples
in a study
3.2
repetition
one occurrence of an experimental design
4 Specification of balanced incomplete block designs
Balanced incomplete block (BIB) designs apply to sensory tests in which the total number of samples is
greater than the number that can be evaluated before sensory and psychological fatigue set in. In BIB designs,
each assessor evaluates only a subset of the total number of samples in a single session.
An example of a BIB design is shown in Table 1.
Table 1 — A BIB design with five samples and 10 block/assessors
Test sample
Block
(assessor)
1 2 3 4 5
1 ° ° ° — —
2 ° ° — ° —
3 ° ° — — °
4 ° — ° ° —
5 ° — ° — °
6 ° — — ° °
7 — ° ° ° —
8 — ° ° — °
9 — ° — ° °
10 — — ° ° °
In a BIB design each assessor evaluates a subset, k, of the total number of samples, t, where k < t. The
subset of samples that an assessor evaluates is selected so that, in a single repetition of the BIB design,
every sample is evaluated an equal number of times and all possible pairs of two samples are evaluated by an
equal number of assessors.
The notation most commonly used in a BIB design follows.
t number of test samples
k number of samples evaluated by an assessor in a single session (k < t)
b total number of blocks (typically, assessors) in one repetition of the BIB design
r number of times each test sample is evaluated in one repetition of the BIB design
λ number of times each pair of samples is evaluated by the same assessor
p number of times the basic BIB design is repeated
Notationally, each assessor evaluates k of the t samples (k < t). The subset of k samples that an assessor
evaluates is selected so that in a single repetition of the BIB design every sample is evaluated an equal
number of times and all possible pairs of samples are evaluated by an equal number of assessors. The
number of blocks (assessors) required to complete a single repetition of the BIB design is denoted by b.
The number of times each sample is evaluated in a single repetition of the BIB design is denoted by r and the
number of times every pair of two samples is evaluated together is denoted by λ.
The entire BIB design may need to be repeated several times in order to achieve an adequate level of
precision for the study. The number of repetitions of the basic BIB design is denoted by p. The total number of
blocks (typically assessors) is then p*b and the total of evaluations per sample is then p*r. The total number of
times each pair of samples is seen together is p*λ.
The constant values of r and λ for all samples in the BIB design imparts important statistical properties to data
collected from the design. The constant value of r ensures that the mean values of all of the samples are
estimated with equal precision. The constant value of λ ensures that all pair-wise comparisons between any
two samples are equally sensitive.
2 © ISO 2011 – All rights reserved
5 Data analysis
5.1 General
Two types of data can be collected using balanced incomplete block designs. Ratings data, or scores, are
obtained when assessors use a scale to report the perceived intensities of the attributes or impressions they
are evaluating. Rank data are obtained when assessors order the samples from lowest to highest (or vice
versa) relative to the attribute they are evaluating. Different data analysis methods are used for ratings and
rank data.
5.2 Analysis of variance for rating data
Analysis of variance (ANOVA) is used to analyse ratings data obtained from the BIB design. The sources of
variability accounted for in the ANOVA model for the BIB design are the same as those accounted for in a
randomized (complete) block design. In both cases, the total variability is partitioned into the separate effects
of blocks (typically assessors), treatments (typically samples) and errors. Because each assessor evaluates
only a subset of the total number of test samples, more complicated formulae are required to calculate the
ANOVA sum-of-squares for the BIB design than for the randomized (complete) block design. The sensory
analyst shall ensure that the program used to perform the analysis is capable of handling BIB designs. In
many statistical computer packages, the ANOVA procedure applies only to complete designs, i.e. studies in
which every assessor evaluates all of the test samples. For incomplete designs, such as BIB designs, the
general linear model (GLM) procedure or a mixed model procedure is required.
The form of the ANOVA used to analyse BIB data depends on how the design is administered.
Where the experiment is of the form of the example in Table 1, with a single repetition of the design, the
ANOVA table is as shown in Table 2.
Table 2 — ANOVA table for balanced incomplete block design (single repetition)
Degrees of freedom Sum of squares Mean square
Source of variation F
(DF) (SS) (MS)
Total ν = t*r – 1 S
T T
Assessors ν = b – 1 S
B B
Samples (adjusted for assessors) ν = t – 1 S MS S /ν MS /MS
S S S S S S E
Error ν = t*r – t – b + 1 S MS S /ν
E E E E E
If the F-statistic in Table 2 exceeds the upper-α critical value of an F with the corresponding degrees of
freedom, then the null hypothesis assumption of equivalent mean ratings is rejected. If the F-statistic is
significant, a multiple comparison procedure, such as Fisher's LSD (least significant diffference), L, shall be
applied to determine which samples are significantly different from one another. The equation for Fisher's LSD,
L, appropriate for a single repetition of this BIB design is:
2MS
kt(1−)
E
Lt=
αν/2,
E
rk(1−)t
where
t, k and r are as defined in Clause 4;
MS is the mean square for error from the ANOVA table;
E
ν is the number of degrees of freedom for error from the ANOVA table;
E
t is the upper α/2 critical value of Student's t-distribution with ν degrees of freedom.
αν/2, E
E
The same value of α shall be used for assessing the significance of the F-statistic and in Fisher's LSD, L.
The BIB design shall be repeated p times to achieve an adequate level of precision from the study. If the total
number of blocks is too large for each assessor to evaluate all of them, each of the p*b assessors shall
evaluate only one block of k samples. Within each block, the order in which the k samples are evaluated shall
be done at random. The ANOVA table for this design is presented in Table 3.
Table 3 — ANOVA table for balanced incomplete block design
(p repetitions performed by p*b assessors each evaluating a single block of k samples)
Degrees of freedom Sum of squares Mean square
Source of variation F
(DF) (SS) (MS)
Total ν = t*p*r – 1 S
T T
Blocks (assessors) ν = p*b – 1 S
B B
Samples (adjusted for assessors) ν = t – 1 S MS = S /ν MS /MS
S S S S S S E
Error ν = t*p*r – t – p*b + 1 S MS = S /ν
E E E E E
If the F-statistic in Table 3 exceeds the critical value of an F with the corresponding degrees of freedom, then
the null hypothesis assumption of equivalent mean ratings is rejected. If the F-statistic is significant, a multiple
comparison procedure, such as Fisher's LSD, L, shall be applied to determine which samples are significantly
different from one another. The equation for Fisher's LSD, L, appropriate for a BIB design is:
2MS kt(1−)
E
Lt=
αν/2,
E
prk(1−)t
where
t, k, p and r are as defined in Clause 4;
MS is the mean square for error from the ANOVA table;
E
ν is the number of degrees of freedom for error from the ANOVA table;
E
t is the upper α/2 critical value of Student's t-distribution with ν degrees of freedom.
αν/2,
E
E
The same value of α shall be used for assessing the significance of the F-statistic and in Fisher's LSD, L.
If each assessor evaluates all b blocks in the BIB design, then the “assessor effect” and the “assessor-by-
sample” interaction can be partitioned out of the total variability (see Table 4). This approach is especially
applicable when the total number of blocks in one repetition of the BIB design is small (e.g. b ≤ 6). The order
in which the blocks are presented to the assessor shall be done at random. Within each block, the order in
which the samples are evaluated shall be done at random. In either approach, the variability that arises from
the assessors is accounted for and the interaction between assessors and samples replaces the error term
that was used in Tables 2 and 3.
4 © ISO 2011 – All rights reserved
Table 4 — ANOVA table for balanced incomplete block design
(p repetitions performed by p assessors each evaluating b blocks of k samples)
Degrees of freedom Sum of squares Mean square
Source of variation F
(DF) (SS) (MS
...
INTERNATIONAL ISO
STANDARD 29842
First edition
2011-07-15
Sensory analysis — Methodology —
Balanced incomplete block designs
Analyse sensorielle — Méthodologie — Plans de présentation en blocs
incomplets équilibrés
Reference number
©
ISO 2011
© ISO 2011
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2011 – All rights reserved
Contents Page
Foreword .iv
1 Scope.1
2 Normative references.1
3 Terms and definitions .1
4 Specification of balanced incomplete block designs.1
5 Data analysis.3
5.1 General .3
5.2 Analysis of variance for rating data .3
5.3 Friedman's sum rank analysis for rank data .5
6 Application in sensory evaluation .6
Annex A (informative) Catalogue of incomplete block designs.7
Annex B (informative) Example of balanced incomplete block design with ratings data.15
Annex C (informative) Example of balanced incomplete block design with rank data .17
Bibliography.19
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 29842 was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12, Sensory
analysis.
iv © ISO 2011 – All rights reserved
INTERNATIONAL STANDARD ISO 29842:2011(E)
Sensory analysis — Methodology — Balanced incomplete block
designs
1 Scope
This International Standard specifies a method for the application of balanced incomplete block designs to
sensory descriptive and hedonic tests.
This International Standard applies when the number of test samples exceeds the number of evaluations that
an assessor can perform reliably in a single session.
This International Standard also specifies the fundamental characteristics of balanced incomplete block
designs and establishes guidelines for their application in sensory evaluation.
2 Normative references
The following referenced documents are indispensable for the application of this document. For dated
references, only the edition cited applies. For undated references, the latest edition of the referenced
document (including any amendments) applies.
ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in
probability
ISO 5492, Sensory analysis — Vocabulary
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 5492, ISO 3534-1, and the following
apply.
3.1
block design
〈sensory analysis〉 multi-sample serving protocol in which an assessor evaluates all or a subset of the samples
in a study
3.2
repetition
one occurrence of an experimental design
4 Specification of balanced incomplete block designs
Balanced incomplete block (BIB) designs apply to sensory tests in which the total number of samples is
greater than the number that can be evaluated before sensory and psychological fatigue set in. In BIB designs,
each assessor evaluates only a subset of the total number of samples in a single session.
An example of a BIB design is shown in Table 1.
Table 1 — A BIB design with five samples and 10 block/assessors
Test sample
Block
(assessor)
1 2 3 4 5
1 ° ° ° — —
2 ° ° — ° —
3 ° ° — — °
4 ° — ° ° —
5 ° — ° — °
6 ° — — ° °
7 — ° ° ° —
8 — ° ° — °
9 — ° — ° °
10 — — ° ° °
In a BIB design each assessor evaluates a subset, k, of the total number of samples, t, where k < t. The
subset of samples that an assessor evaluates is selected so that, in a single repetition of the BIB design,
every sample is evaluated an equal number of times and all possible pairs of two samples are evaluated by an
equal number of assessors.
The notation most commonly used in a BIB design follows.
t number of test samples
k number of samples evaluated by an assessor in a single session (k < t)
b total number of blocks (typically, assessors) in one repetition of the BIB design
r number of times each test sample is evaluated in one repetition of the BIB design
λ number of times each pair of samples is evaluated by the same assessor
p number of times the basic BIB design is repeated
Notationally, each assessor evaluates k of the t samples (k < t). The subset of k samples that an assessor
evaluates is selected so that in a single repetition of the BIB design every sample is evaluated an equal
number of times and all possible pairs of samples are evaluated by an equal number of assessors. The
number of blocks (assessors) required to complete a single repetition of the BIB design is denoted by b.
The number of times each sample is evaluated in a single repetition of the BIB design is denoted by r and the
number of times every pair of two samples is evaluated together is denoted by λ.
The entire BIB design may need to be repeated several times in order to achieve an adequate level of
precision for the study. The number of repetitions of the basic BIB design is denoted by p. The total number of
blocks (typically assessors) is then p*b and the total of evaluations per sample is then p*r. The total number of
times each pair of samples is seen together is p*λ.
The constant values of r and λ for all samples in the BIB design imparts important statistical properties to data
collected from the design. The constant value of r ensures that the mean values of all of the samples are
estimated with equal precision. The constant value of λ ensures that all pair-wise comparisons between any
two samples are equally sensitive.
2 © ISO 2011 – All rights reserved
5 Data analysis
5.1 General
Two types of data can be collected using balanced incomplete block designs. Ratings data, or scores, are
obtained when assessors use a scale to report the perceived intensities of the attributes or impressions they
are evaluating. Rank data are obtained when assessors order the samples from lowest to highest (or vice
versa) relative to the attribute they are evaluating. Different data analysis methods are used for ratings and
rank data.
5.2 Analysis of variance for rating data
Analysis of variance (ANOVA) is used to analyse ratings data obtained from the BIB design. The sources of
variability accounted for in the ANOVA model for the BIB design are the same as those accounted for in a
randomized (complete) block design. In both cases, the total variability is partitioned into the separate effects
of blocks (typically assessors), treatments (typically samples) and errors. Because each assessor evaluates
only a subset of the total number of test samples, more complicated formulae are required to calculate the
ANOVA sum-of-squares for the BIB design than for the randomized (complete) block design. The sensory
analyst shall ensure that the program used to perform the analysis is capable of handling BIB designs. In
many statistical computer packages, the ANOVA procedure applies only to complete designs, i.e. studies in
which every assessor evaluates all of the test samples. For incomplete designs, such as BIB designs, the
general linear model (GLM) procedure or a mixed model procedure is required.
The form of the ANOVA used to analyse BIB data depends on how the design is administered.
Where the experiment is of the form of the example in Table 1, with a single repetition of the design, the
ANOVA table is as shown in Table 2.
Table 2 — ANOVA table for balanced incomplete block design (single repetition)
Degrees of freedom Sum of squares Mean square
Source of variation F
(DF) (SS) (MS)
Total ν = t*r – 1 S
T T
Assessors ν = b – 1 S
B B
Samples (adjusted for assessors) ν = t – 1 S MS S /ν MS /MS
S S S S S S E
Error ν = t*r – t – b + 1 S MS S /ν
E E E E E
If the F-statistic in Table 2 exceeds the upper-α critical value of an F with the corresponding degrees of
freedom, then the null hypothesis assumption of equivalent mean ratings is rejected. If the F-statistic is
significant, a multiple comparison procedure, such as Fisher's LSD (least significant diffference), L, shall be
applied to determine which samples are significantly different from one another. The equation for Fisher's LSD,
L, appropriate for a single repetition of this BIB design is:
2MS
kt(1−)
E
Lt=
αν/2,
E
rk(1−)t
where
t, k and r are as defined in Clause 4;
MS is the mean square for error from the ANOVA table;
E
ν is the number of degrees of freedom for error from the ANOVA table;
E
t is the upper α/2 critical value of Student's t-distribution with ν degrees of freedom.
αν/2, E
E
The same value of α shall be used for assessing the significance of the F-statistic and in Fisher's LSD, L.
The BIB design shall be repeated p times to achieve an adequate level of precision from the study. If the total
number of blocks is too large for each assessor to evaluate all of them, each of the p*b assessors shall
evaluate only one block of k samples. Within each block, the order in which the k samples are evaluated shall
be done at random. The ANOVA table for this design is presented in Table 3.
Table 3 — ANOVA table for balanced incomplete block design
(p repetitions performed by p*b assessors each evaluating a single block of k samples)
Degrees of freedom Sum of squares Mean square
Source of variation F
(DF) (SS) (MS)
Total ν = t*p*r – 1 S
T T
Blocks (assessors) ν = p*b – 1 S
B B
Samples (adjusted for assessors) ν = t – 1 S MS = S /ν MS /MS
S S S S S S E
Error ν = t*p*r – t – p*b + 1 S MS = S /ν
E E E E E
If the F-statistic in Table 3 exceeds the critical value of an F with the corresponding degrees of freedom, then
the null hypothesis assumption of equivalent mean ratings is rejected. If the F-statistic is significant, a multiple
comparison procedure, such as Fisher's LSD, L, shall be applied to determine which samples are significantly
different from one another. The equation for Fisher's LSD, L, appropriate for a BIB design is:
2MS kt(1−)
E
Lt=
αν/2,
E
prk(1−)t
where
t, k, p and r are as defined in Clause 4;
MS is the mean square for error from the ANOVA table;
E
ν is the number of degrees of freedom for error from the ANOVA table;
E
t is the upper α/2 critical value of Student's t-distribution with ν degrees of freedom.
αν/2,
E
E
The same value of α shall be used for assessing the significance of the F-statistic and in Fisher's LSD, L.
If each assessor evaluates all b blocks in the BIB design, then the “assessor effect” and the “assessor-by-
sample” interaction can be partitioned out of the total variability (see Table 4). This approach is especially
applicable when the total number of blocks in one repetition of the BIB design is small (e.g. b ≤ 6). The order
in which the blocks are presented to the assessor shall be done at random. Within each block, the order in
which the samples are evaluated shall be done at random. In either approach, the variability that arises from
the assessors is accounted for and the interaction between assessors and samples replaces the error term
that was used in Tables 2 and 3.
4 © ISO 2011 – All rights reserved
Table 4 — ANOVA table for balanced incomplete block design
(p repetitions performed by p assessors each evaluating b blocks of k samples)
Degrees of freedom Sum of squares Mean square
Source of variation F
(DF) (SS) (MS
...
NORME ISO
INTERNATIONALE 29842
Première édition
2011-07-15
Analyse sensorielle — Méthodologie —
Plans de présentation en blocs
incomplets équilibrés
Sensory analysis — Methodology — Balanced incomplete block
designs
Numéro de référence
©
ISO 2011
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2011
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2011 – Tous droits réservés
Sommaire Page
Avant-propos .iv
1 Domaine d'application .1
2 Références normatives.1
3 Termes et définitions .1
4 Spécification des plans de présentation en blocs incomplets équilibrés.1
5 Analyse des données.3
5.1 Généralités .3
5.2 Analyse de la variance pour les données de notation .3
5.3 Analyse de la somme des rangs de Friedman pour les données de rang .5
6 Application dans l'évaluation sensorielle.6
Annexe A (informative) Catalogue des plans de présentation en blocs incomplets.7
Annexe B (informative) Exemple de plan de présentation en blocs incomplets équilibrés
avec données de notation .15
Annexe C (informative) Exemple de plan de présentation en blocs incomplets équilibrés
avec données de rang.17
Bibliographie.19
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 29842 a été élaborée par le comité technique ISO/TC 34, Produits alimentaires, sous-comité SC 12,
Analyse sensorielle.
iv © ISO 2011 – Tous droits réservés
NORME INTERNATIONALE ISO 29842:2011(F)
Analyse sensorielle — Méthodologie — Plans de présentation
en blocs incomplets équilibrés
1 Domaine d'application
La présente Norme internationale spécifie une méthode pour l'application de plans de présentation en blocs
incomplets équilibrés destinés aux essais sensoriels descriptifs et hédoniques.
La présente Norme internationale s'applique lorsque le nombre d'échantillons pour essai est supérieur au
nombre d'évaluations qu'un sujet peut effectuer de manière fiable au cours d'une seule session.
La présente Norme internationale spécifie également les caractéristiques fondamentales des plans de
présentation en blocs incomplets équilibrés et établit les directives relatives à leur application dans le cadre de
l'évaluation sensorielle.
2 Références normatives
Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les
références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du
document de référence s'applique (y compris les éventuels amendements).
ISO 3534-1, Statistique — Vocabulaire et symboles — Partie 1: Termes statistiques généraux et termes
utilisés en calcul des probabilités
ISO 5492, Analyse sensorielle — Vocabulaire
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l'ISO 5492 et l'ISO 3534-1, ainsi
que les suivants s'appliquent.
3.1
plan de présentation en blocs
〈analyse sensorielle〉 protocole de présentation de plusieurs échantillons au cours duquel un sujet évalue
dans une étude, l'ensemble des échantillons ou un sous-ensemble d'échantillons
3.2
répétition
une occurrence d'un plan expérimental
4 Spécification des plans de présentation en blocs incomplets équilibrés
Les plans de présentation en blocs incomplets équilibrés (BIE) s'appliquent aux essais sensoriels dans
lesquels le nombre total d'échantillons est supérieur au nombre qui peut être évalué avant l'apparition d'une
fatigue sensorielle et psychologique. Dans les plans BIE, chaque sujet évalue un seul sous-ensemble du
nombre total d'échantillons au cours d'une seule session.
Un exemple d'un plan BIE est présenté dans le Tableau 1.
Tableau 1 — Plan BIE avec cinq échantillons et dix blocs/sujets
Échantillon pour essai
Bloc
(sujet)
1 2 3 4 5
1 ° ° ° — —
2 ° ° — ° —
3 ° ° — — °
4 ° — ° ° —
5 ° — ° — °
6 ° — — ° °
7 — ° ° ° —
8 — ° ° — °
9 — ° — ° °
10 — — ° ° °
Dans un plan BIE, chaque sujet évalue un sous-ensemble, k, du nombre total d'échantillons, t, où k < t. Le
sous-ensemble d'échantillons qu'un sujet évalue est choisi de sorte que dans une seule répétition du plan BIE,
chaque échantillon est évalué le même nombre de fois et toutes les paires possibles de deux échantillons
sont évaluées par un nombre égal de sujets.
Dans un plan BIE, la notation la plus couramment utilisée est la suivante.
t nombre d'échantillons pour essai
k nombre d'échantillons évalués par un sujet au cours d'une seule session (k < t)
b nombre total de blocs (généralement les sujets) dans une répétition du plan BIE
r nombre de fois que chaque échantillon pour essai est évalué dans une répétition du plan BIE
λ nombre de fois que chaque paire d'échantillons est évaluée par le même sujet
p nombre de fois que le plan BIE de base est répété
D'un point de vue notationnel, chaque sujet évalue k échantillons parmi t (k < t). Le sous-ensemble de
k échantillons qu'un sujet évalue est choisi de sorte que dans une seule répétition du plan BIE, chaque
échantillon est évalué le même nombre de fois et toutes les paires d'échantillons possibles sont évaluées par
un nombre égal de sujets. Le nombre de blocs (sujets) nécessaires pour réaliser une seule répétition du plan
BIE est désigné par b. Le nombre de fois que chaque échantillon est évalué dans une seule répétition du plan
BIE est désigné par lettre r et le nombre de fois que chaque paire de deux échantillons est évaluée ensemble
est désigné par λ.
Il peut être nécessaire de répéter plusieurs fois l'ensemble du plan BIE afin d'obtenir un niveau de précision
adéquat pour l'étude. Le nombre de répétitions du plan BIE de base est désigné par p. Le nombre total de
blocs (généralement les sujets) est alors p*b et le nombre total d'évaluations par échantillon est alors p*r. Le
nombre total de fois que chaque paire d'échantillons est évaluée ensemble est p*λ.
Les valeurs constantes de r et λ pour tous les échantillons dans le plan BIE confèrent d'importantes
propriétés statistiques aux données collectées d'après le plan. La valeur constante de r garantit que les
2 © ISO 2011 – Tous droits réservés
valeurs moyennes de tous les échantillons sont estimées avec la même précision. La valeur constante de λ
garantit que toutes les comparaisons par paires entre deux échantillons sont de sensibilité égale.
5 Analyse des données
5.1 Généralités
Deux types de données peuvent être collectés en utilisant les plans de présentation en blocs incomplets
équilibrés. Les données de notation, ou notes, sont obtenues lorsque les sujets utilisent une échelle pour
consigner les intensités perçues des attributs ou impressions qu'ils évaluent. Les données de rang sont
obtenues lorsque les sujets classent les échantillons par ordre croissant (ou décroissant) en fonction de
l'attribut qu'ils évaluent. Différentes méthodes d'analyse des données sont utilisées pour les données de
notation et de rang.
5.2 Analyse de la variance pour les données de notation
L'analyse de la variance (ANOVA) est utilisée pour analyser les données de notation obtenues d'après le plan
BIE. Les sources de variabilité prises en compte dans le modèle ANOVA pour le plan BIE sont les mêmes
que celles utilisées dans un plan de présentation en blocs aléatoires (complets). Dans les deux cas, la
variabilité totale est répartie entre les effets séparés des blocs (généralement les sujets), des traitements
(généralement les échantillons) et des erreurs. Dans le cas du plan BIE, dans la mesure où chaque sujet
n'évalue qu'un sous-ensemble du nombre total d'échantillons pour essai, des formules plus compliquées que
celles du plan de présentation en blocs aléatoires (complets) sont nécessaires pour calculer la somme des
carrés de l'ANOVA. L'analyste sensoriel doit s'assurer que le programme utilisé pour effectuer l'analyse est
capable de gérer les plans BIE. Dans de nombreux programmes informatiques statistiques, la procédure
«ANOVA» ne s'applique qu'aux plans en blocs complets, c'est-à-dire aux études dans lesquelles chaque sujet
évalue tous les échantillons pour essai. Pour les plans en blocs incomplets, notamment les plans BIE, le
modèle linéaire généralisé (MLG) ou un modèle mixte est requis.
La forme de l'ANOVA utilisée pour analyser les données BIE dépend de la façon dont le plan est géré.
Lorsque l'expérience est du type de celle donnée dans l'exemple du Tableau 1, avec une seule répétition du
plan, le tableau de l'ANOVA est tel que représenté dans le Tableau 2.
Tableau 2 — Tableau de l'ANOVA pour le plan de présentation en blocs incomplets équilibrés
(une seule répétition)
Degrés de liberté Somme des carrés Carré moyen
Source de variabilité F
(DL) (SC) (CM)
Total ν = t*r – 1 S
T T
Sujets ν = b – 1 S
B B
Échantillons (ajustés pour les sujets) ν = t – 1 S CM S /ν CM /CM
S S S S S S E
Erreur ν = t*r – t – b + 1 S CM S /ν
E E E E E
Si la statistique F du Tableau 2 est supérieure à la valeur critique supérieure α de la statistique F
correspondant aux degrés de liberté indiqués, alors l'hypothèse nulle d'équivalence des notes moyennes est
rejetée. Si la statistique F est significative, une procédure de comparaisons multiples telle que la PPDS (plus
petite différence significative) de Fisher, L, doit être appliquée pour déterminer quels échantillons sont
significativement différents les uns des autres. L'équation pour la PPDS de Fisher, L, appropriée pour une
seule répétition du plan BIE est:
2CM
kt(1−)
E
Lt=
αν/2,
E
rk(1−)t
où
t, k et r sont telles que définies à l'Article 4;
CM est le carré moyen de l'erreur d'après le tableau de l'ANOVA;
E
ν est le nombre de degrés de liberté de l'erreur d'après le tableau de l'ANOVA;
E
t est la valeur critique supérieure α/2 de la distribution t de Student avec ν degrés de liberté.
αν/2, E
E
La même valeur de α doit être utilisée pour évaluer l'importance de la statistique F et dans la PPDS de
Fisher, L.
Le plan BIE doit être répété p fois pour obtenir un niveau de précision adéquat de l'étude. Si le nombre total
de blocs est trop élevé pour que chaque sujet puisse tous les évaluer, chacun des p*b sujets doit évaluer un
seul bloc de k échantillons. Dans chaque bloc, l'ordre d'évaluation des k échantillons doit être aléatoire. Le
tableau de l'ANOVA pour ce plan est présenté dans le Tableau 3.
Tableau 3 — Tableau de l'ANOVA pour le plan de présentation en blocs incomplets équilibrés
(p répétitions effectuées par p*b sujets évaluant chacun un seul bloc de k échantillons)
Degrés de liberté Somme des carrés Carré moyen
Source de variabilité F
(DL) (SC) (CM)
Total ν = t*p*r – 1 S
T T
Blocs (sujets) ν = p*b – 1 S
B B
Échantillons (ajustés pour les sujets) ν = t – 1 S CM = S /ν CM /CM
S S S S S S E
Erreur ν = t*p*r – t – p*b + 1 S CM = S /ν
E E E E E
Si la statistique F du Tableau 3 est supérieure à la valeur critique de la statistique F correspondant aux degrés
de liberté indiqués, alors l'hypothèse nulle d'équivalence des notes moyennes est rejetée. Si la statistique F
est significative, une procédure de comparaisons multiples telle que la PPDS de Fisher, L, doit être appliquée
pour déterm
...
NORME ISO
INTERNATIONALE 29842
Première édition
2011-07-15
Analyse sensorielle — Méthodologie —
Plans de présentation en blocs
incomplets équilibrés
Sensory analysis — Methodology — Balanced incomplete block
designs
Numéro de référence
©
ISO 2011
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2011
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2011 – Tous droits réservés
Sommaire Page
Avant-propos .iv
1 Domaine d'application .1
2 Références normatives.1
3 Termes et définitions .1
4 Spécification des plans de présentation en blocs incomplets équilibrés.1
5 Analyse des données.3
5.1 Généralités .3
5.2 Analyse de la variance pour les données de notation .3
5.3 Analyse de la somme des rangs de Friedman pour les données de rang .5
6 Application dans l'évaluation sensorielle.6
Annexe A (informative) Catalogue des plans de présentation en blocs incomplets.7
Annexe B (informative) Exemple de plan de présentation en blocs incomplets équilibrés
avec données de notation .15
Annexe C (informative) Exemple de plan de présentation en blocs incomplets équilibrés
avec données de rang.17
Bibliographie.19
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 29842 a été élaborée par le comité technique ISO/TC 34, Produits alimentaires, sous-comité SC 12,
Analyse sensorielle.
iv © ISO 2011 – Tous droits réservés
NORME INTERNATIONALE ISO 29842:2011(F)
Analyse sensorielle — Méthodologie — Plans de présentation
en blocs incomplets équilibrés
1 Domaine d'application
La présente Norme internationale spécifie une méthode pour l'application de plans de présentation en blocs
incomplets équilibrés destinés aux essais sensoriels descriptifs et hédoniques.
La présente Norme internationale s'applique lorsque le nombre d'échantillons pour essai est supérieur au
nombre d'évaluations qu'un sujet peut effectuer de manière fiable au cours d'une seule session.
La présente Norme internationale spécifie également les caractéristiques fondamentales des plans de
présentation en blocs incomplets équilibrés et établit les directives relatives à leur application dans le cadre de
l'évaluation sensorielle.
2 Références normatives
Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les
références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du
document de référence s'applique (y compris les éventuels amendements).
ISO 3534-1, Statistique — Vocabulaire et symboles — Partie 1: Termes statistiques généraux et termes
utilisés en calcul des probabilités
ISO 5492, Analyse sensorielle — Vocabulaire
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l'ISO 5492 et l'ISO 3534-1, ainsi
que les suivants s'appliquent.
3.1
plan de présentation en blocs
〈analyse sensorielle〉 protocole de présentation de plusieurs échantillons au cours duquel un sujet évalue
dans une étude, l'ensemble des échantillons ou un sous-ensemble d'échantillons
3.2
répétition
une occurrence d'un plan expérimental
4 Spécification des plans de présentation en blocs incomplets équilibrés
Les plans de présentation en blocs incomplets équilibrés (BIE) s'appliquent aux essais sensoriels dans
lesquels le nombre total d'échantillons est supérieur au nombre qui peut être évalué avant l'apparition d'une
fatigue sensorielle et psychologique. Dans les plans BIE, chaque sujet évalue un seul sous-ensemble du
nombre total d'échantillons au cours d'une seule session.
Un exemple d'un plan BIE est présenté dans le Tableau 1.
Tableau 1 — Plan BIE avec cinq échantillons et dix blocs/sujets
Échantillon pour essai
Bloc
(sujet)
1 2 3 4 5
1 ° ° ° — —
2 ° ° — ° —
3 ° ° — — °
4 ° — ° ° —
5 ° — ° — °
6 ° — — ° °
7 — ° ° ° —
8 — ° ° — °
9 — ° — ° °
10 — — ° ° °
Dans un plan BIE, chaque sujet évalue un sous-ensemble, k, du nombre total d'échantillons, t, où k < t. Le
sous-ensemble d'échantillons qu'un sujet évalue est choisi de sorte que dans une seule répétition du plan BIE,
chaque échantillon est évalué le même nombre de fois et toutes les paires possibles de deux échantillons
sont évaluées par un nombre égal de sujets.
Dans un plan BIE, la notation la plus couramment utilisée est la suivante.
t nombre d'échantillons pour essai
k nombre d'échantillons évalués par un sujet au cours d'une seule session (k < t)
b nombre total de blocs (généralement les sujets) dans une répétition du plan BIE
r nombre de fois que chaque échantillon pour essai est évalué dans une répétition du plan BIE
λ nombre de fois que chaque paire d'échantillons est évaluée par le même sujet
p nombre de fois que le plan BIE de base est répété
D'un point de vue notationnel, chaque sujet évalue k échantillons parmi t (k < t). Le sous-ensemble de
k échantillons qu'un sujet évalue est choisi de sorte que dans une seule répétition du plan BIE, chaque
échantillon est évalué le même nombre de fois et toutes les paires d'échantillons possibles sont évaluées par
un nombre égal de sujets. Le nombre de blocs (sujets) nécessaires pour réaliser une seule répétition du plan
BIE est désigné par b. Le nombre de fois que chaque échantillon est évalué dans une seule répétition du plan
BIE est désigné par lettre r et le nombre de fois que chaque paire de deux échantillons est évaluée ensemble
est désigné par λ.
Il peut être nécessaire de répéter plusieurs fois l'ensemble du plan BIE afin d'obtenir un niveau de précision
adéquat pour l'étude. Le nombre de répétitions du plan BIE de base est désigné par p. Le nombre total de
blocs (généralement les sujets) est alors p*b et le nombre total d'évaluations par échantillon est alors p*r. Le
nombre total de fois que chaque paire d'échantillons est évaluée ensemble est p*λ.
Les valeurs constantes de r et λ pour tous les échantillons dans le plan BIE confèrent d'importantes
propriétés statistiques aux données collectées d'après le plan. La valeur constante de r garantit que les
2 © ISO 2011 – Tous droits réservés
valeurs moyennes de tous les échantillons sont estimées avec la même précision. La valeur constante de λ
garantit que toutes les comparaisons par paires entre deux échantillons sont de sensibilité égale.
5 Analyse des données
5.1 Généralités
Deux types de données peuvent être collectés en utilisant les plans de présentation en blocs incomplets
équilibrés. Les données de notation, ou notes, sont obtenues lorsque les sujets utilisent une échelle pour
consigner les intensités perçues des attributs ou impressions qu'ils évaluent. Les données de rang sont
obtenues lorsque les sujets classent les échantillons par ordre croissant (ou décroissant) en fonction de
l'attribut qu'ils évaluent. Différentes méthodes d'analyse des données sont utilisées pour les données de
notation et de rang.
5.2 Analyse de la variance pour les données de notation
L'analyse de la variance (ANOVA) est utilisée pour analyser les données de notation obtenues d'après le plan
BIE. Les sources de variabilité prises en compte dans le modèle ANOVA pour le plan BIE sont les mêmes
que celles utilisées dans un plan de présentation en blocs aléatoires (complets). Dans les deux cas, la
variabilité totale est répartie entre les effets séparés des blocs (généralement les sujets), des traitements
(généralement les échantillons) et des erreurs. Dans le cas du plan BIE, dans la mesure où chaque sujet
n'évalue qu'un sous-ensemble du nombre total d'échantillons pour essai, des formules plus compliquées que
celles du plan de présentation en blocs aléatoires (complets) sont nécessaires pour calculer la somme des
carrés de l'ANOVA. L'analyste sensoriel doit s'assurer que le programme utilisé pour effectuer l'analyse est
capable de gérer les plans BIE. Dans de nombreux programmes informatiques statistiques, la procédure
«ANOVA» ne s'applique qu'aux plans en blocs complets, c'est-à-dire aux études dans lesquelles chaque sujet
évalue tous les échantillons pour essai. Pour les plans en blocs incomplets, notamment les plans BIE, le
modèle linéaire généralisé (MLG) ou un modèle mixte est requis.
La forme de l'ANOVA utilisée pour analyser les données BIE dépend de la façon dont le plan est géré.
Lorsque l'expérience est du type de celle donnée dans l'exemple du Tableau 1, avec une seule répétition du
plan, le tableau de l'ANOVA est tel que représenté dans le Tableau 2.
Tableau 2 — Tableau de l'ANOVA pour le plan de présentation en blocs incomplets équilibrés
(une seule répétition)
Degrés de liberté Somme des carrés Carré moyen
Source de variabilité F
(DL) (SC) (CM)
Total ν = t*r – 1 S
T T
Sujets ν = b – 1 S
B B
Échantillons (ajustés pour les sujets) ν = t – 1 S CM S /ν CM /CM
S S S S S S E
Erreur ν = t*r – t – b + 1 S CM S /ν
E E E E E
Si la statistique F du Tableau 2 est supérieure à la valeur critique supérieure α de la statistique F
correspondant aux degrés de liberté indiqués, alors l'hypothèse nulle d'équivalence des notes moyennes est
rejetée. Si la statistique F est significative, une procédure de comparaisons multiples telle que la PPDS (plus
petite différence significative) de Fisher, L, doit être appliquée pour déterminer quels échantillons sont
significativement différents les uns des autres. L'équation pour la PPDS de Fisher, L, appropriée pour une
seule répétition du plan BIE est:
2CM
kt(1−)
E
Lt=
αν/2,
E
rk(1−)t
où
t, k et r sont telles que définies à l'Article 4;
CM est le carré moyen de l'erreur d'après le tableau de l'ANOVA;
E
ν est le nombre de degrés de liberté de l'erreur d'après le tableau de l'ANOVA;
E
t est la valeur critique supérieure α/2 de la distribution t de Student avec ν degrés de liberté.
αν/2, E
E
La même valeur de α doit être utilisée pour évaluer l'importance de la statistique F et dans la PPDS de
Fisher, L.
Le plan BIE doit être répété p fois pour obtenir un niveau de précision adéquat de l'étude. Si le nombre total
de blocs est trop élevé pour que chaque sujet puisse tous les évaluer, chacun des p*b sujets doit évaluer un
seul bloc de k échantillons. Dans chaque bloc, l'ordre d'évaluation des k échantillons doit être aléatoire. Le
tableau de l'ANOVA pour ce plan est présenté dans le Tableau 3.
Tableau 3 — Tableau de l'ANOVA pour le plan de présentation en blocs incomplets équilibrés
(p répétitions effectuées par p*b sujets évaluant chacun un seul bloc de k échantillons)
Degrés de liberté Somme des carrés Carré moyen
Source de variabilité F
(DL) (SC) (CM)
Total ν = t*p*r – 1 S
T T
Blocs (sujets) ν = p*b – 1 S
B B
Échantillons (ajustés pour les sujets) ν = t – 1 S CM = S /ν CM /CM
S S S S S S E
Erreur ν = t*p*r – t – p*b + 1 S CM = S /ν
E E E E E
Si la statistique F du Tableau 3 est supérieure à la valeur critique de la statistique F correspondant aux degrés
de liberté indiqués, alors l'hypothèse nulle d'équivalence des notes moyennes est rejetée. Si la statistique F
est significative, une procédure de comparaisons multiples telle que la PPDS de Fisher, L, doit être appliquée
pour déterm
...
МЕЖДУНАРОДНЫЙ ISO
СТАНДАРТ 29842
Первое издание
2011-07-15
Органолептический анализ.
Методология. Неполностью
сбалансированные блочные
конструкции
Sensory analysis — Methodology — Balanced incomplete block
designs
Ответственность за подготовку русской версии несѐт GOST R
(Российская Федерация) в соответствии со статьѐй 18.1 Устава ISO
Ссылочный номер
©
ISO 2011
ДОКУМЕНТ ЗАЩИЩЁН АВТОРСКИМ ПРАВОМ
© ISO 2011
Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO по адресу, указанному ниже, или членов ISO в стране регистрации пребывания.
ISO copyright office
Case postale 56 CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2011 – Все права сохраняются
Содержание Страница
Предисловие. iv
1 Область применения . 1
2 Нормативные ссылки . 1
3 Термины и определения . 1
4 Технические условия на неполностью сбалансированные блочные конструкции . 1
5 Анализ данных . 3
5.1 Общие положения . 3
5.2 Дисперсионный анализ сравнительных данных . 3
5.3 Анализ суммы рангов Фридмана для ранговых данных . 5
6 Применение органолептической оценки. 6
Приложение A (информативное) Каталог неполных блочных конструкций . 7
Приложение B (информативное) Пример неполностью сбалансированной блочной
конструкции с оценочными данными . 15
Приложение C (информативное) Пример неполностью сбалансированной блочной
конструкции с ранговыми данными . 17
Библиография . 19
Предисловие
Международная организация по стандартизации (ISO) является всемирной федерацией национальных
организаций по стандартизации (комитетов-членов ISO). Разработка международных стандартов
обычно осуществляется техническими комитетами ISO. Каждый комитет-член, заинтересованный в
деятельности, для которой был создан технический комитет, имеет право быть представленным в этом
комитете. Международные правительственные и неправительственные организации, имеющие связи с
ISO, также принимают участие в работах. ISO работает в тесном сотрудничестве с Международной
электротехнической комиссией (IEC) по всем вопросам стандартизации в области электротехники.
Международные стандарты разрабатываются в соответствии с правилами, установленными в
Директивах ISO/IEC, Часть 2.
Основная задача технических комитетов состоит в подготовке международных стандартов. Проекты
международных стандартов, одобренные техническими комитетами, рассылаются комитетам-членам
на голосование. Их опубликование в качестве международных стандартов требует одобрения, по
меньшей мере, 75 % комитетов-членов, принимающих участие в голосовании.
Следует иметь в виду, что некоторые элементы этого документа могут быть объектом патентных прав.
ISO не должен нести ответственность за идентификацию какого-либо одного или всех патентных прав.
ISO 29842 был подготовлен Техническим комитетом ISO/TC 34, Пищевые продукты, Подкомитетом
SC 12, Органолептический анализ.
iv © ISO 2011 – Все права сохраняются
МЕЖДУНАРОДНЫЙ СТАНДАРТ ISO 29842:2011(R)
Органолептический анализ. Методология. Неполностью
сбалансированные блочные конструкции
1 Область применения
Настоящий международный стандарт устанавливает метод применения схемы неполностью
сбалансированных блочных конструкций в испытаниях, предназначенных для органолептического
описания с использованием гедонических методов.
Настоящий международный стандарт применяется в тех случаях, когда число испытательных
образцов превышает число оценок, которое эксперт может надѐжно выполнить за одну сессию.
Данный международный стандарт определяет также фундаментальные характеристики метода
неполностью сбалансированных блочных конструкций и включает руководящие указания по его
применению для сенсорной оценки.
2 Нормативные ссылки
Следующие ссылочные документы обязательны для применения в настоящем документе. В случае
датированных ссылок применяются только цитированные издания. При недатированных ссылках
используется последнее издание ссылочного документа (включая все изменения).
ISO 3534-1, Статистика. Словарь и условные обозначения. Часть 1. Общие статистические
термины и термины, используемые в теории вероятности
ISO 5492, Органолептический анализ. Словарь
3 Термины и определения
Для целей настоящего документа применяются термины и определения стандартов ISO 5492,
ISO 3534-1, и приведѐнные ниже.
3.1
блочная конструкция
block design
органолептический анализ протокол обследования на многих образцах, в процессе которого эксперт
выполняет оценку всех или подмножества исспедуемых образцов
3.2
повтор
repetition
один элемент действий в экспериментальной схеме
4 Технические условия на неполностью сбалансированные блочные
конструкции
Неполностью сбалансированные блочные схемы (BIB) применяются при испытаниях сенсорных проб, в
которых полное число образцов превышает число, оценка которого может быть выполнена до
наступления чувственного и психологического утомления. В схемах BIB каждый оценщик выполняет в
течение одной сессии оценку только некоторого подмножества полного числа образцов.
Пример схемы BIB показан в Таблице 1.
Таблица 1 — Схема BIB с пятью образцами и 10 оценщиками/блоками
Испытательный образец
Блок
(оценщик)
1 2 3 4 5
1 — —
2 — —
3 — —
4 — —
5 — —
6 — —
7 — —
8 — —
9 — —
10 — —
В схеме BIB каждый оценщик выполняет оценку подмножества, k, полного числа образцов, t, где k t.
Подмножество образцов, оценку которого выполняет оценщик, выбирается таким образом, чтобы при
одном повторении схемы BIB, каждый образец оценивался одинаковое число раз, и все возможные
пары двух образцов оценивались равным числом оценщиков.
Обозначения, наиболее употребительные в схеме BIB, указаны ниже.
t число испытательных образцов
k число образцов, оцениваемое оценщиком в течение одной сессии (k t)
b полное число блоков (обычно оценщиков) при одном повторении схемы BIB
r число раз выполнения оценки каждого испытательного образца при одном повторении схемы BIB
число раз оценки каждой пары образцов одним и тем же оценщиком
p число раз повторения основной схемы BIB
В обозначениях, каждый оценщик выполняет оценку k из t образцов (k t). Подмножество k образцов ,
оценку которого производит оценщик, выбирается таким образом, чтобы при одном повторении схемы
BIB каждый образец подвергался оценке равное число раз и все возможные пары образцов
подвергались оценке равным числом оценщиков. Число блоков (оценщиков), необходимое для
завершения единичного повторения схемы BIB, обозначается b. Число раз оценки каждого образца при
одном повторении схемы BIB обозначается r, а число раз совместной оценки каждой пары из двух
образцов обозначается .
Может быть необходимо повторить полную схему BIB несколько раз для достижения достаточного
уровня точности исследования. Число повторений основной схемы BIB обозначается p. Полное число
блоков (обычно оценщиков) будет тогда равно p*b , а полное число оценок на образец - p*r. Полное
число раз совместного рассмотрения каждой пары образцов - p* .
2 © ISO 2011 – Все права сохраняются
Постоянные значения r и для всех образцов в схеме BIB обеспечивают важные статистические
характеристики данных, собранных по этой схеме. Постоянная величина r гарантирует, что средние
величины всех образцов оцениваются с одинаковой точностью. Постоянная величина гарантирует,
что все попарные сравнения между любыми двумя образцами в равной степени критичны.
5 Анализ данных
5.1 Общие положения
При использовании неполностью сбалансированных блочных схем могут быть собраны два типа
данных. Сравнительные данные, или оценки, получают, когда оценщики используют шкалу для
указания воспринимаемой интенсивности параметров или впечатлений, которые они оценивают.
Ранжированные данные получают, когда оценщики указывают порядок образцов от низшего уровня до
высшего (или наоборот) по атрибуту, который они оценивают. Для получения данных типа оценки по
шкале или по порядку используются различные методы анализа данных.
5.2 Дисперсионный анализ сравнительных данных
Дисперсионный анализ (ANOVA) используется для анализа сравнительных данных, полученных по
схеме BIB. Источники изменчивости, учитываемые в модели ANOVA в схеме BIB, те же самые, которые
учитываются в рандомизированной (полной) блочной схеме. В обоих случаях полная изменчивость
подразделяется на отдельное влияние блоков (обычно оценщиков), обработки (обычно образцов) и
ошибок. Поскольку каждый оценщик выполняет оценку только подмножества полного количества
испытательных образцов, для расчѐта суммы квадратов ANOVA для схемы BIB требуются более
усложнѐнные формулы, чем для рандомизированной (полной) блочной схемы. Аналитик
органолептических данных должен гарантировать, что используемая для проведения анализа
программа способна обрабатывать схемы BIB. Во многих статистических компьютерных пакетах
процедура ANOVA применяется только к полным схемам, т.е. исследованиям, в которых каждый
оценщик производит оценку всех испытательных образцов. В случае неполных схем, например схем
BIB, требуется применение методики общей линейной модели (GLM), или методики смешанной
модели.
Форма ANOVA, используемая для анализа данных данных BIB, зависит от характера управления
схемой.
Когда эксперимент имеет форму, соответствующую примеру в Таблице 1, с единичным повторением
схемы, таблица ANOVA имеет форму, показанную в Таблице 2.
Таблица 2 — Таблица ANOVA для неполностью сбалансированной блочной конструкции (одно
повторение)
Среднеквадра-
Степени свободы Сумма
Источник вариаций тичное F
(DF) квадратов (SS)
(MS)
Всего = t*r – 1 S
T T
Оценщики = b – 1 S
B B
Образцы (отрегулированные = t – 1 S MS S / MS /MS
S S S S S S E
для оценщиков)
Ошибка = t*r – t – b + 1 S MS S /
E E E E E
Если F-статистика в Таблице 2 превышает верхнее - критическое значение F с соответствующими
степенями свободы, тогда принятие предположения нуль-гипотезы эквивалентных средних рейтингов
отвергается. Если F-статистика значительна, то для определения, какие образцы существенно
отличаются другa от друга, должна быть применена процедура множественного сравнения, например
LSD Фишера (наименьшего значащего различия), L. Уравнение для LSD Фишера, L, подходящее для
единичного повтора этой схемы BIB, следующее:
2MS
kt( 1)
E
Lt
/2,
E
r (k 1)t
где
t, k и r соответствуют определениям в Разделе 4;
MS - среднее квадратичное для ошибки исходя из таблицы ANOVA;
E
- число степеней свободы для ошибки исходя из таблицы ANOVA;
E
t - верхнее /2 критическое значение t-распределения Стьюдента с степенями
/2, E
E
свободы.
Такое же значение должно быть использовано для оценки значимости F-статистика и LSD Фишера, L.
Схема BIB должна быть повторена p раз для достижения адекватного уровня точности исследования.
Если полное число блоков слишком велико для оценки всех блоков каждым оценщиком, каждый из p*b
оценщиков должен выполнять оценку только одного блока из k образцов. В пределах каждого блока
порядок оценки k образцов должен быть случайным. Таблица ANOVA для этой схемы представлена в
Таблице 3.
Таблица 3 — Таблица ANOVA для неполностью сбалансированной блочной конструкции
(p повторений выполняемых p*b оценщиками, когда каждый оценивает один блок из k образцов)
Среднеквадра-
Степени свободы Сумма
Источник вариаций тичное F
(DF) квадратов (SS)
(MS)
Всего = t*p*r – 1 S
T T
Блоки (оценщики) = p*b – 1 S
B B
Образцы (отрегулированные = t – 1 S MS = S / MS /MS
S S S S S S E
для оценщиков)
Ошибка = t*p*r – t – p*b + 1 S MS = S /
E E E E E
Если F-статистика в Таблице 3 превышает критическое значение F с соответствующими степенями
свободы, тогда принятие предположения нуль-гипотезы эквивалентных средних рейтингов отвергается.
Если F-статистика значительна, то для определения, какие образцы существенно отличаются другa от
друга, должна быть применена процедура множественного сравнения, например LSD Фишера, L.
Уравнение для LSD Фишера, L, подходящее для схемы BIB, следующее:
2MS kt( 1)
E
Lt
/2,
E
pr (k 1)t
где
t, k, p и r - соответствуют определениям в Разделе 4;
MS - среднее квадратичное для ошибки исходя из таблицы ANOVA;
E
- число степеней свободы для ошибки исходя из таблицы ANOVA;;
E
t - верхнее /2 критическое значение t-распределения Стьюдента с степенями
/2,
E
E
свободы.
4 © ISO 2011 – Все права сохраняются
Такое же значение должно быть использовано для оценки значимости F-статистика и в LSD Фишера, L.
Если каждый оценщик выполняет оценку всех b блоков в схеме BIB, то влияние ―эффекта оценщика‖ и
―оценщика по образцу‖ может быть отделено от полной изменчивости (см. Таб
...
МЕЖДУНАРОДНЫЙ ISO
СТАНДАРТ 29842
Первое издание
2011-07-15
Органолептический анализ.
Методология. Неполностью
сбалансированные блочные
конструкции
Sensory analysis — Methodology — Balanced incomplete block
designs
Ответственность за подготовку русской версии несѐт GOST R
(Российская Федерация) в соответствии со статьѐй 18.1 Устава ISO
Ссылочный номер
©
ISO 2011
ДОКУМЕНТ ЗАЩИЩЁН АВТОРСКИМ ПРАВОМ
© ISO 2011
Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO по адресу, указанному ниже, или членов ISO в стране регистрации пребывания.
ISO copyright office
Case postale 56 CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2011 – Все права сохраняются
Содержание Страница
Предисловие. iv
1 Область применения . 1
2 Нормативные ссылки . 1
3 Термины и определения . 1
4 Технические условия на неполностью сбалансированные блочные конструкции . 1
5 Анализ данных . 3
5.1 Общие положения . 3
5.2 Дисперсионный анализ сравнительных данных . 3
5.3 Анализ суммы рангов Фридмана для ранговых данных . 5
6 Применение органолептической оценки. 6
Приложение A (информативное) Каталог неполных блочных конструкций . 7
Приложение B (информативное) Пример неполностью сбалансированной блочной
конструкции с оценочными данными . 15
Приложение C (информативное) Пример неполностью сбалансированной блочной
конструкции с ранговыми данными . 17
Библиография . 19
Предисловие
Международная организация по стандартизации (ISO) является всемирной федерацией национальных
организаций по стандартизации (комитетов-членов ISO). Разработка международных стандартов
обычно осуществляется техническими комитетами ISO. Каждый комитет-член, заинтересованный в
деятельности, для которой был создан технический комитет, имеет право быть представленным в этом
комитете. Международные правительственные и неправительственные организации, имеющие связи с
ISO, также принимают участие в работах. ISO работает в тесном сотрудничестве с Международной
электротехнической комиссией (IEC) по всем вопросам стандартизации в области электротехники.
Международные стандарты разрабатываются в соответствии с правилами, установленными в
Директивах ISO/IEC, Часть 2.
Основная задача технических комитетов состоит в подготовке международных стандартов. Проекты
международных стандартов, одобренные техническими комитетами, рассылаются комитетам-членам
на голосование. Их опубликование в качестве международных стандартов требует одобрения, по
меньшей мере, 75 % комитетов-членов, принимающих участие в голосовании.
Следует иметь в виду, что некоторые элементы этого документа могут быть объектом патентных прав.
ISO не должен нести ответственность за идентификацию какого-либо одного или всех патентных прав.
ISO 29842 был подготовлен Техническим комитетом ISO/TC 34, Пищевые продукты, Подкомитетом
SC 12, Органолептический анализ.
iv © ISO 2011 – Все права сохраняются
МЕЖДУНАРОДНЫЙ СТАНДАРТ ISO 29842:2011(R)
Органолептический анализ. Методология. Неполностью
сбалансированные блочные конструкции
1 Область применения
Настоящий международный стандарт устанавливает метод применения схемы неполностью
сбалансированных блочных конструкций в испытаниях, предназначенных для органолептического
описания с использованием гедонических методов.
Настоящий международный стандарт применяется в тех случаях, когда число испытательных
образцов превышает число оценок, которое эксперт может надѐжно выполнить за одну сессию.
Данный международный стандарт определяет также фундаментальные характеристики метода
неполностью сбалансированных блочных конструкций и включает руководящие указания по его
применению для сенсорной оценки.
2 Нормативные ссылки
Следующие ссылочные документы обязательны для применения в настоящем документе. В случае
датированных ссылок применяются только цитированные издания. При недатированных ссылках
используется последнее издание ссылочного документа (включая все изменения).
ISO 3534-1, Статистика. Словарь и условные обозначения. Часть 1. Общие статистические
термины и термины, используемые в теории вероятности
ISO 5492, Органолептический анализ. Словарь
3 Термины и определения
Для целей настоящего документа применяются термины и определения стандартов ISO 5492,
ISO 3534-1, и приведѐнные ниже.
3.1
блочная конструкция
block design
органолептический анализ протокол обследования на многих образцах, в процессе которого эксперт
выполняет оценку всех или подмножества исспедуемых образцов
3.2
повтор
repetition
один элемент действий в экспериментальной схеме
4 Технические условия на неполностью сбалансированные блочные
конструкции
Неполностью сбалансированные блочные схемы (BIB) применяются при испытаниях сенсорных проб, в
которых полное число образцов превышает число, оценка которого может быть выполнена до
наступления чувственного и психологического утомления. В схемах BIB каждый оценщик выполняет в
течение одной сессии оценку только некоторого подмножества полного числа образцов.
Пример схемы BIB показан в Таблице 1.
Таблица 1 — Схема BIB с пятью образцами и 10 оценщиками/блоками
Испытательный образец
Блок
(оценщик)
1 2 3 4 5
1 — —
2 — —
3 — —
4 — —
5 — —
6 — —
7 — —
8 — —
9 — —
10 — —
В схеме BIB каждый оценщик выполняет оценку подмножества, k, полного числа образцов, t, где k t.
Подмножество образцов, оценку которого выполняет оценщик, выбирается таким образом, чтобы при
одном повторении схемы BIB, каждый образец оценивался одинаковое число раз, и все возможные
пары двух образцов оценивались равным числом оценщиков.
Обозначения, наиболее употребительные в схеме BIB, указаны ниже.
t число испытательных образцов
k число образцов, оцениваемое оценщиком в течение одной сессии (k t)
b полное число блоков (обычно оценщиков) при одном повторении схемы BIB
r число раз выполнения оценки каждого испытательного образца при одном повторении схемы BIB
число раз оценки каждой пары образцов одним и тем же оценщиком
p число раз повторения основной схемы BIB
В обозначениях, каждый оценщик выполняет оценку k из t образцов (k t). Подмножество k образцов ,
оценку которого производит оценщик, выбирается таким образом, чтобы при одном повторении схемы
BIB каждый образец подвергался оценке равное число раз и все возможные пары образцов
подвергались оценке равным числом оценщиков. Число блоков (оценщиков), необходимое для
завершения единичного повторения схемы BIB, обозначается b. Число раз оценки каждого образца при
одном повторении схемы BIB обозначается r, а число раз совместной оценки каждой пары из двух
образцов обозначается .
Может быть необходимо повторить полную схему BIB несколько раз для достижения достаточного
уровня точности исследования. Число повторений основной схемы BIB обозначается p. Полное число
блоков (обычно оценщиков) будет тогда равно p*b , а полное число оценок на образец - p*r. Полное
число раз совместного рассмотрения каждой пары образцов - p* .
2 © ISO 2011 – Все права сохраняются
Постоянные значения r и для всех образцов в схеме BIB обеспечивают важные статистические
характеристики данных, собранных по этой схеме. Постоянная величина r гарантирует, что средние
величины всех образцов оцениваются с одинаковой точностью. Постоянная величина гарантирует,
что все попарные сравнения между любыми двумя образцами в равной степени критичны.
5 Анализ данных
5.1 Общие положения
При использовании неполностью сбалансированных блочных схем могут быть собраны два типа
данных. Сравнительные данные, или оценки, получают, когда оценщики используют шкалу для
указания воспринимаемой интенсивности параметров или впечатлений, которые они оценивают.
Ранжированные данные получают, когда оценщики указывают порядок образцов от низшего уровня до
высшего (или наоборот) по атрибуту, который они оценивают. Для получения данных типа оценки по
шкале или по порядку используются различные методы анализа данных.
5.2 Дисперсионный анализ сравнительных данных
Дисперсионный анализ (ANOVA) используется для анализа сравнительных данных, полученных по
схеме BIB. Источники изменчивости, учитываемые в модели ANOVA в схеме BIB, те же самые, которые
учитываются в рандомизированной (полной) блочной схеме. В обоих случаях полная изменчивость
подразделяется на отдельное влияние блоков (обычно оценщиков), обработки (обычно образцов) и
ошибок. Поскольку каждый оценщик выполняет оценку только подмножества полного количества
испытательных образцов, для расчѐта суммы квадратов ANOVA для схемы BIB требуются более
усложнѐнные формулы, чем для рандомизированной (полной) блочной схемы. Аналитик
органолептических данных должен гарантировать, что используемая для проведения анализа
программа способна обрабатывать схемы BIB. Во многих статистических компьютерных пакетах
процедура ANOVA применяется только к полным схемам, т.е. исследованиям, в которых каждый
оценщик производит оценку всех испытательных образцов. В случае неполных схем, например схем
BIB, требуется применение методики общей линейной модели (GLM), или методики смешанной
модели.
Форма ANOVA, используемая для анализа данных данных BIB, зависит от характера управления
схемой.
Когда эксперимент имеет форму, соответствующую примеру в Таблице 1, с единичным повторением
схемы, таблица ANOVA имеет форму, показанную в Таблице 2.
Таблица 2 — Таблица ANOVA для неполностью сбалансированной блочной конструкции (одно
повторение)
Среднеквадра-
Степени свободы Сумма
Источник вариаций тичное F
(DF) квадратов (SS)
(MS)
Всего = t*r – 1 S
T T
Оценщики = b – 1 S
B B
Образцы (отрегулированные = t – 1 S MS S / MS /MS
S S S S S S E
для оценщиков)
Ошибка = t*r – t – b + 1 S MS S /
E E E E E
Если F-статистика в Таблице 2 превышает верхнее - критическое значение F с соответствующими
степенями свободы, тогда принятие предположения нуль-гипотезы эквивалентных средних рейтингов
отвергается. Если F-статистика значительна, то для определения, какие образцы существенно
отличаются другa от друга, должна быть применена процедура множественного сравнения, например
LSD Фишера (наименьшего значащего различия), L. Уравнение для LSD Фишера, L, подходящее для
единичного повтора этой схемы BIB, следующее:
2MS
kt( 1)
E
Lt
/2,
E
r (k 1)t
где
t, k и r соответствуют определениям в Разделе 4;
MS - среднее квадратичное для ошибки исходя из таблицы ANOVA;
E
- число степеней свободы для ошибки исходя из таблицы ANOVA;
E
t - верхнее /2 критическое значение t-распределения Стьюдента с степенями
/2, E
E
свободы.
Такое же значение должно быть использовано для оценки значимости F-статистика и LSD Фишера, L.
Схема BIB должна быть повторена p раз для достижения адекватного уровня точности исследования.
Если полное число блоков слишком велико для оценки всех блоков каждым оценщиком, каждый из p*b
оценщиков должен выполнять оценку только одного блока из k образцов. В пределах каждого блока
порядок оценки k образцов должен быть случайным. Таблица ANOVA для этой схемы представлена в
Таблице 3.
Таблица 3 — Таблица ANOVA для неполностью сбалансированной блочной конструкции
(p повторений выполняемых p*b оценщиками, когда каждый оценивает один блок из k образцов)
Среднеквадра-
Степени свободы Сумма
Источник вариаций тичное F
(DF) квадратов (SS)
(MS)
Всего = t*p*r – 1 S
T T
Блоки (оценщики) = p*b – 1 S
B B
Образцы (отрегулированные = t – 1 S MS = S / MS /MS
S S S S S S E
для оценщиков)
Ошибка = t*p*r – t – p*b + 1 S MS = S /
E E E E E
Если F-статистика в Таблице 3 превышает критическое значение F с соответствующими степенями
свободы, тогда принятие предположения нуль-гипотезы эквивалентных средних рейтингов отвергается.
Если F-статистика значительна, то для определения, какие образцы существенно отличаются другa от
друга, должна быть применена процедура множественного сравнения, например LSD Фишера, L.
Уравнение для LSD Фишера, L, подходящее для схемы BIB, следующее:
2MS kt( 1)
E
Lt
/2,
E
pr (k 1)t
где
t, k, p и r - соответствуют определениям в Разделе 4;
MS - среднее квадратичное для ошибки исходя из таблицы ANOVA;
E
- число степеней свободы для ошибки исходя из таблицы ANOVA;;
E
t - верхнее /2 критическое значение t-распределения Стьюдента с степенями
/2,
E
E
свободы.
4 © ISO 2011 – Все права сохраняются
Такое же значение должно быть использовано для оценки значимости F-статистика и в LSD Фишера, L.
Если каждый оценщик выполняет оценку всех b блоков в схеме BIB, то влияние ―эффекта оценщика‖ и
―оценщика по образцу‖ может быть отделено от полной изменчивости (см. Таб
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.