ISO 21543:2006
(Main)Milk products — Guidelines for the application of near infrared spectrometry
Milk products — Guidelines for the application of near infrared spectrometry
ISO 21543|IDF 201:2006 provides guidance on use of near infrared spectrometry in the determination of -- the total solids, fat and protein contents in cheese, -- the moisture, fat, protein and lactose contents in dried milk, dried whey and dried butter milk, and -- the moisture, fat, non-fat solids and salt contents in butter.
Produits laitiers — Lignes directrices pour l'application de la spectrométrie dans le proche infrarouge
L'ISO 21543|IDF 201:2006 fournit des lignes directrices pour l'application de la spectrométrie dans le proche infrarouge pour la détermination de la teneur en matières solides totales, en matières grasses et en protéines dans le fromage, de la teneur en humidité, en protéines et en lactose dans le lait en poudre, dans le lactosérum concentré et dans la poudre de babeurre, et de la teneur en humidité, en matières grasses, en matières sèches non grasses et en sel dans le beurre.
General Information
Relations
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 21543
IDF
201
First edition
2006-09-01
Milk products — Guidelines for the
application of near infrared spectrometry
Produits laitiers — Lignes directrices pour l'application de la
spectrométrie dans le proche infrarouge
Reference numbers
ISO 21543:2006(E)
IDF 201:2006(E)
©
ISO and IDF 2006
---------------------- Page: 1 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. Neither the ISO Central
Secretariat nor the IDF accepts any liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies
and IDF national committees. In the unlikely event that a problem relating to it is found, please inform the ISO Central Secretariat at the
address given below.
© ISO and IDF 2006
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO or IDF at the respective
address below.
ISO copyright office International Dairy Federation
Case postale 56 • CH-1211 Geneva 20 Diamant Building • Boulevard Auguste Reyers 80 • B-1030 Brussels
Tel. + 41 22 749 01 11 Tel. + 32 2 733 98 88
Fax + 41 22 749 09 47 Fax + 32 2 733 04 13
E-mail copyright@iso.org E-mail info@fil-idf.org
Web www.iso.org Web www.fil-idf.org
Published in Switzerland
ii © ISO and IDF 2006 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
Contents Page
Foreword. iv
1 Scope . 1
2 Terms and definitions. 1
3 Principle. 1
4 Reagents. 1
5 Apparatus . 2
6 Calibration and initial validation . 2
6.1 Selection of calibration samples. 2
6.2 Reference analyses and NIR measurements . 3
6.3 Calibration . 3
6.4 Outliers in calibration. 4
6.5 Validation of calibration models . 5
6.6 Changes in measuring and instrument conditions. 6
6.7 Outlier detection . 6
7 Statistics for performance measurement. 6
7.1 Standard error of prediction (SEP) and bias. 6
7.2 Root mean square error of prediction (RMSEP). 7
7.3 Root mean square error of cross validation (RMSECV) . 7
8 Sampling. 7
9 Procedure . 8
9.1 Preparation of test sample. 8
9.2 Measurement. 8
9.3 Evaluation of results. 8
10 Checking instrument stability . 9
10.1 Control sample. 9
10.2 Instrument diagnostics . 9
11 Running performance check of calibration.9
12 Precision and accuracy. 10
12.1 Repeatability. 10
12.2 Intralaboratory reproducibility . 10
12.3 Accuracy. 11
13 Test report . 11
Annex A (informative) Examples of SEP and RMSEP values . 12
Annex B (informative) Examples of figures. 14
Bibliography . 22
© ISO and IDF 2006 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out through
ISO technical committees. Each member body interested in a subject for which a technical committee has
been established has the right to be represented on that committee. International organizations, governmental
and non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 21543⎪IDF 201 was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 5,
Milk and milk products, and the International Dairy Federation (IDF). It is being published jointly by ISO and
IDF.
iv © ISO and IDF 2006 – All rights reserved
---------------------- Page: 4 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
Foreword
IDF (the International Dairy Federation) is a worldwide federation of the dairy sector with a National
Committee in every member country. Every National Committee has the right to be represented on the IDF
Standing Committees carrying out the technical work. IDF collaborates with ISO in the development of
standard methods of analysis and sampling for milk and milk products.
Draft International Standards adopted by the Action Teams and Standing Committees are circulated to the
National Committees for voting. Publication as an International Standard requires approval by at least 50 % of
the IDF National Committees casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. IDF shall not be held responsible for identifying any or all such patent rights.
ISO 21543⎪IDF 201 was prepared by the International Dairy Federation (IDF) and Technical Committee
ISO/TC 34, Food products, Subcommittee SC 5, Milk and milk products. It is being published jointly by IDF
and ISO.
All work was carried out by Joint ISO-IDF Action Team on Automated methods, of the Standing Committee on
Quality assurance, statistics of analytical data and sampling, under the aegis of its project leader,
Mr L.K. Sørensen (DK).
© ISO and IDF 2006 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO 21543:2006(E)
INTERNATIONAL STANDARD
IDF 201:2006(E)
Milk products — Guidelines for the application of near infrared
spectrometry
1 Scope
This International Standard provides guidance on use of near infrared spectrometry in the determination of
⎯ the total solids, fat and protein contents in cheese,
⎯ the moisture, fat, protein and lactose contents in dried milk, dried whey and dried butter milk, and
⎯ the moisture, fat, non-fat solids and salt contents in butter.
2 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
2.1
near infrared instrument
NIR instrument
proprietary apparatus which, when used under the conditions defined in this International Standard, estimates
the mass fractions of the substances specified in Clause 1
2.2
total solids, moisture, non-fat solids, fat, protein, lactose and salt contents
mass fraction of substances determined using the method specified in this International Standard
NOTE These contents are expressed as mass fractions in percent.
3 Principle
The sample is pretreated to obtain a homogeneous test sample representing the chemical composition of the
sample material. It is loaded into the sample holder of the NIR spectrometer. The absorbance at wavelengths
in the near infrared region is measured and the spectral data are transformed to constituent concentrations by
calibration models developed on representative samples from the population to be tested.
4 Reagents
Use only reagents of recognized analytical grade, unless otherwise specified, and distilled or demineralized
water or water of equivalent purity.
4.1 Ethanol, or other appropriate solvent or detergent mixture, for cleaning re-usable sample cups.
© ISO and IDF 2006 – All rights reserved 1
---------------------- Page: 6 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
5 Apparatus
5.1 Near-infrared (NIR) instrument, based on diffuse reflectance or transmittance measurement in the
whole near infrared wavelength region of 700 nm to 2 500 nm or segments of this or at selected wavelengths.
The optical operation principle may be dispersive (e.g. grating monochromators), interferometric or non-
thermal (e.g. light-emitting diodes, laser diodes and lasers). The instrument should be provided with a
diagnostic test system for testing photometric instrument noise, wavelength accuracy and wavelength
precision (for scanning spectrophotometers). The wavelength accuracy should be better than 0,5 nm and the
repeatability standard deviation better than 0,02 nm.
The instrument should be equipped with a sample holder, which allows measurement of a sufficiently large
sample volume or surface to eliminate any significant influence of inhomogeneity derived from the chemical
composition or physical properties of the test sample. The sample path length (sample thickness) in
transmittance measurements should be optimized according to the manufacturer’s recommendations with
respect to signal intensity for obtaining linearity and maximum signal/noise ratio. In reflectance measurements,
a quartz window or other appropriate material to eliminate drying effects should preferably cover the
interacting sample surface layer.
The sample cup (cuvette) may be re-usable or made of disposable material.
5.2 Grinding or grating device, appropriate for preparing the sample (e.g. a food processor for semi-hard
cheese).
Changes in grinding or grating conditions may influence the NIR measurements.
6 Calibration and initial validation
6.1 Selection of calibration samples
The instrument should be calibrated before being used. Because of the complex nature of near infrared
spectral data, which are mainly overtones and combination bands of fundamental vibrations in the mid-
infrared region, the instrument should be calibrated using a series of natural samples (often at least
120 samples).
The accuracy and robustness of calibration models are dependent on the strategies used for sample selection
and calibration. Developed calibration models are only valid for samples covered by the domain of the
calibration samples. The first step in calibration development is therefore to define the application (e.g. sample
types and concentration ranges). When calibration samples are selected, care should be taken to ensure that
all major factors affecting the accuracy of calibration are covered within the limits of the defined application
area. These factors include the following:
a) combinations and composition ranges of major and minor sample components: analytes (e.g. total solids,
fat and protein) and non-analytes;
b) seasonal, geographic and genetic effects on milk composition;
c) processing techniques and conditions;
d) ripening stages of cheeses;
e) storage and storage conditions.
2 © ISO and IDF 2006 – All rights reserved
---------------------- Page: 7 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
The accuracy of calibration is influenced by the extent of variation in the sample material and the analyte
concentration range. A moderate variation is usually easier to fit than a large variation. If the required
accuracy cannot be obtained by a single calibration, then the application area should be split up into static or
dynamic sub-areas, each with an associated calibration, in order to fulfil the requirements. Dynamic sub-areas
are used in locally weighted regression algorithms where calibration samples close in spectral space to the
actual prediction sample are selected from a larger population to create a local calibration equation.
It is generally preferable that the whole calibration range be covered in a uniform way, with samples from low
to high concentrations of analytes. The sample spread should also be as uniform as possible with respect to
the other variables, including those mentioned above. Furthermore, the samples should be collected and
measured over a certain period of time to ensure inclusion of time-dependent effects. This design will improve
the ruggedness and give a more even performance of the calibration over the entire analyte concentration
range.
[1], [2]
Multivariate methods may be used as a tool in the selection of samples to ensure a homogeneous
calibration set covering all variation in spectroscopic data induced by chemical, biological and physical factors
without duplication of samples with similar information. In practice, a larger sample population is measured by
NIR spectroscopy for collection of NIR data only. Then samples differing in spectral information are selected
for reference analyses. Identification of differing samples may be obtained from inspection of score plots from
principal component analysis (PCA) using, for example, the first three components. This may be less practical
in the case of many samples. However, it is recommended always to perform a PCA and inspect score plots
to obtain a visual overview of the sample set. More formal cluster analyses may be obtained using techniques
[2]
based on distance measurements . Further samples may be added over a period of time to this pool of
selected samples using PCA space or distance measurement to identify differing samples.
6.2 Reference analyses and NIR measurements
Internationally accepted reference methods for the determination of analytes should be used. The reference
method used for calibration should be in statistical control; i.e. the variability should consist of a constant
system of random variations. To support assessment of outliers, it may be useful to perform replicate analyses
in independent series (different analysts, different equipment, etc.).
All major variations in NIR measuring conditions that may appear in practice should be built into the calibration
model. An important factor is sample temperature.
The sampling procedure used and the sample size measured by NIR spectroscopy may be critical for the
[3]
accuracy obtained . The test sample volume or surface interacting in measurements should be large enough
to avoid sample inhomogeneity having a significant influence. Reflectance measurement at higher
wavelengths normally requires a larger sample surface than transmittance measurement at shorter
wavelengths because the light penetration is much less. The optimal sample size should be determined from
experiments where the prepared sample material (see 9.1) is measured repeatedly after repacking of the
sample cup.
Special care should be taken to avoid surface drying effects, particularly in reflectance measurements.
The NIR measurements and reference analyses should preferably be performed on the same test sample in
order to eliminate effects related to sampling uncertainty. The NIR measurements and the initiation of
reference analyses should also be performed with a minimum time lag (preferably less than one day). It is
good practice to randomize the order in which the samples are presented for both the reference analysis and
NIR measurement.
6.3 Calibration
Because NIR instruments apply different calibration systems, no specific procedure can be given for
calibration. However, the person performing the calibration should be familiar with the statistical principles
behind the calibration algorithm used.
© ISO and IDF 2006 – All rights reserved 3
---------------------- Page: 8 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
The calibration may be performed using different techniques [e.g. multiple linear regression (MLR),
multivariate algorithms such as partial least-squares regression (PLS), locally weighted regression (LWR) or
artificial neural networks (ANN)]. The latter techniques are recommended if linearity problems between the
spectral response and the constituent occur. Typically at least 120 calibration samples are needed to obtain
rugged calibrations with MLR and PLS. When ANN are used for calibration, a substantially higher number of
samples is required to avoid over fitting of data because ANN are very flexible functions with many
parameters to be determined. Three different data sets are normally required for determining the architecture,
fitting the parameters and validating the network. The concept of LWR also requires a considerably larger
database from which local calibration samples can be selected.
Spectra should normally be preprocessed prior to calibration to remove or reduce the weighting of effects
which are not related to the chemical absorption of light. Often used treatments are multiplicative scatter
[4] [5] [5] [2]
correction (MSC) , standard normal variate (SNV) , de-trending and first or second derivatives . The
optimal transformation and other pretreatments of spectra (e.g. smoothing) should be determined from trials.
Several techniques often give equivalent results. The optimal techniques should be assessed from cross
[6]
validation where models are subsequently developed on parts of the data and tested on other parts .
Additional information may be obtained from testing on an independent test set.
An important issue is selection of the optimal number of variables (in MLR) or factors (in multivariate
calibrations). If too few variables or factors are used, an under-fitted solution is obtained, which means that the
model is not large enough to capture the important variability in the data. If too many variables or factors are
used, an over-fitted solution may be obtained where much of the redundancy in the NIR data is modelled.
Both cases can result in poor predictions on future samples. The optimal number can be determined by
plotting RMSECV (see Clause 7) obtained from cross validation or RMSEP (see Clause 7) obtained from an
independent test set versus the number of variables or factors (Figure B.1). Typically RMSECV (RMSEP) is
large for small numbers of factors and decreases as the number increases, before it increases again when the
number becomes too large. Generally, the best solution is the one giving the lowest RMSECV (RMSEP) with
the fewest variables or factors.
The reference results should be plotted against predicted values obtained by cross validation. The plot should
be examined for outliers. The plot should also be investigated for regions with different levels of prediction
accuracy, random or systematic, which may indicate the need for more calibration samples or a segmentation
of the calibration region.
6.4 Outliers in calibration
6.4.1 General
Outliers may be related to NIR data (x-outliers) or errors in reference data or samples with a different
relationship between reference data and NIR data (y-outliers).
6.4.2 x-outliers
A homogeneous calibration set of spectrally similar samples is required for a robust predictive model. This can
also form the basis of an outlier warning system. Any x-outliers should thus be removed before calibration.
The projections of the five first PCA axes can be useful to reveal x-outliers either globally outside the
population or falling in a gap in the PCA space. A more formal identification of outliers may be performed
[7]
using, for example, the principle of Mahalanobis distance applied on PCA reduced data or the so-called
[8]
leverage .
Figure B.2 shows a case from practice without outliers. In Figure B.3, an x-outlier is present.
6.4.3 y-outliers
When a y-outlier is observed in the calibration set, the reference data should be checked for errors in sample
identification, reference analyses, computations, data transfer, etc. However, it may be difficult to relate
outliers to errors in reference analyses because the calibration step usually has to be performed at a later
4 © ISO and IDF 2006 – All rights reserved
---------------------- Page: 9 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
stage than reference analyses, which may make it impossible to repeat analyses because of sample instability.
There is no correct way to treat y-outliers, but outliers should generally be removed if the difference between
NIR and reference results in cross validation exceeds three times the RMSECV (see Clause 7).
It is important to note that the removal of outliers can influence the future prediction of similar samples.
Outliers should be removed as a batch before a new calibration model is created. The outlier removal step
should only be performed one or two times in order not to reduce the robustness of the calibration and
overestimate the accuracy. Care should be taken to preserve the optimum distribution of the calibration set
when outliers are removed.
Figure B.2 shows a case from practice without outliers. In Figure B.4, a y-outlier is present.
6.4.4 Combined x- and y-outliers
Samples which are both x- and y-outliers (influential outliers) have a very strong effect on the regression
equation and can be very harmful. Such outliers may give slope effects and increase the prediction error
considerably.
Figure B.2 shows a case from practice without outliers. In Figures B.5 and B.6, a sample is present which is
both an x- and a y-outlier.
6.5 Validation of calibration models
When calibration equations have been developed, they should be validated on an independent test set,
preferably sampled after the calibration period. The test set should cover all variations in the sample
population and should contain at least 25 samples. The use of cross validation in the calibration process,
where subsequent parts of the calibration set are reserved for validation, can give a good estimate of the
uncertainty of the method when the calibration samples are properly selected.
However, the potential risk is that cross validation may underestimate the ruggedness of the calibration and
the predicted uncertainty because cross validation samples are taken from the pool of samples used for
calibration.
The results obtained on the independent test set are plotted, reference against NIR and residuals against
reference, to give a visual impression of the performance of the calibration. The SEP is calculated (see
Clause 7) and the residual plot of data corrected for mean systematic error (bias) is examined for outliers; i.e.
samples with a residual exceeding 3 × SEP. If an outlier occurs and this cannot be classified as an x-outlier
and re-analysis of the sample by NIR and reference methods confirms the result, the outlier should not be
removed.
In this case, the ruggedness of the calibration is not sufficient and the calibration set should be expanded. The
next step is to fit NIR and reference data by linear regression (reference = b × NIR + a) to support the visual
impression. If the slope (b) is significantly different from 1, the calibration is skewed. Adjusting the slope of the
calibration is generally not recommended. If a re-investigation of the calibration does not detect outliers,
especially influential outliers, it is preferable to expand the calibration set to include more samples. However, if
the slope is adjusted, the calibration should be tested on a new independent test set. The data are also
examined for a bias between the methods. An intercept (a) significantly different from 0 indicates that the
calibration is biased. A bias may be removed by adjusting the constant term in the calibration equation.
However, if the accuracy of the bias-adjusted calibration is significantly poorer than expected from cross
validation on the calibration set, i.e. SEP is significantly larger than RMSECV, the calibration set should be
expanded to include more samples. In all cases when a new calibration is developed on an expanded
calibration set, the validation process should be repeated on a new independent test set. If necessary,
expansion of the calibration set should be repeated until acceptable results are obtained on an independent
test set.
© ISO and IDF 2006 – All rights reserved 5
---------------------- Page: 10 ----------------------
ISO 21543:2006(E)
IDF 201:2006(E)
6.6 Changes in measuring and instrument conditions
Unless additional validation is performed, a local validation of an NIR method stating the accuracy of the
method may generally not be considered valid if the test conditions are changed.
For example, the calibrations developed for a certain population of samples may not be valid for samples
outside this population, although the analyte concentration range is unchanged. A calibration developed on
cheeses from one dairy may not give the same accuracy on cheeses produced in another dairy if the
processing and ripening parameters are different.
Changes in the sample presentation technique or the measuring conditions (e.g. temperature) not included in
the calibration set may also influence the analytical results.
Furthermore, calibrations developed on a certain instrument cannot always be transferred directly to an
identical instrument operating under the same principle. It may be necessary to perform bias and slope
adjustments to calibration equations. In some cases, it may even be necessary to standardize the two
[2]
instruments against each other by mathematical procedures before calibration equations can be transferred
Standardization procedures may be used to transfer calibrations between instruments of different types
provided that samples are measure
...
NORME ISO
INTERNATIONALE 21543
FIL
201
Première édition
2006-09-01
Produits laitiers — Lignes directrices
pour l'application de la spectrométrie
dans le proche infrarouge
Milk products — Guidelines for the application of near infrared
spectrometry
Numéros de référence
ISO 21543:2006(F)
FIL 201:2006(F)
©
ISO et FIL 2006
---------------------- Page: 1 ----------------------
ISO 21543:2006(F)
FIL 201:2006(F)
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO et la FIL
déclinent toute responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO et les comités nationaux de la FIL. Dans le cas peu probable où
surviendrait un problème d'utilisation, veuillez en informer le Secrétariat central de l'ISO à l'adresse donnée ci-dessous.
© ISO et FIL 2006
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
soit de l'ISO soit de la FIL à l'adresse respective ci-après.
ISO copyright office Fédération Internationale de Laiterie
Case postale 56 • CH-1211 Geneva 20 Diamant Building • Boulevard Auguste Reyers 80 • B-1030 Bruxelles
Tel. + 41 22 749 01 11 Tel. + 32 2 733 98 88
Fax + 41 22 749 09 47 Fax + 32 2 733 04 13
E-mail copyright@iso.org E-mail info@fil-idf.org
Web www.iso.org Web www.fil-idf.org
Publié en Suisse
ii © ISO et FIL 2006 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 21543:2006(F)
FIL 201:2006(F)
Sommaire Page
Avant-propos. iv
1 Domaine d'application. 1
2 Termes et définitions. 1
3 Principe. 1
4 Réactifs . 2
5 Appareillage . 2
6 Étalonnage et validation initiale . 2
6.1 Sélection des échantillons d'étalonnage . 2
6.2 Analyses de référence et mesurages NIR .3
6.3 Étalonnage. 4
6.4 Valeurs aberrantes dans l'étalonnage . 5
6.5 Validation des modèles d'étalonnage. 6
6.6 Changements des conditions de mesurage et d'utilisation des appareils. 6
6.7 Recherche de valeurs aberrantes . 7
7 Statistiques pour le mesurage des performances . 7
7.1 Erreur type de prédiction (SEP) et biais. 7
7.2 Erreur quadratique moyenne de prédiction (RMSEP). 8
7.3 Erreur quadratique moyenne par validation croisée (RMSECV) . 8
8 Échantillonnage . 8
9 Mode opératoire . 8
9.1 Préparation de l'échantillon d'essai. 8
9.2 Mesurage . 9
9.3 Évaluation des résultats . 9
10 Vérification de la stabilité de l'appareil . 9
10.1 Échantillon de contrôle . 9
10.2 Diagnostic des appareils . 10
11 Contrôle de performance de l'étalonnage. 10
12 Fidélité et exactitude . 11
12.1 Répétabilité. 11
12.2 Reproductibilité intralaboratoire . 11
12.3 Exactitude. 12
13 Rapport d'essai . 12
Annexe A (informative) Exemples de valeurs SEP et RMSEP . 13
Annexe B (informative) Exemples de figures . 15
Bibliographie . 23
© ISO et FIL 2006 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO 21543:2006(F)
FIL 201:2006(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux
de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général
confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire
partie du comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 21543⎪FIL 201 a été élaborée par le comité technique ISO/TC 34, Produits alimentaires, sous-comité
SC 5, Lait et produits laitiers, et la Fédération internationale de laiterie (FIL). Elle est publiée conjointement
par l'ISO et la FIL.
iv © ISO et FIL 2006 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO 21543:2006(F)
FIL 201:2006(F)
Avant-propos
La FIL (Fédération internationale de laiterie) est une fédération mondiale du secteur laitier avec un Comité
National dans chacun de ses pays membres. Chaque Comité National a le droit de faire partie des Comités
permanents de la FIL auxquels sont confiés les travaux techniques. La FIL collabore avec l'ISO pour
l'élaboration de méthodes normalisées d'analyse et d'échantillonnage pour le lait et les produits laitiers.
Les projets de Normes internationales adoptés par les Équipes d'Action et les Comités permanents sont
soumis aux Comités Nationaux pour vote. Leur publication comme Normes internationales requiert
l'approbation de 50 % au moins des Comités Nationaux de la FIL votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. La FIL ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 21543⎪FIL 201 a été élaborée par la Fédération internationale de laiterie (FIL) et le comité technique
ISO/TC 34, Produits alimentaires, sous-comité SC 5, Lait et produits laitiers. Elle est publiée conjointement
par la FIL et l'ISO.
L'ensemble des travaux a été confié à l'Équipe d'Action mixte ISO-FIL du Comité permanent chargé de
Méthodes Automatisées du comité permanent Assurance Qualité, sous la conduite de son chef de projet,
Mr. L. Sørensen (DK).
© ISO et FIL 2006 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO 21543:2006(F)
NORME INTERNATIONALE
FIL 201:2006(F)
Produits laitiers — Lignes directrices pour l'application de la
spectrométrie dans le proche infrarouge
1 Domaine d'application
La présente Norme internationale fournit des lignes directrices pour l'application de la spectrométrie dans le
proche infrarouge pour la détermination
⎯ de la teneur en matières solides totales, en matières grasses et en protéines dans le fromage,
⎯ de la teneur en humidité, en protéines et en lactose dans le lait en poudre, dans le lactosérum concentré
et dans la poudre de babeurre, et
⎯ de la teneur en humidité, en matières grasses, en matières sèches non grasses et en sel dans le beurre.
2 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s'appliquent.
2.1
instrument de proche infrarouge (NIR)
spectromètre NIR
appareillage propriétaire qui, lorsqu'il est utilisé dans les conditions définies dans la présente Norme
internationale, permet d'estimer les fractions massiques des substances spécifiées dans l'Article 1
2.2
teneurs en matières solides totales, en humidité, en matières sèches non grasses, en matières
grasses, en lactose et en sel
fraction massique des substances déterminée à l'aide de la méthode spécifiée dans la présente Norme
internationale
NOTE Ces teneurs sont exprimées sous forme de pourcentage.
3 Principe
L'échantillon est prétraité afin d'obtenir un échantillon d'essai homogène représentant la composition chimique
du matériau d'échantillon et est chargé dans le porte-éprouvette du spectromètre NIR. L'absorbance aux
longueurs d'onde du spectre dans le proche infrarouge est mesurée et les données spectrales sont
transformées en concentrations des composants à l'aide de modèles d'étalonnage développés sur des
échantillons représentatifs de la population devant être soumise à essai.
© ISO et FIL 2006 – Tous droits réservés 1
---------------------- Page: 6 ----------------------
ISO 21543:2006(F)
FIL 201:2006(F)
4 Réactifs
Sauf spécification contraire, utiliser exclusivement des réactifs de qualité analytique reconnue et de l'eau
distillée, déminéralisée ou de pureté équivalente.
4.1 Éthanol, ou autre solvant approprié ou mélange de détergents, pour le nettoyage des béchers à
échantillons réutilisables.
5 Appareillage
5.1 Instrument de proche infrarouge (NIR), basé sur les mesurages de réflexion diffuse ou de
transmission dans l'ensemble du spectre de proche infrarouge de 700 nm à 2 500 nm, ou segments de ce
dernier ou à des longueurs d'onde sélectionnées.
Le principe de fonctionnement optique peut être dispersif (par exemple monochromateurs à réseau),
interférométrique ou non thermique (par exemple diodes électroluminescentes, diodes laser et lasers). Il
convient que l'instrument soit doté d'un système d'essai diagnostique pour soumettre à essai le bruit des
appareils photométriques, ainsi que l'exactitude et la fidélité des longueurs d'onde (pour les
spectrophotomètres à balayage). Il convient que l'exactitude des longueurs d'onde soit supérieure à 0,5 nm et
que l'écart-type de répétabilité soit supérieur à 0,02 nm.
Il convient que l'instrument soit muni d'un porte-éprouvette permettant le mesurage d'un volume ou d'une
surface d'échantillon suffisamment importants pour éliminer toute influence significative de l'inhomogénéité
dérivée de la composition chimique ou des propriétés physiques de l'échantillon d'essai. Il convient d'optimiser
la longueur de cheminement des échantillons (épaisseur des échantillons) dans les mesurages de
transmission conformément aux recommandations du fabricant en ce qui concerne l'intensité du signal pour
l'obtention de la linéarité et du rapport signal/bruit maximal. Dans les mesurages de réflexion, une fenêtre en
quartz ou en un autre matériau adéquat pour éliminer les effets de séchage doit de préférence recouvrir la
surface d'interaction de l'échantillon.
Le bécher à échantillons (cuvette) peut être réutilisable ou en matériau jetable.
5.2 Dispositif pour broyer ou râper, approprié pour la préparation de l'échantillon (par exemple un robot
de cuisine pour du fromage à pâte demi-dure).
Des changements dans les conditions de broyage ou de râpage peuvent influencer les mesurages NIR.
6 Étalonnage et validation initiale
6.1 Sélection des échantillons d'étalonnage
Il convient d'étalonner l'instrument avant de l'utiliser. En raison de la nature complexe des données du spectre
de proche infrarouge, qui sont principalement des fréquences partielles et des bandes de combinaisons de
vibrations fondamentales dans le spectre infrarouge moyen, il convient d'étalonner l'appareil sur une série
d'échantillons naturels (souvent au moins 120 échantillons).
L'exactitude et la robustesse des modèles d'étalonnage dépendent des stratégies utilisées pour la sélection
des échantillons et l'étalonnage. Les modèles d'étalonnage développés s'appliquent uniquement aux
échantillons représentés par le domaine des échantillons d'étalonnage. La première étape du développement
de l'étalonnage consiste donc à définir l'application (par exemple les types d'échantillons et les gammes de
concentration). Lorsque les échantillons d'étalonnage sont sélectionnés, il convient de s'assurer que tous les
principaux facteurs influençant l'exactitude de l'étalonnage sont représentés dans les limites du domaine
d'application défini. Ceux-ci incluent:
2 © ISO et FIL 2006 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO 21543:2006(F)
FIL 201:2006(F)
a) les combinaisons et les gammes de composition des composants principaux et secondaires d'échantillon
dans le fromage: les analytes (par exemple matière solide totale, matière grasse et protéines) et les non-
analytes;
b) les effets saisonniers, géographiques et génétiques sur la composition du lait;
c) les techniques et les conditions de transformation des fromages;
d) les étapes d'affinage des fromages;
e) la conservation et les conditions de conservation.
L'étendue des variations dans le matériau d'échantillon et la gamme de concentration de l'analyte influencent
l'exactitude de l'étalonnage. Une variation modérée est généralement plus simple à ajuster qu'une variation
importante. S'il n'est pas possible d'obtenir l'exactitude requise à l'aide d'un seul étalonnage, il convient de
répartir le domaine d'application en sous-domaines statiques ou dynamiques, chacun avec un étalonnage
associé, afin de satisfaire aux exigences. Les sous-domaines dynamiques sont utilisés dans des algorithmes
de régression pondérés localement dans lesquels les échantillons d'étalonnage proches dans le spectre de
l'échantillon de prédiction actuel sont sélectionnés à partir d'une population importante pour créer une
équation d'étalonnage locale.
En général, il est préférable de représenter uniformément l'ensemble de la gamme d'étalonnage, avec des
échantillons présentant des concentrations d'analytes faibles à élevées. Il convient également que la
répartition de l'échantillon soit aussi uniforme que possible en ce qui concerne les autres variables,
notamment celle mentionnées ci-avant. En outre, il convient de récupérer et de mesurer les échantillons sur
une certaine durée pour garantir l'intégration des effets temporels. Cette conception va améliorer la
robustesse et permettre des performances plus uniformes de l'étalonnage sur l'ensemble de la gamme de
concentration de l'analyte.
[1], [2]
Il est possible d'utiliser des méthodes à plusieurs variables comme outil de sélection des échantillons
pour garantir un ensemble d'étalonnage homogène représentant toutes les variations des données
spectroscopiques provoquées par des facteurs chimiques, biologiques et physiques sans duplication
d'échantillons dont les informations sont identiques. En pratique, une population d'échantillons plus importante
est mesurée par spectroscopie NIR pour la récupération des données NIR uniquement. Les échantillons dont
les informations spectrales diffèrent sont ensuite sélectionnés pour des analyses de références. Les
échantillons différents sont identifiés par inspection des graphiques de résultats provenant de l'analyse en
composants principaux (PCA) à l'aide des trois premiers composants par exemple. Cela peut se révéler
moins pratique avec plusieurs échantillons. Cependant, il est recommandé de toujours réaliser une analyse
PCA et d'inspecter les graphiques de résultats pour obtenir un aperçu de l'ensemble des échantillons. Il est
possible d'obtenir des analyses de groupement plus formelles à l'aide de techniques basées sur les
[2]
mesurages des distances . Des échantillons supplémentaires peuvent être ajoutés pour une durée donnée
à cet ensemble d'échantillons sélectionnés. Le mesurage des distances ou des espaces par PCA est alors
utilisé pour identifier les échantillons différents.
6.2 Analyses de référence et mesurages NIR
Il convient d'utiliser des méthodes de référence reconnues à l'échelle internationale pour la détermination de
la teneur en analytes. Pour l'étalonnage, il convient d'utiliser la méthode de référence en contrôle statistique,
c'est-à-dire qu'il convient que la variabilité consiste en un système constant de variations aléatoires. Pour
prendre en charge l'évaluation des valeurs aberrantes, il peut se révéler utile de réaliser des analyses
dupliquées en séries indépendantes (analystes différents, appareillage différent, etc.).
Il convient d'intégrer au modèle d'étalonnage toutes les variations importantes des conditions de mesurages
NIR pouvant apparaître en pratique. La température de l'échantillon est un facteur important.
Le mode opératoire d'échantillonnage utilisé et la taille de l'échantillon mesurée par spectroscopie NIR
[3]
peuvent être des facteurs essentiels pour l'exactitude obtenue . Il convient que le volume ou la surface de
l'échantillon d'essai interagissant avec le mesurage soit assez important pour éviter une influence significative
de l'inhomogénéité de l'échantillon. Le mesurage de réflexion à des longueurs d'onde plus élevées requiert
© ISO et FIL 2006 – Tous droits réservés 3
---------------------- Page: 8 ----------------------
ISO 21543:2006(F)
FIL 201:2006(F)
normalement une surface d'échantillon plus importante que le mesurage de transmission à des longueurs
d'onde plus courtes en raison de la pénétration de la lumière moins importante. Il convient de déterminer la
taille d'échantillon optimale à partir d'expériences dans lesquelles le matériau d'échantillon préparé (voir 9.1)
est mesuré de façon répétée après le regarnissage du bécher à échantillons.
Il convient de prendre garde d'éviter les effets de séchage en surface, notamment dans les mesurages de
réflexion.
Il est préférable de réaliser les mesurages NIR et les analyses de référence sur le même échantillon pour
essai afin d'éliminer les effets relatifs à l'incertitude d'échantillonnage. Il convient également de réaliser les
mesurages NIR et l'amorçage des analyses de référence avec un délai minimal (moins d'une journée de
préférence). La bonne pratique recommande de rendre aléatoire l'ordre de présentation des échantillons pour
l'analyse de référence et le mesurage NIR.
6.3 Étalonnage
En raison des différents systèmes d'étalonnage des spectromètres NIR, aucun mode opératoire spécifique ne
peut être indiqué pour l'étalonnage. Cependant, il convient que la personne qui réalise l'étalonnage connaisse
les principes statistiques de l'algorithme d'étalonnage utilisé.
Il est possible de réaliser l'étalonnage à l'aide de différentes techniques, telles que la régression linéaire
multiple (MLR), des algorithmes à plusieurs variables tels que la régression aux moindres carrés (PLS), la
régression localement pondérée (LWR) ou des réseaux neuronaux artificiels (ANN). Ces dernières techniques
peuvent être recommandées en cas de problèmes de linéarité entre la réponse spectrale et le composant. Au
moins 120 échantillons d'étalonnage sont généralement nécessaires à l'obtention d'étalonnages robustes
avec les techniques MLR et PLS. Lorsqu'un réseau ANN réalise l'étalonnage, un nombre sensiblement plus
important d'échantillons est requis afin d'éviter la surdétermination des données puisque les fonctions du
réseau ANN sont flexibles et présentent plusieurs paramètres qui sont à définir. Trois ensembles de données
différents sont requis pour définir l'étalonnage, l'apprentissage et la validation. Le concept de LWR requiert
également une base de données considérablement plus importante à partir de laquelle des échantillons
d'étalonnage locaux peuvent être sélectionnés.
Il convient normalement que les spectres soient prétraités avant l'étalonnage afin d'éliminer ou de réduire le
poids attribué aux effets non relatifs à l'absorption chimique de la lumière. Les traitements fréquemment
[4] [5]
utilisés sont la correction de déviation (MSC) , la variable aléatoire normale standard (SNV) , le traitement
[5] [2]
de la dérive et les dérivations simples ou doubles . Il convient de déterminer la transformation optimale et
les autres pré-traitements des spectres, tels que le lissage, à partir d'essais. Plusieurs techniques donnent
souvent des résultats équivalents. Il convient d'évaluer les techniques optimales à partir d'une validation
croisée dans laquelle les modèles sont par la suite développés sur une partie des données et soumis à essai
[6]
sur une autre . Il est possible d'obtenir des informations supplémentaires à partir d'essais sur un ensemble
d'essais indépendants.
La sélection du nombre optimal de variables (pour la MLR) ou de facteurs (pour les étalonnages à plusieurs
variables) est un élément important. Si les variables ou les facteurs utilisés ne sont pas assez nombreux, une
solution sous-déterminée est obtenue, ce qui signifie que le modèle n'est pas assez important pour reproduire
la variabilité importante des données. Lorsque les variables ou les facteurs utilisés sont trop nombreux, il est
possible qu'une solution surdéterminée soit obtenue dans laquelle la plupart de la redondance des données
NIR est modélisée. Les deux cas peuvent entraîner de mauvaises prédictions sur les échantillons futurs. Il
convient de déterminer le nombre optimal en traçant la RMSECV (erreur quadratique moyenne par validation
croisée) (voir Article 7) obtenue à partir de la validation croisée ou la RMSEP (erreur quadratique moyenne de
prédiction) (voir Article 7) obtenue à partir d'un ensemble d'essais indépendants par rapport au nombre des
variables ou des facteurs (Figure B.1). En général, la RMSECV (RMSEP) est élevée lorsque les facteurs sont
peu nombreux et diminue lorsque le nombre des facteurs augmente. Elle augmente à nouveau lorsque le
nombre de facteurs devient trop important. En général, la meilleure solution est celle avec la RMSECV
(RMSEP) la plus faible et le plus petit nombre de variables ou de facteurs.
Il convient de tracer les résultats de référence par rapports aux valeurs estimées obtenues par validation
croisée. Il convient de rechercher des valeurs aberrantes dans le graphique. Il convient également de
4 © ISO et FIL 2006 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO 21543:2006(F)
FIL 201:2006(F)
rechercher dans le graphique des zones présentant différents niveaux d'exactitude de prédiction, aléatoire ou
systématique, pouvant indiquer que davantage d'échantillons d'étalonnage ou une segmentation de la zone
d'étalonnage sont nécessaires.
6.4 Valeurs aberrantes dans l'étalonnage
6.4.1 Généralités
Les valeurs aberrantes peuvent concerner des données NIR (valeurs aberrantes x) ou des erreurs dans les
données ou les échantillons de référence avec une relation différente entre les données de référence et les
données NIR (valeurs aberrantes y).
6.4.2 Valeurs aberrantes x
Pour obtenir un modèle prédictif robuste, un ensemble d'étalonnage homogène d'échantillons spectralement
similaires est requis. Il peut également servir de base à un système de détection des valeurs aberrantes. Il
convient donc d'éliminer les valeurs aberrantes x avant l'étalonnage. Les projections des cinq premiers
axes PCA peuvent être utiles pour détecter les valeurs aberrantes x situées soit globalement en dehors de la
population, soit hors de l'espace PCA. Une identification plus formelle des valeurs aberrantes peut, par
[7]
exemple, être réalisée à l'aide du principe de la distance Mahalanobis appliqué aux données réduites PCA
[8]
ou de ladite valeur de levier .
La Figure B.2 illustre un cas pratique sans valeurs aberrantes. Une valeur aberrante x est présente dans la
Figure B.3.
6.4.3 Valeurs aberrantes y
Lorsqu'une valeur aberrante y est observée dans l'ensemble d'étalonnage, il convient de vérifier si les
données de référence comportent des erreurs dans l'identification de l'échantillon, les analyses de référence,
les calculs, les transfert de données, etc. Cependant, il peut être difficile d'établir le rapport entre les valeurs
aberrantes et les erreurs dans les analyses de référence car l'étape d'étalonnage doit généralement être
réalisée lors d'une étape ultérieure aux analyses de référence, ce qui peut rendre impossible la répétition des
analyses en raison de l'instabilité des échantillons. Il n'existe aucun moyen correct de traiter les valeurs
aberrantes y; toutefois, il convient généralement de supprimer les valeurs aberrantes si la différence entre les
résultats NIR et les résultats de référence dans la validation croisée est plus de trois fois supérieure à la
RMSECV (voir Article 7).
Il est important de noter que la suppression des valeurs aberrantes peut influer sur la prédiction d'échantillons
similaires. Il convient de supprimer les valeurs aberrantes en tant que lot avant de créer un modèle
d'étalonnage. Il convient d'exécuter uniquement une ou deux fois l'étape de suppression des valeurs
aberrantes afin de ne pas réduire la robustesse de l'étalonnage et de ne pas surestimer l'exactitude. Il
convient de prendre garde de préserver la distribution optimale de l'ensemble d'étalonnage lorsque les
valeurs aberrantes sont supprimées.
La Figure B.2 illustre un cas pratique sans valeurs aberrantes. Une valeur aberrante y est présente dans la
Figure B.4.
6.4.4 Combinaison de valeurs aberrantes x et y
Les échantillons qui sont à la fois des valeurs aberrantes x et y (valeurs influentes) ont une grande influence
sur l'équation de régression et peuvent être très préjudiciables. De telles valeurs aberrantes peuvent donner
des effets de pente et augmenter considérablement les erreurs de prédiction.
La Figure B.2 illustre un cas pratique sans valeurs aberrantes. Les Figures B.5 et B.6 présentent un
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.