ISO 21543:2020
(Main)Milk and milk products — Guidelines for the application of near infrared spectrometry
Milk and milk products — Guidelines for the application of near infrared spectrometry
This document gives guidelines for the use of near infrared (NIR) spectrometry in the analysis of milk and milk products in liquid, semi-solid or solid form. Depending on the sample form and application, different instrument setups for transmittance, diffuse reflectance or transflectance can be applied.
Lait et produits laitiers — Lignes directrices pour l'application de la spectrométrie dans le proche infrarouge
Le présent document spécifie des lignes directrices pour l'utilisation de la spectrométrie dans le proche infrarouge (NIR) dans le cadre de l'analyse du lait et des produits laitiers sous forme liquide, semi‑solide et solide. Selon la forme de l'échantillon et l'application, différents montages d'instrument peuvent être utilisés pour la transmittance, la réflectance diffuse ou la transflectance.
General Information
Relations
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 21543
IDF 201
Second edition
2020-10
Milk and milk products — Guidelines
for the application of near infrared
spectrometry
Lait et produits laitiers — Lignes directrices pour l'application de la
spectrométrie dans le proche infrarouge
Reference numbers
IDF 201:2020(E)
©
ISO and IDF 2020
IDF 201:2020(E)
© ISO and IDF 2020
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting
on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address
below or ISO’s member body in the country of the requester.
ISO copyright office International Dairy Federation
CP 401 • Ch. de Blandonnet 8 Silver Building • Bd Auguste Reyers 70/B
CH-1214 Vernier, Geneva B-1030 Brussels
Phone: +41 22 749 01 11 Phone: +32 2 325 67 40
Fax: +32 2 325 67 41
Email: copyright@iso.org Email: info@fil-idf.org
Website: www.iso.org Website: www.fil-idf.org
Published in Switzerland
ii © ISO and IDF 2020 – All rights reserved
IDF 201:2020(E)
Contents Page
Foreword .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Principle . 1
4.1 General . 1
4.2 Measurement principles . 2
4.2.1 Transmittance (transmission) . 2
4.2.2 Diffuse reflectance (reflection) . 2
4.2.3 Transflectance (transflection) . 2
5 Reagents . 2
6 Apparatus . 3
7 Calibration and initial validation . 3
7.1 Selection of calibration samples . 3
7.2 Reference analyses and NIR instruments . 4
7.3 Calibration . 5
7.4 Outliers in calibration . 6
7.4.1 General. 6
7.4.2 x-outliers . 6
7.4.3 y-outliers . 6
7.4.4 Combined x- and y-outliers. 7
7.5 Validation of calibration models . 7
7.6 Changes in measuring and instrument conditions . 7
7.7 Outlier detection . 8
8 Statistics for performance measurement . 8
8.1 Standard error of prediction (SEP) and bias . 8
8.2 Root mean square error of prediction (RMSEP) . 9
8.3 Root mean square error of cross validation (RMSECV) . 9
9 Sampling . 9
10 Procedure. 9
10.1 Preparation of test samples . 9
10.1.1 General aspects . 9
10.1.2 Milk and liquid milk products .10
10.1.3 Cheese .10
10.1.4 Dried milk, whey, buttermilk and whey protein powders .10
10.1.5 Butter .10
10.1.6 Yoghurt .10
10.2 Measurement .10
10.3 Evaluation of results .11
11 Checking instrument stability .11
11.1 Control samples.11
11.2 Instrument diagnostics .11
12 Running performance check of calibration .12
13 Precision and accuracy .13
13.1 Repeatability .13
13.2 Intra-laboratory reproducibility .13
13.3 Accuracy .13
14 Test report .13
IDF 201:2020(E)
Annex A (informative) Examples of SEP and RMSEP values .14
Annex B (informative) Examples of figures .16
Bibliography .21
iv © ISO and IDF 2020 – All rights reserved
IDF 201:2020(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national
standards bodies (ISO member bodies). The work of preparing International Standards is normally
carried out through ISO technical committees. Each member body interested in a subject for which
a technical committee has been established has the right to be represented on that committee.
International organizations, governmental and non-governmental, in liaison with ISO, also take part
in the work. ISO collaborates closely with the International Electrotechnical Commission (IEC) on all
matters of electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/ directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/ patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO's adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www .iso .org/
iso/ foreword .html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 5,
Milk and milk products, and the International Dairy Federation (IDF). It is being published jointly by
ISO and IDF.
This second edition cancels and replaces the first edition (ISO 21543 | IDF 201:2006), which has been
technically revised. The main changes compared with the previous edition are as follows:
— the measurement principles “Transmittance” and “Transflectance” have been added and defined;
— all sample types have been covered: liquids, solids and semi-solids;
— the calibration and validation sections have been reviewed and updated;
— the outlier section has been revised and the plots renewed;
— the procedures for sample handling and measurement have been expanded to include liquid samples
and other examples;
— Annex A has been expanded to include raw milk analysis references.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www .iso .org/ members .html.
IDF 201:2020(E)
IDF (the International Dairy Federation) is a non-profit private sector organization representing the
interests of various stakeholders in dairying at the global level. IDF members are organized in National
Committees, which are national associations composed of representatives of dairy-related national
interest groups including dairy farmers, dairy processing industry, dairy suppliers, academics and
governments/food control authorities.
ISO and IDF collaborate closely on all matters of standardization relating to methods of analysis
and sampling for milk and milk products. Since 2001, ISO and IDF jointly publish their International
Standards using the logos and reference numbers of both organizations.
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. IDF shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/ patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
This document was prepared by the IDF Standing Committee on Statistics and Automation and ISO
Technical Committee ISO/TC 34, Food products, Subcommittee SC 5, Milk and milk products. It is being
published jointly by IDF and ISO.
The work was carried out by the IDF/ISO Action Team (S16) of the Standing Committee on Statistics and
Automation under the aegis of its project leader, Mr A. Niemoeller (DE).
vi © ISO and IDF 2020 – All rights reserved
INTERNATIONAL STANDARD
IDF 201:2020(E)
Milk and milk products — Guidelines for the application of
near infrared spectrometry
1 Scope
This document gives guidelines for the use of near infrared (NIR) spectrometry in the analysis of milk
and milk products in liquid, semi-solid or solid form. Depending on the sample form and application,
different instrument setups for transmittance, diffuse reflectance or transflectance can be applied.
2 Normative references
There are no normative references in this document.
3 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at http:// www .electropedia .org/
3.1
near infrared spectroscopy
NIR spectroscopy
spectroscopic method for measuring spectra using the NIR region of the electromagnetic spectrum
−1 −1
(from 780 nm to 2 500 nm, 12 800 cm to 4 000 cm )
3.2
near infrared spectrometry
NIR spectrometry
application of near infrared spectroscopy (3.1) yielding quantifiable results or other application-related
evaluations of NIR spectra
3.3
parameter
constituent
proximate (e.g. total solids, moisture, non-fat solids, fat, protein, lactose and salt contents) or other
property (e.g. pH value) of samples applicable for NIR analysis methods
Note 1 to entry: Most parameters are measured in mass fractions expressed in per cent, but some parameters
will be determined in percentage by volume or with specific units, e.g. pH and freezing point depression.
4 Principle
4.1 General
A NIR method contains the following steps:
— a sample is presented to a NIR instrument;
IDF 201:2020(E)
— if required, it is preprocessed in advance to obtain a homogeneous test sample representing the
chemical composition of the sample material;
— it is loaded into the sample holder of the NIR spectrometer and, during the spectroscopic
measurement, the absorbance at wavelengths in the NIR region is measured;
— the spectral data are transformed to constituent concentrations by calibration models developed on
samples from the population to be tested (see 7.1).
4.2 Measurement principles
4.2.1 Transmittance (transmission)
In transmittance measurements, light is directed at a sample with a focused or parallel beam. The
transmitted part is detected after passing through the sample. This setup is not only used for clear
liquids, but also scattering samples in liquid form (e.g. milk, cream) or semi-solid form (e.g. yoghurt,
cheese) can be analysed by diffuse transmittance with a suitable optical setup. The optical path length
is an important parameter and should be optimized and maintained according to the manufacturer’s
recommendations.
4.2.2 Diffuse reflectance (reflection)
When light is directed onto a sample, it is reflected and transmitted at differing amounts depending
on the bulk properties of the material. Solid and semi-solid samples reflect light in diffuse reflection,
i.e. reflecting in all angles equally or near-equally distributed. There are different instrumental setups
used to collect and detect diffuse reflected light. Instruments with two principles for illuminating the
sample in a container and collecting the reflected light either from above (top-down set-up) or from the
bottom through a window (bottom-up) are common.
4.2.3 Transflectance (transflection)
When partially transparent samples are analysed, the reflectance and transmittance properties are
not sufficient for using one of these dedicated measuring principles. By selecting a suitable path length
and having a reflecting surface (reflector, mirror) on the other side of the sample, the incident light
is transmitted through the sample, reflected and transmitted backwards to be detected. Thus, the
diffuse reflected and the transmitted light is measured in a ration depending on the optical properties
of the sample.
In cases where an NIR instrument provides reflectance measurements, even transparent or turbid
liquids can be analysed in transflectance.
5 Reagents
Use only reagents of recognized analytical grade, unless otherwise specified, and distilled or
demineralized water or water of equivalent purity.
5.1 Ethanol, or another appropriate solvent or detergent mixture, for cleaning re-usable sample
containers.
5.2 Cleaning solutions.
For analysis of liquids in flow cells, appropriate cleaning solutions and maintenance protocols should
be used according to the manufacturer’s recommendations.
2 © ISO and IDF 2020 – All rights reserved
IDF 201:2020(E)
6 Apparatus
6.1 Near infrared (NIR) instrument.
NIR instruments are based on diffuse reflectance, transmittance or transflectance measurement
−1
principle by NIR spectroscopy in the whole NIR wavelength region of 780 nm to 2 500 nm (12 800 cm
−1
to 4 000 cm ) or segments of this or at selected wavelengths.
The optical operation principle may be dispersive (e.g. grating monochromators), interferometry or
non-thermal (e.g. light-emitting diodes, laser diodes, lasers). The instrument should be provided with
a diagnostic test system, e.g. for testing photometric instrument noise, wavelength/wavenumber
accuracy and wavelength/wavenumber precision/repeatability (for scanning spectrophotometers)
according to the manufacturer’s recommendations.
The instrument should be equipped with sample containers (cups, glass or polystyrene Petri dishes,
flow cells, etc.), which allow repeatable filling of the sample. It is important that the window, Petri
dish or flow cell material that allows the NIR light to interact with the sample is manufactured to a
consistent standard by the manufacturer or supplier to avoid biased results or even re-calibration
work. A sufficient sample volume or surface is required to eliminate any influence from inhomogeneity
derived from the chemical composition or physical properties of the test sample. The sample path
length (sample thickness) in transmittance measurements should be optimized according to the
manufacturer’s recommendations with respect to signal intensity for obtaining linearity and maximum
signal/noise ratio. In reflectance measurements in a top-down instrument set-up, a quartz window or
other appropriate material to eliminate drying effects should preferably cover the interacting sample
surface layer. In a bottom-up instrument setup, the container and the sample are covered and protected
against drying by the measurement window.
The sample containers may be re-usable or made of disposable material.
6.2 Grinding or grating device.
An appropriate device for preparing the sample (e.g. a food processor for semi-hard cheese) can be
required. A procedure should be established to ensure consistency over time and with different
operators.
Changes in grinding or grating conditions may influence the NIR measurements and results.
7 Calibration and initial validation
7.1 Selection of calibration samples
The instrument should be calibrated before being used or installed pre-calibrated. Because of the
complex nature of NIR spectral data, which consists mainly of overtones and combination bands of
fundamental vibrations in the mid-infrared region, the instrument should be calibrated using a series
of natural samples (often at least 120 samples). No specific procedure for the calibration of a specific
application can be given due to the wide variations over all aspects in sample types, constituents,
concentration ranges, instrument setups and possible calibration algorithms. Examples and results are
[1]
published in an IDF bulletin .
The accuracy and robustness of calibration models are dependent on the strategies used for sample
selection and calibration. Developed calibration models are only valid for samples covered by the range
and variations of the calibration samples. The first step in calibration development is therefore to define
the application (e.g. sample types and concentration ranges). When calibration samples are selected,
IDF 201:2020(E)
care should be taken to ensure that all major factors affecting the accuracy of calibration are covered
within the limits of the defined application area. These factors include the following:
a) combinations and composition ranges of major and minor sample components to include:
1) range of analytes (e.g. total solids, fat and protein) and non-analytes; or
2) recipes with dairy and non-dairy ingredients and additives (herbs, nuts, spices, chocolate, etc.);
b) seasonal, geographic and genetic effects on milk composition and other raw materials;
c) processing techniques and conditions;
d) ripening stages of cheeses;
e) storage and storage conditions;
f) sample and instrument temperatures and changes in them;
g) instrument variations.
The accuracy of calibrations is influenced by the extent of variation in the sample material and the
analyte concentration range. A moderate variation can be easier to fit than a large variation but this
depends on the analyte and sample matrices. If the required accuracy cannot be obtained by a single
calibration, then stepwise evaluation is an option or the calibration data set should be split up into
static or dynamic sub-areas, each with an associated calibration.
It is generally preferable that the whole calibration range is covered in a uniform way, with samples
from low to high concentrations of analytes. The sample spread should also be as uniform as possible
with respect to the other variables, including those mentioned above. In cases where there are gaps in
some areas of the calibration range, all possible actions should be taken to fill these areas, e.g. mixing of
samples or using samples from beginning or ending of production. Furthermore, the samples should be
collected and measured over a certain period of time to ensure the inclusion of time-dependent effects.
This design will improve the ruggedness and give a more even performance of the calibration over the
entire analyte concentration range.
[2][3]
Multivariate methods may be used as a tool in the selection of samples before the calibration
process to ensure a homogeneous calibration set covering all variation in spectroscopic data induced
by chemical, biological and physical factors without duplication of samples with similar information. In
practice, a larger sample population is measured by NIR spectroscopy for collection of NIR data only.
Then samples differing in spectral information are selected for reference analyses. Identification of
differing samples may be obtained from inspection of score plots from principal component analysis
(PCA) using, for example, the first three components. This may be less practical in the case of many
samples. However, it is recommended always to perform a PCA and inspect score plots to obtain a
visual overview of the sample set. It is important to check which spectral variations are influencing the
loadings and therefore the PCA score plots, i.e. high variation in water or fat content can dominate the
PCA results whereas protein variation could be lower but is of importance as well. More formal cluster
[3]
analyses may be obtained using techniques based on distance measurements . Further samples
may be added over a period of time to this pool of selected samples using PCA score space or distance
measurement to identify differing samples.
7.2 Reference analyses and NIR instruments
Internationally accepted reference methods for the determination of analytes should be used. The
reference method used for calibration should be in statistical control, i.e. the variability should consist
of a constant system of random variations. To support the assessment of outliers, it may be useful to
perform replicate analyses in independent series (different analysts, different equipment, etc.).
All major variations in NIR measuring conditions that may appear in practice should be considered and
built into the calibration model. An important factor is sample temperature, especially for transmittance
measurements of aqueous liquids such as milk, etc.
4 © ISO and IDF 2020 – All rights reserved
IDF 201:2020(E)
The sampling procedure and sample presentation at the instrument as well as the actual test sample
[4]
measured by NIR spectroscopy may be critical for the accuracy obtained . The test sample volume or
surface interacting in measurements should be large enough to avoid sample inhomogeneity having
a significant influence. Reflectance measurement at higher wavelengths normally requires a larger
sample surface than transmittance measurement at shorter wavelengths because the light penetration
is much less. If possible with the NIR instrument, the optimal sample size should be determined from
experiments where the prepared sample material (see 10.1) is measured repeatedly after the refilling
of the sample container. Rotating of solid and semi-solid samples helps in acquiring an averaged NIR
result for reflectance and diffuse transmittance.
The NIR measurements and reference analyses should preferably be performed on the same sample
in order to eliminate effects related to sampling uncertainty. The sample can be divided for NIR
measurements and the reference analyses, which should also be performed with a minimum time lag
(preferably less than one day). It is good practice to randomize the order in which the samples are
presented for both the reference analysis and NIR measurement.
The chemical and physical effects used for the analysis of a certain parameter shall be considered for
the reference method and the corresponding NIR method which is calibrated by the reference values.
The reference and NIR results may have a bias that is due to differing measurement principles.
7.3 Calibration
Because NIR instruments are applied utilizing different calibration systems, no specific procedure can
be given for calibration. However, the person performing the calibration should be familiar with the
statistical principles behind the calibration algorithm used.
There are commercially available calibration packages delivered with instruments as part of turn-key
solutions. The same principles as described need to be considered when applying such calibrations. An
initial validation step is required to check if the commercial methods are applicable for the samples
analysed. In some cases, a need for a bias adjustment may occur and this will help to adapt to the
current needs. Because the samples and the conditions can be specific an adaptation or expansion of
calibrations might be required.
The calibration may be performed using different techniques, e.g. multiple linear regression (MLR),
[2]
multivariate algorithms such as partial least-squares regression (PLS) , locally weighted regression
[5][6][7] [7][8]
(LWR) or artificial neural networks (ANNs) . The latter techniques are recommended
if linearity problems between the spectral response and the constituent occur. Typically, at least
120 calibration samples are needed to obtain rugged calibrations with MLR and PLS. When ANNs
are used for calibration, a substantially higher number of samples is required to avoid over-fitting
of data because ANNs are very flexible functions with many parameters that shall be determined.
Three different data sets (calibration, test or training and validation set) are normally required for
determining the architecture, fitting the parameters and validating the ANN calibration. The concept of
LWR also requires a considerably larger database from which local calibration samples can be selected
for the prediction step.
Spectra should normally be preprocessed prior to calibration to remove or reduce the weighting
of effects which are not related to the chemical absorption of light. Frequently used pretreatments
[9] [10] [10]
are multiplicative scatter correction (MSC) , standard normal variate (SNV) , de-trending
[3]
and first or second derivatives . The optimal transformation and other pretreatments of spectra
(e.g. smoothing) should be determined by trials. Several techniques may often give equivalent results.
The optimal techniques should be assessed from cross validation or independent test sets where models
[11]
are subsequently developed on parts of the data and tested on other parts . The preprocessing step
is important to ensure the robustness of a calibration and one aspect to be checked and considered for
the validation process.
An important issue is the selection of the optimal number of variables (in MLR) or factors (in multivariate
calibrations). If too few variables or factors are used, an under-fitted model is obtained, which means
that the model is not covering enough of important and analyte related variability in the data. If too
many variables or factors are used, an over-fitted model may be obtained where noise and minor or
IDF 201:2020(E)
irrelevant variations are included in the model. Both cases can result in poor predictions on future
samples. The optimal number can be determined by plotting a prediction error [root mean square error
of prediction (RMSEP), see 8.2, obtained from an independent test set, or root mean square error of
cross validation (RMSECV), see 8.3] versus the number of variables or factors (see Figure B.1). Typically,
RMSEP or RMSECV are high for small numbers of variables or factors and decreases as the number
increases, before it increases again when the number becomes too high. Generally, the best solution is
the one giving the lowest RMSEP or RMSECV with the fewest variables or factors.
The predicted values obtained by cross or test set validation should be plotted against reference results
(see Figure B.2). The plot should be examined for outliers and also be investigated for regions with
different levels of prediction accuracy, random or systematic, which may indicate the need for more
calibration samples or a segmentation of the calibration range.
7.4 Outliers in calibration
7.4.1 General
Outliers may be related to NIR spectra (x-outliers) or errors in reference data or samples with a different
relationship between reference data and NIR spectra (y-outliers).
7.4.2 x-outliers
A homogeneous calibration set of spectrally similar samples is required for a robust predictive model.
This can also form the basis of an outlier warning system. Any x-outliers should thus be removed before
calibration. The scores of, for example, the five first PCA or PLS factors can be useful to reveal x-outliers
either globally outside the population or falling in a gap in the score spaces. A more formal identification
of outliers may be performed using, for example, the principle of Mahalanobis distance applied on PCA
[2][12] [13]
or PLS reduced data or the so-called leverage .
It is important to check whether such x-outlier candidates are due to extreme high or low concentrations
or other reasons which can be related to their identification as outliers. In such a case, the sample is
probably important and should be added to the calibration set to widen the range, thus incorporating a
different process situation, other batches of ingredients or a changed matrix. In cases where a deviating
spectrum is attributed to an insufficient sample preparation or presentation, it shall be removed.
Figure B.2 shows an example plot of NIR prediction versus reference without outliers. In the PCA scores
plot in Figure B.3, an x-outlier is present.
7.4.3 y-outliers
When a y-outlier is observed in the calibration set, the reference data should be checked for errors in
sample identification, reference analyses, computations, data transfer, etc. However, it may be difficult
to relate outliers to errors in reference analyses because the calibration step usually is performed at a
later stage than reference analyses, which may make it impossible to repeat analyses because of sample
instability. There is no standard way to treat y-outliers, but outliers should generally be removed if the
difference between NIR predictions and reference results in cross or test set validation exceeds three
times the RMSECV or RMSEP (see Clause 8).
It is important to note that the removal of outliers can influence the future prediction of similar samples.
Outliers should be removed as a batch before a new calibration model is created. The outlier removal
step should only be performed one or two times in order not to reduce the coverage and robustness of
the calibration and overestimate the accuracy. Care shall be taken to preserve the optimum distribution
of the calibration set when outliers are removed.
Figure B.2 shows an example plot of NIR prediction versus reference without outliers. In Figure B.4, a
y-outlier is present.
6 © ISO and IDF 2020 – All rights reserved
IDF 201:2020(E)
7.4.4 Combined x- and y-outliers
Samples which are both x- and y-outliers (influential outliers) have a very strong effect on the regression
equation and can be very harmful. Such outliers may give slope effects and increase the prediction
error considerably.
Figure B.2 shows an example plot of NIR prediction versus reference without outliers. The outlier
in Figures B.4 is a y-outlier as the NIR predicted result is different from the reference value due to
erroneous reference data or a different relationship between reference data and spectral data. The
deviation in prediction may even be caused by an x-outlier or spectral outlier which shall be checked
and identified by a calibration algorithm specific parameter (e.g. Mahalanobis distance, spectral
[2]
residuals ).
7.5 Validation of calibration models
When calibration equations have been developed, they should be validated on an independent validation
set, preferably sampled after the calibration period. The independent validation set should cover
all variations in the sample population and should contain at least 25 samples. Only an independent
validation set can provide the correct information about accuracy and robustness of an NIR calibration.
The use of cross validation in the calibration process, where subsequent parts of the calibration set are
reserved for validation, can give a good estimate of the uncertainty of the method when the calibration
samples are properly selected. However, the potential risk is that cross validation may underestimate
the ruggedness of the calibration and the predicted uncertainty because cross validation samples are
taken from the pool of samples used for calibration. The same applies in the case of using a test set
derived from a given calibration set.
The results obtained on the independent validation set are plotted, NIR against reference (or vice versa)
such as in Figure B.2 and residuals against reference, to give a visual impression of the performance
of the calibration. The standard error of prediction (SEP), see 8.1, is calculated and the residual plot of
data corrected for mean systematic error (bias) is examined for outliers, i.e. samples with a residual
exceeding 3 × SEP. If an outlier occurs and this cannot be classified as an x-outlier and re-analysis of the
sample by NIR and reference methods confirms the result, the outlier should not be removed.
In this case, the ruggedness of the calibration is not sufficient and the calibration set should be expanded.
The next step is to fit NIR and reference data by linear regression (reference = b × NIR + a) to support the
visual impression. If the slope (b) is significantly different from 1, the calibration is skewed. Adjusting
the slope of the calibration is generally not recommended. If a re-investigation of the calibration does
not detect outliers, especially influential outliers, it is preferable to expand the calibration set to include
more samples. However, if the slope is adjusted, the calibration should be tested on a new independent
test set. In such cases, more efforts should be put on the validation in terms of number of samples and/
or time interval.
The data are also examined for a bias between the methods. An intercept (a) significantly different
from 0 indicates that the calibration is biased. A bias may be removed by adjusting the constant term in
the calibration equation. However, if the accuracy of the bias-adjusted calibration is significantly poorer
than expected from cross validation on the calibration set, i.e. SEP is significantly larger than RMSECV,
the calibration set should be expanded to include more samples.
In all cases when a new calibration is developed on an expanded calibration set, the validation process
should be repeated on a new independent test set. If necessary, expansion of the calibration set should
be repeated until acceptable results are obtained on an independent test set.
7.6 Changes in measuring and instrument conditions
If measurement or instrument conditions are changed, the stated accuracy of a validated NIR method
cannot generally be considered as valid unless an additional validation is performed.
For example, the calibrations developed for a certain population of samples may not be valid for
samples outside this population, although the analyte concentration range is unchanged. A calibration
IDF 201:2020(E)
developed on cheeses from one dairy may not give the same accuracy on cheeses produced in another
dairy if the processing and ripening parameters are different.
Changes in the sample preparation and presentation technique or the measuring conditions
(e.g. temperature) not included in the calibration set may also influence the analytical results. If the
conditions are changed, a supplementary validation should be performed.
Furthermore, calibrations developed on a certain instrument cannot always be transferred directly
to an identical instrument operating under the same principle. It may be necessary to perform bias
adjustments to calibration equations. In some cases, it may even be necessary to standardize the
two instruments against each other by mathematical procedures before calibration equations can be
[3]
transferred . Standardization procedures may be used to transfer calibrations between instruments
of different types provided that samples are measured in the same way (reflectance, transmittance) in
similar containers and that most of the spectral region is common. Adding a few samples scanned with
the second instrument in the database can contribute to the transfer.
The calibrations should be checked and validated whenever any major part of the instrument (optical
system, detector) has been changed or repaired.
7.7 Outlier detection
Use of NIR methods is generally limited to samples in the population covered by the calibration set
with respect to sample material characteristics and analyte concentrations. An outlier detection
system should accompany the NIR method to reduce the risk of unintentional use of NIR spectrometry
on samples outside this population. The system should be able to detect x-outliers and samples falling
outside the concentration range. The principle of Mahalanobis distance applied to PCA or PLS scores or
“leverage” may be used for the detection of x-outliers. If a sample is detected as an outlier, the sample
should be re-analysed by reference methods to obtain the best estimate. In cases where the NIR result is
not a y-outlier, the sample spectrum can be used for a calibration update. In cases where it is a y-outlier,
the calibration should be updated if such samples are occurring frequently within routine operation.
8 Statistics for performance measurement
8.1 Standard error of prediction (SEP) and bias
[14]
The key statistical parameter for the performance of a calibration is the SEP. It expresses the
...
NORME ISO
INTERNATIONALE 21543
FIL 201
Deuxième édition
2020-10
Lait et produits laitiers — Lignes
directrices pour l'application de
la spectrométrie dans le proche
infrarouge
Milk and milk products — Guidelines for the application of near
infrared spectrometry
Numéros de référence
FIL 201:2020(F)
©
ISO et FIL 2020
FIL 201:2020(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO et FIL 2020
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office International Dairy Federation
Case postale 401 • Ch. de Blandonnet 8 Silver Building • Bd Auguste Reyers 70/B
CH-1214 Vernier, Genève B-1030 Brussels
Tél.: +41 22 749 01 11 Tél.: + 32 2 325 67 40
Fax: + 32 2 325 67 41
E-mail: copyright@iso.org E-mail: info@fil-idf.org
Web: www.iso.org Web: www.fil-idf.org
Publié en Suisse
ii © ISO et FIL 2020 – Tous droits réservés
FIL 201:2020(F)
Sommaire Page
Avant-propos .v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Principe . 2
4.1 Généralités . 2
4.2 Principes de mesurage . 2
4.2.1 Transmittance (transmission) . 2
4.2.2 Réflectance diffuse (réflexion) . 2
4.2.3 Transflectance (transflexion) . 2
5 Réactifs . 2
6 Appareillage . 3
7 Étalonnage et validation initiale . 3
7.1 Sélection des échantillons d’étalonnage . 3
7.2 Analyses de référence et instruments NIR . 5
7.3 Étalonnage . 5
7.4 Valeurs aberrantes dans l’étalonnage . 6
7.4.1 Généralités . 6
7.4.2 Valeurs aberrantes x . 7
7.4.3 Valeurs aberrantes y . 7
7.4.4 Combinaison de valeurs aberrantes x et y .7
7.5 Validation des modèles d’étalonnage . 8
7.6 Changements des conditions de mesurage et d’utilisation des appareils . 8
7.7 Recherche de valeurs aberrantes . 9
8 Statistiques pour le mesurage des performances . 9
8.1 Erreur type de prédiction (SEP) et biais . 9
8.2 Erreur quadratique moyenne de prédiction (RMSEP) .10
8.3 Erreur quadratique moyenne de validation croisée (RMSECV) .10
9 Échantillonnage .10
10 Mode opératoire.10
10.1 Préparation des échantillons d’essai .10
10.1.1 Aspects généraux .10
10.1.2 Lait et produits laitiers liquides.11
10.1.3 Fromage .11
10.1.4 Lait en poudre, lactosérum, poudre de babeurre et protéine de lactosérum
en poudre .11
10.1.5 Beurre .11
10.1.6 Yaourt .12
10.2 Mesurage .12
10.3 Évaluation des résultats .12
11 Vérification de la stabilité de l’appareil .12
11.1 Échantillons de contrôle .12
11.2 Diagnostic des appareils .13
12 Contrôle de performance de l’étalonnage .13
13 Fidélité et exactitude .14
13.1 Répétabilité .14
13.2 Reproductibilité intralaboratoire .14
13.3 Exactitude .14
14 Rapport d’essai .15
© ISO et FIL 2020 – Tous droits réservés iii
FIL 201:2020(F)
Annexe A (informative) Exemples de valeurs SEP et RMSEP .16
Annexe B (informative) Exemples de figures .19
Bibliographie .24
iv © ISO et FIL 2020 – Tous droits réservés
FIL 201:2020(F)
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/ directives).
L’attention est attirée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de
brevets reçues par l’ISO (voir www .iso .org/ brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l’ISO liés à l’évaluation de la conformité, ou pour toute information au sujet de l’adhésion
de l’ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir www .iso .org/ avant -propos.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-comité
SC 5, Lait et produits laitiers, et la Fédération Internationale du Lait (FIL). Il est publié conjointement par
l’ISO et la FIL.
Cette deuxième édition annule et remplace la première édition (ISO 21543 | FIL 201:2006), qui a fait
l’objet d’une révision technique. Les principales modifications par rapport à l’édition précédente sont
les suivantes:
— les principes de mesure «Transmittance» et «Transflectance» ont été ajoutés et définis;
— tous les types d’échantillons ont été couverts: liquides, solides et semi-solides;
— les articles sur l’étalonnage et la validation ont été revus et mis à jour;
— l’article sur les valeurs aberrantes a été révisé et les graphiques ont été renouvelés;
— les modes opératoires de manipulation et de mesure des échantillons ont été élargis pour inclure les
échantillons liquides et d’autres exemples;
— l’Annexe A a été élargie pour inclure les références pour l’analyse du lait cru.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www .iso .org/ fr/ members .html.
© ISO et FIL 2020 – Tous droits réservés v
FIL 201:2020(F)
La FIL (Fédération internationale du lait) est une organisation privée à but non lucratif qui représente
les intérêts des divers acteurs de la filière laitière au niveau international. Les membres de la FIL sont
organisés en comités nationaux, qui sont des associations nationales composées de représentants de
groupes d’intérêt nationaux dans le secteur des produits laitiers, incluant des producteurs laitiers, des
acteurs de l’industrie de transformation des produits laitiers, des fournisseurs de produits laitiers, des
universitaires et des représentants des gouvernements/autorités chargées du contrôle des aliments.
L’ISO et la FIL collaborent étroitement sur toutes les activités de normalisation concernant les méthodes
d’analyse et d’échantillonnage du lait et des produits laitiers. Depuis 2001, l’ISO et la FIL publient
conjointement leurs Normes internationales en utilisant les logos et les numéros de référence des deux
organisations.
L’attention est attirée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. La FIL ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de
brevets reçues par l’ISO (voir www,iso,org/patents).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Le présent document a été élaboré par le Comité permanent de la FIL chargé des Statistiques et de
l’automatisation ainsi que par le comité technique ISO/TC 34, Produits alimentaires, sous-comité SC 5,
Lait et produits laitiers. Il est publié conjointement par la FIL et l’ISO.
Le travail a été confié à l’Équipe d’action FIL/ISO (S16), du Comité permanent chargé des Statistiques et
de l’automatisation, sous la conduite de son chef de projet, M. A. Niemoeller (DE).
vi © ISO et FIL 2020 – Tous droits réservés
NORME INTERNATIONALE
FIL 201:2020(F)
Lait et produits laitiers — Lignes directrices pour
l'application de la spectrométrie dans le proche infrarouge
1 Domaine d’application
Le présent document spécifie des lignes directrices pour l’utilisation de la spectrométrie dans le proche
infrarouge (NIR) dans le cadre de l’analyse du lait et des produits laitiers sous forme liquide, semi-solide
et solide. Selon la forme de l’échantillon et l’application, différents montages d’instrument peuvent être
utilisés pour la transmittance, la réflectance diffuse ou la transflectance.
2 Références normatives
Le présent document ne contient aucune référence normative.
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l’adresse http:// www .electropedia .org/
3.1
spectroscopie dans le proche infrarouge
spectroscopie NIR
méthode spectroscopique de mesure des spectres dans la région NIR du spectre électromagnétique (de
−1 −1
780 nm à 2 500 nm, de 12 800 cm à 4 000 cm )
3.2
spectrométrie dans le proche infrarouge
spectrométrie NIR
application de spectroscopie dans le proche infrarouge (3.1) donnant des résultats quantifiables ou
d’autres évaluations des spectres NIR liées à l’application
3.3
paramètre
composant
composé majeur (par exemple, teneur totale en solides, humidité, solides non gras, matières grasses,
protéines, lactose et sel) ou autre propriété (par exemple, valeur du pH) des échantillons applicables
aux méthodes d’analyse NIR
Note 1 à l'article: La plupart des paramètres sont mesurés en fractions massiques, exprimées en pourcentage,
mais certains paramètres seront déterminés en pourcentage par volume ou avec des unités spécifiques, telles
que le pH et l’équivalent du point de congélation.
© ISO et FIL 2020 – Tous droits réservés 1
FIL 201:2020(F)
4 Principe
4.1 Généralités
Une méthode NIR comprend les étapes suivantes:
— un échantillon est présenté sur un instrument NIR;
— si nécessaire, l’échantillon est prétraité afin d’obtenir un échantillon d’essai homogène représentatif
de la composition chimique de l’échantillon;
— il est ensuite chargé dans le porte-échantillon du spectromètre NIR et, lors de la mesure
spectroscopique, l’absorbance aux longueurs d’onde du spectre dans le proche infrarouge est
mesurée;
— les données spectrales sont transformées en concentrations des composants à l’aide de modèles
d’étalonnage développés sur des échantillons de la population à soumettre à essai (voir 7.1).
4.2 Principes de mesurage
4.2.1 Transmittance (transmission)
Lors des mesurages par transmittance, la lumière est dirigée vers un échantillon avec un faisceau
focalisé ou parallèle. La partie transmise est détectée une fois passée à travers l’échantillon. Ce montage
n’est pas seulement utilisé pour les liquides transparents: les échantillons dispersés sous forme liquide
(par exemple, lait, crème) ou sous forme semi-solide (par exemple, yaourt, fromage) peuvent également
être analysés par détermination de la transmittance diffuse en appliquant un réglage optique approprié.
Le trajet optique est un paramètre important et il convient de l’optimiser et d’assurer la constance de sa
longueur conformément aux recommandations du fabricant.
4.2.2 Réflectance diffuse (réflexion)
Lorsque la lumière est dirigée directement sur un échantillon, elle est réfléchie et transmise en quantités
différentes en fonction des propriétés globales du matériau. Les échantillons solides et semi-solides
réfléchissent la lumière en réflexion diffuse, c’est-à-dire sous tous les angles selon une répartition égale
ou quasi égale. Différents montages d’instrument peuvent être utilisés pour capter et détecter la lumière
réfléchie de manière diffuse. Les instruments disposant de deux principes d’éclairage de l’échantillon
dans un récipient et de captage de la lumière réfléchie soit du dessus (montage descendant) soit du
dessous à travers une fenêtre (montage ascendant) sont courants.
4.2.3 Transflectance (transflexion)
Lorsque des échantillons partiellement transparents sont analysés, les propriétés de réflectance et
de transmittance ne sont pas suffisantes pour utiliser l’un de ces principes de mesurage dédiés. En
sélectionnant un trajet optique approprié et en plaçant une surface réfléchissante (réflecteur, miroir)
de l’autre côté de l’échantillon, la lumière incidente est transmise à travers l’échantillon, réfléchie, puis
transmise en sens inverse pour être détectée. La lumière réfléchie de manière diffuse puis transmise
est ainsi mesurée dans un rapport dépendant des propriétés optiques de l’échantillon.
Si un instrument NIR fournit des mesurages de réflectance, des liquides transparents ou troubles
peuvent également être analysés en transflectance.
5 Réactifs
Sauf spécification contraire, utiliser exclusivement des réactifs de qualité analytique reconnue et de
l’eau distillée, déminéralisée ou de pureté équivalente.
2 © ISO et FIL 2020 – Tous droits réservés
FIL 201:2020(F)
5.1 Éthanol, ou un autre solvant approprié ou mélange de détergents, pour le nettoyage des récipients
à échantillons réutilisables.
5.2 Solutions de nettoyage
Pour l’analyse de liquides dans les cellules à circulation, il convient d’utiliser des solutions de nettoyage
appropriées et des protocoles de maintenance conformément aux recommandations du fabricant.
6 Appareillage
6.1 Instrument de proche infrarouge (NIR)
Les instruments NIR sont basés sur le principe de mesurage par réflectance diffuse, par transmittance
ou par transflectance par spectroscopie NIR dans l’ensemble du spectre NIR de 780 nm à 2 500 nm
−1 −1
(12 800 cm à 4 000 cm ) ou secteurs de ce dernier ou à des longueurs d’onde sélectionnées.
Le principe de fonctionnement optique peut être dispersif (par exemple, monochromateurs à réseau),
interférométrique ou non thermique (par exemple, diodes électroluminescentes, diodes laser, lasers). Il
convient que l’instrument soit doté d’un système de diagnostic, par exemple pour déterminer le bruit du
montage photométrique, ainsi que l’exactitude et la fidélité/répétabilité des longueurs d’onde/nombres
d’ondes (pour les spectrophotomètres à balayage), conformément aux recommandations du fabricant.
Il convient que l’instrument soit équipé de contenants permettant de placer l’échantillon (béchers,
boîtes de Petri en verre ou en polystyrène, cellules à circulation, etc.) qui permettent la répétabilité
du remplissage de l’échantillon. Il est important que le matériau de la fenêtre, de la boîte de Petri ou
de la cellule à circulation qui permet à la lumière NIR d’interagir avec l’échantillon soit conçu selon
une norme cohérente par le fabricant ou le fournisseur afin d’éviter tout biais des résultats, voire la
nécessité d’un réétalonnage. Un volume ou une surface d’échantillon suffisamment importants sont
requis pour éliminer toute influence de la non-homogénéité provenant de la composition chimique
ou des propriétés physiques de l’échantillon d’essai. Il convient d’optimiser le trajet optique des
échantillons (épaisseur des échantillons) dans les mesurages par transmittance conformément aux
recommandations du fabricant en ce qui concerne l’intensité du signal pour l’obtention de la linéarité
et du rapport signal/bruit maximal. Dans les mesurages de réflectance selon un montage d’instrument
descendant, il convient qu’une fenêtre en quartz ou en un autre matériau adéquat pour éliminer les
effets de séchage recouvre de préférence la surface d’interaction de l’échantillon. Dans un montage
ascendant d’instrument, le récipient et l’échantillon sont couverts et protégés contre l’assèchement par
la fenêtre de mesure.
Les récipients à échantillons peuvent être réutilisables ou en matériau jetable.
6.2 Instrument de broyage ou de râpage
Un dispositif approprié pour la préparation de l’échantillon (par exemple, un robot de cuisine pour du
fromage à pâte mi-dure) peut être nécessaire. Il convient de mettre en place un mode opératoire afin
d’assurer la cohérence dans le temps et avec les différents opérateurs.
Des changements dans les conditions de broyage ou de râpage peuvent influencer les mesurages et les
résultats NIR.
7 Étalonnage et validation initiale
7.1 Sélection des échantillons d’étalonnage
Il convient d’étalonner l’instrument avant de l’utiliser ou de l’installer pré-étalonné. En raison de la
nature complexe des données du spectre NIR, qui se composent principalement d’harmoniques et de
bandes de combinaisons de vibrations fondamentales dans la région moyen infrarouge, il convient
d’étalonner l’appareil sur une série d’échantillons naturels (souvent au moins 120 échantillons). Aucun
© ISO et FIL 2020 – Tous droits réservés 3
FIL 201:2020(F)
mode opératoire spécifique pour l’étalonnage d’une application spécifique ne peut être donné en raison
de la diversité des différents types d’échantillons, composants, gammes de concentration, montages
d’instrument et algorithmes d’étalonnage possibles. Des exemples et résultats sont publiés dans un
[1]
bulletin de la FIL .
L’exactitude et la robustesse des modèles d’étalonnage dépendent des stratégies utilisées pour la
sélection des échantillons et l’étalonnage. Les modèles d’étalonnage développés s’appliquent uniquement
aux échantillons représentés par la gamme de concentration et les variations des échantillons
d’étalonnage. La première étape du développement de l’étalonnage consiste donc à définir l’application
(par exemple, les types d’échantillons et les gammes de concentration). Lorsque les échantillons
d’étalonnage sont sélectionnés, il convient de s’assurer que tous les principaux facteurs influençant
l’exactitude de l’étalonnage sont représentés dans les limites du domaine d’application défini. Ceux-ci
incluent:
a) les combinaisons et les gammes de composition des composants principaux et secondaires
d’échantillon, incluant:
1) la gamme de composition des analytes (par exemple, matière solide totale, matière grasse et
protéines) et des non-analytes;
2) les recettes contenant des ingrédients laitiers et non laitiers et des additifs (herbes, noix,
épices, chocolat, etc.);
b) les effets saisonniers, géographiques et génétiques sur la composition du lait et autres matières
premières;
c) les techniques et les conditions de transformation;
d) les étapes d’affinage des fromages;
e) la conservation et les conditions de conservation;
f) les températures de l’échantillon et de l’instrument, ainsi que leurs variations;
g) les fluctuations de l’instrument.
L’étendue des variations dans le matériau d’échantillon et la gamme de concentration de l’analyte
influencent l’exactitude des étalonnages. Une variation modérée peut être plus facile à ajuster qu’une
variation importante, mais cela dépend des matrices de l’analyte et de l’échantillon. S’il n’est pas
possible d’obtenir l’exactitude requise à l’aide d’un seul étalonnage, l’évaluation graduelle est alors une
option ou il convient de répartir l’ensemble de données d’étalonnage en sous-domaines statiques ou
dynamiques, chacun avec un étalonnage associé.
En général, il est préférable de représenter uniformément l’ensemble de la gamme d’étalonnage, avec
des échantillons présentant des concentrations d’analytes faibles à élevées. Il convient également
que la répartition de l’échantillon soit aussi uniforme que possible en ce qui concerne les autres
variables, notamment celles mentionnées ci-avant. En cas de lacunes dans certaines zones de la gamme
d’étalonnage, il convient de prendre toutes les mesures possibles pour combler ces zones, par exemple
en mélangeant des échantillons ou en utilisant des échantillons de début ou de fin de production. En
outre, il convient de récupérer et de mesurer les échantillons sur une certaine durée pour garantir
l’intégration des effets temporels. Cette conception va améliorer la robustesse et permettre des
performances plus uniformes de l’étalonnage sur l’ensemble de la gamme de concentration de l’analyte.
[2][3]
Il est admis d’utiliser des méthodes à plusieurs variables comme outil de sélection des échantillons
avant le processus d’étalonnage pour garantir un set d’étalonnage homogène représentant toutes
les variations des données spectroscopiques provoquées par des facteurs chimiques, biologiques et
physiques sans duplication d’échantillons dont les informations sont identiques. En pratique, une
population d’échantillons plus importante est mesurée par spectroscopie NIR pour la récupération
des données NIR uniquement. Les échantillons dont les informations spectrales diffèrent sont ensuite
sélectionnés pour des analyses de références. Les échantillons différents peuvent être identifiés par
inspection des graphiques de résultats provenant de l’analyse en composantes principales (PCA) à
4 © ISO et FIL 2020 – Tous droits réservés
FIL 201:2020(F)
l’aide, par exemple, des trois premières composantes. Cela peut se révéler moins pratique avec plusieurs
échantillons. Cependant, il est recommandé de toujours réaliser une analyse PCA et d’inspecter les
graphiques de résultats pour obtenir un aperçu de l’ensemble des échantillons. Il est important de
vérifier quelles variations spectrales influencent les coefficients des variables et, par conséquent, les
graphiques de résultats PCA; par exemple, de fortes variations dans la teneur en eau ou en matières
grasses peuvent prédominer dans les résultats PCA, tandis que les variations des protéines peuvent
être plus faibles tout en revêtant également de l’importance. Il est permis d’obtenir des analyses par
[3]
groupe plus formelles à l’aide de techniques basées sur les mesurages des distances . Des échantillons
supplémentaires peuvent être ajoutés pour une durée donnée à cet ensemble d’échantillons sélectionnés
en utilisant le mesurage des distances ou des espaces des résultats PCA pour identifier les échantillons
différents.
7.2 Analyses de référence et instruments NIR
Il convient d’utiliser des méthodes de référence reconnues à l’échelle internationale pour la
détermination de la teneur en analytes. Pour l’étalonnage, il convient que la méthode de référence
soit sous contrôle statistique, c’est-à-dire qu’il convient que la variabilité soit un système constant de
variations aléatoires. Pour prendre en charge l’évaluation des valeurs aberrantes, il peut se révéler
utile de réaliser des analyses dupliquées en séries indépendantes (analystes différents, appareillage
différent, etc.).
Il convient de prendre en compte et d’intégrer au modèle d’étalonnage toutes les variations importantes
des conditions de mesurages NIR pouvant apparaître en pratique. La température de l’échantillon est
un facteur important, notamment pour les mesurages par transmittance des liquides aqueux tels que le
lait, etc.
Le mode opératoire d’échantillonnage, la présentation de l’échantillon sur l’instrument et l’échantillon
d’essai réel mesuré par spectroscopie NIR peuvent être des facteurs essentiels pour l’exactitude
[4]
obtenue . Il convient que le volume ou la surface de l’échantillon d’essai interagissant avec le mesurage
soit assez important pour éviter une influence significative de la non-homogénéité de l’échantillon.
Le mesurage par réflectance à des longueurs d’onde plus élevées requiert normalement une surface
d’échantillon plus importante que le mesurage par transmittance à des longueurs d’onde plus courtes
en raison de la pénétration de la lumière moins importante. Si possible avec l’instrument NIR, il convient
de déterminer la taille d’échantillon optimale à partir d’expériences dans lesquelles le matériau
d’échantillon préparé (voir 10.1) est mesuré de façon répétée après le nouveau remplissage du récipient
à échantillons. La rotation des échantillons solides et semi-solides aide à obtenir un résultat NIR moyen
pour la réflectance et la transmittance diffuse.
Il est recommandé de réaliser de préférence les mesurages NIR et les analyses de référence sur le même
échantillon afin d’éliminer les effets relatifs à l’incertitude d’échantillonnage. L’échantillon peut être
divisé pour les mesurages NIR et il convient de réaliser les analyses de référence avec un délai minimal
(moins d’une journée de préférence). La bonne pratique recommande de rendre aléatoire l’ordre de
présentation des échantillons pour l’analyse de référence et le mesurage NIR.
Les effets physiques et chimiques utilisés pour l’analyse d’un paramètre donné doivent être pris en compte
pour la méthode de référence et la méthode NIR correspondante étalonnée selon les valeurs de référence.
Les résultats de référence et NIR peuvent présenter un biais dû aux différents principes de mesure.
7.3 Étalonnage
En raison des différents systèmes d’étalonnage des spectromètres NIR, aucun mode opératoire
spécifique ne peut être indiqué pour l’étalonnage. Cependant, il convient que la personne qui réalise
l’étalonnage connaisse les principes statistiques de l’algorithme d’étalonnage utilisé.
Il existe des modèles d’étalonnage disponibles dans le commerce, fournis avec les instruments en
tant que partie intégrante de solutions clés en main. Il est nécessaire de tenir compte des principes
présentement décrits lors de la mise en œuvre de ces étalonnages. Une étape de validation initiale est
requise pour vérifier si les méthodes disponibles dans le commerce sont applicables aux échantillons
analysés. Dans certains cas, il peut être nécessaire d’ajuster le biais afin de mieux s’adapter aux besoins
© ISO et FIL 2020 – Tous droits réservés 5
FIL 201:2020(F)
présents. Les échantillons et les conditions pouvant être spécifiques, une adaptation ou une extension
de l’étalonnage peuvent être requises.
Il est permis de réaliser l’étalonnage à l’aide de différentes techniques, telles que la régression linéaire
multiple (MLR), des algorithmes à plusieurs variables tels que la régression aux moindres carrés (PLS)
[2] [5][6][7] [7][8]
, la régression locale pondérée (LWR) ou des réseaux neuronaux artificiels (ANN) . Ces
dernières techniques peuvent être recommandées en cas de problèmes de linéarité entre la réponse
spectrale et le composant. Au moins 120 échantillons d’étalonnage sont généralement nécessaires à
l’obtention d’étalonnages robustes avec les techniques MLR et PLS. Lorsqu’un principe ANN est utilisé
pour l’étalonnage, un nombre sensiblement plus important d’échantillons est requis afin d’éviter la
surdétermination des données puisque les fonctions des réseaux ANN sont flexibles et présentent
plusieurs paramètres qui doivent être définis. Trois ensembles de données différents (étalonnage, essai
ou apprentissage et validation) sont requis pour déterminer l’architecture, ajuster les paramètres et
valider l’étalonnage ANN. Le concept de LWR requiert également une base de données considérablement
plus importante à partir de laquelle des échantillons d’étalonnage locaux peuvent être sélectionnés
pour l’étape de prédiction.
Il convient normalement que les spectres soient prétraités avant l’étalonnage afin d’éliminer ou de
réduire le poids attribué aux effets non reliés à l’absorption de la lumière par des composés chimiques.
Les prétraitements fréquemment utilisés sont la normalisation «Multiplicative Scatter Correction»
[9]
(correction de diffusion — MSC) , la normalisation «Standard Normal Variate» (variable aléatoire
[10] [10]
normale — SNV) , la correction de la ligne de base «de-trending» ainsi que les dérivations simples
[3]
ou doubles . Il convient de déterminer la transformation optimale et les autres prétraitements
des spectres, tels que le lissage, à partir d’essais. Plusieurs techniques peuvent souvent donner des
résultats équivalents. Il convient d’évaluer les techniques optimales à partir d’une validation croisée ou
d’ensembles d’essais indépendants dans laquelle les modèles sont par la suite développés sur une partie
[11]
des données et soumis à essai sur une autre . L’étape de prétraitement est importante afin de garantir
la robustesse de l’étalonnage et constitue l’un des aspects à vérifier et à prendre en compte pour le
processus de validation.
La sélection du nombre optimal de variables (pour la MLR) ou de facteurs (pour les étalonnages à
plusieurs variables) est un élément important. Si les variables ou les facteurs utilisés ne sont pas
assez nombreux, un modèle non suffisamment ajusté est obtenu, ce qui signifie que le modèle n’est pas
suffisamment représentatif de la variabilité des données importante et associée à l’analyse. Lorsque
les variables ou les facteurs utilisés sont trop nombreux, un modèle trop ajusté peut être obtenu,
lequel intègre le bruit et des variations mineures ou insignifiantes. Les deux cas peuvent entraîner de
mauvaises prédictions sur les échantillons futurs. Le nombre optimal peut être déterminé en traçant
une erreur de prédiction [erreur quadratique moyenne de prédiction (RMSEP) (voir 8.2) obtenue à
partir d’un ensemble d’essais indépendants ou erreur quadratique moyenne de validation croisée
(RMSECV) (voir 8.3)] par rapport au nombre des variables ou des facteurs (voir Figure B.1). En général,
la RMSECV ou la RMSEP sont élevées lorsque les variables ou facteurs sont peu nombreux et diminuent
lorsque le nombre des facteurs augmente. Elles augmentent à nouveau lorsque le nombre de facteurs
devient trop important. En général, la meilleure solution est celle qui donne la plus faible RMSEP ou
RMSECV avec le plus petit nombre de variables ou de facteurs possible.
Il convient de tracer les valeurs estimées obtenues par validation croisée ou sur un set d’essai
par rapport aux résultats de référence (voir Figure B.2). Il convient également, dans le graphique,
d’identifier les valeurs aberrantes et de rechercher des zones présentant différents niveaux d’exactitude
de prédiction, aléatoire ou systématique, pouvant indiquer que davantage d’échantillons d’étalonnage
ou une segmentation de la gamme d’étalonnage sont nécessaires.
7.4 Valeurs aberrantes dans l’étalonnage
7.4.1 Généralités
Les valeurs aberrantes peuvent concerner des spectres NIR (valeurs aberrantes x) ou des erreurs dans
les données ou les échantillons de référence avec une relation différente entre les données de référence
et les spectres NIR (valeurs aberrantes y).
6 © ISO et FIL 2020 – Tous droits réservés
FIL 201:2020(F)
7.4.2 Valeurs aberrantes x
Pour obtenir un modèle prédictif robuste, un set d’étalonnage homogène d’échantillons spectralement
similaires est requis. Il peut également servir de base à un système de détection des valeurs aberrantes.
Il convient donc d’éliminer les valeurs aberrantes x avant l’étalonnage. Les résultats des cinq premiers
coefficients PCA ou PLS, par exemple, peuvent être utiles pour détecter les valeurs aberrantes x situées
soit globalement en dehors de la population, soit hors des espaces des résultats. Une identification
plus formelle des valeurs aberrantes peut, par exemple, être réalisée à l’aide du principe de la distance
[2][12] [13]
Mahalanobis appliqué aux données réduites PCA ou PLS ou des «points de levier» .
Il est important de vérifier si les potentielles valeurs aberrantes x sont dues à des concentrations
extrêmement élevées ou faibles ou à d’autres raisons pouvant être liées à leur identification en tant que
valeurs aberrantes. Dans pareil cas, l’échantillon peut être important et il convient de l’ajouter au set
d’étalonnage afin d’élargir la gamme et ainsi d’intégrer une situation de processus différente, d’autres
lots d’ingrédients ou une matrice modifiée. Si un spectre divergent est attribué à une préparation ou à
une présentation d’échantillon insuffisante, il doit être éliminé.
La Figure B.2 montre un exemple de graphique d’une prédiction NIR par rapport à une référence sans
valeur aberrante. Une valeur aberrante x est illustrée sur le graphique de résultats PCA de la Figure B.3.
7.4.3 Valeurs aberrantes y
Lorsqu’une valeur aberrante y est observée dans le set d’étalonnage, il convient de vérifier si les
données de référence comportent des erreurs dans l’identification de l’échantillon, les analyses de
référence, les calculs, les transferts de données, etc. Cependant, il peut être difficile d’établir le rapport
entre les valeurs aberrantes et les erreurs dans les analyses de référence, car l’étape d’étalonnage
est généralement réalisée lors d’une étape ultérieure aux analyses de référence, ce qui peut rendre
impossible la répétition des analyses en raison de l’instabilité des échantillons. Il n’existe aucun
moyen normalisé de traiter les valeurs aberrantes y; toutefois, il convient généralement de supprimer
les valeurs aberrantes si la différence entre les prédictions NIR et les résultats de référence dans la
validation croisée ou de l’ensemble d’essais est plus de trois fois supérieure à la RMSECV ou à la RMSEP
(voir Article 8).
Il est important de noter que la suppression des valeurs aberrantes peut influer sur la prédiction
d’échantillons similaires. Il convient de supprimer les valeurs aberrantes en tant que lot avant de créer
un modèle d’étalonnage. Il convient d’exécuter uniquement une ou deux fois l’étape de suppression
des valeurs aberrantes afin de ne pas réduire l’étendue et la robustesse de l’étalonnage et de ne pas
surestimer l’exactitude. La distribution optimale du set d’étalonnage doit être préservée lorsque les
valeurs aberrantes sont supprimées.
La Figure B.2 montre un exemple de graphique d’une prédiction NIR par rapport à une référence sans
valeur aberrante. Une valeur aberrante y est illustrée à la Figure B.4.
7.4.4 Combinaison de valeurs aberrantes x et y
Les échantillons qui sont à la fois des valeurs aberrantes x et y (valeurs influentes) ont une grande
influence sur l’équation de régression et peuvent être très préjudiciables. De telles valeurs aberrantes
peuvent donner des effets de pente et augmenter considérablement les erreurs de prédiction.
La Figure B.2 montre un exemple de graphique d’une prédiction NIR par rapport à une référence sans
valeur aberrante. La valeur aberrante indiquée à la Figure B.4 est une valeur y, car le résultat NIR prédit
est différent de la valeur de référence en raison de données de référence erronées ou d’une relation
différente entre les données de référence et les données spectrales. L’écart dans la prédiction peut
également être induit par une valeur aberrante x ou une valeur aberrante spectrale qui doivent être
vérifiées et identifiées par un paramètre spécifique d’algorithme d’étalonnage (par exemple, distance
[2]
Mahalanobis, résidus spectraux ).
© ISO et FIL 2020 – Tous droits réservés 7
FIL 201:2020(F)
7.5 Validation des modèles d’ét
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.