ISO/IEC 23053:2022

Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML)

This document establishes an Artificial Intelligence (AI) and Machine Learning (ML) framework for describing a generic AI system using ML technology. The framework describes the system components and their functions in the AI ecosystem. This document is applicable to all types and sizes of organizations, including public and private companies, government entities, and not-for-profit organizations, that are implementing or using AI systems.

Cadre pour les systèmes d'intelligence artificielle (IA) qui utilisent l'apprentissage automatique (ML)

Le présent document établit un cadre en matière d'intelligence artificielle (IA) et d'apprentissage machine (ML) pour la description d'un système d'IA générique utilisant la technologie du ML. Le cadre décrit les composants du système et leurs fonctions dans l'écosystème de l'IA. Le présent document s'applique aux organismes de tous types et de toutes tailles, y compris les entreprises publiques et privées, les entités gouvernementales et les organisations à but non lucratif, qui mettent en œuvre ou utilisent des systèmes d'IA.

General Information

• Status: Published
• Publication Date: 19-Jun-2022
• ICS: 35.020 - Information technology (IT) in general
• Technical Committee: ISO/IEC JTC 1/SC 42 - Artificial intelligence
• Drafting Committee: ISO/IEC JTC 1/SC 42/WG 1 - Foundational standards
• Current Stage: 6060 - International Standard published
• Start Date: 20-Jun-2022
• Due Date: 07-Mar-2022
• Completion Date: 20-Jun-2022

Overview

ISO/IEC 23053:2022 - Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML) - defines a common framework and terminology for describing generic AI systems that use machine learning. Published as the first edition in 2022 by ISO/IEC JTC 1/SC 42, this standard is applicable to organizations of all types and sizes (public, private, government and non‑profits) that are implementing or using ML systems. It aims to clarify components, functions and processes in the AI ecosystem and to serve as a foundation for more specific ML standards.

Key Topics and Core Elements

The standard covers a broad range of machine learning topics and system components without mandating specific technologies. Key technical topics include:

• Common terminology and concepts for ML systems (e.g., model, feature, class, cluster, generalization, overfitting, underfitting).
• Machine learning system structure - describing components and their functions in the AI ecosystem.
• ML tasks - regression, classification, clustering, anomaly detection, dimensionality reduction and other task categories.
• Models and data - model development and use, feature representation and data considerations that affect performance and generalization.
• Tools and methods - data preparation, categories of ML algorithms, optimisation methods, backpropagation and key hyperparameters (e.g., learning rate).
• Machine learning approaches - supervised, unsupervised, semi‑supervised, self‑supervised, reinforcement learning and transfer learning.
• ML pipeline - end‑to‑end stages such as data acquisition, data preparation, modelling, verification and validation, deployment and operation.
• Verification and validation concepts and practical guidance for model evaluation and lifecycle activities.

Note: ISO/IEC 23053 references ISO/IEC 22989 for AI concepts and terminology and is intended to describe systems rather than prescribe implementation details.

Practical Applications and Who Would Use It

ISO/IEC 23053 is useful for professionals and organizations that design, build, evaluate or govern AI and ML systems:

• AI/ML engineers and data scientists - to align on terminology, pipeline stages and evaluation practices.
• System architects and product managers - to structure ML system components and lifecycle flows.
• Compliance, risk and governance teams - to document AI system scope, data use and verification activities for audits and regulatory readiness.
• Procurement and vendors - to specify requirements and understand deliverables in AI/ML contracts.
• Standards developers and policymakers - as a foundation for domain‑specific ML standards and guidance.

Using ISO/IEC 23053 supports clearer documentation, improved cross‑team communication, reproducible ML pipelines, and more consistent ML system descriptions that aid deployment, validation and governance.

Related Standards

• ISO/IEC 22989 - Information technology - Artificial intelligence - Artificial intelligence concepts and terminology (normative reference cited by ISO/IEC 23053).
• Work from ISO/IEC JTC 1/SC 42 (AI) - for complementary standards on AI governance, risk management and specialized ML topics.

Standards Content (Sample)

INTERNATIONAL ISO/IEC
STANDARD 23053
First edition
2022-06
Framework for Artificial Intelligence
(AI) Systems Using Machine Learning
(ML)
Cadre méthodologique pour les systèmes d’intelligence artificielle (IA)
utilisant l’apprentissage machine
Reference number
© ISO/IEC 2022
© ISO/IEC 2022
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: [phone]
Email: [e-mail]
Website: www.iso.org
Published in Switzerland
ii
© ISO/IEC 2022 – All rights reserved

Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
3.1 Model development and use . 1
3.2 Tools . 2
3.3 Data . 2
4 Abbreviated terms . 3
5 Overview . 4
6 Machine learning system .4
6.1 Overview . 4
6.2 Task . 5
6.2.1 General . 5
6.2.2 Regression . 6
6.2.3 Classification . . 6
6.2.4 Clustering . . 6
6.2.5 Anomaly detection . . 6
6.2.6 Dimensionality reduction . 7
6.2.7 Other tasks . 7
6.3 Model . 7
6.4 Data . 8
6.5 Tools . 9
6.5.1 General . 9
6.5.2 Data preparation . 9
6.5.3 Categories of ML algorithms . 10
6.5.4 ML optimisation methods . 14
6.5.5 ML evaluation metrics . 16
7 Machine learning approaches .19
7.1 General . 19
7.2 Supervised machine learning . 20
7.3 Unsupervised machine learning . 22
7.4 Semi-supervised machine learning. 23
7.5 Self-supervised machine learning . 23
7.6 Reinforcement machine learning . 23
7.7 Transfer learning . 24
8 Machine learning pipeline .25
8.1 General . 25
8.2 Data acquisition .26
8.3 Data preparation . 27
8.4 Modelling . 28
8.5 Verification and validation .30
8.6 Model deployment .30
8.7 Operation . 30
8.8 Example machine learning process based on ML pipeline . 31
Annex A (informative) Example data flow and data use statements for supervised learning
process .34
Bibliography .36
iii
© ISO/IEC 2022 – All rights reserved

Foreword
ISO (the International Organization for Standardization) and IEC (the International Electrotechnical
Commission) form the specialized system for worldwide standardization. National bodies that are
members of ISO or IEC participate in the development of International Standards through technical
committees established by the respective organization to deal with particular fields of technical
activity. ISO and IEC technical committees collaborate in fields of mutual interest. Other international
organizations, governmental and non-governmental, in liaison with ISO and IEC, also take part in the
work.
The procedures used to develop this document and those intended for its further maintenance
are described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria
needed for the different types of document should be noted. This document was drafted in
accordance with the editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives or
www.iec.ch/members_experts/refdocs).
Attention is drawn to the possibility that some of the elements of this document may be the subject
of patent rights. ISO and IEC shall not be held responsible for identifying any or all such patent
rights. Details of any patent rights identified during the development of the document will be in the
Introduction and/or on the ISO list of patent declarations received (see www.iso.org/patents) or the IEC
list of patent declarations received (see patents.iec.ch).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO's adherence to
the World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see
www.iso.org/iso/foreword.html. In the IEC, see www.iec.ch/understanding-standards.
This document was prepared by Joint Technical Committee ISO/IEC JTC 1, Information technology,
Subcommittee SC 42, Artificial Intelligence.
Any feedback or questions on this document should be directed to the user’s national standards
body. A complete listing of these bodies can be found at www.iso.org/members.html and
www.iec.ch/national-committees.
iv
© ISO/IEC 2022 – All rights reserved

Introduction
Artificial intelligence (AI) systems, in general, are engineered systems that generate outputs such as
content, forecasts, recommendations or decisions for a given set of human-defined objectives. AI covers
a wide range of technologies that reflect different approaches to dealing with these complex problems.
ML is a branch of AI that employs computational techniques to enable systems to learn from data or
experiences. In other words, ML systems are developed through the optimisation of algorithms to fit to
training data, or improve their performance based through maximizing a reward. ML methods include
deep learning, which is also addressed in this document.
Terms such as knowledge, learning and decisions are used throughout the document. However, it is not
the intent to anthropomorphize machine learning (ML).
This document aims to provide a framework for the description of AI systems that use ML. By
establishing a common terminology and a common set of concepts for such systems, this document
provides a basis for the clear explanation of the systems and various considerations that apply to their
engineering and to their use. This document is intended for a wide audience including experts and non-
practitioners. However, some of the clauses (identified in the overview in Clause 5), include more in-
depth technical descriptions.
This document also provides the basis for other standards directed at specific aspects of ML systems
and their components.
v
© ISO/IEC 2022 – All rights reserved

INTERNATIONAL STANDARD ISO/IEC 23053:2022(E)
Framework for Artificial Intelligence (AI) Systems Using
Machine Learning (ML)
1 Scope
This document establishes an Artificial Intelligence (AI) and Machine Learning (ML) framework
for describing a generic AI system using ML technology. The framework describes the system
components and their functions in the AI ecosystem. This document is applicable to all types and
sizes of organizations, including public and private companies, government entities, and not-for-profit
organizations, that are implementing or using AI systems.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO/IEC 22989, Information technology—Artificial intelligence — Artificial intelligence concepts and
terminology
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO/IEC 22989 and the following
apply.
ISO and IEC maintain terminology databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at https:// www .electropedia .org/
3.1 Model development and use
3.1.1
classification model
machine learning model whose expected output for a given input is one or more
classes
3.1.2
regression model
machine learning model whose expected output for a given input is a continuous
variable
3.1.3
generalization
ability of a trained model to make correct predictions on previously unseen input
data
Note 1 to entry: A machine learning model that generalizes well is one that has acceptable prediction accuracies
using previously unseen input data.
Note 2 to entry: Generalization is closely related to overfitting. An overfit machine learning model will not
generalize well as the model fits the training data too precisely.
© ISO/IEC 2022 – All rights reserved

3.1.4
overfitting
creating a model which fits the training data too precisely and fails to generalize
on new data
Note 1 to entry: Overfitting can occur because the trained model has learned from non-essential features in the
training data (i.e. features that do not generalize to useful outputs), excessive noise in the training data (e.g.
excessive number of outliers) or because the model is too complex for the training data.
Note 2 to entry: Overfitting can be identified when there is a significant difference between errors measured
on training data and on separate test and validation data. The performance of overfitted models is especially
impacted when there is a significant mismatch between training data and production data.
3.1.5
underfitting
creating a model that does not fit the training data closely enough and produces
incorrect predictions on new data
Note 1 to entry: Underfitting can occur when features are poorly selected, insufficient training time or when the
model is too simple to learn from large training data due to limited model capacity (i.e. expressive power).
3.2 Tools
3.2.1
backpropagation
neural network training method that uses the error at the output layer to adjust and optimise the
weights for the connections from the successive previous layers
3.2.2
learning rate
step size for a gradient method
Note 1 to entry: Learning rate determines whether and how fast a model converges to an optimal solution,
making it an important hyperparameter to set for neural networks.
3.3 Data
3.3.1
class
human-defined category of elements that are part of the dataset and that share common attributes
EXAMPLE "telephone", "table", "chair", "ball bearing" and "tennis ball" are classes. The "table" class includes:
a work table, a dining table, a study desk, a coffee table, a workbench.
Note 1 to entry: Classes are typically target variables and designated by a name.
3.3.2
cluster
automatically induced category of elements that are part of the dataset and that share common
attributes
Note 1 to entry: Clusters do not necessarily have a name.
3.3.3
feature
measurable property of an object or event with respect to a set of characteristics
Note 1 to entry: Features play a role in training and prediction.
Note 2 to entry: Features provide a machine-readable way to describe the relevant objects. As the algorithm
will not go back to the objects or events themselves, feature representations are designed to contain all useful
information.
© ISO/IEC 2022 – All rights reserved

3.3.4
distance
measured proximity of two points in space
Note 1 to entry: Euclidean, or straight-line, distance is ordinarily used in machine learning.
3.3.5
unlabelled
property of a sample that does not include a target variable
4 Abbreviated terms
AI artificial intelligence
API application programming interface
AUC area under the curve
BM Boltzmann machines
CapsNet capsule neural network
CG conjugate gradient
CNN convolutional neural network
DBN deep belief networks
DCNN deep convolutional neural network
FFNN feed forward neural network
FNR false negative rate
FPR false positive rate
GRU gated recurrent unit
LSTM long short-term memory
MAE mean absolute error
MDP Markov decision process
ML machine learning
NN neural network
NNEF neural network exchange format
NPV negative predictive value
ONNX open neural network exchange
PCA principal component analysis
PHI personal or protected health information
PII personally identifiable information
PPV positive predictive value
© ISO/IEC 2022 – All rights reserved

REST representational state transfer
RNN recurrent neural network
ROC receiver operating characteristics
SGD stochastic gradient descent
SVM support vector machine
TNR true negative rate
TPR true positive rate
5 Overview
ISO/IEC 22989 defines ML as the process of optimising model parameters through computational
techniques, such that the model's behaviour reflects the data or experience. Since the early 1940s,
modelling of neurons (i.e. neural networks) and the development of computer programs that can learn
from data have been explored. ML is an expanding field with the emergence of new applications in a
wide array of industry sectors. This progression is enabled by the availability of large amounts of data
and computation resources. ML methods include neural networks and deep learning.
In ISO/IEC 22989, an AI ecosystem is presented in terms of its functional layers and ML is a significant
component of this AI ecosystem. Figure 1 illustrates the ML system which breaks down into the
components of model, software tools and techniques and data.
Clause 6 in this document describes in further detail the different components of the ML system.
Clause 7 in this document describes different ML approaches and describes their dependency on
training data.
Clause 8 in this document describes an ML pipeline: the processes involved in developing, deploying
and operating an ML model.
Clauses 6.5 and 7 are more technical than the rest of the document. A stronger technical background
can help the reader to better understand this content.
6 Machine learning system
6.1 Overview
Figure 1 depicts the elements of an ML system. They delineate the roles and their ML-specific functions
that can be implemented by different entities (e.g. different vendors). The examples provided in Figure 1
are not meant to be an exhaustive list. Further explanation on each section of Figure 1 continues
through Clause 6.
© ISO/IEC 2022 – All rights reserved

Figure 1 — Elements of an ML system
In Figure 1, the sub elements of model development and use can be considered as a layered approach,
i.e. applications are built from models which are used to solve tasks. Model development and use in turn
have a dependency on software tools and techniques and data.
A single ML system can be composed of several ML models used in combination. The system components
can be described in terms of their input, output and their intent or function. The components can be
tested independently.
ML models, when deployed, produce outputs such as predictions or decisions. A pre-trained model is
an ML model already trained when it was obtained. In some cases, the developed model can be applied
to a similar task, in a different domain. Transfer learning is a technique for modifying a pre-trained ML
model to perform a different related task.
In this document, application refers both to the intended use of one or more ML models and to the
concrete piece of software that implements that use. ML models are usually integrated with other
software components to create applications. Applications using ML differ in the types of the input
data they process and in the types of tasks they perform. In some applications, ML makes high-level
predictions or decisions, while in other applications, ML provides answers to narrowly defined
problems.
Differences in input data and tasks, as well as factors such as deployment options, accuracy and
reliability, result in different application designs. AI applications can use proprietary custom designs or
follow domain-specific design patterns.
Application logic is informed by the format of the input data, the output data, and potentially the
transformation and the flow of data between the ML models in use. In all cases, the choice of ML
algorithms and data preparation techniques is tailored to the application’s tasks.
6.2 Task
6.2.1 General
The term "task" refers to actions required to achieve a specific goal. In ML, this implies identifying a
problem to be solved using the ML model. One or more ML tasks can be defined for an ML application.
Instead of solving a problem using a specific function represented as a set of steps and implemented
in a software code, the defined problem is solved by applying a trained ML model to production data.
© ISO/IEC 2022 – All rights reserved

Effectively, the trained ML model implements a target function, which is an approximation of the
hypothetical function that would have been written by a programmer to solve the problem.
An ML task setup involves defining the problem, the data format and the features.
The tasks described in the following subclauses are examples and are not exhaustive.
6.2.2 Regression
Regression tasks comprise predicting a continuous variable by learning a function that best fits a set of
training data. In a regression task, the trained regression model represents a custom space. When the
trained model is applied to a new production data instance, the instance is projected into the custom
space defined by the trained regression model.
Regression is mainly used to predict numerical values of a real-world process based on previous
measurements or observations from the same process. Use cases for regression include:
— predicting stock market price;
— predicting the age of a viewer of streaming videos;
— predicting the amount of prostate-specific antigen in the body based on different clinical
measurements.
6.2.3 Classification
Classification tasks comprise predicting the assignment of an instance of input data to a defined
category or class. Classification can be binary (i.e. true or false), multi-class (i.e. one of several
possibilities) or multilabel (i.e. any number out of several possibilities). For example, classification can
be used to predict whether an object in an image is a cat or a dog, or even from a completely different
species. The classes are typically from a discrete and unordered set, such that the problem cannot be
formalised as a regression task. For example, a medical diagnosis of a set of symptoms can be {stroke,
drug overdose, seizure}, there is no order to the class values, and there is no continuous change from
one class to another.
Use cases for classification include:
— Document classification and email spam filtering, where documents are grouped into several
classes. A spam filter for instance uses two classes, namely “spam” and “not spam”;
— Classifying the species of a specimen. For example, an ML classification model can predict the
species of a flower when provided with data that specifies the sepal length and width, and the petal
length and width;
— Image classification. Given a set of images (e.g. of furniture), an ML system can be used to recognize
and name the objects shown in those images.
6.2.4 Clustering
Clustering tasks comprise grouping input data instances. Unlike classification tasks, the classes are not
predefined in clustering tasks but are determined as part of the clustering process. Clustering can be
used as a data preparation step to identify homogenous data which can then be used as training data for
supervised machine learning. Clustering can also be used to detect outliers or anomalies by identifying
input data instances that are not like other samples. Example applications of clustering tasks include
the sorting or organizing of files.
6.2.5 Anomaly detection
Anomaly detection comprise identifying input data instances that do not conform to an expected
pattern. Anomaly detection can be useful for applications such as detecting fraud or unusual activities.
© ISO/IEC 2022 – All rights reserved

For anomaly detection, the ML model predicts whether an input data instance is typical for a given
distribution.
6.2.6 Dimensionality reduction
Dimensionality reduction consists of reducing the number of attributes or dimensions per sample while
retaining most of the useful information.
Dimensionality reduction can promote a dataset’s most useful features and thereby mitigate
computation costs.
Dimensionality reduction alleviates the various less-than-ideal effects of keeping too many features,
collectively known as “the curse of dimensionality”. Dimensionality reduction is also useful for data
exploration and model analysis.
[1]
Methods for dimensionality reduction are unsupervised, supervised or semi-supervised .
6.2.7 Other tasks
There exist many other tasks which have different purposes and expected outputs. These tasks can be
specific to a given application. Examples of other tasks include semantic segmentation of text or images,
machine translation, speech recognition or synthesis, object localisation and image generation.
In planning, the task is to optimise a sequence of actions from an agent or agents through observing the
environmental state.
Despite their diversity, a number of concepts have been formulated to draw connections between some
of these other tasks. Structured prediction, corresponding to tasks in which the expected output of the
model is a structured object as opposed to a single value, is one such concept.
Structured prediction requires computational methods that can account for regularities in the output,
either by explicitly modelling them or by jointly predicting the whole structure with a model that
internally models the regularities.
Use cases for structured prediction include:
— constructing a parse tree for a natural language sentence;
— translating a sentence in one language into a sentence in another language;
— predicting protein structure;
— semantic segmentation of an image.
6.3 Model
ISO/IEC 22989:2022, 3.2.11, defines an ML model as a mathematical construct that generates an
inference or prediction, based on input data or information. The ML model comprises a data structure
and software to process the structure, both determined by a chosen ML algorithm. The model is
configured with inputs and outputs essential to solving the given problem.
The model is populated (also known as “trained”) to represent the relevant statistical properties of the
training data. Effectively, through the training process the model “learns” how to solve the problem for
the training data with the goal to apply this acquired knowledge to a real-world application.
ML models produce results that are approximations of optimal solutions. ML algorithms utilise
statistical optimisation methods to perform this approximation. The resultant mapping from the
inputs to the outputs of the model reflects the patterns learned from the training data. Patterns can
relate to correlations, causal relationships or categories of data objects. ML models are the result of
the training data used. Thus, if the data used is incomplete, or reflects inherent societal bias, then the
model performance will reflect this as well. Therefore, care should be taken with the datasets used for
© ISO/IEC 2022 – All rights reserved

training models. The logic created in the process of machine learning and represented by the trained
model is not specified by a programmer but evolves during the training activities.
To see how well the model performs, it is evaluated using evaluation metrics.
Retraining consists of updating a trained model by training with different training data. It can be
necessary due to many factors, including the lack of large training data, data drift and concept drift.
In data drift, the accuracy of the model’s predictions decays over time due to changes in the statistical
characteristics of the production data. In this case, the model needs to be retrained with new training
data that better represents the production data.
In concept drift, the decision boundary appears to move, which also degrades the accuracy of
predictions, even though the data has not changed. In the case of concept drift, the target variables in
the training data need to be relabelled and the model retrained.
Retraining can also occur for purposes such as transfer learning and optimisation or modification of
the ML model.
Some models can be readily available which can then be retrained and optimised for a specific use
case or used as is. An example can be a commercially available machine translation model that can be
retrained to be used for translating legal documents.
Continuous learning is a special case of retraining in that the model’s performance is continuously
evolving, resulting from on-going training of the model with production data. In such cases, it can
be necessary to continuously monitor the model’s performance or to implement “guard-rails” on the
acceptable behaviour for the model.
6.4 Data
Figure 2 is a rake diagram showing that the data concept is partitioned into four mutually exclusive
categories:
a) Training dataset, used to estimate the parameters of candidate models;
b) Validation dataset, also known as development dataset depending on the AI field (e.g. in natural
language processing), used to select the best model according to a performance criterium;
c) Test dataset, used to check the generalisation capacity of a model and determines its performance
on future data;
d) Production data, comprised of operational data to be used by the model for prediction. The
distribution of production data can differ from that of training, validation and test dataset.
Training, validation and test datasets can be supplemented with simulated and perturbed data.
Figure 2 — Concept diagram: data and datasets
These various types of data can be comprised of either input data alone, or input data associated with
labels (the expected output data). Validation and test data are often labelled, and production data is
typically unlabelled. For training data, it depends on the ML approach: it can be unlabelled, partially
© ISO/IEC 2022 – All rights reserved

labelled, or fully labelled. Labelled training data allows the ML algorithm to identify statistical
relationships between input variables and the target variable. Unlabelled training data allows the ML
algorithm to identify statistical correlations and structure within the input data.
Validation and test data are both used with statistical performance measures (which are discussed
in 6.5.5), but their uses differ: validation data is used to tune the hyperparameters, whereas test data
is about evaluating the model. The aim of test data is to verify that the trained model will perform, or
generalize, well on production data. Trained models that do not generalize well are called “overfitted”
(to the training data).
Note that this use of the term test data is limited to ML-specific processes, and distinct from usage of
the term in the context of verifying and validating an integrated system that uses ML components, in
which case it would refer to any data used for verification and validation purposes, without a particular
relation to ML. Note also that the ML-specific use of the term validation data is unrelated to verification
and validation processes, as it pertains to model development.
For reliable application of the ML processes, training, validation and test data need to be disjoint.
Training, validation and test sets can be obtained from the same dataset, using data splits, or they can
be acquired separately. In an ideal configuration, they all have the same statistical distribution, but
depending on the use case and ML approach it can be necessary to proceed differently.
For faithful evaluation of the trained model, the test data needs to have a distribution as similar as
possible to that of production data.
Production data is seen by the model only after its deployment. For the model to make accurate
predictions, in general the production data needs to have a distribution similar to that of the training
and validation data, although specific techniques exist that can alleviate the degradation in case of
discrepancy.
Over time, the production data distribution can drift which can require the model to be retrained on
new data. In cases where the model needs to adapt dynamically to new patterns in the production data,
the model can be continuously retrained by leveraging information gained from production data. Such
cases are discussed in 6.3.
6.5 Tools
6.5.1 General
ML model creation uses tools categorized as data preparation, ML algorithms, optimisation methods
and evaluation metrics. ML model performance is assessed through tools that generate evaluation
metrics.
ML model creation often requires high-performance compute workloads due to computational demands
and the use of large training datasets. Compute and storage performance can also affect how quickly
ML models can be developed and trained.
Fundamental challenges with ML include statistical analysis, algorithm design and optimisation.
Statistical analysis involves the principles of mathematical models derived from training data.
Algorithm design is the manner of implementation of algorithmic techniques used to build the ML
model. Optimisation of a given ML model is also an important issue in implementing ML. A further
challenge is in understanding the potential and possibilities of ML. It relies on data and so will replicate,
amplify and expedite existing faults and inequities in many cases.
6.5.2 Data preparation
Data preparation is discussed in 8.3.
© ISO/IEC 2022 – All rights reserved

6.5.3 Categories of ML algorithms
6.5.3.1 General
The choice of the ML algorithm defines the computational structure of the ML model and its training
approach.
Algorithms can be used for different ML purposes, including:
— an information representation algorithm that can take part of the data preparation stage. This is
related to feature engineering;
— an algorithm used in the creation of an ML model.
The relationship between ML algorithms and ML models can be illustrated by considering the solving
of a univariate linear function y = θ + θ x where y is an output, or result, x is an input, θ is an intercept
0 1 0
(the value of y where x=0) and θ is a weight. In ML, the process of determining the intercept and weight
for a linear function is known as linear regression. If a univariate linear function (y = θ + θ x) has been
0 1
trained using linear regression, the resulting model can be y = 3 + 7x.
Figure 3 shows examples of various categories of ML algorithms.
Figure 3 — Examples of various categories of ML algorithms
The choice of an ML algorithm is often not sufficient to define the structure of the ML model and its
training approach. For many algorithms, hyperparameters shall also be chosen.
Hyperparameters are characteristics of an ML algorithm that affect its learning process. They can be
used in processes to help estimate model parameters. Examples of hyperparameters for neural networks
include the number of network layers, the width of each layer and the type of activation function. One
practical approach to determine the optimal hyperparameter set among all possible combinations is
to conduct random searches guided by a constraint function and measure the performance against a
validation dataset. This step is called model selection, or hyperparameter tuning.
6.5.3.2 Neural network
6.5.3.2.1 General
Neural networks (NN) attempt to simulate intelligent capability in observing, learning, analysing
and decision making for complex problems. Hence, the design of NNs draws inspiration from the way
neurons are connected in the brains of humans and animals. They use multilayered networks of simple
computing units (or “neurons”). In these NNs each unit combines a set of input values to produce
an output value, which in turn is passed on to other neurons downstream. The structure of a NN is
composed of interconnected processing elements. A network of nodes (or neurons) is connected by
weighted edges. The simplest form of network consists of one or more input neurons that accept one
or more features from the input data, as well as an output layer which includes one or more neurons.
© ISO/IEC 2022 – All rights reserved

Each neuron can accept one or more inputs from the previous layer and its output is given by an
activation function that typically nonlinearly depends on the weighted combination of the inputs from
the previous layer. The NN “learns” by training with known inputs, comparing actual output with the
expected one and using the error to adjust weights.
Hidden layers can exist between the output and input layers of a NN, in which case it is called a
multilayer perceptron or multilayer NN. Deep neural network or deep learning specifically refers to
neural networks with many hidden layers. Deep learning is an approach to creating rich hierarchical
representations through the training of NNs with many hidden layers. This process allows the neural
network to progressively refine the final output. Deep learning can reduce or eliminate the need for
feature engineering as the most relevant features are identified automatically.
NNs can be categorized into three general types: discriminative, generative and hybrid (combination of
the two former types).
NNs can be considered as a connectionist approach. Connectionism uses a network of interconnected
[2]
units which generally are simple computational units . The behaviour of the network can be refined
by modification of the weights associated with each connection which as described above is achieved
through training. The nodes of the network process information in parallel.
Deep learning can require significant time and computing resources. ML NNs often require a
considerable amount of computing power and memory to run. Reducing the model complexity can be
beneficial for using these networks on mobile and embedded devices. The runtime impact and energy
consumption can be minimised, and in some cases the reduction even enables the NN to be run in
real-time on mobile devices without relying on cloud services. Compressing weights or squeezing the
architecture can reduce the model complexity by a significant factor while maintaining almost identical
performance.
6.5.3.2.2 Feed forward neural networks
Feed forward neural networks (FFNN) are the most straightforward NN architectures. They feed
information from the input layer to the output layer in one direction only. There are no connections
between the neurons within a particular layer. Two adjacent layers are typically “fully connected” in
that each neuron in one layer has a connection to each neuron in the subsequent layer. Each connection
has a weight associated with it. FFNNs are typically trained through the use of back-propagation with
labelled training data, where each sample is labelled with the ground truth for the expected value of
the output data. The difference between the actual output of the FFNN and the ground truth is termed
[3]
the error . Backpropagation involves using the error at the output layer to adjust the weights for the
[4]
connections from the successive previous layers. It is often used together with gradient descent .
6.5.3.2.3 Recurrent neural network
6.5.3.2.3.1 General
[5]
Recurrent neural networks (RNN) are NNs that aim to deal with sequential inputs that appear in
an ordered sequence and where the ordering of the inputs in the sequence matters. Examples of such
inputs include dynamic sequences like sound and video streams, but also static sequences like text or
even single images
...

NORME ISO/IEC
INTERNATIONALE 23053
Première édition
2022-06
Cadre pour les systèmes d'intelligence
artificielle (IA) qui utilisent
l'apprentissage machine (ML)
Framework for Artificial Intelligence (AI) Systems Using Machine
Learning (ML)
Numéro de référence
© ISO/IEC 2022
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO/IEC 2022
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: [phone]
Fax: [phone]
E-mail: [e-mail]
Web: www.iso.org
Publié en Suisse
ii
© ISO/IEC 2022 – Tous droits réservés

Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d'application .1
2 Références normatives .1
3 Termes et définitions . 1
3.1 Développement et utilisation des modèles . 1
3.2 Outils . 2
3.3 Données . 2
4 Abréviations . 3
5 Vue d'ensemble . 4
6 Système d'apprentissage machine .5
6.1 Vue d'ensemble . 5
6.2 Tâche. 6
6.2.1 Généralités . 6
6.2.2 Régression . 6
6.2.3 Classification . . 6
6.2.4 Regroupement . 7
6.2.5 Détection des anomalies. 7
6.2.6 Réduction de la dimensionnalité. 7
6.2.7 Autres tâches . 7
6.3 Modèle . 8
6.4 Données . 9
6.5 Outils . 10
6.5.1 Généralités . 10
6.5.2 Préparation des données . 10
6.5.3 Catégories d'algorithmes de ML . 10
6.5.4 Méthodes d'optimisation du ML . 16
6.5.5 Mesures d'évaluation du ML. 17
7 Approches de l'apprentissage machine .21
7.1 Généralités . 21
7.2 Apprentissage supervisé . 21
7.3 Apprentissage non supervisé .23
7.4 Apprentissage semi-supervisé . 23
7.5 Apprentissage auto-supervisé . 24
7.6 Apprentissage par renforcement . 24
7.7 Apprentissage par transfert . 25
8 Pipeline d'apprentissage machine .26
8.1 Généralités . 26
8.2 Acquisition des données. 27
8.3 Préparation des données .28
8.4 Modélisation .30
8.5 Vérification et validation . 32
8.6 Déploiement du modèle . 32
8.7 Exploitation . 33
8.8 Exemple de processus d'apprentissage machine basé sur le pipeline de ML .33
Annexe A (informative) Exemple de flux de données et de déclarations d'utilisation des
données pour le processus d'apprentissage supervisé .36
Bibliographie .38
iii
© ISO/IEC 2022 – Tous droits réservés

Avant-propos
L'ISO (Organisation internationale de normalisation) et l'IEC (Commission électrotechnique
internationale) forment le système spécialisé de la normalisation mondiale. Les organismes
nationaux membres de l'ISO ou de l'IEC participent au développement de Normes Internationales
par l'intermédiaire des comités techniques créés par l'organisation concernée afin de s'occuper des
domaines particuliers de l'activité technique. Les comités techniques de l'ISO et de l'IEC collaborent
dans des domaines d'intérêt commun. D'autres organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO et l'IEC participent également aux travaux.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour
sont décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des
différents critères d'approbation requis pour les différents types de documents. Le présent document
a été rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2
(voir www.iso.org/directives ou www.iec.ch/members_experts/refdocs).
L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet
de droits de propriété intellectuelle ou de droits analogues. L'ISO et l'IEC ne sauraient être tenues pour
responsables de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails
concernant les références aux droits de propriété intellectuelle ou autres droits analogues identifiés
lors de l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations
de brevets reçues par l'ISO (voir www.iso.org/brevets) ou dans la liste des déclarations de brevets
reçues par l'IEC (voir patents.iec.ch).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l'intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de
l'adhésion de l'ISO aux principes de l'Organisation mondiale du commerce (OMC) concernant
les obstacles techniques au commerce (OTC), voir www.iso.org/iso/fr/avant-propos. Pour l'IEC,
voir www.iec.ch/understanding-standards.
Le présent document a été élaboré par le comité technique mixte ISO/IEC JTC 1, Technologies de
l'information, sous-comité SC 42, Intelligence artificielle.
Il convient que l'utilisateur adresse tout retour d'information ou toute question concernant le présent
document à l'organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve aux adresses www.iso.org/fr/members.html et www.iec.ch/national-committees.
iv
© ISO/IEC 2022 – Tous droits réservés

Introduction
En général, les systèmes d'intelligence artificielle (IA) sont des systèmes techniques qui génèrent des
sorties telles que du contenu, des prévisions, des recommandations ou des décisions pour un ensemble
donné d'objectifs définis par l'homme. L'IA couvre un large éventail de technologies qui illustrent
différentes approches de la résolution de ces problèmes complexes.
Le ML est une branche de l'IA qui utilise des techniques de calcul pour permettre aux systèmes
d'apprendre à partir de données ou d'expériences. En d'autres termes, les systèmes de ML sont
développés grâce à l'optimisation des algorithmes de façon à s'ajuster aux données d'entraînement,
ou améliorer leurs performances en maximisant une récompense. Les méthodes de ML incluent
l'apprentissage profond, qui est également traité dans le présent document.
Des termes tels que «connaissances», «apprentissage» et «décisions» sont utilisés tout au long du
présent document. Toutefois, l'intention n'est pas d'anthropomorphiser l'apprentissage machine (ML).
Le présent document vise à fournir un cadre pour la description des systèmes d'IA qui utilisent le ML.
En établissant une terminologie et un ensemble de concepts communs pour ces systèmes, le présent
document fournit une base pour l'explication claire des systèmes et des diverses considérations qui
s'appliquent à leur ingénierie et à leur utilisation. Le présent document est destiné à un large public, qui
réunit experts et néophytes. Toutefois, certains des articles et paragraphes (identifiés dans l'aperçu à
l'Article 5), incluent des descriptions techniques plus approfondies.
Le présent document fournit également la base pour d'autres normes axées sur des aspects spécifiques
des systèmes de ML et de leurs composants.
v
© ISO/IEC 2022 – Tous droits réservés

NORME INTERNATIONALE ISO/IEC 23053:2022(F)
Cadre pour les systèmes d'intelligence artificielle (IA) qui
utilisent l'apprentissage machine (ML)
1 Domaine d'application
Le présent document établit un cadre en matière d'intelligence artificielle (IA) et d'apprentissage
machine (ML) pour la description d'un système d'IA générique utilisant la technologie du ML. Le cadre
décrit les composants du système et leurs fonctions dans l'écosystème de l'IA. Le présent document
s'applique aux organismes de tous types et de toutes tailles, y compris les entreprises publiques et
privées, les entités gouvernementales et les organisations à but non lucratif, qui mettent en œuvre ou
utilisent des systèmes d'IA.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu'ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l'édition citée s'applique.
Pour les références non datées, la dernière édition du document de référence s’applique (y compris les
éventuels amendements).
ISO/IEC 22989, Technologies de l'information — Intelligence artificielle — Concepts et terminologie relatifs
à l'intelligence artificielle
3 Termes et définitions
Pour les besoins du présent document, les termes et les définitions de l'ISO/IEC 22989 ainsi que les
suivants s'appliquent.
L'ISO et l'IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l'adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l'adresse https:// www .electropedia .org/
3.1 Développement et utilisation des modèles
3.1.1
modèle de classification
modèle d'apprentissage machine dont la sortie attendue pour une entrée
donnée est une ou plusieurs classes
3.1.2
modèle de régression
modèle d'apprentissage machine dont la sortie attendue pour une entrée
donnée est une variable continue
3.1.3
généralisation
capacité d'un modèle entraîné à formuler des prédictions correctes sur des
données d'entrée inédites
Note 1 à l'article: Un modèle d'apprentissage machine qui généralise bien est un modèle qui affiche une exactitude
de prédiction acceptable lorsqu'il utilise des données d'entrée inédites.
© ISO/IEC 2022 – Tous droits réservés

Note 2 à l'article: La généralisation est étroitement liée au surajustement. Un modèle d'apprentissage machine
surajusté ne généralisera pas bien, car il s'ajuste trop précisément aux données d'entraînement.
3.1.4
surajustement
création d'un modèle qui s'ajuste trop précisément aux données
d'entraînement et échoue à généraliser à partir de données nouvelles
Note 1 à l'article: Le surajustement peut se produire parce que le modèle entraîné a appris à partir de
caractéristiques non essentielles dans les données d'entraînement (c'est-à-dire des caractéristiques qui ne
se généralisent pas à des sorties utiles), à cause d'un bruit excessif dans les données d'entraînement (par
exemple: un nombre excessif de valeurs aberrantes) ou parce que le modèle est trop complexe pour les données
d'entraînement.
Note 2 à l'article: Le surajustement peut être identifié lorsqu'il existe une différence significative entre les erreurs
mesurées sur les données d'entraînement et sur des données d'essai et de validation distinctes. Les performances
des modèles surajustés sont particulièrement affectées lorsqu'il existe un décalage important entre les données
d'entraînement et les données de production.
3.1.5
sous-ajustement
création d'un modèle qui s'ajuste insuffisamment aux données d'entraînement
et qui produit des prédictions incorrectes à partir de données nouvelles
Note 1 à l'article: Le sous-ajustement peut se produire lorsque les caractéristiques sont mal choisies, lorsque la
durée d'entraînement est insuffisante ou lorsque le modèle est trop simple pour apprendre à partir de grands
volumes de données d'entraînement en raison de la capacité limité du modèle (c'est-à-dire le pouvoir expressif).
3.2 Outils
3.2.1
rétropropagation
méthode d'entraînement de réseau neuronal qui utilise l'erreur au niveau de la couche de sortie pour
ajuster et optimiser les poids des connexions des couches précédentes successives
3.2.2
facteur d'apprentissage
taille de pas pour une méthode de gradient
Note 1 à l'article: Le facteur d'apprentissage détermine si et à quelle vitesse un modèle converge vers une solution
optimale, ce qui en fait un hyperparamètre important à définir pour les réseaux neuronaux.
3.3 Données
3.3.1
classe
catégorie définie par l'homme d'éléments qui font partie de l'ensemble de données et qui partagent des
attributs communs
EXEMPLE «téléphone», «table», «chaise», «roulement à billes» et «balle de tennis» sont des classes. La classe
«table» inclut: une table de travail, a table de salle à manger, un bureau de travail, une table basse, un établi.
Note 1 à l'article: Les classes sont généralement des variables cibles et sont désignées par un nom.
3.3.2
grappe
catégorie induite automatiquement d'éléments qui font partie de l'ensemble de données et qui partagent
des attributs communs
Note 1 à l'article: Les grappes n'ont pas nécessairement de nom.
© ISO/IEC 2022 – Tous droits réservés

3.3.3
caractéristique
propriété mesurable d'un objet ou d'un événement par rapport à un ensemble
de caractéristiques
Note 1 à l'article: Les caractéristiques jouent un rôle dans l'entraînement et la prédiction.
Note 2 à l'article: Les caractéristiques offrent une manière de décrire les objets pertinents qui est lisible par
une machine. Étant donné que l'algorithme ne reviendra pas sur les objets ou les événements eux-mêmes, les
représentations des caractéristiques sont conçues pour contenir toutes les informations utiles.
3.3.4
distance
proximité mesurée de deux points dans l'espace
Note 1 à l'article: Qu'elle soit euclidienne ou en ligne droite, la distance est habituellement utilisée dans
l'apprentissage machine.
3.3.5
non étiqueté(e)
propriété d'un échantillon qui n'inclut pas de variable cible
4 Abréviations
API interface de programmation d'application (application programming interface)
AUC aire sous la courbe (area under the curve)
BM machines de Boltzmann (Boltzmann machines)
CapsNet réseau neuronal à capsules (capsule neural network)
CG gradient conjugué (conjugate gradient)
CNN réseau neuronal convolutif (convolutional neural network)
DBN réseau de croyances profondes (deep belief network)
DCNN réseau neuronal convolutif profond (deep convolutional neural network)
DCP données à caractère personnel
FFNN réseau neuronal à propagation avant (feed forward neural network)
FNR taux de faux négatifs (false negative rate)
FPR taux de faux positifs (false positive rate)
GRU unité récurrente fermée (gated recurrent unit)
IA intelligence artificielle
LSTM mémoire à long et court terme (long short-term memory)
MAE erreur absolue moyenne (mean absolute error)
ML apprentissage machine (machine learning)
NN réseau neuronal (neural network)
NNEF format d'échange par réseau neuronal (neural network exchange format)
© ISO/IEC 2022 – Tous droits réservés

ONNX échange par réseaux neuronaux ouverts (open neural network exchange)
PCA analyse en composantes principales (principal component analysis)
PDM processus décisionnel de Markov
PHI informations de santé protégées ou personnelles (personal or protected health information)
REST transfert d'état représentationnel (representational state transfer)
RNN réseau de neurones récurrents (recurrent neural network)
ROC fonction d'efficacité du récepteur (receiver operating characteristics)
SGD algorithme du gradient stochastique (stochastic gradient descent)
SVM machine à vecteurs de support (support vector machine)
TNR taux de vrais négatifs (true negative rate)
TPR taux de vrais positifs (true positive rate)
VPN valeur prédictive négative
VPP valeur prédictive positive
5 Vue d'ensemble
L'ISO/IEC 22989 définit le ML comme le processus d'optimisation des paramètres de modèle à l'aide de
techniques de calcul, de manière à ce que le comportement du modèle reflète les données ou l'expérience.
Depuis le début des années 1940, la modélisation des neurones (c'est-à-dire les réseaux neuronaux) et
le développement de programmes informatiques pouvant apprendre à partir de données font l'objet
de recherches. Le ML est un domaine en expansion avec l'émergence de nouvelles applications dans
un large éventail de secteurs industriels. Cette progression est rendue possible par la disponibilité de
grandes quantités de données et de ressources informatiques. Les méthodes de ML comprennent les
réseaux neuronaux et l'apprentissage profond.
Dans l'ISO/IEC 22989, un écosystème de l'IA est présenté en termes de couches fonctionnelles et le
ML est un composant important de cet écosystème de l'IA. La Figure 1 représente le système de ML,
qui se décompose en plusieurs composants que sont le modèle, les outils logiciels, les techniques et les
données.
L'Article 6 du présent document décrit plus en détail les différents composants du système de ML.
L'Article 7 du présent document décrit les différentes approches en matière de ML et leur dépendance
vis-à-vis des données d'entraînement.
L'Article 8 du présent document décrit un pipeline de ML: les processus impliqués dans le développement,
le déploiement et l'exploitation d'un modèle de ML.
Le Paragraphe 6.5 et l'Article 7 sont plus techniques que le reste du document. Des connaissances
techniques plus solides peuvent aider l'utilisateur du présent document à mieux comprendre son
contenu.
© ISO/IEC 2022 – Tous droits réservés

6 Système d'apprentissage machine
6.1 Vue d'ensemble
La Figure 1 représente les éléments d'un système de ML. Ils délimitent les rôles et leurs fonctions
spécifiques au ML qui peuvent être mises en œuvre par différentes entités (par exemple: différents
fournisseurs). Les exemples fournis à la Figure 1 ne sont pas censés constituer une liste exhaustive. Des
explications complémentaires sur chaque section de la Figure 1 se poursuivent jusqu'à l'Article 6.
Figure 1 — Éléments d'un système de ML
Dans la Figure 1, les sous-éléments du développement et de l'utilisation du modèle peuvent être
considérés comme une approche en couches, c'est-à-dire que les applications sont construites à partir
de modèles qui sont utilisés pour résoudre des tâches. Le développement et l'utilisation des modèles
dépendent à leur tour des outils et techniques logiciels et des données.
Un système de ML unique peut se composer de plusieurs modèles de ML utilisés conjointement. Les
composants du système peuvent être décrits en termes d'entrée, de sortie et de finalité ou de fonction.
Les composants peuvent être soumis à l'essai indépendamment.
Les modèles de ML, lorsqu'ils sont déployés, produisent des sorties telles que des prédictions ou des
décisions. Un modèle pré-entraîné est un modèle de ML déjà entraîné lorsqu'il a été obtenu. Dans
certains cas, le modèle développé peut être appliqué à une tâche similaire, dans un domaine différent.
L'apprentissage par transfert est une technique qui permet de modifier un modèle de ML pré-entraîné
afin d'exécuter une tâche associée différente.
Dans le présent document, l'application fait référence à la fois à l'utilisation prévue d'un ou de plusieurs
modèles de ML et au logiciel concret qui met en œuvre cette utilisation. Les modèles de ML sont
généralement intégrés à d'autres composants logiciels pour créer des applications. Les applications
qui utilisent le ML diffèrent en termes de types de données d'entrée qu'elles traitent et de types de
tâches qu'elles accomplissent. Dans certaines applications, le ML réalise des prédictions ou prend
des décisions de haut niveau, tandis que dans d'autres applications, le ML fournit des réponses à des
problèmes étroitement définis.
Les différences dans les données d'entrée et les tâches, ainsi que des facteurs tels que les options de
déploiement, l'exactitude et la fiabilité, produisent des conceptions d'application différentes. Les
applications d'IA peuvent utiliser des conceptions personnalisées propriétaires ou suivre des schémas
de conception spécifiques à un domaine.
© ISO/IEC 2022 – Tous droits réservés

La logique applicative est influencée par le format des données d'entrée, les données de sortie et,
éventuellement, la transformation et le flux de données entre les modèles de ML utilisés. Dans tous les
cas, le choix des algorithmes de ML et des techniques de préparation des données est personnalisé en
fonction des tâches de l'application.
6.2 Tâche
6.2.1 Généralités
Le terme «tâche» désigne les actions requises pour atteindre un objectif spécifique. Dans le ML, cela
implique d'identifier un problème à résoudre à l'aide du modèle de ML. Une ou plusieurs tâches de ML
peuvent être définies pour une application de ML. Au lieu de résoudre un problème à l'aide d'une fonction
spécifique représentée sous la forme d'une série d'étapes et mise en œuvre dans un code logiciel, le
problème défini est résolu en appliquant un modèle de ML entraîné à des données de production. Dans
les faits, le modèle de ML entraîné met en œuvre une fonction cible, qui est une approximation de la
fonction hypothétique qui aurait été écrite par un programmeur pour résoudre le problème.
La configuration d'une tâche de ML implique de définir le problème, le format des données et les
caractéristiques.
Les tâches décrites dans les paragraphes suivants sont des exemples et ne sont pas exhaustives.
6.2.2 Régression
Les tâches de régression consistent à prédire une variable continue en apprenant une fonction qui
s'ajuste le mieux à un ensemble de données d'entraînement. Dans une tâche de régression, le modèle de
régression entraîné représente un espace personnalisé. Lorsque le modèle entraîné est appliqué à une
nouvelle instance de données de production, l'instance est projetée dans l'espace personnalisé défini
par le modèle de régression entraîné.
La régression est principalement utilisée pour prédire les valeurs numériques d'un processus réel
sur la base de mesures ou d'observations antérieures du même processus. Les cas d'application de la
régression incluent:
— prédire les cours de la bourse;
— prédire l'âge d'un spectateur de vidéos diffusées en continu;
— prédire la quantité d'antigène spécifique de la prostate dans le corps à partir de différentes mesures
cliniques.
6.2.3 Classification
Les tâches de classification consistent à prédire l'affectation d'une instance de données d'entrée à
une catégorie ou classe définie. La classification peut être binaire (c'est-à-dire vraie ou fausse), multi-
classes (c'est-à-dire une possibilité parmi plusieurs) ou multi-étiquettes (c'est-à-dire n'importe quel
nombre parmi plusieurs possibilités). Par exemple, la classification peut être utilisée pour prédire si un
objet figurant dans une image est un chat ou un chien, ou même d'une espèce complètement différente.
Les classes proviennent généralement d'un ensemble discret et non ordonné, de sorte que le problème
ne peut pas être formalisé en tant que tâche de régression. Par exemple, le diagnostic médical d'un
ensemble de symptômes peut être {accident vasculaire cérébral, overdose, crise d'épilepsie}, il n'y a pas
d'ordre dans les valeurs des classes et il n'y a pas de changement continu d'une classe à l'autre.
Les cas d'application de la classification incluent:
— classification des documents et filtrage des courriers indésirables, où les documents sont regroupés
en plusieurs classes. Un filtre anti-courriers indésirables, par exemple, utilise deux classes, à savoir
«courrier indésirable» et «courrier non indésirable»;
© ISO/IEC 2022 – Tous droits réservés

— classification de l'espèce d'un spécimen. Par exemple, un modèle de classification ML peut prédire
la variété d'une fleur lorsque lui sont fournies des données spécifiant la longueur et la largeur des
sépales, ainsi que la longueur et la largeur des pétales;
— classification d'images. Sur la base d'un ensemble d'images (par exemple: de meubles) qui lui sont
fournies, un système de ML peut être utilisé pour reconnaître et nommer les objets représentés
dans ces images.
6.2.4 Regroupement
Les tâches de regroupement consistent à regrouper des instances de données d'entrée. Contrairement
aux tâches de classification, les classes ne sont pas prédéfinies dans les tâches de regroupement, mais
sont déterminées dans le cadre du processus de regroupement. Le regroupement peut être utilisé
comme étape de préparation des données pour identifier les données homogènes qui peuvent ensuite
être utilisées comme données d'entraînement pour l'apprentissage supervisé. Le regroupement peut
également être utilisé pour détecter les valeurs aberrantes ou les anomalies en identifiant les instances
de données d'entrée qui sont différentes des autres échantillons. Le tri ou l'organisation de fichiers sont
des exemples d'applications des tâches de regroupement.
6.2.5 Détection des anomalies
La détection des anomalies consiste à identifier les instances de données d'entrée qui ne sont pas
conformes à un schéma attendu. La détection des anomalies peut être utile pour des applications telles
que la détection de fraudes ou d'activités inhabituelles. Pour la détection des anomalies, le modèle de
ML prédit si une instance de données d'entrée est typique d'une distribution donnée.
6.2.6 Réduction de la dimensionnalité
La réduction de la dimensionnalité consiste à réduire le nombre d'attributs ou de dimensions par
échantillon tout en conservant les informations les plus utiles.
La réduction de la dimensionnalité peut favoriser les caractéristiques les plus utiles d'un ensemble de
données et ce faisant atténuer les coûts de calcul.
La réduction de la dimensionnalité atténue les divers effets indésirables liés à la conservation d'un
trop grand nombre de caractéristiques, collectivement appelés «malédiction de la dimensionnalité».
La réduction de la dimensionnalité est également utile pour l'exploration des données et l'analyse des
modèles.
[1]
Les méthodes de réduction de la dimensionnalité sont: non supervisée, supervisée ou semi-supervisée .
6.2.7 Autres tâches
Il existe de nombreuses autres tâches qui ont des finalités et des sorties attendues différentes. Ces
tâches peuvent être spécifiques à une application donnée. Les exemples d'autres tâches incluent la
segmentation sémantique de textes ou d'images, la traduction automatique, la reconnaissance ou la
synthèse de la parole, la localisation d'objets et la génération d'images.
Dans la planification, la tâche consiste à optimiser une séquence d'actions d'un ou de plusieurs agents
en observant l'état de l'environnement.
Malgré leur diversité, un certain nombre de concepts ont été formulés afin d'établir des connexions
entre certaines de ces autres tâches. La prédiction structurée, qui correspond aux tâches dans lesquelles
la sortie attendue du modèle est un objet structuré plutôt qu'une valeur unique, est l'un de ces concepts.
La prédiction structurée nécessite des méthodes informatiques qui peuvent prendre en compte les
régularités dans la sortie, soit en les modélisant de façon explicite, soit en prédisant l'ensemble de la
structure conjointement avec un modèle qui modélise en interne les régularités.
© ISO/IEC 2022 – Tous droits réservés

Les cas d'application de la prédiction structurée incluent:
— construction d'un arbre syntaxique pour une phrase en langage naturel;
— traduction d'une phrase dans une langue en une phrase dans une autre langue;
— prédiction de la structure protéique;
— segmentation sémantique d'une image.
6.3 Modèle
L'ISO/IEC 22989:2022, 3.2.11, définit un modèle de ML comme une construction mathématique qui
génère une inférence ou une prédiction sur la base d'informations ou de données d'entrées. Le modèle
de ML comprend une structure de données et un logiciel pour traiter la structure, tous deux déterminés
par un algorithme de ML choisi. Le modèle est configuré avec des entrées et des sorties essentielles
pour résoudre le problème donné.
Le modèle est alimenté (autre formulation: il est «entraîné») afin de représenter les propriétés
statistiques pertinentes des données d'entraînement. Dans les faits, grâce au processus d'entraînement,
le modèle «apprend» à résoudre le problème pour les données d'entraînement, dans le but d'appliquer
ces connaissances acquises à une application réelle.
Les modèles de ML produisent des résultats qui sont des approximations des solutions optimales. Les
algorithmes de ML utilisent des méthodes d'optimisation statistique pour effectuer cette approximation.
La correspondance obtenue entre les entrées et les sorties du modèle reflète les schémas appris à partir
des données d'entraînement. Les schémas peuvent être liés à des corrélations, des relations de cause à
effet ou des catégories d'objets de données. Les modèles de ML sont le fruit des données d'entraînement
utilisées. Par conséquent, si les données utilisées sont incomplètes ou reflètent un biais sociétal
inhérent, les performances du modèle le refléteront également. Il convient donc d'accorder une attention
particulière aux ensembles de données utilisés pour l'entraînement des modèles. La logique créée dans
le processus d'apprentissage machine et représentée par le modèle entraîné n'est pas spécifiée par un
programmeur mais évolue pendant les activités d'entraînement.
Pour savoir dans quelle mesure le modèle fonctionne bien, il est évalué à l'aide de mesures d'évaluation.
Le ré-entraînement consiste à mettre à jour un modèle entraîné en l'entraînant avec des données
d'entraînement différentes. Cela peut s'avérer nécessaire en raison de nombreux facteurs, y compris
l'absence d'ensembles de données de grande taille, la dérive des données et la dérive conceptuelle.
Dans la dérive des données, l'exactitude des prédictions du modèle se dégrade au fil du temps en raison
de changements dans les caractéristiques statistiques des données de production. Dans ce cas, il est
nécessaire de ré-entraîner le modèle avec de nouvelles données d'entraînement qui représentent mieux
les données de production.
Dans la dérive conceptuelle, la frontière de décision semble se déplacer, ce qui dégrade également
l'exactitude des prédictions, même si les données n'ont pas changé. Dans le cas de la dérive conceptuelle,
il est nécessaire de réétiqueter les variables cibles des données d'entraînement et de ré-entrainer le
modèle.
Le ré-entraînement peut également avoir lieu à des fins telles que l'apprentissage par transfert et
l'optimisation ou la modification du modèle de ML.
Certains modèles peuvent être facilement disponibles et peuvent alors être ré-entraînés et optimisés
pour un cas d'application spécifique, ou être utilisés tels quels. Un exemple pourrait être un modèle de
traduction automatique disponible sur le marché qui peut être ré-entraîné afin d'être utilisé pour la
traduction de documents juridiques.
L'apprentissage continu est un cas particulier de ré-entraînement, dans la mesure où les performances
du modèle évoluent en permanence, en raison de l'entraînement continu du modèle à l'aide de données
© ISO/IEC 2022 – Tous droits réservés

de production. Dans ce cas, il peut être nécessaire de surveiller en permanence les performances du
modèle ou de mettre en œuvre des «garde-fous» sur le comportement acceptable du modèle.
6.4 Données
La Figure 2 est un diagramme en râteau qui montre que le concept de données est divisé en quatre
catégories mutuellement exclusives:
a) données d'entraînement, utilisées pour estimer les paramètres des modèles candidats;
b) ensemble de données de validation, également appelé ensemble de données de développement en
fonction du domaine d'IA (par exemple: dans le traitement du langage naturel), utilisé pour choisir
le meilleur modèle en fonction d'un critère de performances;
c) ensemble de données d'essai, utilisé pour vérifier la capacité de généralisation d'un modèle et
déterminer ses performances sur des données futures;
d) données de production, composées de données opérationnelles à utiliser par le modèle pour
la prédiction. La répartition des données de production peut différer de cette de l'ensemble de
données d'entraînement, de validation et d'essai.
Les ensembles de données d'entraînement, de validation et d'essai peuvent être complétés par des
données simulées et perturbées.
Figure 2 — Schéma conceptuel: données et ensembles de données
Ces différents types de données peuvent se composer soit de données d'entrée seules, soit de données
d'entrée associées à des étiquettes (les données de sortie attendues). Les données de validation et d'essai
sont souvent étiquetées, tandis que les données de production sont généralement non étiquetées. En ce
qui concerne les données d'entraînement, cela dépend de l'approche en matière de ML: elles peuvent
être non étiquetées, partiellement étiquetées ou entièrement étiquetées. Les données d'entraînement
étiquetées permettent à l'algorithme de ML d'identifier les relations statistiques entre les variables
d'entrée et la variable cible. Les données d'entraînement non étiquetées permettent à l'algorithme de
ML d'identifier la structure et les corrélations statistiques à l'intérieur des données d'entrée.
Les données de validation et d'essai sont toutes deux utilisées avec des mesures des performances
statistiques (traitées en 6.5.5), mais leur utilisation diffère: les données de validation sont utilisées
pour ajuster les hyperparamètres, tandis que les données d'essai sont dédiées à l'évaluation du modèle.
L'objectif des données d'essai est de vérifier que le modèle entraîné fonctionnera bien, ou généralisera
bien, sur les données de production. Les modèles entraînés qui ne généralisent pas bien sont qualifiés
de «surajustés» (aux données d'entraînement).
Il est à noter que cette utilisation du terme «données d'essai» est limitée aux processus spécifiques
au ML et se distingue de l'utilisation du terme dans le contexte de la vérification et de la validation
d'un système intégré qui utilise des composants de ML, auquel cas il se référerait à toutes les données
utilisées à des fins de vérification et de validation, sans lien particulier avec le ML. Il est également à
noter que l'utilisation spécifique au ML du terme «données de validation» n'est pas liée aux processus
de vérification et de validation, car elle se rapporte au développement de modèles.
© ISO/IEC 2022 – Tous droits réservés

Pour une application fiable des processus de ML, il est nécessaire que les données d'entraînement, de
validation et d'essai soient distinctes. Les ensembles de données d'entraînement, de validation et d'essai
peuvent être obtenus à partir du même ensemble de données, en utilisant des découpages de données,
ou ils peuvent être acquis séparément. Dans une configuration idéale, ils ont tous la même distribution
statistique, mais selon le cas d'application et l'approche en matière de ML, il peut être nécessaire de
procéder différemment.
Pour une évaluation fidèle du modèle entraîné, il est nécessaire que la distribution des données d'essai
soit aussi proche que possible de celle des données de production.
Les données de production ne sont vues par le modèle qu'après son déploiement. Pour que le modèle
formule des prédictions exactes, il est généralement nécessaire que les données de production aient
une distribution similaire à celle des données d'entraînement et de validation, bien qu'il existe des
techniques spécifiques pouvant atténuer la dégradation en cas de différence.
Au fil du temps, la distribution des données de production peut dériver, ce qui peut nécessiter de
ré-entraîner le modèle sur de nouvelles données. Dans les cas où le modèle a besoin de s'adapter
dynamiquement à de nouvelles formes dans les données de production, le modèle peut être ré-entraîné
de façon continue en tirant parti des informations obtenues à partir des données de production. Ces cas
sont étudiés en 6.3.
6.5 Outils
6.5.1 Généralités
La création de modèles de ML utilise des outils répartis en catégories: préparation des données,
algorithmes de ML, méthodes d'optimisation et mesures d'évaluation. Les performances des modèles de
ML sont évaluées à l'aide d'outils qui génèrent des mesures d'évaluation.
La création de modèles de ML nécessite souvent des charges de travail informatiques à hautes
performances en raison des exigences de calcul et de l'utilisation de grands ensembles de donné
...