ISO/IEC 23894:2023
(Main)Information technology — Artificial intelligence — Guidance on risk management
Information technology — Artificial intelligence — Guidance on risk management
This document provides guidance on how organizations that develop, produce, deploy or use products, systems and services that utilize artificial intelligence (AI) can manage risk specifically related to AI. The guidance also aims to assist organizations to integrate risk management into their AI-related activities and functions. It moreover describes processes for the effective implementation and integration of AI risk management. The application of this guidance can be customized to any organization and its context.
Technologies de l’information — Intelligence artificielle — Recommandations relatives au management du risque
Le présent document fournit des recommandations relatives à la manière dont les organismes qui développent, produisent, déploient ou utilisent des produits, systèmes et services faisant appel à l’intelligence artificielle (IA) peuvent gérer le risque spécifiquement lié à l’IA. Ces recommandations visent également à assister les organismes dans l’intégration du management du risque à leurs activités et fonctions liées à l’IA. Le présent document décrit en outre des processus pour la mise en œuvre et l’intégration efficaces du management du risque lié à l’IA. L’application de ces recommandations peut être adaptée à n’importe quel organisme et à son contexte.
General Information
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO/IEC
STANDARD 23894
First edition
2023-02
Information technology — Artificial
intelligence — Guidance on risk
management
Technologies de l’information — Intelligence artificielle —
Recommandations relatives au management du risque
Reference number
ISO/IEC 23894:2023(E)
© ISO/IEC 2023
---------------------- Page: 1 ----------------------
ISO/IEC 23894:2023(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO/IEC 2023
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/IEC 23894:2023(E)
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Principles of AI risk management . 1
5 Framework . 5
5.1 General . 5
5.2 Leadership and commitment . 5
5.3 Integration. 6
5.4 Design . 6
5.4.1 Understanding the organization and its context . 6
5.4.2 Articulating risk management commitment . 8
5.4.3 Assigning organizational roles, authorities, responsibilities and
accountabilities . 8
5.4.4 Allocating resources . 8
5.4.5 Establishing communication and consultation . 8
5.5 Implementation . . 9
5.6 Evaluation . 9
5.7 Improvement . 9
5.7.1 Adapting . 9
5.7.2 Continually improving . 9
6 Risk management process .9
6.1 General . 9
6.2 Communication and consultation. 9
6.3 Scope, context and criteria . 9
6.3.1 General . 9
6.3.2 Defining the scope . 10
6.3.3 External and internal context . 10
6.3.4 Defining risk criteria . 10
6.4 Risk assessment . 11
6.4.1 General . 11
6.4.2 Risk identification . 11
6.4.3 Risk analysis . . 14
6.4.4 Risk evaluation.15
6.5 Risk treatment .15
6.5.1 General .15
6.5.2 Selection of risk treatment options . 15
6.5.3 Preparing and implementing risk treatment plans . 16
6.6 Monitoring and review . 16
6.7 Recording and reporting . 16
Annex A (informative) Objectives .18
Annex B (informative) Risk sources .21
Annex C (informative) Risk management and AI system life cycle .24
Bibliography .26
iii
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 3 ----------------------
ISO/IEC 23894:2023(E)
Foreword
ISO (the International Organization for Standardization) and IEC (the International Electrotechnical
Commission) form the specialized system for worldwide standardization. National bodies that are
members of ISO or IEC participate in the development of International Standards through technical
committees established by the respective organization to deal with particular fields of technical
activity. ISO and IEC technical committees collaborate in fields of mutual interest. Other international
organizations, governmental and non-governmental, in liaison with ISO and IEC, also take part in the
work.
The procedures used to develop this document and those intended for its further maintenance
are described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria
needed for the different types of document should be noted. This document was drafted in
accordance with the editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives or
www.iec.ch/members_experts/refdocs).
Attention is drawn to the possibility that some of the elements of this document may be the subject
of patent rights. ISO and IEC shall not be held responsible for identifying any or all such patent
rights. Details of any patent rights identified during the development of the document will be in the
Introduction and/or on the ISO list of patent declarations received (see www.iso.org/patents) or the IEC
list of patent declarations received (see https://patents.iec.ch).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO's adherence to
the World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see
www.iso.org/iso/foreword.html. In the IEC, see www.iec.ch/understanding-standards.
This document was prepared by Joint Technical Committee ISO/IEC JTC 1, Information technology,
Subcommittee SC 42, Artificial intelligence.
Any feedback or questions on this document should be directed to the user’s national standards
body. A complete listing of these bodies can be found at www.iso.org/members.html and
www.iec.ch/national-committees.
iv
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 4 ----------------------
ISO/IEC 23894:2023(E)
Introduction
The purpose of risk management is the creation and protection of value. It improves performance,
encourages innovation and supports the achievement of objectives.
This document is intended to be used in connection with ISO 31000:2018. Whenever this document
extends the guidance given in ISO 31000:2018, an appropriate reference to the clauses of ISO 31000:2018
is made followed by AI-specific guidance, if applicable. To make the relationship between this document
and ISO 31000:2018 more explicit, the clause structure of ISO 31000:2018 is mirrored in this document
and amended by sub-clauses if needed.
This document is divided into three main parts:
Clause 4: Principles – This clause describes the underlying principles of risk management. The use of AI
requires specific considerations with regard to some of these principles as described in ISO 31000:2018,
Clause 4.
Clause 5: Framework – The purpose of the risk management framework is to assist the organization
in integrating risk management into significant activities and functions. Aspects specific to the
development, provisioning or offering, or use of AI systems are described in ISO 31000:2018, Clause 5.
Clause 6: Processes – Risk management processes involve the systematic application of policies,
procedures and practices to the activities of communicating and consulting, establishing the context,
and assessing, treating, monitoring, reviewing, recording and reporting risk. A specialization of such
processes to AI is described in ISO 31000:2018, Clause 6.
Common AI-related objectives and risk sources are provided in Annex A and Annex B. Annex C provides
an example mapping between the risk management processes and an AI system life cycle.
v
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 5 ----------------------
INTERNATIONAL STANDARD ISO/IEC 23894:2023(E)
Information technology — Artificial intelligence —
Guidance on risk management
1 Scope
This document provides guidance on how organizations that develop, produce, deploy or use products,
systems and services that utilize artificial intelligence (AI) can manage risk specifically related to
AI. The guidance also aims to assist organizations to integrate risk management into their AI-related
activities and functions. It moreover describes processes for the effective implementation and
integration of AI risk management.
The application of this guidance can be customized to any organization and its context.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 31000:2018, Risk management — Guidelines
ISO Guide 73:2009, Risk management — Vocabulary
ISO/IEC 22989:2022, Information technology — Artificial intelligence — Artificial intelligence concepts
and terminology
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 31000:2018,
ISO/IEC 22989:2022 and ISO Guide 73:2009 apply.
ISO and IEC maintain terminology databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at https:// www .electropedia .org/
4 Principles of AI risk management
Risk management should address the needs of the organization using an integrated, structured and
comprehensive approach. Guiding principles allow an organization to identify priorities and make
decisions on how to manage the effects of uncertainty on its objectives. These principles apply to all
organizational levels and objectives, whether strategic or operational.
Systems and processes usually deploy a combination of various technologies and functionalities
in various environments, for specific use cases. Risk management should take into account the
whole system, with all its technologies and functionalities, and its impact on the environment and
stakeholders.
AI systems can introduce new or emergent risks for an organization, with positive or negative
consequences on objectives, or changes in the likelihood of existing risks. They also can necessitate
1
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 6 ----------------------
ISO/IEC 23894:2023(E)
specific consideration by the organization. Additional guidance for the risk management principles,
framework and processes an organization can implement is provided by this document.
NOTE Different International Standards have significantly different definitions of the word “risk.” In
ISO 31000:2018 and related International Standards, “risk” involves a negative or positive deviation from the
objectives. In some other International Standards, “risk” involves potential negative outcomes only, for example,
safety-related concerns. This difference in focus can often cause confusion when trying to understand and
properly implement a conformant risk management process.
ISO 31000:2018, Clause 4 defines several generic principles for risk management. In addition to guidance
in ISO 31000:2018, Clause 4, Table 1 provides further guidance on how to apply such principles where
necessary.
Table 1 — Risk management principles applied to artificial intelligence
Principle Description (as given in ISO Implications for the development and
31000:2018, Clause 4) use of AI
a) Integrated Risk management is an integral part of all No specific guidance beyond ISO 31000:2018.
organizational activities.
b) Structured and com- A structured and comprehensive approach to No specific guidance beyond ISO 31000:2018.
prehensive risk management contributes to consistent
and comparable results.
c) Customized The risk management framework and process No specific guidance beyond ISO 31000:2018.
are customized and proportionate to the
organization’s external and internal context
related to its objectives.
2
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 7 ----------------------
ISO/IEC 23894:2023(E)
TTabablele 1 1 ((ccoonnttiinnueuedd))
Principle Description (as given in ISO Implications for the development and
31000:2018, Clause 4) use of AI
d) Inclusive Appropriate and timely involvement of stake- Because of the potentially far-reaching im-
holders enables their knowledge, views and pacts of AI to stakeholders, it is important
perceptions to be considered. This results that organizations seek dialog with diverse
in improved awareness and informed risk internal and external groups, both to com-
management. municate harms and benefits, and to incor-
porate feedback and awareness into the risk
management process.
Organizations should also be aware that the
use of AI systems can introduce additional
stakeholders.
The areas in which the knowledge, views and
perceptions of stakeholders are of benefit
include but are not restricted to:
— Machine learning (ML) in particular
often relies on the set of data
appropriate to fulfil its objectives.
Stakeholders can help in the
identification of risks regarding
the data collection, the processing
operations, the source and type
of data, and the use of the data for
particular situations or where the
data subjects can be outliers.
— The complexity of AI technologies
creates challenges related to
transparency and explainability
of AI systems. The diversity of AI
technologies further drives these
challenges due to characteristics such
as multiple types of data modalities, AI
model topologies, and transparency
and reporting mechanisms that
should be selected per stakeholders’
needs. Stakeholders can help to
identify the goals and describe the
means for enhancing transparency
and explainability of AI systems. In
certain cases, these goals and means
can be generalized across the use case
and different stakeholders involved. In
other cases, stakeholder segmentation
of transparency frameworks and
reporting mechanisms can be tailored
to relevant personas (e.g. “regulators”,
“business owners”, “model risk
evaluators”) per the use case.
— Using AI systems for automated
decision-making can directly affect
internal and external stakeholders.
Such stakeholders can provide their
views and perceptions concerning,
for example, where human oversight
can be needed. Stakeholders can help
in defining fairness criteria and also
help to identify what constitutes bias
in the working of the AI system.
3
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 8 ----------------------
ISO/IEC 23894:2023(E)
TTabablele 1 1 ((ccoonnttiinnueuedd))
Principle Description (as given in ISO Implications for the development and
31000:2018, Clause 4) use of AI
e) Dynamic Risks can emerge, change or disappear as an To implement the guidance provided by
organization’s external and internal context ISO 31000:2018, organizations should estab-
changes. Risk management anticipates, de- lish organizational structures and measures
tects, acknowledges and responds to those to identify issues and opportunities related
changes and events in an appropriate and to emerging risks, trends, technologies, uses
timely manner. and actors related to AI systems.
Dynamic risk management is particularly
important for AI systems because:
— The nature of AI systems is itself
dynamic, due to continuous learning,
refining, evaluating, and validating.
Additionally, some AI systems have
the ability to adapt and optimize
based on this loop, creating dynamic
changes on their own.
— Customer expectations around AI
systems are high and can potentially
change quickly as the systems
themselves do.
— Legal and regulatory requirements
related to AI are frequently changing
and being updated.
Integration with the management systems
on quality, environmental footprints, safety,
healthcare, legal or corporate responsibility,
or any combination of these maintained by
the organization, can also be considered to
further understand and manage AI-related
risks to the organization, individuals and
societies.
f) Best available infor- The inputs to risk management are based on Taking into account the expectation that AI
mation historical and current information, as well affects the way individuals interact with
as on future expectations. Risk management and react to technology, it is advisable for
explicitly takes into account any limitations organizations engaged in the development
and uncertainties associated with such of AI systems to keep track of relevant infor-
information and expectations. Information mation available regarding the further uses
should be timely, clear and available to rel- of the AI systems that they developed, while
evant stakeholders. users of AI systems can maintain records of
the uses of those systems throughout the
entire lifetime of the AI system.
As AI is an emerging technology and con-
stantly evolving, historical information
can be limited, and future expectations can
change quickly. Organizations should take
this into account.
The internal use of AI systems should be
considered, if any. Tracking the use of AI
systems by customers and external users
can be limited by intellectual property,
contractual or market-specific restrictions.
Such restrictions should be captured in the
AI risk management process and updated
when business conditions warrant revisiting.
4
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 9 ----------------------
ISO/IEC 23894:2023(E)
TTabablele 1 1 ((ccoonnttiinnueuedd))
Principle Description (as given in ISO Implications for the development and
31000:2018, Clause 4) use of AI
g) Human and cultural Human behaviour and culture significantly Organizations engaged in the design, de-
factors influence all aspects of risk management at velopment or deployment of AI systems, or
each level and stage. any combination of these, should monitor
the human and cultural landscape in which
they are situated. Organizations should focus
on identifying how AI systems or compo-
nents interact with pre-existing societal
patterns that can lead to impacts on equitable
outcomes, privacy, freedom of expression,
fairness, safety, security, employment, the
environment, and human rights broadly.
h) Continual improve- Risk management is continually improved The identification of previously unknown
ment through learning and experience. risks related to the use of AI systems should
be considered in the continual improvement
process. Organizations engaged in the design,
development or deployment of AI systems or
system components, or any combination of
these, should monitor the AI ecosystem for
Performance successes, shortcomings and
lessons learned, and maintain awareness
of new AI research findings and techniques
(opportunities for improvement).
5 Framework
5.1 General
The purpose of the risk management framework is to assist the organization in integrating risk
management into significant activities and functions. The guidance provided in ISO 31000:2018, 5.1
applies.
Risk management involves assembling relevant information for an organization to make decisions and
address risk. While the governing body defines the overall risk appetite and organizational objectives,
it delegates the decision-making process of identifying, assessing and treating risk to management
within the organization.
[1]
ISO/IEC 38507 describes additional governance considerations for the organization regarding
the development, purchase or use of an AI system. Such considerations include new opportunities,
potential changes to the risk appetite as well as new governance policies to ensure the responsible use
of AI by the organization. It can be used in combination with the risk management processes described
in this document to help guide the dynamic and iterative organizational integration described in
ISO 31000:2018, 5.2.
5.2 Leadership and commitment
The guidance provided in ISO 31000:2018, 5.2 applies.
In addition to the guidance provided in ISO 31000:2018, 5.2 the following applies:
Due to the particular importance of trust and accountability related to the development and use of AI,
top management should consider how policies and statements related to AI risks and risk management
are communicated to stakeholders. Demonstrating this level of leadership and commitment can be
critical for ensuring that stakeholders have confidence that AI is being developed and used responsibly.
The organization should therefore consider issuing statements related to its commitment to AI risk
management to increase confidence of their stakeholders on their use of AI.
5
© ISO/IEC 2023 – All rights reserved
---------------------- Page: 10 ----------------------
ISO/IEC 23894:2023(E)
Top management should also be aware of the specialized resources that can be needed to manage AI
risk, and allocate those resources appropriately.
5.3 Integration
The guidance provided in ISO 31000:2018, 5.3 applies.
5.4 Design
5.4.1 Understanding the organization and its context
The guidance provided in ISO 31000:2018, 5.4.1 applies.
In addition to guidance provided in ISO 31000:2018, 5.4.1, Table 2 lists additional factors to consider
when understanding the external context of an organization.
Table 2 — Consideration when establishing the external context of an organization
Generic guidance provided by ISO 31000:2018, Additional guidance for organizations engaged in AI
5.4.1
Organizations should consider at least the following Organizations should additionally consider, but not exclusively,
elements of their external context: the following elements:
— The social, cultural, political, legal, regulatory, — Relevant legal requirements, including those
financial, technological, economic and specifically relating to AI.
environmental factors, whether international,
— Guidelines on ethical use and design of AI and
national, regional or local;
automated systems issued by government-related
groups, regulators, standardization bodies, civil
society, academia and industry associations.
— Domain-specific guidelines and frameworks related to
AI.
— Key drivers and trends affecting the objectives — Technology trends and advancements in the various
of the organization; areas of AI.
— Societal and political implications of the deployment of
AI systems, including guidance from social sciences.
— External stakeholders’ relationships, — Stakeholder perceptions, which can be affected by
perceptions, values, needs and expectations; issues such as lack of transparency (also referred to as
opaqueness) of AI systems or biased AI systems.
— Stakeholder expectations on the availability of
specific AI-based solutions and the means by which
the AI models are made available (e.g. through a user
interface, software development kit).
— Contractual relationships and commitments; — How the use of AI, especially AI systems using
continuous learning, can affect the ability of the
organization to meet contractual obligations and
guarantees. Consequently, organizations should
carefully consider the scope of relevant contracts.
— Contractual relationships during the design and
production of AI systems and services. For example,
ownership and usage rights of test and training data
should be considered when provided by third parties.
— The complexity of networks and dependencies; — The use of AI can increase the complexity of networks
and dependencie
...
NORME ISO/IEC
INTERNATIONALE 23894
Première édition
2023-02
Technologies de l’information —
Intelligence artificielle —
Recommandations relatives au
management du risque
Information technology — Artificial intelligence — Guidance on risk
management
Numéro de référence
ISO/IEC 23894:2023(F)
© ISO/IEC 2023
---------------------- Page: 1 ----------------------
ISO/IEC 23894:2023(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO/IEC 2023
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
Fax: +41 22 749 09 47
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii
© ISO/IEC 2023 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO/IEC 23894:2023(F)
Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives .1
3 Termes et définitions . 1
4 Principes du management du risque lié à l’IA . 1
5 Cadre organisationnel.5
5.1 Généralités . 5
5.2 Leadership et engagement . 5
5.3 Intégration. 6
5.4 Conception . 6
5.4.1 Compréhension de l’organisme et de son contexte . 6
5.4.2 Définir clairement l’engagement en matière de management du risque . 9
5.4.3 Attribution des rôles, pouvoirs et responsabilités au sein de l’organisme . 9
5.4.4 Affectation des ressources . 9
5.4.5 Établissement d’une communication et d’une concertation . 9
5.5 Mise en œuvre . 9
5.6 Évaluation . 9
5.7 Amélioration . 10
5.7.1 Adaptation . . 10
5.7.2 Amélioration continue . 10
6 Processus de gestion des risques .10
6.1 Généralités . 10
6.2 Communication et consultation . 10
6.3 Périmètre d’application, contexte et critères . 10
6.3.1 Généralités . 10
6.3.2 Définition du périmètre d’application . 11
6.3.3 Contexte interne et externe . 11
6.3.4 Définition des critères de risque . 11
6.4 Appréciation du risque . 12
6.4.1 Généralités .12
6.4.2 Identification du risque .12
6.4.3 Analyse du risque .15
6.4.4 Évaluation du risque . 16
6.5 Traitement du risque . 16
6.5.1 Généralités . 16
6.5.2 Sélection des options de traitement du risque . 17
6.5.3 Élaboration et mise en œuvre des plans de traitement du risque . 17
6.6 Suivi et revue . 17
6.7 Enregistrement et élaboration de rapports. 17
Annexe A (informative) Objectifs .19
Annexe B (informative) Sources de risques .23
Annexe C (informative) Management du risque et cycle de vie des systèmes d’IA .27
Bibliographie .30
iii
© ISO/IEC 2023 – Tous droits réservés
---------------------- Page: 3 ----------------------
ISO/IEC 23894:2023(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) et l’IEC (Commission électrotechnique
internationale) forment le système spécialisé de la normalisation mondiale. Les organismes
nationaux membres de l'ISO ou de l’IEC participent au développement de Normes internationales
par l'intermédiaire des comités techniques créés par l'organisation concernée afin de s'occuper des
domaines particuliers de l'activité technique. Les comités techniques de l'ISO et de l’IEC collaborent
dans des domaines d'intérêt commun. D'autres organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO et l’IEC, participent également aux travaux.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a
été rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir
www.iso.org/directives ou www.iec.ch/members_experts/refdocs).
L'attention est attirée sur le fait que certains des éléments du présent document peuvent faire l'objet
de droits de propriété intellectuelle ou de droits analogues. L'ISO et l’IEC ne sauraient être tenues pour
responsables de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails
concernant les références aux droits de propriété intellectuelle ou autres droits analogues identifiés
lors de l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations
de brevets reçues par l'ISO (voir www.iso.org/brevets) ou dans la liste des déclarations de brevets
reçues par l'IEC (voir https://patents.iec.ch).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de
l'adhésion de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les
obstacles techniques au commerce (OTC), voir www.iso.org/iso/avant-propos. Pour l'IEC, voir
www.iec.ch/understanding-standards.
Le présent document a été élaboré par le comité technique mixte ISO/IEC JTC 1, Technologies de
l’information, sous-comité SC 42, Intelligence artificielle.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www.iso.org/members.html et www.iec.ch/national-committees.
iv
© ISO/IEC 2023 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO/IEC 23894:2023(F)
Introduction
La finalité du management du risque est la création et la préservation de la valeur. Il améliore la
performance, favorise l’innovation et contribue à l’atteinte des objectifs.
Le présent document est destiné à être utilisé conjointement avec l’ISO 31000:2018. Lorsque le présent
document étend les recommandations données dans l’ISO 31000:2018, une référence appropriée aux
articles de l’ISO 31000:2018 est donnée et suivie de recommandations spécifiques à l’IA, le cas échéant.
Pour rendre la relation entre le présent document et l’ISO 31000:2018 plus explicite, la structure des
articles de l’ISO 31000:2018 est reflétée dans le présent document et amendée par des paragraphes
si nécessaire.
Le présent document est divisé en trois parties principales:
Article 4: Principes – Le présent article décrit les principes sous-jacents du management du risque.
L’utilisation de l’IA exige des considérations spécifiques eu égard à certains de ces principes, tels que
décrits dans l’Article 4 de l’ISO 31000:2018.
Article 5: Cadre organisationnel – La finalité du cadre organisationnel de management du risque est
d’aider l’organisme à intégrer le management du risque dans les activités et les fonctions significatives.
Des aspects propres au développement, à la mise à disposition, à l’offre ou à l’utilisation de systèmes
d’IA sont décrits à l’Article 5 de l’ISO 31000:2018.
Article 6: Processus – Le processus de management du risque implique l’application systématique
de politiques, de procédures et de pratiques aux activités de communication et de consultation,
d’établissement du contexte et d’appréciation, de traitement, de suivi, de revue, d’enregistrement et de
compte rendu du risque. Une spécialisation desdits processus relatifs à l’IA est décrite dans l’Article 6
de l’ISO 31000:2018.
Des objectifs et sources de risques courants liés à l’IA sont fournis à l’Annexe A et l’Annexe B. L’Annexe C
fournit un exemple de cartographie entre le processus de management du risque et le cycle de vie d’un
système d’IA.
v
© ISO/IEC 2023 – Tous droits réservés
---------------------- Page: 5 ----------------------
NORME INTERNATIONALE ISO/IEC 23894:2023(F)
Technologies de l’information — Intelligence artificielle —
Recommandations relatives au management du risque
1 Domaine d’application
Le présent document fournit des recommandations relatives à la manière dont les organismes qui
développent, produisent, déploient ou utilisent des produits, systèmes et services faisant appel à
l’intelligence artificielle (IA) peuvent gérer le risque spécifiquement lié à l’IA. Ces recommandations
visent également à assister les organismes dans l’intégration du management du risque à leurs activités
et fonctions liées à l’IA. Le présent document décrit en outre des processus pour la mise en œuvre et
l’intégration efficaces du management du risque lié à l’IA.
L’application de ces recommandations peut être adaptée à n’importe quel organisme et à son contexte.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.
Pour les références non datées, la dernière édition du document de référence s’applique (y compris les
éventuels amendements).
ISO 31000:2018, Management du risque — Lignes directrices
Guide ISO 73:2009, Management du risque — Vocabulaire
ISO/IEC 22989:2022, Technologies de l'information — Intelligence artificielle — Concepts et terminologie
relatifs à l'intelligence artificielle
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 31000:2018,
l’ISO/IEC 22989:2022 et le Guide ISO 73:2009 s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp;
— IEC Electropedia: disponible à l’adresse https:// www .electropedia .org/ .
4 Principes du management du risque lié à l’IA
Il convient que le management du risque aborde les besoins de l’organisme à l’aide d’une approche
intégrée, structurée et globale. Des principes directeurs permettent à un organisme d’identifier des
priorités et de prendre des décisions sur la façon de gérer les effets de l’incertitude sur ses objectifs.
Ces principes s’appliquent à tous les niveaux et objectifs organisationnels, qu’ils soient stratégiques ou
opérationnels.
Les systèmes et processus déploient habituellement une combinaison de plusieurs technologies et
fonctionnalités dans divers environnements, pour des cas d’utilisation spécifiques. Il convient que
le management du risque tienne compte du système dans sa globalité, avec toutes ses technologies,
ses fonctionnalités, son impact sur l’environnement et ses parties prenantes.
1
© ISO/IEC 2023 – Tous droits réservés
---------------------- Page: 6 ----------------------
ISO/IEC 23894:2023(F)
Les systèmes d’IA peuvent introduire des risques nouveaux ou émergents pour un organisme, avec
des conséquences positives ou négatives sur ses objectifs, ou une modification de la vraisemblance
des risques existants. Ils peuvent également nécessiter une considération spécifique de la part de
l’organisme. Des recommandations additionnelles pour les principes de management du risque, le cadre
organisationnel et les processus qu’un organisme peut mettre en œuvre sont fournies dans le présent
document.
NOTE La définition du mot «risque» peut différer significativement dans les différentes Normes
internationales. Dans l’ISO 31000:2018 et les normes associées, «risque» implique un écart positif ou négatif
par rapport à des objectifs. Dans d’autres Normes internationales, «risque» implique des conséquences
potentiellement négatives uniquement, par exemple, des préoccupations relatives à la sûreté. Cette différence de
perspective peut fréquemment porter à confusion lorsqu’il s’agit d’essayer de comprendre et de mettre en œuvre
correctement un processus de management du risque conforme.
L’Article 4 de l’ISO 31000:2018 définit plusieurs principes génériques pour le management du risque.
Outre les recommandations données dans l’ISO 31000:2018, Article 4, le Tableau 1 fournit des
recommandations supplémentaires relatives à la façon d’appliquer ces principes, le cas échéant.
Tableau 1 — Principes du management du risque appliqués à l’intelligence artificielle
Principe Description (telle que donnée dans Implications pour le développement et l’utili-
l’ISO 31000:2018, Article 4) sation de l’IA
a) Intégré Le management du risque est intégré Aucune recommandation spécifique au-delà de
à toutes les activités de l’organisme. l’ISO 31000:2018.
b) Structuré et Une approche structurée et globale Aucune recommandation spécifique au-delà de
global du management du risque contribue à l’ISO 31000:2018.
la cohérence de résultats qui peuvent
être comparés.
c) Adapté Le cadre organisationnel et le proces- Aucune recommandation spécifique au-delà de
sus de management du risque sont l’ISO 31000:2018.
adaptés et proportionnés au contexte
externe et interne de l’organisme
aussi bien qu’à ses objectifs.
d) Inclusif L’implication appropriée et au En raison de l’importance possible des impacts
moment opportun des parties pre- de l’IA sur les parties prenantes, il est important
nantes permet de prendre en compte que les organismes cherchent à établir un dia-
leurs connaissances, leurs opinions logue avec divers groupes internes et externes,
et leur perception. Cela conduit à un afin de communiquer sur les avantages et incon-
management du risque mieux éclairé vénients, et d’intégrer leur retour d’information
et plus pertinent. et leur perception au processus de management
du risque.
Il convient que les organismes soient également
conscients que l’utilisation de systèmes d’IA peut
impliquer l’introduction de parties prenantes
additionnelles.
Les domaines dans lesquels les connaissances,
les opinions et les perceptions des parties pre-
nantes sont utiles incluent, sans s’y limiter:
— En particulier, l’apprentissage automatique
(ML, de l’anglais «machine learning»)
repose souvent sur un ensemble approprié
de données pour remplir ses objectifs. Les
parties prenantes peuvent ainsi aider à
identifier les risques relatifs à la collecte
des données, aux opérations de traitement,
à la source et au type de données ainsi
qu’à l’utilisation des données dans des
circonstances particulières ou lorsque les
personnes concernées peuvent constituer
des exceptions.
2
© ISO/IEC 2023 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO/IEC 23894:2023(F)
TTabableleaauu 1 1 ((ssuuiitte)e)
Principe Description (telle que donnée dans Implications pour le développement et l’utili-
l’ISO 31000:2018, Article 4) sation de l’IA
— La complexité des technologies d’IA donne
naissance à des défis liés à la transparence
et à l’explicabilité des systèmes d’IA.
La diversité des technologies d’IA renforce
ces défis en raison de caractéristiques telles
que les différents types de modalités de
données, les topologies des modèles d’IA,
ainsi que les mécanismes de transparence
et d’établissement de rapports qu’il
convient de sélectionner en fonction
des besoins des parties prenantes. Les
parties prenantes peuvent contribuer à
l’identification des buts et à la description
des moyens d’améliorer la transparence
et à l’explicabilité des systèmes d’IA. Dans
certains cas, ces buts et moyens peuvent
être généralisés sur l’ensemble du cas
d’utilisation et pour les différentes parties
prenantes impliquées. Dans d’autres cas, la
segmentation des parties prenantes en ce
qui concerne les cadres de transparence et
des mécanismes de création de rapports
peut être adaptée en fonction des différents
acteurs (par exemple, «organismes
de réglementation», «propriétaires
d’entreprise», «évaluateurs de risques du
modèle») et du cas d’utilisation.
— L’utilisation de systèmes d’IA pour la prise
automatisée de décisions peut directement
affecter les parties prenantes internes et
externes. Ces dernières peuvent fournir
leurs opinions et leurs perceptions
concernant, par exemple, les situations
pouvant nécessiter une supervision
humaine. Les parties prenantes peuvent
aider à définir des critères d’équité,
de même qu’à identifier ce qui constitue un
biais dans le fonctionnement du système
d’IA.
e) Dynamique Des risques peuvent surgir, être Pour mettre en œuvre les recommandations
modifiés ou disparaître lorsque le fournies par l’ISO 31000:2018, il convient que
contexte externe et interne d’un les organismes établissent des structures et
organisme change. Le management mesures organisationnelles afin d’identifier les
du risque anticipe, détecte, reconnaît défis et opportunités liés aux risques émergents,
et réagit à ces changements et événe- aux tendances, aux technologies, aux utilisations
ments en temps voulu et de manière et aux acteurs liés aux systèmes d’IA.
appropriée.
Le management dynamique du risque est parti-
culièrement important pour les systèmes d’IA,
car:
3
© ISO/IEC 2023 – Tous droits réservés
---------------------- Page: 8 ----------------------
ISO/IEC 23894:2023(F)
TTabableleaauu 1 1 ((ssuuiitte)e)
Principe Description (telle que donnée dans Implications pour le développement et l’utili-
l’ISO 31000:2018, Article 4) sation de l’IA
— La nature des systèmes d’IA est elle-
même dynamique, en raison du caractère
continu de l’apprentissage, de l’affinage,
de l’évaluation et de la validation. En outre,
certains systèmes d’IA sont en mesure de
s’adapter et de s’optimiser grâce à cette
boucle, ce qui entraîne des évolutions
dynamiques en tant que telles.
— Les attentes des clients concernant les
systèmes d’IA sont élevées et peuvent
évoluer rapidement, tout comme les
systèmes eux-mêmes.
— Les exigences juridiques et réglementaires
relatives à l’IA font fréquemment l’objet de
modifications et de mises à jour.
L’intégration à des systèmes de management
relatifs à la qualité, à l’empreinte environnemen-
tale, à la sûreté, aux soins de santé, à la respon-
sabilité juridique ou sociétale, ou à plusieurs de
ces systèmes maintenus par l’organisme peut
également être prise en compte pour mieux
comprendre et gérer les risques liés à l’IA pour
l’organisme, les individus et les sociétés.
f) Meilleure infor- Les données d’entrée du manage- Compte tenu de l’attente concernant l’impact
mation dispo- ment du risque sont fondées sur des probable de l’IA sur la façon dont les individus
nible informations historiques et actuelles interagissent avec la technologie, et y réagissent,
ainsi que sur les attentes futures. Le il est recommandé pour les organismes enga-
management du risque tient compte gés dans le développement de systèmes d’IA de
explicitement de toutes limites et garder une trace des informations pertinentes
incertitudes associées à ces infor- disponibles concernant les autres utilisations
mations et attentes. Il convient que des systèmes d’IA qu’ils ont développés, et pour
les informations soient disponibles les utilisateurs de systèmes d’IA de tenir à jour
à temps, claires et accessibles aux des enregistrements des utilisations de ces sys-
parties prenantes pertinentes. tèmes tout au long de l’intégralité du cycle de vie
du système d’IA.
L’IA étant une technologie émergente et en
constante évolution, les informations historiques
peuvent être limitées et les attentes futures
peuvent évoluer rapidement. Il convient que les
organismes en tiennent compte.
Il convient de tenir compte de l’utilisation en
interne de systèmes d’IA, le cas échéant. Assurer
le suivi de l’utilisation des systèmes d’IA par
des clients et des utilisateurs externes peut être
limité par des restrictions de propriété intellec-
tuelle, contractuelles ou propres au marché. Il
convient que de telles restrictions soient prises
en compte dans le processus de management du
risque lié à l’IA et mises à jour lorsque les condi-
tions d’activité le justifient.
4
© ISO/IEC 2023 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO/IEC 23894:2023(F)
TTabableleaauu 1 1 ((ssuuiitte)e)
Principe Description (telle que donnée dans Implications pour le développement et l’utili-
l’ISO 31000:2018, Article 4) sation de l’IA
g) Facteurs Le comportement humain et la Il convient que les organismes engagés dans
humains et culture influent de manière significa- la conception, le développement ou le déploie-
culturels tive sur tous les aspects du manage- ment de systèmes d’IA, ou dans plusieurs de ces
ment du risque à chaque niveau et à mécanismes, surveillent le paysage humain et
chaque étape. culturel dans lequel ils évoluent. Il convient que
les organismes se concentrent sur l’identification
de la façon dont les systèmes ou composants
d’IA interagissent avec les modèles sociétaux
existants, eu égard à l’obtention de conséquences
équitables, au respect de la vie privée, à la liberté
d’expression, à l’équité, à la sûreté, à la sécurité,
à l’emploi, à l’environnement et aux droits de
l’homme dans leur ensemble.
h) Amélioration Le management du risque est amé- Il convient que l’identification des risques aupa-
continue lioré en continu par l’apprentissage et ravant inconnus liés à l’utilisation de systèmes
l’expérience. d’IA soit prise en compte dans le processus
d’amélioration continue. Il convient que les
organismes engagés dans la conception, le déve-
loppement ou le déploiement de systèmes ou de
composants de systèmes d’IA, ou d’une combi-
naison de ces derniers, surveillent l’écosystème
d’IA eu égard aux réussites relatives à la perfor-
mance, aux lacunes et aux enseignements tirés,
et restent conscients des nouvelles conclusions
de recherche et techniques d’IA (opportunités
d’amélioration).
5 Cadre organisationnel
5.1 Généralités
La finalité du cadre organisationnel de management du risque est d’aider l’organisme à intégrer le
management du risque dans les activités et les fonctions significatives. Les recommandations données
dans l’ISO 31000:2018, 5.1, s’appliquent.
Le management du risque implique de réunir des informations pertinentes pour qu’un organisme
prenne des décisions et aborde le risque. Tandis que l’organe de gouvernance définit l’appétit global
pour le risque et les objectifs organisationnels, il délègue le processus de prise de décision relatif à
l’identification, à l’appréciation et au traitement du risque à la direction au sein de l’organisme.
[1]
L’ISO/IEC 38507 décrit des considérations additionnelles relatives à la gouvernance pour l’organisme
en ce qui concerne le développement, l’achat ou l’utilisation d’un système d’IA. De telles considérations
incluent les nouvelles opportunités, les modifications potentielles relatives à l’appétit pour le risque
ainsi que les nouvelles politiques de gouvernance pour garantir l’utilisation responsable de l’IA par
l’organisme. Elles peuvent être utilisées conjointement avec le processus de management du risque
décrit dans le présent document pour contribuer à guider l’intégration organisationnelle dynamique et
itérative décrite dans l’ISO 31000:2018, 5.2.
5.2 Leadership et engagement
Les recommandations données dans l’ISO 31000:2018, 5.2, s’appliquent.
Outre les recommandations fournies dans l’ISO 31000:201
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.