ISO 9241-960:2017

Ergonomics of human-system interaction - Part 960: Framework and guidance for gesture interactions

ISO 9241-960:2017 gives guidance on the selection or creation of the gestures to be used in a gesture interface. It addresses the usability of gestures and provides information on their design, the design process and relevant parameters that are to be considered. In addition, it provides guidance on how gestures should be documented. This document is concerned with gestures expressed by a human and not with the system response generated when users are performing these gestures. NOTE 1 Specific gestures are standardized within ISO/IEC 14754 and the ISO/IEC 30113 series. NOTE 2 Input devices such as tablets or spatial gesture recognition devices can capture gestures in 2D or 3D. All human gestures are 3D.

Ergonomie de l'interaction homme-système — Partie 960: Cadre et lignes directrices relatives aux interactions gestuelles

ISO 9241-960:2017 fournit des lignes directrices pour la sélection ou la création des gestes devant être utilisés dans une interface gestuelle. Il traite de l'utilisabilité des gestes et fournit des informations sur leur conception, le processus de conception et les paramètres pertinents à prendre en compte. En outre, il fournit des lignes directrices relatives à la manière dont il convient de documenter les gestes. Le présent document concerne les gestes effectués par un humain et non la réponse du système générée lorsque les utilisateurs effectuent ces gestes. NOTE 1 Des gestes spécifiques sont normalisés par l'ISO/IEC 14754 et la série de normes ISO/IEC 30113. NOTE 2 Les dispositifs d'entrée tels que les tablettes ou les dispositifs de reconnaissance spatiale de gestes peuvent capturer des gestes en 2D ou 3D. Tous les gestes humains sont en 3D.

General Information

• Status: Published
• Publication Date: 14-Sep-2017
• ICS: 13.180 - Ergonomics
• ICS: 35.180 - IT Terminal and other peripheral equipment
• Technical Committee: ISO/TC 159/SC 4 - Ergonomics of human-system interaction
• Drafting Committee: ISO/TC 159/SC 4/WG 9 - Tactile and haptic interaction
• Current Stage: 9093 - International Standard confirmed
• Start Date: 20-Dec-2022
• Completion Date: 13-Dec-2025

Relations

• Consolidates: ISO 17447-2:2015 - Road Vehicles - Glow-plugs with conical seating and their cylinder head housing - Part 2: Basic characteristics and dimensions for ceramic-sheath-type glow-plugs
• Effective Date: 06-Jun-2022

Overview

ISO 9241-960:2017 - part of the ISO 9241 series on the ergonomics of human–system interaction - provides a framework and practical guidance for the design, selection, evaluation and documentation of human gestures used in gesture interfaces. The standard focuses on gesture usability and the gesture definition process (not on the system’s internal response to gestures). It is applicable to tactile/haptic and spatial gesture interactions captured in 2D or 3D (noting that all human gestures are inherently 3D).

Key topics and technical requirements

ISO 9241-960 covers technical and ergonomic aspects that influence gesture interface quality, including:

• Gesture design process

  • Exploring the design space, identifying purposes, designing gestures and gesture commands
  • Organizing and iterating gesture sets
  • Evaluating gestures and documenting outcomes

• Ergonomics and device considerations

  • Ergonomic constraints and features of human movement
  • Device capabilities and constraints for tablets, spatial gesture sensors, wearable devices and tactile/haptic systems

• Gesture features and parameters

  • Mapping gesture commands to functions and structuring gesture sets
  • Stroke gestures, nested gestures and gesture sequences
  • Timing, speed, tolerance and the effect of transitions and overlapping gestures

• Feedback and feedforward

  • Guidance on feedback for stroke gestures, continuous feedback, and feedforward information to support correct execution

• Documentation

  • Naming, visualizing and textually documenting individual gestures and gesture sets for reproducibility and cross-device comparison

• Scope limits

  • Focuses on gestures expressed by people (not on system-side responses)
  • References normative concepts from ISO 9241-910 and links to gesture-specific standards

Practical applications

ISO 9241-960 is directly applicable to the design and evaluation of gesture interfaces in:

• Tablets and mobile touch interfaces
• Spatial gesture recognition systems (e.g., camera or depth-sensor based)
• Wearable and haptic devices (instrumented gloves, tactile arrays)
• Assistive technologies and special-purpose interactive environments

Using this guidance improves gesture usability, consistency, discriminability and documentation for implementation and testing across platforms.

Who should use this standard

• UX/HCI designers and interaction designers creating gesture-based controls
• Product managers and system architects defining gesture requirements
• Hardware and sensor manufacturers designing capture systems
• Usability researchers and evaluators testing gesture interactions
• Accessibility specialists and standards implementers

Related standards

• ISO 9241-910 (framework for tactile and haptic interaction)
• ISO 9241 series (ergonomics of human–system interaction)
• ISO/IEC 14754 and the ISO/IEC 30113 series (standardized specific gestures)
• ISO/IEC 14574 and ISO 9241-171 (referenced terminology and interfaces)

Keywords: ISO 9241-960, gesture interactions, gesture interface, gesture design, gesture documentation, ergonomics of human-system interaction, gesture usability, tactile haptic interaction.

Standards Content (Sample)

INTERNATIONAL ISO
STANDARD 9241-960
First edition
2017-09
Ergonomics of human-system
interaction —
Part 960:
Framework and guidance for gesture
interactions
Ergonomie de l'interaction homme-système —
Partie 960: Cadre et lignes directrices relatives aux interactions
gestuelles
Reference number
©
ISO 2017
© ISO 2017, Published in Switzerland
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. [phone]
Fax [phone]
[e-mail]
www.iso.org
ii © ISO 2017 – All rights reserved

Contents Page
Foreword .v
Introduction .vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 General . 2
4.1 Need for a standard on gesture usability . 2
4.2 Usage. 2
4.3 Intentional and unintentional gestures . 3
4.4 Matching gestures and functionality . 3
5 Ergonomics of gestures. 4
5.1 Ergonomic constraints and features . 4
5.2 Device capabilities . 4
5.3 Device constraints . 4
6 Guidance in defining gestures . 5
6.1 Process for gesture definition . 5
6.1.1 General. 5
6.1.2 Exploring the design space . 5
6.1.3 Identifying purposes . 6
6.1.4 Designing gestures and gesture commands . 7
6.1.5 Organizing gesture sets . 7
6.1.6 Evaluating gestures . 7
6.1.7 Iterating the gesture interface. 8
6.1.8 Documenting gestures . 8
6.1.9 Explaining gestures . 8
6.2 Features of gestures . 8
6.2.1 Mapping of gesture commands to functions . 8
6.2.2 Nested gestures . 8
6.2.3 Feedback for stroke gestures . 9
6.2.4 Continuous feedback for gesture commands . 9
6.2.5 Use of feedforward information for stroke gestures . 9
6.2.6 Parameters of gesture commands .10
6.3 Timing and speed .10
6.3.1 Recognition of a gesture at different speeds.10
6.3.2 Use of the speed of a gesture .10
6.4 Tolerance of gesture interface .10
6.5 Sequences of gestures .10
6.5.1 Beginning a gesture .10
6.5.2 Feedback on gesture initiation .10
6.5.3 Completing the purpose of a gesture .10
6.5.4 Feedback on gesture completion .10
6.5.5 The need for transition between gestures .11
6.5.6 The effect of transitions between gestures .11
6.5.7 Overlapping gestures .11
6.5.8 State changes . . .11
6.6 Gesture sets .11
6.6.1 General.11
6.6.2 Purpose of a set of gestures .11
6.6.3 Consistency among gestures .11
6.6.4 Discriminability of gestures .12
6.6.5 Subsets within a gesture set .12
6.6.6 Alternative subsets within a gesture set .12
6.7 Documentation of gestures .12
6.7.1 Documentation .12
6.7.2 Naming a gesture .13
6.7.3 Visualization of gestures .13
6.7.4 Textual documentation of a gesture .13
6.7.5 Describing the purpose of the gesture .14
6.7.6 Documenting a gesture set .14
6.7.7 Documenting gestures with common movements .14
Annex A (informative) When to use applications of gestures and gesture commands .15
Annex B (informative) Taxonomies for documentation of gestures .21
Bibliography .23
iv © ISO 2017 – All rights reserved

Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO's adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see the following
URL: www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 159, Ergonomics, Subcommittee SC 4,
Ergonomics of human-system interaction.
A list of all parts in the ISO 9241 series can be found on the ISO website.
Introduction
Tactile and haptic interactions are becoming increasingly important as candidate interaction modalities
in computer systems such as special purpose computing environments (e.g. tablets), wearable
technology (e.g. tactile arrays, instrumented gloves), and assistive technologies.
Tactile and haptic devices are being developed in university and industrial laboratories in many
countries. Both the developer and the prospective purchaser of such devices need a means of making
comparisons between competing devices and common design of interactions.
This document focuses on gestures and identification of gesture sets as a specific type of tactile/haptic
interaction. It explains how to describe their features, and what factors to take into account when
defining gestures.
ISO 9241-910 provides a common set of terms, definitions and descriptions of the various concepts
central to designing and using tactile/haptic interactions. It also provides an overview of the range of
tactile/haptic applications, objects, attributes, and interactions.
ISO 9241-920 provides basic guidance (including references to related standards) in the design of
tactile/haptic interactions.
ISO 9241-940 (under preparation) is to provide ways of evaluating tactile/haptic interactions for various
aspects of interaction quality (such as haptic device attributes, logical space design and usability).
vi © ISO 2017 – All rights reserved

INTERNATIONAL STANDARD ISO 9241-960:2017(E)
Ergonomics of human-system interaction —
Part 960:
Framework and guidance for gesture interactions
1 Scope
This document gives guidance on the selection or creation of the gestures to be used in a gesture
interface. It addresses the usability of gestures and provides information on their design, the design
process and relevant parameters that are to be considered. In addition, it provides guidance on how
gestures should be documented. This document is concerned with gestures expressed by a human and
not with the system response generated when users are performing these gestures.
NOTE 1 Specific gestures are standardized within ISO/IEC 14754 and the ISO/IEC 30113 series.
NOTE 2 Input devices such as tablets or spatial gesture recognition devices can capture gestures in 2D or 3D.
All human gestures are 3D.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 9241-910, Ergonomics of human-system interaction — Part 910: Framework for tactile and haptic
interaction
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 9241-910 and the
following apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at http://www.iso.org/obp
— IEC Electropedia: available at http://www.electropedia.org/
3.1
feedforward gesture information
information provided by the gesture interface (3.4) to maintain consistency of a body part’s movement
with predicted single or multiple gesture trajectories
EXAMPLE A gesture might be visualized through inking the trajectory on the display. Several choices of
possible future trajectories can be inked, thereby helping the user to complete the gesture.
Note 1 to entry: Feedforward gestural information improves self-explanation of the gestural interface.
3.2
gesture
movement or posture, of the whole body or parts of the body
Note 1 to entry: Operation of a physical keyboard is not addressed in this document.
[SOURCE: ISO/IEC 30113-1, 3.1]
3.3
gesture command
instruction to the system resulting from a gesture input by the user, e.g. select, move, delete
[SOURCE: ISO/IEC 14574:1999, 4.5]
3.4
gesture interface
user interface that provides information and controls for a user to accomplish specific tasks with the
interactive system by his/her gestures (3.2)
[SOURCE: ISO 9241-171:2008, 3.29 — Modified]
3.5
gesture set
grouping of gestures and their mapping to gesture commands (3.3)
EXAMPLE The conductor of a virtual orchestra uses a gesture set for a music performance.
3.6
intentional gesture
movement of the body or parts of the body to achieve a purpose
3.7
stroke gesture
intentional gesture (3.6) consisting of a movement trajectory of any part of the body
Note 1 to entry: As with other gestures, the definition refers to the movement itself, rather than its effect.
Different gesture commands, including direct manipulation, could be defined for a stroke gesture.
Note 2 to entry: The gesture command is not dependent on the extent of the movement trajectory.
Note 3 to entry: Pressure can be used as a parameter of the gesture.
3.8
direct manipulation
dialogue technique by which the user has the impression of acting directly on objects on the screen; for
example by pointing at them, moving them and/or changing their physical characteristics (or values)
via the use of an input device
[SOURCE: ISO 9241-16:1999, 3.6]
4 General
4.1 Need for a standard on gesture usability
When pointing devices such as the mouse were developed in the 1960s, movement of the human hand
became part of interactive systems. It took until the mid-1980s for the mouse to become standard in the
office context. With the advent of multi-touch displays and 3D cameras, gestures appear to be a highly
usable alternative to a tiny keyboard on a mobile device. The wide use of gestural interfaces makes it
important to consider their usability.
4.2 Usage
Gestures may accompany language in order to strengthen what has been said. Such gestures are
described in linguistics as “deixis” (pronounced “dīk-sis” or “dāk-sis”). The term “deixis” refers to
words such as in “Put that there” which require contextual information provided by pointing in order
to be fully understood. Gestures may convey their own meaning inherent to the actual movement of
some body part and independent of some tangible physical object such as a pen or mouse. When using
a pointing device while gesturing, the information and communication technology (ICT) system often
2 © ISO 2017 – All rights reserved

restricts the movements because of limitations in the ability of the movement-tracking device. Gestures,
like language, are culture-specific and misunderstandings may arise from inappropriate use of them.
4.3 Intentional and unintentional gestures
In designing gesture sets, emphasis is often placed on adopting gestures that are intentional or
unintentional with respect to the system. A typical example of an intentional gesture is pointing at
an object in order to select it, or waving your hand in front of a door to open it. Unintentional gestures
in this context are gestures made for some other purpose (e.g. walking towards an automatic door,
sitting down in the driver seat of a car), or gestures made subconsciously (e.g. body language). Such
unintentional learnable gestures are particularly suited to general situations where the user might not
be trained, when the user must learn the system quickly, or when the user must use the system under
conditions of stress (e.g. time pressure).
Intentionality in gestures could also enable increased discriminability between them, thereby reducing
inadvertent activation. For example, when it is desired not to activate an automatic door, many people
stand still and avoid gesturing in front of the doors, knowing they are prone to open unintentionally.
4.4 Matching gestures and functionality
A gesture is the result of the user’s intention to create a message for a recipient or computer while
mapping it to the movement of the body or parts of the body, typically the upper limbs. Figure 1
illustrates variations of the intention applicable when gestures are expressed to an ICT system. The
user on the left is interacting with a gesture interface on the right, using a selection of gestures from
a gesture set. The user has an intention to transmit, and can make use of posture and movement.
His choice of gestures may be intentional, or unintentional, depending on the situation. The gesture
interface could provide feedback on the system's interpretation of the gesture, or even feedforward
information to aid the user in completing the gesture (see 6.2 for further guidance on gesture features).
There is a continuum between interpreting gestures when controlling physical artefacts, such as
directly manipulating a slider, and interpreting a gesture as some abstract symbol. Another continuum
of mappings exists between matching gesture sets with the functionality of an interactive system
overall and its context of use.
Identification of unintentional gestures is often avoided by requiring the user to signal the start and
end of a gesture explicitly through some technical approach such as touching/releasing a screen with
the fingers. All such touches will be interpreted as intentional gestures.
Mappings should take existing manual operations such as handwriting into account. Simple handwriting
might be applicable to gestural interpretation but, typically, handwritten language is far more complex
than a gesture vocabulary.
The matching process is applicable to user-centred design principles and, therefore, evaluation
methods can be applied. ISO 9241-940 provides guidelines on how to evaluate gestures to be used with
tactile/haptic devices. Some user groups can have special needs. In addressing them, a special set of
gestures might be required, or completely different input alternatives might be needed.
EXAMPLE 1 A multi-touch gesture consisting of circulating thumb and forefinger around each other while
touching a screen can be interpreted as a gesture command to change the orientation of an image. However, it
can also be seen as the direct manipulation of the image's orientation if its presentation is updated continuously.
EXAMPLE 2 Switching between intentional and unintentional gestures occurs commonly on haptic devices.
Blind people read braille with a finger while touching a braille display. At the same time such finger movements
can express some intentional or unintentional gesture, if the braille display is touch sensitive. Technically,
disambiguation can be based on the position or speed of movement of the finger over the tactile display. On one
hand the reader can read braille being not aware of any such monitoring, on the other hand the intention can be
formed to turn reading movements into gestural input.
NOTE The overall gestural interaction between the user and the ICT system is not discussed here and
requires further guidance.
Figure 1 — Overview of gestures made by a user for a gesture interface
5 Ergonomics of gestures
5.1 Ergonomic constraints and features
Gestures that are performed repetitively should not create unnecessary fatigue in the body parts which
are to be posed or moved during the gesture.
a) Users should be involved in determining the need for such repetitions.
b) If repetitive gesturing is unavoidable, hazard identification, risk estimation, risk evaluation and
risk reduction should be performed in order to avoid musculoskeletal disorders.
NOTE 1 On vertically mounted touch-screens the "gorilla-arm-syndrome" can be observed after long periods
of gestural input. The gorilla-arm-symptom refers to fatigue in placing and moving the unsupported arms in
front of the body.
NOTE 2 Children and those with reduced dexterity and joint mobility might produce less pronounced gestures.
5.2 Device capabilities
A device for receiving gestures should have the capability of detecting the trajectory of a stroke or a pose
within all conditions imposed by the environment. The gesture set is defined for the entire context of use.
NOTE A single touch or multiple touches at the same time are examples of poses to be recognized by all
devices capable of recognizing gestures.
5.3 Device constraints
A device for receiving gestures can restrict the trajectory or pose that a human intends to form. The
user should be made aware of these restrictions.
NOTE 1 Digitizing pens can be designed to write when the tip approaches a surface and delete if the opposite
end of the pen is used (eraser end). The reference point for pen gestures is either the tip of the pen or the eraser.
The user can be made aware of the spatial volume within which the gesture could be performed by designing the
grip of a pen symmetrically or asymmetrically.
4 © ISO 2017 – All rights reserved

NOTE 2 When using a camera based system for 3D gesture recognition, the user benefits from being made
aware of the area the camera is able to cover.
6 Guidance in defining gestures
6.1 Process for gesture definition
6.1.1 General
The process for gesture definition shall follow the guidance provided by ISO 9241-210 and should
consider the principles outlined in ISO 9241-110 where appropriate.
Gestures have particular benefits and drawbacks with respect to the seven ergonomic principles
expressed in ISO 9241-110 and which are illustrated in the following.
a) Gestural input could be the only style of interaction with a system suitable for completing tasks
(the primary task).
b) Gestural interfaces can support self-descriptiveness by, for example, feedforward of gestural
information, but they often require memorization.
c) Gestures should be suitable for learning and may become procedural knowledge. However, gestures
tend to be forgotten if not used regularly. This might be addressed by documentation of gesture
sets, or by a training sequence whereby gestures might be learned with the system in “safe” mode.
d) Controllability of gestural interaction is often limited, since an aborted gesture is an incomplete
gesture and hence no gesture command can be determined. A gesture set may be combined with
accompanying feedback supporting gesture formation in order to improve the usability of the
interaction.
e) Consistency of gestures could depend on the context of use and the device when gestures are
being used. Consistency can be improved if pre-existing gestures can be utilized in designing an
interactive system.
f) Gestures are suitable for individualization, for example, by accepting user-defined gestures
and by provision of mechanisms to change the mapping of gestures and gesture commands.
Individualization can also be achieved by designing several gestures for the same purpose.
g) In order to achieve error tolerance, users should be made aware of the device's ability to process
intentional gestures.
6.1.2 Exploring the design space
6.1.2.1 Explore design space generally
The potentially available design alternatives, including the design rationale, should be explored for the
intended users and contexts of use.
6.1.2.2 Widely explore human movements
a) The investigation should include not only the hands, but also limbs, and full body movements as
well as head and eye movements and other facial expressions.
b) The gesture interface typically needs to be useable for a wide range of users. Alternative body parts
for gestures, range of motion, tolerance of tremors, ability for simultaneous action, and ability to
walk should be considered for better accessibility.
EXAMPLE 1 Often, the forefinger of the dominant hand is considered for pointing. However, the use of thumb
or forefinger of the non-dominant part might be used for pointing equally well. In some cultures, pointing with
the chin is common and natural.
EXAMPLE 2 To repeat sound information, a pointing gesture (click on a button) can be applied, but shaking a
hand-held device might be used instead.
EXAMPLE 3 To get information about a location, you might click on a point of interest in a map, while an
alternative way to request the same information is to walk to the location in question.
EXAMPLE 4 A drawing can be generated with a hand-held pen (hand gestures) while a person without hands
may use their foot to accomplish the same task.
EXAMPLE 5 On-screen gestures designed for two-handed use may be performed in a one-handed manner by a
person holding an object in the other hand.
6.1.2.3 Explore single and synchronized simultaneous movements
Exploration of gestures should consider not only movement of single body parts but also synchronized
coordinated movements of multiple body parts.
EXAMPLE 1 A multitouch gesture, such as dragging fingers together, may be more suitable for grouping than
dragging items individually using single touch.
EXAMPLE 2 A multitouch gesture such as pointing by the forefinger and tapping by another finger can allow
blind people to explore a mobile device by spoken feedback and to subsequently select an item.
EXAMPLE 3 Using two hands (e.g. clapping) can be an intuitive gesture of command (e.g. attention).
6.1.2.4 Explore simultaneous and sequential movements
Exploration of gestures should consider both simultaneous and sequential movements.
EXAMPLE A user communicating with an assistive robot may first point to an object of interest, then gesture
for the robot to “fetch” the object.
6.1.2.5 Explore movements made by multiple users
a) The design should include consideration of gestures performed by multiple users independently as
well as gestures formed collaboratively by two or more users.
b) Social acceptance of gestures should be considered. Gestures performed in the personal space
might be considered inappropriate.
EXAMPLE 1 A handshake can be used in a gestural interface between a user and a system that is aware of
social signs or formalities.
EXAMPLE 2 Social robots can be programmed to perceive, interpret, and return a head-bowing gesture.
6.1.3 Identifying purposes
Developers shall identify the purposes for which humans need to express gestures in relation to the
ICT system.
EXAMPLE The volume of a TV might be changed by a gesture; other functions such as channel changing,
muting or initiating recording could be considered.
6 © ISO 2017 – All rights reserved

6.1.4 Designing gestures and gesture commands
6.1.4.1 Developer-defined gestures
Developers should identify at least one gesture for each gesture command based on the following
sources of gestures, in order of descending priority:
a) pre-existing gesture in the culture;
b) internationally standardized gestures;
c) gestures suggested by one or many users;
d) gestures suggested by the context of use;
e) gestures from other contexts of use;
f) gestures typical to the devices being used;
g) gestures suggested within a design team.
People sharing the same culture or social setting often share the same gestures. When designing a
gesture set, these pre-existing gestures should be identified and considered for inclusion in a gesture set.
NOTE Gestures may serve different purposes in completing a task depending on different social or cultural
contexts. Most gestures do not have invariable or universal intention.
6.1.4.2 User-defined gestures
User-defined gestures can be used as alternatives for pre-defined gesture commands or as additional
gestures for other outcomes/actions/functions.
User-defined gesture sets should be available over a wide range of contexts of use and across devices
when appropriate.
NOTE 1 User-defined gestures support accessibility in that they allow users to tailor the gestures to their
abilities and needs.
NOTE 2 Some users might want to modify the range of movements to be considered within a gesture set.
6.1.4.3 Identify variability of gestures
The error tolerance of the gesture movement should be determined and shall be commensurate with 6.6.4.
EXAMPLE A database of gestures recorded from users in a particular context might be analysed to identify
the similarity of each gesture. Variability is often related to differences in speed of movement, size, orientation,
and the body parts involved.
6.1.5 Organizing gesture sets
Gestures may be organized into a gesture set according to guidance in 6.6.
6.1.6 Evaluating gestures
Developer-defined gestures shall be evaluated to ensure they meet the needs of the intended users
within the intended contexts of use.
NOTE ISO 9241-940 provides further information on evaluation of tactile/haptic interaction.
EXAMPLE 1 A gesture is effective if users are able to identify the purpose of the gesture.
EXAMPLE 2 When developing new stroke gestures, low-fidelity prototyping, such as painting gestures by
fingers, might be utilized to identify the gestures.
EXAMPLE 3 Video sketching allows recording a mock-up of gesturing together with spoken commands, such
as the explanation “next page”.
EXAMPLE 4 A "Wizard of Oz" study allows mocking up of gesturing together with the system response
mimicked by a human.
6.1.7 Iterating the gesture interface
The design process of the gesture interface should be iterative according to ISO 9241-210, taking both
the interactive system and its context of use into account.
6.1.8 Documenting gestures
Documentation of gestures should be suitable for the intended users and contexts of use (see 6.7).
6.1.9 Explaining gestures
Gestures and gesture commands shall be described in documentation available to the user. This
documentation should be offered at the initialization of the gestural interface.
Training users in gestures
a) Users should be able to explore gestures without adversely affecting system content.
b) Users should be able to explore the possible trajectories or poses involved in a gesture.
NOTE A training mode is a useful tool to allow the user to explore the gestures available in a system.
6.2 Features of gestures
6.2.1 Mapping of gesture commands to functions
Designers of gestures should ensure that the mapping of the gesture command to a function is consistent
with user expectations.
NOTE 1 Multiple gestures may be assigned to the same function.
NOTE 2 The same gesture may have different purposes in different contexts within the application.
NOTE 3 A gesture might modify the application context for one or more following gestures.
EXAMPLE 1 A pointing gesture may mean “bring that object” or “go there” depending on context or modality.
EXAMPLE 2 A single stroke gesture could be used to change pages or to move an object, depending on the
application context.
6.2.2 Nested gestures
In pursuing a secondary task, specific gestures might be performed while a primary task is underway
(or halted).
NOTE This might lead to micro gestures if the palm is already grasping some object and only fingers can
be moved.
EXAMPLE 1 In the primary task, a user might be touching a virtual globe using a finger while performing eye
gestures to control zooming in a secondary task.
EXAMPLE 2 When controlling, for example, a steering wheel, the arm/hand combination might already be
creating some force on the grip while a finger on the same hand creates gestures for choosing options in a menu.
8 © ISO 2017 – All rights reserved

EXAMPLE 3 In accessibility, reading braille may be combined with gestures to end reading movements and
initiate spoken feedback. In this example, the hands may even change their role in pursuing the primary and
secondary tasks.
EXAMPLE 4 In sign language, hand signs are combined with facial expression in order to disambiguate the
hand signs.
EXAMPLE 5 A conductor might simultaneously use gestures to continually communicate tempo and
coordinate introduction or emphasis of particular instruments.
6.2.3 Feedback for stroke gestures
If feedback is generated for a gesture, the user should be made aware of strokes not recognized as part
of a gesture.
NOTE 1 The user might not need feedback from the application, such as from visualizing its trajectory, if
kinaesthetic feedback is sufficient.
NOTE 2 Typically up to 95 % of stroke gestures are recognized correctly in existing systems.
EXAMPLE A gesture might accompany other input methods such as speech, such that erroneous recognition
of the gesture command is reduced by combining the processing of speech with the gesture.
6.2.4 Continuous feedback for gesture commands
Continuous gesturing should not require interruptions or pauses in the movement in order to gain
feedback.
EXAMPLE Conducting a virtual orchestra with one’s hands is a continuous sequence of command gestures.
NOTE Audio response to a symbolic gesture is typically determined within 100 ms. Other modalities might
require faster feedback.
6.2.5 Use of feedforward information for stroke gestures
When designing feedback for stroke gestures, information should be considered from the feedforward
feature. Figure 2 a) shows inking for a stroke gesture. A feedforward response speeds up the completion
of a gesture by anticipating the next part of the gesture [see Figures 2 b) and c)]. In addition, once the
gesture interface identifies a gesture command, the user should not be required to continue the gesture
to the end of the movement.
a) b) c)
Figure 2 — Stroke gesture with feedforward information
NOTE Users would be able to explore alternatives when receiving feedforward information while forming a
gesture.
6.2.6 Parameters of gesture commands
Variations of gestures can be used as modifications of a gesture command. Users should be able to
identify such parameters.
EXAMPLE 1 The direction of drawing of a circle might zoom the scale of a map in or out. The user could identify
the two variants of circle gestures as “right” and “left”, or “clockwise” and “counter-clockwise”, or “zoom-in” and
“zoom-out”.
EXAMPLE 2 Tapping the hands against the thighs could be used to communicate “come here”, tapping them
several times may signify “come quickly” (as in “come here now!”).
6.3 Timing and speed
6.3.1 Recognition of a gesture at different speeds
A device should be able to recognize the same gesture made at different speeds.
6.3.2 Use of the speed of a gesture
The duration of a gesture should not affect its functionality, unless speed is included as a parameter of
the gesture.
NOTE Gestures having different dynamic or kinematic features can invoke different functions.
EXAMPLE There is a speed difference between a flick and a stroke, as a flick might involve rotating the hand
along the arm's axis while a stroke only bends the elbow in order to move a finger. A flick on a panel in a computer
display could cause it to fill the screen, while a stroke of the panel could merely move it about the screen.
6.4 Tolerance of gesture interface
The gesture interface should be designed to support a sufficient variety of movements while being able
to distinguish between intentional and unintentional gestures.
NOTE 1 Training could change the speed of gestural input and/or decrease the size of the trajectory.
NOTE 2 6.6.4 also identifies the need for discriminability.
6.5 Sequences of gestures
6.5.1 Beginning a gesture
Users should be able to indicate the beginning of an intentional gesture clearly, so that the user is able
to avoid the unintentional start of some functionality of the interactive system.
6.5.2 Feedback on gesture initiation
The ICT system’s ability to interpret gesture commands should be clearly indicated to the user.
6.5.3 Completing the purpose of a gesture
The user should be made aware of the completion of the gesture command.
6.5.4 Feedback on gesture completion
Feedback for gestures may be ongoing during the gesture’s movement.
10 © ISO 2017 – All rights reserved

6.5.5 The need for transition between gestures
If the device for gestural input needs to be reset to its initial state for further gestural input, the user
should be made aware of any extra movements needed.
6.5.6 The effect of transitions between gestures
Extra movements that form a transition between gestures should be considered.
EXAMPLE 1 When combining continuous movements to form two stroke gestures, such as a circle followed by
a swipe, a circular movement might be continued until the proper starting point for the second stroke is reached.
EXAMPLE 2 When using an instrumented glove, a simple hand posture or button-press may be used to
indicate the beginning or end of a gesture.
6.5.7 Overlapping gestures
Gestures can be overlapping if multiple body parts are involved in the process of performing them.
EXAMPLE Arm movements may indicate “follow me” with one arm, while another gesture could indicate
distance of follow (near or far).
6.5.8 State changes
Where changing states impact the functionality of a gesture, the system should notify the user that the
state has changed and provide the user with a means of identifying the current state of the system.
NOTE It is important this information is made available in the same modality as other feedback for gestures.
EXAMPLE 1 An alarm clock might be turned off by a gesture only after the alarm has been triggered. An
ongoing alarm signals the specific mode of this device and at the same time readiness for gesture processing.
EXAMPLE 2 A gesture recognition system provides an alert if the source of power (e.g. battery) is low.
6.6 Gesture sets
6.6.1 General
Gestures can be identified by
...

NORME ISO
INTERNATIONALE 9241-960
Première édition
2017-09
Ergonomie de l'interaction homme-
système —
Partie 960:
Cadre et lignes directrices relatives
aux interactions gestuelles
Ergonomics of human-system interaction —
Part 960: Framework and guidance for gesture interactions
Numéro de référence
©
ISO 2017
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2017, Publié en Suisse
Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur
l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à
l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. [phone]
Fax [phone]
[e-mail]
www.iso.org
ii © ISO 2017 – Tous droits réservés

Sommaire Page
Avant-propos .v
Introduction .vi
1 Domaine d'application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Généralités . 2
4.1 Nécessité d'une norme sur l'utilisabilité des gestes . 2
4.2 Utilisation . 3
4.3 Gestes volontaires et involontaires . 3
4.4 Correspondance entre gestes et fonctionnalité . 3
5 Ergonomie des gestes . 4
5.1 Contraintes et caractéristiques ergonomiques . 4
5.2 Capacités du dispositif . 5
5.3 Contraintes liées au dispositif . 5
6 Lignes directrices relatives à la définition des gestes . 5
6.1 Processus de définition des gestes . 5
6.1.1 Généralités . 5
6.1.2 Exploration de l’espace de conception . 6
6.1.3 Identification des finalités . 7
6.1.4 Conception des gestes et des commandes gestuelles . 7
6.1.5 Organisation des ensembles de gestes . 8
6.1.6 Évaluation des gestes . 8
6.1.7 Itération de l’interface gestuelle . 8
6.1.8 Documentation des gestes . 8
6.1.9 Explication des gestes . 8
6.2 Caractéristiques des gestes . 9
6.2.1 Mise en correspondance des commandes gestuelles avec les fonctions . 9
6.2.2 Gestes imbriqués . 9
6.2.3 Feedback pour les gestes élémentaires . 9
6.2.4 Feedback continu pour les commandes gestuelles .10
6.2.5 Utilisation d'informations prédictives pour les gestes élémentaires .10
6.2.6 Paramètres des commandes gestuelles .10
6.3 Synchronisation et vitesse .10
6.3.1 Reconnaissance d'un geste à différentes vitesses .10
6.3.2 Utilisation de la vitesse d’un geste .11
6.4 Tolérance de l’interface gestuelle .11
6.5 Séquences de gestes .11
6.5.1 Début d’exécution d’un geste .11
6.5.2 Feedback au déclenchement du geste .11
6.5.3 Réalisation de la finalité d’un geste .11
6.5.4 Feedback à l'exécution du geste.11
6.5.5 Besoin de transition entre gestes .11
6.5.6 Effet des transitions entre gestes .11
6.5.7 Chevauchement de gestes .12
6.5.8 Changements d’état .12
6.6 Ensembles de gestes .12
6.6.1 Généralités .12
6.6.2 Finalité d’un ensemble de gestes .12
6.6.3 Cohérence entre les gestes .12
6.6.4 Discriminabilité des gestes .12
6.6.5 Sous-ensembles dans un ensemble de gestes .13
6.6.6 Sous-ensembles alternatifs dans un ensemble de gestes .13
6.7 Documentation des gestes .13
6.7.1 Documentation .13
6.7.2 Désignation d’un geste . .14
6.7.3 Visualisation des gestes .14
6.7.4 Documentation textuelle d'un geste .14
6.7.5 Description de la finalité du geste.15
6.7.6 Documentation d’un ensemble de gestes .15
6.7.7 Documentation des gestes ayant des mouvements communs .15
Annexe A (informative) Quand utiliser des applications de gestes et des commandes gestuelles .16
Annexe B (informative) Taxinomies relatives à la documentation des gestes .23
Bibliographie .25
iv © ISO 2017 – Tous droits réservés

Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes
nationaux de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www.
iso.org/directives).
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l'élaboration du document sont indiqués dans l'Introduction et/ou dans la liste des déclarations de
brevets reçues par l'ISO (voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion
de l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir le lien suivant: www.iso.org/iso/fr/avant-propos.html
Le comité chargé de l'élaboration du présent document est l'ISO/TC 159 Ergonomie, sous-comité SC 4,
Ergonomie de l’interaction homme-système.
Une liste de toutes les parties de la série de normes ISO 9241 peut être consultée sur le site de l’ISO.
Introduction
Les interactions tactiles et haptiques deviennent de plus en plus importantes en tant que modalités
d’interaction possibles dans les systèmes informatiques tels que les environnements informatiques
spécifiques (par exemple, tablettes), la technologie portable (par exemple matrices tactiles, gants
instrumentés) et les technologies d’aide.
Des dispositifs tactiles et haptiques sont en cours de développement dans les laboratoires universitaires
et industriels dans de nombreux pays. Il est nécessaire que le développeur et l'acquéreur éventuel de
tels dispositifs disposent d'un moyen leur permettant de comparer des dispositifs concurrents et la
conception commune des interactions.
Le présent document concerne les gestes et l'identification d'ensembles de gestes comme un type
spécifique d'interaction tactile/haptique. Il explique la manière dont leurs caractéristiques doivent être
décrites ainsi que les facteurs à prendre en compte lors de la définition des gestes.
L'ISO 9241-910 fournit un ensemble commun de termes, de définitions et de descriptions des différents
concepts de base pour la conception et l'utilisation d'interactions tactiles/haptiques. Elle donne
également un aperçu de la gamme des applications, des objets, des attributs et des interactions
tactiles/haptiques.
L'ISO 9241-920 fournit des lignes directrices fondamentales (y compris des références aux normes
pertinentes) pour la conception d'interactions tactiles/haptiques.
L'ISO 9241-940 (en cours d'élaboration) doit fournir des méthodes d'évaluation des interactions
tactiles/haptiques pour différents aspects de qualité de l'interaction (tels que les attributs des
dispositifs haptiques, la conception d'un espace logique et l'utilisabilité).
vi © ISO 2017 – Tous droits réservés

NORME INTERNATIONALE ISO 9241-960:2017(F)
Ergonomie de l'interaction homme-système —
Partie 960:
Cadre et lignes directrices relatives aux interactions
gestuelles
1 Domaine d'application
Le présent document fournit des lignes directrices pour la sélection ou la création des gestes devant
être utilisés dans une interface gestuelle. Il traite de l'utilisabilité des gestes et fournit des informations
sur leur conception, le processus de conception et les paramètres pertinents à prendre en compte. En
outre, il fournit des lignes directrices relatives à la manière dont il convient de documenter les gestes.
Le présent document concerne les gestes effectués par un humain et non la réponse du système générée
lorsque les utilisateurs effectuent ces gestes.
NOTE 1 Des gestes spécifiques sont normalisés par l'ISO/IEC 14754 et la série de normes ISO/IEC 30113.
NOTE 2 Les dispositifs d'entrée tels que les tablettes ou les dispositifs de reconnaissance spatiale de gestes
peuvent capturer des gestes en 2D ou 3D. Tous les gestes humains sont en 3D.
2 Références normatives
Les documents suivants cités dans le texte constituent, pour tout ou partie de leur contenu, des
exigences du présent document. Pour les références datées, seule l'édition citée s'applique. Pour les
références non datées, la dernière édition du document de référence s'applique (y compris les éventuels
amendements).
ISO 9241-910, Ergonomie de l’interaction homme-système — Partie 910: Cadre pour les interactions tactiles
et haptiques
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 9241-910 ainsi que
les suivants s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse http://www.iso.org/obp
— IEC Electropedia: disponible à l’adresse http://www.electropedia.org/
3.1
information gestuelle prédictive
information fournie par l'interface gestuelle (3.4) pour maintenir la cohérence entre le mouvement d'une
partie du corps et les trajectoires prévues d'un seul ou de plusieurs gestes
EXEMPLE Un geste peut être visualisé en traçant la trajectoire sur l'écran. Plusieurs choix de trajectoires
futures possibles peuvent être tracés, aidant ainsi l'utilisateur à terminer le geste.
Note 1 à l'article: L'information gestuelle prédictive améliore le caractère auto-descriptif de l’interface gestuelle.
3.2
geste
mouvement ou posture du corps entier ou de parties du corps
Note 1 à l'article: L'utilisation d'un clavier physique n'est pas traitée dans le présent document.
[SOURCE: ISO/IEC 30113-1, 3.1]
3.3
commande gestuelle
instruction transmise au système par une entrée gestuelle de l'utilisateur, par exemple sélectionner,
déplacer, supprimer
[SOURCE: ISO/IEC 14574:1999, 4.5]
3.4
interface gestuelle
interface utilisateur qui fournit les informations et les commandes nécessaires à l'utilisateur pour
accomplir des tâches spécifiques avec le système interactif par ses gestes (3.2)
[SOURCE: ISO 9241-171:2008, 3.29 Modifiée]
3.5
ensemble de gestes
regroupement de gestes et leur mise en correspondance avec des commandes gestuelles (3.3)
EXEMPLE Le chef d'un orchestre virtuel utilise un ensemble de gestes pour une performance musicale.
3.6
geste volontaire
mouvement du corps ou de parties du corps pour atteindre un objectif
3.7
geste élémentaire
geste volontaire (3.6) consistant en une trajectoire de mouvement de toute partie du corps
Note 1 à l'article: Comme pour les autres gestes, la définition se rapporte au mouvement lui-même plutôt qu'à son
effet. Différentes commandes gestuelles, y compris la manipulation directe, peuvent être définies pour un geste
élémentaire.
Note 2 à l'article: La commande gestuelle ne dépend pas de l'étendue de la trajectoire du mouvement.
Note 3 à l'article: La pression peut être utilisée comme paramètre du geste.
3.8
manipulation directe
technique de dialogue par laquelle l'utilisateur a l'impression d'agir directement sur les objets à l'écran;
par exemple en les pointant, en les déplaçant et/ou en modifiant leurs caractéristiques physiques (ou
valeurs) à l'aide d'un dispositif d'entrée
[SOURCE: ISO 9241-16:1999, 3.6]
4 Généralités
4.1 Nécessité d'une norme sur l'utilisabilité des gestes
Lorsque les dispositifs de pointage, tels que la souris, ont été développés dans les années 1960, le
mouvement de la main humaine a été intégré aux systèmes interactifs. Il a fallu attendre le milieu des
années 1980 pour que la souris devienne usuelle dans le contexte de la bureautique. Avec l'apparition des
écrans tactiles multipoints et des caméras 3D, les gestes semblent être une alternative très conviviale
2 © ISO 2017 – Tous droits réservés

au petit clavier d'un dispositif mobile. Compte tenu de la large utilisation des interfaces gestuelles, il est
important d'étudier leur utilisabilité.
4.2 Utilisation
Les gestes peuvent accompagner la parole pour renforcer ce qui est dit. En linguistique, de tels
gestes sont décrits comme «deixis» (prononcé «dīk-sis» ou «dāk-sis»). Le terme «deixis» se rapporte
à des expressions telles que «Pose ça ici» qui nécessitent des informations contextuelles fournies par
pointage afin d'être bien comprises. Les gestes peuvent transmettre leur propre signification inhérente
au mouvement réel d'une partie du corps et indépendante d'un objet physique tangible tel qu'un
stylet ou une souris. Lorsqu'un dispositif de pointage est utilisé en effectuant des gestes, le système
TIC (technologie de l'information et de la communication) limite souvent les mouvements en raison
des limites de capacité du dispositif de suivi des mouvements. Les gestes, comme le langage, sont
propres à la culture et des erreurs d'interprétation peuvent apparaître lorsqu'ils sont utilisés de façon
inappropriée.
4.3 Gestes volontaires et involontaires
Lors de la conception des ensembles de gestes, l'accent est souvent mis sur l'adoption de gestes qui sont
volontaires ou involontaires par rapport au système. Un exemple type de geste volontaire est le fait de
pointer un objet afin de le sélectionner ou d'agiter la main face à une porte automatique pour l'ouvrir.
Dans ce contexte, les gestes involontaires sont des gestes effectués à une autre fin (par exemple marcher
en direction d'une porte automatique, s'asseoir sur le siège conducteur d'une voiture) ou des gestes
effectués inconsciemment (par exemple le langage corporel). De tels gestes involontaires pouvant être
appris sont particulièrement adaptés aux situations générales dans lesquelles l'utilisateur peut ne
pas être formé, lorsque l'utilisateur doit apprendre le système rapidement ou lorsque l'utilisateur doit
utiliser le système dans des conditions de stress (par exemple une pression temporelle).
L'intentionnalité des gestes peut également permettre de mieux les distinguer les uns des autres,
réduisant ainsi toute activation involontaire. Par exemple, lorsque l'activation d'une porte automatique
n'est pas souhaitée, de nombreuses personnes restent immobiles et évitent de gesticuler en face des
portes, car elles savent que celles-ci risquent de s'ouvrir involontairement.
4.4 Correspondance entre gestes et fonctionnalité
Un geste est le résultat de l'intention de l'utilisateur de créer un message pour un destinataire ou un
ordinateur, en le faisant correspondre au mouvement du corps ou de parties du corps, généralement les
membres supérieurs. La Figure 1 illustre des variations d'intention applicables lorsque les gestes sont
effectués à destination d'un système TIC. L'utilisateur à gauche interagit avec une interface gestuelle
à droite, en utilisant une sélection de gestes dans un ensemble de gestes. L'utilisateur a l'intention de
transmettre et peut utiliser une posture et un mouvement. Son choix de gestes peut être volontaire
ou involontaire selon la situation. L'interface gestuelle peut fournir un feedback sur l'interprétation du
geste par le système, ou même des informations prédictives pour aider l'utilisateur à terminer le geste
(voir 6.2 pour des lignes directrices supplémentaires sur les caractéristiques des gestes).
Il y a un continuum entre l'interprétation des gestes lorsque l'on contrôle des objets physiques, tels que
la manipulation directe d’une réglette avec curseur, et l'interprétation d'un geste en tant que symbole
abstrait. Un autre continuum de mises en correspondance existe entre des ensembles de gestes associés
à la fonctionnalité d'un système interactif dans son ensemble, et à son contexte d'utilisation.
L'identification de gestes involontaires est souvent évitée en demandant à l'utilisateur de signaler
explicitement le début et la fin d'un geste par une certaine approche technique, par exemple en touchant
un écran avec les doigts ou en retirant les doigts d'un écran. Tous ces contacts seront interprétés comme
des gestes volontaires.
Il convient que les mises en correspondance tiennent compte des opérations manuelles existantes telles
que l’écriture manuscrite. Cette dernière peut être applicable à l'interprétation des gestes mais, en
général, le langage manuscrit est beaucoup plus complexe qu'un vocabulaire gestuel.
Le processus de mise en correspondance est applicable aux principes de conception centrée sur
l'utilisateur et des méthodes d'évaluation peuvent donc être appliquées. L'ISO 9241-940 fournit
des lignes directrices sur la manière d'évaluer les gestes devant être utilisés avec des dispositifs
tactiles/haptiques. Certains groupes d'utilisateurs peuvent avoir des besoins particuliers. Pour y
répondre, un ensemble particulier de gestes peut être requis ou des options d'entrée totalement
différentes peuvent être nécessaires.
EXEMPLE 1 Un geste à multiple points de contact consistant à déplacer le pouce et l'index l'un autour de l'autre
en touchant un écran peut être interprété comme une commande gestuelle de modification de l'orientation d'une
image. Toutefois, il peut aussi être considéré comme la manipulation directe de l'orientation de l'image si sa
présentation est mise à jour en continu.
EXEMPLE 2 Le passage de gestes volontaires à des gestes involontaires se produit couramment sur des
dispositifs haptiques. Les personnes aveugles lisent le braille avec un doigt tout en touchant un dispositif
d'affichage en braille. En même temps, de tels mouvements des doigts peuvent exprimer un geste volontaire ou
involontaire, si le dispositif d'affichage en braille est également tactile. Techniquement, la désambiguïsation peut
être basée sur la position ou la vitesse du mouvement du doigt sur l'écran tactile. D'une part, le lecteur peut
lire le braille sans avoir conscience d'une telle surveillance, d'autre part, il peut avoir l'intention de passer de
mouvements de lecture à une entrée gestuelle.
NOTE L'interaction gestuelle globale entre l'utilisateur et le système TIC n'est pas traitée dans le présent
document et nécessite des lignes directrices supplémentaires.
Figure 1 — Aperçu des gestes effectués par un utilisateur pour une interface gestuelle
5 Ergonomie des gestes
5.1 Contraintes et caractéristiques ergonomiques
Il convient que les gestes exécutés de façon répétitive n’engendrent pas de fatigue inutile au niveau des
parties du corps devant adopter une position maintenue ou effectuer un déplacement pendant le geste.
a) Il convient que les utilisateurs soient impliqués dans la définition du besoin de telles répétitions.
b) Si des gestes répétés sont inévitables, il convient de réaliser une identification des phénomènes
dangereux, une estimation des risques, une évaluation des risques et une réduction des risques
afin d'éviter des troubles musculo-squelettiques.
4 © ISO 2017 – Tous droits réservés

NOTE 1 Sur des écrans tactiles installés à la verticale, le «syndrome du bras de gorille» peut être observé
après de longues périodes d'entrée gestuelle. Le syndrome du bras de gorille se rapporte à la fatigue engendrée
par le positionnement et le déplacement des bras non soutenus devant soi.
NOTE 2 Les enfants et les personnes ayant une dextérité et une mobilité articulaire réduites peuvent produire
des gestes moins prononcés.
5.2 Capacités du dispositif
Il convient qu’un dispositif destiné à recevoir des commandes gestuelles ait la capacité de détecter la
trajectoire d’un geste élémentaire ou une position maintenue dans toutes les conditions imposées par
l’environnement. L'ensemble de gestes est défini pour le contexte d'utilisation dans son intégralité.
NOTE Un seul contact ou plusieurs contacts simultanés sont des exemples de positions maintenues devant
être reconnues par tous les dispositifs capables de reconnaître des gestes.
5.3 Contraintes liées au dispositif
Un dispositif destiné à recevoir des commandes gestuelles peut restreindre la trajectoire ou la position
maintenue qu’un opérateur humain prévoit de former. Il convient d'informer l’utilisateur de ces
restrictions.
NOTE 1 Les stylets peuvent être conçus pour écrire lorsque la pointe approche d'une surface et effacer lorsque
l'extrémité opposée du stylet est utilisée (extrémité gomme). Le point de référence pour les gestes du stylet est
soit la pointe du stylet soit la gomme. L'utilisateur peut être informé du volume spatial dans lequel le geste peut
être exécuté en concevant le corps du stylet de façon symétrique ou asymétrique.
NOTE 2 Lorsqu'un système de reconnaissance de gestes 3D basé sur une caméra est utilisé, l'utilisateur
bénéficie d'une information sur la surface pouvant être couverte par la caméra.
6 Lignes directrices relatives à la définition des gestes
6.1 Processus de définition des gestes
6.1.1 Généralités
Le processus de définition des gestes doit suivre les lignes directrices fournies par l'ISO 9241-210 et, le
cas échéant, il convient qu'il tienne compte des principes énoncés dans l'ISO 9241-110.
Les gestes présentent des avantages et des inconvénients particuliers par rapport aux sept principes
d'ergonomie énoncés dans l'ISO 9241-110 et illustrés dans ce qui suit:
a) une entrée gestuelle peut être le seul type d'interaction avec un système permettant de réaliser des
tâches (la tâche primaire)
b) les interfaces gestuelles peuvent prendre en charge un caractère auto-descriptif, par exemple par
prédiction d'informations gestuelles, mais elles nécessitent souvent une mémorisation;
c) il convient que les gestes soient adaptés à l'apprentissage et puissent devenir une connaissance
procédurale. Toutefois, les gestes ont tendance à être oubliés s'ils ne sont pas utilisés régulièrement.
Ce problème peut être réglé par une documentation des ensembles de gestes ou par une séquence
d’entraînement grâce à laquelle les gestes peuvent être appris avec le système en mode sans échec;
d) la contrôlabilité de l'interaction gestuelle est souvent limitée, car un geste interrompu est un geste
incomplet et aucune commande gestuelle ne peut donc être déterminée. Un ensemble de gestes
peut être combiné au feedback accompagnant la formation de gestes afin d'améliorer l'utilisabilité
de l'interaction;
e) la cohérence des gestes peut dépendre du contexte d'utilisation et du dispositif au moment où
les gestes sont utilisés. La cohérence peut être améliorée si des gestes préexistants peuvent être
utilisés dans la conception d'un système interactif;
f) les gestes sont adaptés à la personnalisation, par exemple en acceptant des gestes définis par
l'utilisateur et en fournissant des mécanismes permettant de modifier la mise en correspondance
des gestes et des commandes gestuelles. La personnalisation peut également être obtenue en
concevant plusieurs gestes pour le même objectif;
g) pour obtenir une tolérance à l'erreur, il convient que les utilisateurs soient informés de la capacité
du dispositif à traiter des gestes volontaires.
6.1.2 Exploration de l’espace de conception
6.1.2.1 Exploration de l'espace de conception en général
Il convient d'explorer les alternatives de conception potentiellement disponibles, y compris la
justification de la conception, pour les utilisateurs cibles et les contextes d'utilisation prévus.
6.1.2.2 Exploration des mouvements humains en général
a) Il convient que l’investigation englobe non seulement les mouvements des mains, mais également
ceux des membres et du corps entier ainsi que les mouvements de la tête et des yeux et autres
expressions faciales.
b) L'interface gestuelle doit généralement pouvoir être utilisée par un large éventail d'utilisateurs.
Pour une meilleure accessibilité, il convient d'envisager d'autres parties du corps pour les gestes,
une amplitude des mouvements, une tolérance pour les tremblements, une possibilité d'action
simultanée et la possibilité de marcher.
EXEMPLE 1 Souvent, l'index de la main dominante est envisagé pour le pointage. Toutefois, le pouce ou l'index
de la main non dominante peut être aussi bien utilisé pour le pointage. Dans certaines cultures, pointer avec le
menton est courant et naturel.
EXEMPLE 2 Pour répéter des informations sonores, un geste de pointage (cliquer sur un bouton) peut être
utilisé, mais secouer un dispositif portatif peut être utilisé à la place.
EXEMPLE 3 Pour obtenir des informations sur un lieu, il est possible de cliquer sur un point d'intérêt sur une
carte; une autre façon de demander les mêmes informations consiste à marcher jusqu'au lieu en question.
EXEMPLE 4 Un dessin peut être généré à l'aide d'un crayon tenu à la main (gestes de la main) alors qu'une
personne sans mains peut utiliser ses pieds pour accomplir la même tâche.
EXEMPLE 5 Les gestes à l'écran conçus pour une utilisation des deux mains peuvent être exécutés avec une
seule main par une personne tenant un objet dans l'autre main.
6.1.2.3 Exploration des mouvements isolés et des mouvements simultanés synchronisés
Il convient que l’exploration des gestes tienne compte non seulement des mouvements de parties isolées
du corps, mais également des mouvements coordonnés synchronisés de plusieurs parties du corps.
EXEMPLE 1 Un geste à multiple points de contact, tel qu'un glissement simultané des doigts, peut-être plus
approprié pour le regroupement que le fait de faire glisser les éléments individuellement à l'aide d’un seul contact.
EXEMPLE 2 Un geste à multiple points de contact, tel que le pointage à l'aide de l'index et le tapotement avec
un autre doigt, peut permettre à des personnes aveugles d'explorer un dispositif mobile grâce à un feedback
vocal, puis de sélectionner un élément.
EXEMPLE 3 L'utilisation des deux mains (par exemple taper des mains) peut être un geste intuitif de
commande (par exemple attention).
6 © ISO 2017 – Tous droits réservés

6.1.2.4 Exploration des mouvements simultanés et séquentiels
Il convient que l’exploration des gestes tienne compte à la fois des mouvements simultanés et des
mouvements séquentiels.
EXEMPLE Un utilisateur communiquant avec un robot d'assistance peut tout d'abord pointer un objet
d'intérêt, puis commander par un geste au robot d'aller chercher l'objet.
6.1.2.5 Exploration des mouvements exécutés par des utilisateurs multiples
a) Il convient que la conception tienne compte des gestes exécutés de façon indépendante par des
utilisateurs multiples ainsi que des gestes exécutés en collaboration par deux utilisateurs ou plus.
b) Il convient de tenir compte de l'acceptation sociale des gestes. Les gestes exécutés dans l'espace
personnel peuvent être considérés comme inappropriés.
EXEMPLE 1 Une poignée de mains peut être utilisée dans une interface gestuelle entre un utilisateur et un
système connaissant les signes sociaux ou l'étiquette.
EXEMPLE 2 Des robots sociaux peuvent être programmés pour percevoir, interpréter et répondre à un geste
d'inclinaison de la tête.
6.1.3 Identification des finalités
Les développeurs doivent identifier les finalités pour lesquelles les humains doivent exécuter des gestes
en relation avec le système TIC.
EXEMPLE Le volume d'un poste de télévision peut être modifié par un geste; d'autres fonctions, telles que le
changement de chaîne, la mise en sourdine ou le déclenchement d'un enregistrement, peuvent être envisagées.
6.1.4 Conception des gestes et des commandes gestuelles
6.1.4.1 Gestes définis par le développeur
Il convient que les développeurs identifient au moins un geste pour chaque commande gestuelle, en se
fondant sur les sources suivantes de gestes, par ordre décroissant de priorité:
a) geste préexistant dans la culture;
b) gestes normalisés à l’échelle internationale;
c) gestes suggérés par un ou plusieurs utilisateurs;
d) gestes suggérés par le contexte d’utilisation;
e) gestes issus d’autres contextes d’utilisation;
f) gestes propres aux dispositifs utilisés;
g) gestes suggérés par une équipe de conception.
Les personnes partageant la même culture ou appartenant au même milieu social partagent souvent
les mêmes gestes. Lors de la conception d'un ensemble de gestes, il convient d'identifier ces gestes
préexistants et d'envisager leur inclusion dans un ensemble de gestes.
NOTE Les gestes peuvent avoir différents objectifs dans l'accomplissement d'une tâche, selon le contexte
socioculturel. La plupart des gestes n'ont pas une intention invariable ou universelle.
6.1.4.2 Gestes définis par l’utilisateur
Des gestes définis par l'utilisateur peuvent être utilisés comme alternatives à des commandes gestuelles
prédéfinies ou comme gestes supplémentaires pour d'autres résultats/actions/fonctions.
Il convient que les ensembles de gestes définis par l'utilisateur soient disponibles sur une vaste gamme
de contextes d’utilisation et, le cas échéant, de dispositifs.
NOTE 1 Les gestes définis par l'utilisateur contribuent à l'accessibilité dans la mesure où ils permettent aux
utilisateurs d'adapter les gestes à leurs capacités et à leurs besoins.
NOTE 2 Certains utilisateurs peuvent vouloir modifier la gamme des mouvements à prendre en compte dans
un ensemble de gestes.
6.1.4.3 Identification de la variabilité des gestes
Il convient de déterminer la tolérance à l'erreur du mouvement gestuel; celle-ci doit être conforme
au 6.6.4.
EXEMPLE Une base de données de gestes enregistrés par des utilisateurs dans un contexte particulier peut
être analysée pour identifier la similitude de chaque geste. La variabilité est souvent liée à des différences de
vitesse du mouvement, d'amplitude, d'orientation et aux parties du corps impliquées.
6.1.5 Organisation des ensembles de gestes
Les gestes peuvent être organisés en ensemble de gestes conformément aux lignes directrices du 6.6.
6.1.6 Évaluation des gestes
Les gestes définis par le développeur doivent être évalués afin de s’assurer qu’ils répondent aux besoins
des utilisateurs cibles dans les contextes d’utilisation prévus.
NOTE L'ISO 9241-940 fournit des informations supplémentaires sur l'évaluation de l'interaction
tactile/haptique.
EXEMPLE 1 Un geste est efficace si les utilisateurs sont en mesure d'identifier la finalité du geste.
EXEMPLE 2 Lors du développement de nouveaux gestes élémentaires, un prototypage à basse fidélité, tel des
gestes de peinture avec les doigts, peut être utilisé pour identifier les gestes.
EXEMPLE 3 Un clip vidéo permet d'enregistrer une maquette de gestes associés aux commandes vocales
correspondantes, telle que l'explication «page suivante».
EXEMPLE 4 Une étude «Magicien d'Oz» permet d'établir une maquette de gestes associés à la réponse du
système imitée par un humain.
6.1.7 Itération de l’interface gestuelle
Il convient que le processus de conception de l’interface gestuelle soit itératif conformément à
l’ISO 9241-210, en tenant compte à la fois du système interactif et de son contexte d’utilisation.
6.1.8 Documentation des gestes
Il convient que la documentation des gestes soit adaptée aux utilisateurs cibles et aux contextes
d’utilisation prévus (voir 6.7).
6.1.9 Explication des gestes
Les gestes et les commandes gestuelles doivent être décrits dans la documentation mise à la disposition
de l’utilisateur. Il convient que cette documentation soit proposée au moment du démarrage de
l’interface gestuelle.
Formation des utilisateurs aux gestes
a) Il convient que les utilisateurs soient en mesure d’explorer les gestes sans porter atteinte au
contenu du système.
8 © ISO 2017 – Tous droits réservés

b) Il convient que les utilisateurs soient en mesure d’explorer les trajectoires ou les positions
maintenues possibles impliquées dans un geste.
NOTE Un mode entraînement est un outil utile pour permettre à l'utilisateur d'explorer les gestes disponibles
dans un système.
6.2 Caractéristiques des gestes
6.2.1 Mise en correspondance des commandes gestuelles avec les fonctions
Il convient que les concepteurs des gestes s’assurent que la mise en correspondance de la commande
gestuelle avec une fonction est conforme aux attentes des utilisateurs.
NOTE 1 Plusieurs gestes peuvent être assignés à la même fonction.
NOTE 2 Le même geste peut avoir des finalités différentes dans différents contextes au sein de l'application.
NOTE 3 Un geste peut modifier le contexte d'application pour un ou plusieurs gestes ultérieurs.
EXEMPLE 1 Un geste de pointage peut signifier «apporte cet objet» ou «va là» selon le contexte ou la modalité.
EXEMPLE 2 Un geste élémentaire simple peut être utilisé pour changer de page ou pour déplacer un objet,
selon le contexte d'application.
6.2.2 Gestes imbriqués
En poursuivant une tâche secondaire, des gestes spécifiques peuvent être exécutés alors qu'une tâche
primaire est en cours (ou arrêtée).
NOTE Cela peut conduire à des micro-gestes si la paume de la main tient déjà un objet et seuls les doigts
peuvent être déplacés.
EXEMPLE 1 Dans la tâche primaire, un utilisateur peut toucher un globe virtuel en utilisant un doigt, tout en
effectuant des mouvements oculaires pour commander le zoom dans une tâche secondaire.
EXEMPLE 2 Lorsqu'elle commande, par exemple, un volant, la combinaison bras/main peut déjà produire une
certaine force sur la prise alors qu'un doigt de la même main crée des gestes pour choisir des options dans un menu.
EXEMPLE 3 Dans le cadre de l'accessibilité, la lecture du braille peut être combinée à des gestes permettant de
terminer les mouvements de lecture et de lancer un feedback vocal. Dans cet exemple, les mains peuvent même
changer de rôle en poursuivant les tâches primaire et secondaire.
EXEMPLE 4 Dans la langue des signes, les signes de la main sont combinés à une expression faciale afin de
désambiguïser les signes de la main.
EXEMPLE 5 Un chef d'orchestre peut simultanément utiliser des gestes pour communiquer le tempo en
continu et coordonner l'introduction ou l'accentuation d'instruments particuliers.
6.2.3 Feedback pour les gestes élémentaires
Si un feedback est généré pour un geste, il convient que l’utilisateur soit informé des gestes élémentaires
non reconnus en tant que partie d’un geste.
NOTE 1 L'utilisateur peut ne pas avoir besoin d'un feedback de l'application, telle que la visualisation de sa
trajectoire, si un feedback kinesthésique est suffisant.
NOTE 2 En général, jusqu'à 95 % des gestes élémentaires sont reconnus correctement dans les systèmes
existants.
EXEMPLE Un geste peut accompagner d'autres méthodes d'entrée telles que la parole, de sorte qu'une
reconnaissance erronée de la commande gestuelle est réduite en combinant le traitement de la parole et celui
du geste.
6.2.4 Feedba
...