ISO 2382-16:1978
(Main)Data processing — Vocabulary — Part 16: Information theory
Data processing — Vocabulary — Part 16: Information theory
Traitement de l'information — Vocabulaire — Partie 16: Théorie de l'information
General Information
Relations
Standards Content (Sample)
~ ___~
INTERNATIONAL STANDARD
2382lXVI
NORME INTERNATIONALE
INTERNATIONAL ORGANIZATION FOR STANDARDIZATI~ME~YHAPOLLHAR OPrAHHJAUHR no CTAHAAPTH3AUHH.ORGANlSATlON INTERNATIONALE DE NORMALISATION
Data processing - Vocabulary -
Q,
Section 16 : Information theory
First edition - 1978-12-01
Traitement de l'information - Vocabulaire -
Chapitre 16 : Théorie de l'information
Première édition - 1978-12-01
I '.-
~~ ~
CO
I- m
c UDC/CDU 681.3 : 001.4
Ref. No./Réf. no : IS0 2382/XV1-1978 (E/F)
-
>
X
.
Descriptors : data processing, information theory, vocabularylDascripteun : traitement de l'information, théorie de l'information, vocabu-
N
00
laire.
(?
N
---------------------- Page: 1 ----------------------
FOREWORD
IS0 (the International Organization for Standardization) is a worldwide federation
of national standards institutes (IS0 member bodies). The work of developing
International Standards is carried out through IS0 technical committees. Every
member body interested in a subject for which a technical committee has been set
up has the right to be represented on that committee. International organizations,
governmental and non-governmental, in liaison with ISO, also take part in the work.
Draft International Standards adopted by the technical committees are circulated
to the member bodies for approval before their acceptance as International
Standards by the IS0 Council.
International Standard IS0 2382/XVI was developed by Technical Committee
lSO/TC 97, Computers and information processing, and was circulated to the
member bodies in November 1977.
It has been approved by the member bodies of the following countries :
Israel South Africa, Rep. of
Australia
Belgium
Italy Spain
Brazil
Japan Switzerland
Czechoslovakia Mexico United Kingdom
Egypt, Arab Rep. of Netherlands U.S.S. R.
France New Zealand Yugoslavia
Germany, F.R. Romania
of the document
The member body of the following country expressed disapproval
on technical grounds :
U.S.A.
O International Organization for Standardization, 1978
Printed in Switzerland
II
---------------------- Page: 2 ----------------------
AVANT-PROPOS
L'ISO (Organisation internationale de normalisation) est une fédération mondiale
d'organismes nationaux de normalisation (comités membres de I'ISO). L'élaboration
des Normes internationales est confiée aux comités techniques de I'ISO. Chaque
comité membre intéressé par une étude a le droit de faire partie du comité technique
correspondant. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec I'ISO, participent également aux travaux.
Les projets de Normes internationales adoptés par les comités techniques sont
soumis aux comités membres pour approbation, avant leur acceptation comme
Normes internationales par le Conseil de I'ISO.
La Norme internationale IS0 2382/XVI a été élaborée par le comité technique
ISORC 97, Calculateurs et traitement de l'information, et a été soumise aux
comités membres en novembre 1977.
Les comités membres des pays suivants l'ont approuvée :
Afrique du Sud, Rép. d' France Roumanie
Allemagne, R.F. Israël Royaume-Uni
Italie Suisse
Australie
Japon Tchécoslovaquie
Belgique
Brésil Mexique U.R.S.S.
Égypte, Rép. arabe d' Nouvelle-Zélande Yougoslavie
Pays-Bas
Espagne
Le comité membre du pays suivant l'a désapprouvée pour des raisons techniques
U.S.A.
O Organisation internationale de normalisation, 1978
Irnorimé en Suisse
...
III
---------------------- Page: 3 ----------------------
Data processing gives rise to numerous international exchanges of both intellectual
and material nature. These exchanges often become difficult, either because of the
great variety of terms used in various fields or languages to express the same
concept, or because of the absence of or the imprecision of useful concepts.
To avoid misunderstandings due to this situation and to facilitate such exchanges, it
is advisable to select terms to be used in various languages or in various countries to
express the same concept and to establish definitions providing satisfactory
equivalents for the various terms in different languages.
In accordance with the directions given to the IS0 sub-committee in charge of the
Vocabulary, the work on it has been mainly based on the usage to be found in the
Vocabulary of information processing* established and published by the
International Federation for Information Processing and the International
Computation Centre, and in the USA Standard vocabulary for information
processing** established, published, and revised by the American National Standards
Institute. The sub-committee also considered various international documents or
drafts issued by IS0 Technical Committee 97 and its sub-committees and other
international organizations (such as the International Telecommunication Union)
and national drafts or standards.
The definitions have been drawn up with the objective of achieving a proper
balance between precision and simplicity. The main objective of this Vocabulary is
to provide definitions that can be understood to have the same meaning by all
concerned. It may thus be felt that some definitions are not sufficiently precise, do
not include all cases, do not take into account certain exceptions, or are in conflict
with established uses in particular fields of application.
In addition, the Vocabulary consists of several sections prepared over a long period
of time and it may be that the preparation of the later sections introduces
inconsistencies with the earlier ones.
These imperfections will be eliminated as far as possible in later editions. This
procedure allows for immediate publication of needed sections and permits an
a comprehensive vocabulary in view of
element of flexibility in the preparation of
the dynamics of language.
North Holland Publishing Company - AMSTERDAM 1966.
**
This standard has been replaced by the American National Dictionary for Information
Processing.
iv
---------------------- Page: 4 ----------------------
Le traitement de l'information donne lieu à de très nombreux échanges
internationaux d'ordre intellectuel ou matériel qui sont souvent rendus difficiles
soit par la diversité des termes employés dans différents milieux ou dans différentes
langues pour exprimer une même notion, soit par l'absence ou l'imprécision des
définitions des notions utiles.
Pour éviter les malentendus ayant leur origine dans le vocabulaire et faciliter les
échanges, il convient de procéder à un choix des termes à employer dans les
différentes langues ou dans les différents pays pour désigner la même notion, et de
rédiger des définitions assurant une équivalence pratiquement satisfaisante entre ces
différents termes.
Conformément aux directives reçues par le sous-comité de I'ISO chargé de l'étude
du Vocabulaire, les travaux correspondants ont été essentiellement basés sur l'usage
codifié dans le Vocabulary of information processing* établi et publié par
l'International Federation for Information Processing et le Centre international de
calcul, et dans le USA Standardvocabulary forinfonnationprocessing** établi, publié
et révisé par I'American National Standards Institute. Le sous-comité s'est appuyé
en outre sur différents documents ou projets internationaux issus du comité
technique 97 de I'ISO et de ses souscomités ou d'autres organisations internatio-
nales (telles que l'Union internationale des télécommunications), ainsi que sur des
normes ou projets nationaux.
Les définitions ont été conçues de façon telle qu'un équilibre raisonnable entre la
précision et la simplicité soit atteint. L'objectif principal de ce Vocabulaire est de
fournir des définitions qui puissent être reconnues comme ayant le même sens par
tout lecteur concerné. Quelques définitions peuvent donc sembler insuffisamment
précises, ne pas inclure tous les cas, ne pas tenir compte de certaines exceptions ou
être en contradiction avec les usages établis dans des domaines d'application
particuliers.
De plus, le Vocabulaire est constitué de plusieurs chapitres dont l'élaboration s'est
étalée sur une grande période de temps et la réalisation de nouveaux chapitres peut
introduire des incohérences dans les anciens chapitres.
Ces imperfections seront éliminées dans la mesure du possible dans les éditions
ultérieures. Cette procédure permet de publier rapidement les chapitres les plus
attendus et introduit un élément de souplesse dans la réalisation d'un vocabulaire
étendu et devant s'adapter à la dynamique de la langue.
North Holland Publishing Company - AMSTERDAM 1966.
** Cette norme a été remplacée par I'American National Dictionary for Information
Processing.
V
---------------------- Page: 5 ----------------------
CONTENTS
Page
1 General . 1
1.1 Introduction . 1
1.2 Scope . 1
1.3 Field of application . 1
2 Principles and rules followed . 1
2.1 Definition of an entry . 1
2.2 Organization of an entry . 1
2.3 Classification of entries . 1
2.4 Selection of terms and wording of definitions . 2
2.5 Multiple meanings . 2
2.6 Abbreviations . 2
2.7 Use of parentheses . 2
2.8 Use of (square) brackets . 2
2
2.9 Use of terms printed in italic typeface in definitions and use of asterisks .
;.lo Spelling . 2
2.1 1 Organization of the alphabetical index . 2
3 Terms and definitions
16 Information theory . 3
16.01 General terms . 3
16.02 Messages and their communication . 3
16.03 Basic quantitative terms . 4
16.04 Derived quantitative terms . 7
4 Alphabetical index
English . 12
French . 14
vi
---------------------- Page: 6 ----------------------
SOMMAI RE
Page
1 Généralit ét . 1
1.1 Introduction . 1
1.2 Objet . 1
1.3 Domaine d'application . 1
2 Principes d'établissement et règles suivies . 1
2.1 Définition de l'article . 1
2.2 Constitution d'un article . 1
2.3 Classification des articles . 1
2.4 Choix des termes et des définitions . 2
2.5 Pluralité de sens ou polysémie . 2
2.6 Abréviations . 2
2.7 Emploi des parenthèses . 2
2.8 Emploi des crochets . 2
les définitions de termes écrits en caractères italiques et de
2.9 Emploi dans 2
..
I'asterisque .
2.1 O Mode d'écriture et orthographe . 2
2.1 1 Constitution de l'index alphabétique . 2
3 Termes et définitions
16 Théorie de l'information . 3
16.01 Termes généraux . 3
16.02 Messages et leur communication . 3
16.03 Termes quantitatifs principaux . 4
16.04 Termes quantitatifs dérivés . 7
4 Index alphabétique
Anglais . 12
Francais . 14
vii
---------------------- Page: 7 ----------------------
INTERNATIONAL STANDARD
IS0 2382/XVI -1978 (E/F)
NORME INTERNATIONALE
Traitement de l'information -
Vocabulaire -
Data processing - Vocabulary - Chapitre 16 : Théorie de
Section 16 : Information theory l'information
1 GENERAL 1 GÉNÉRALITÉS
1.1 Introduction 1.1 Introduction
This section of the Vocabulary (which will comprise some Le présent chapitre du Vocabulaire (qui comprendra une
vingtaine de chapitres) traite essentiellement de la théorie
twenty sections) mainly deals with information theory
according to Shannon. It contains both the fundamental de l'information selon Shannon. II rassemble les termes
terms for a general introduction to information theory and fondamentaux constituant une introduction générale a la
théorie de l'information et les termes quantitatifs qui s'en
derived quantitative terms which may be considered as the
et pouvant être considérés comme étant les plus
most useful for practical applications. déduisent
utiles pour les applications pratiques.
One form of mathematical notation is used consistently
within this document. It is not the purpose of this Les notations mathématiques ont été unifiées dans le
document either to standardize this notation or to set a présent document selon un certain modèle. Cette
precedent for other publications. unification ne doit pas être considérée comme constituant
une normalisation de ces notations ou un précédent qui
devrait être suivi dans d'autres cas.
1.2 Objet
1.2 Scope
is intended to facilitate international Le Vocabulaire a pour objet de faciliter les échanges
The Vocabulary
It presents in two internationaux dans ce domaine. II présente un ensemble
communication in data processing.
bilingue de termes et de définitions ayant trait à des notions
languages terms and definitions of selected concepts
choisies, et définit les relations pouvant exister entre
relevant to the field of data processing and identifies
relationships between the entries. différentes notions.
In order to facilitate their translation into other languages, Les définitions ont été établies de manière à ne présenter
the definitions are drafted so as to avoid, as far as possible, que peu de particularités attachées à une langue donnée, en
vue de faciliter leur transposition dans d'autres langues.
any peculiarity attached to a language.
1.3 Field of application 1.3 Domaine d'application
The Vocabulary deals with the main areas of data Le Vocabulaire traite des principaux domaines du
processing, including the principal processes and types of traitement de l'information, des principaux procédés et
equipment used, the representation, organization and types de machines employés, de la représentation et de la
presentation of data, the programming and operation of forme des données, de la programmation et de
computers, input-output devices and peripheral equipment, l'exploitation des calculateurs, des entrées-sorties et organes
as well as particular applications. périphériques, et de certaines applications.
2 PRINCIPLES AND RULES FOLLOWED 2 PRINCIPES D'ÉTABLISSEMENT ET RÈGLES SUIVIES
The sub-clauses under this heading included in IS0 2382/1 Les textes des paragraphes ci-après, inclus dans
are equally applicable to this section. They are not 1'1S0 2382/1, s'appliquent également au présent chapitre.
reproduced here. The corresponding sub-clause headings are Ils ne sont pas reproduits ici. Les titres des paragraphes
the following : correspondants sont les suivants :
2.1 Definition of an entry 2.1 Définition de l'article
2.2 Organization of an entry 2.2 Constitution d'un article
2.3 Classification of entries 2.3 Classification des articles
1
---------------------- Page: 8 ----------------------
IS0 23821XVI -1978 (E/F)
2.4 Choix des termes et des définitions
2.4 Selection of terms and wording of definitions
2.5 Pluralité de sens ou polysémie
2.5 Multiple meanings
2.6 Abréviations
2.6 Abbreviations
2.7 Emploi des parenthèses
2.7 Use of parentheses
2.8 Emploi des crochets
2.8 Use of (square) brackets
2.9 Emploi dans les définitions de termes écrits en
2.9 Use of terms printed in italic typeface in definitions
caractères italiques et de l'astérisque
and use of asterisks
2.10 Mode d'écriture et orthographe
2.10 Spelling
2.1 1 Constitution de l'index alphabétique
2.1 1 Organization of the alphabetical index
2
---------------------- Page: 9 ----------------------
IS0 2382/XVI-1978 (E/F)
3 TERMS AND DEFINITIONS 3 TERMES ET DÉFINITIONS
16 INFORMATION THEORY 16 THÉORIE DE L'INFORMATION
16.01 TERMES GÉNÉRAUX
16.01 GENERAL TERMS
16.01 .O1
16.01 .O1
information theory théorie de l'information
théorie des communications (déconseillé dans ce sens)
communication theory (deprecated in this sense)
The branch of learning concerned with the study of Discipline théorique traitant des mesures de l'information
measures of information and their properties. et de leurs propriétés.
16.01 .O2
16.01 .O2
théorie des communications
Communication theory
Discipline mathématique traitant des aspects probabilistes
The mathematical discipline dealing with the probabilistic
de la transmission de messages en présence de bruit et
features of the transmission of messages in the presence of
éventuellement d'autres perturbations.
noise and any other disturbances.
16.01 .O3 16.01 .O3
measure of information mesure de l'information
A suitable function of the probability of Occurrence of an Fonction appropriée de la probabilité de réalisation d'un
event or of a sequence of events from a set of possible événement, ou d'une suite d'événements, priste) parmi un
events. ensemble connu d'événements possibles.
NOTE - In information theory. the term "event" is to be NOTE - En théorie de l'information, le mot ((événement)) a le sens
understood as used in the theory of probability. For instance, an qu'il prend dans le calcul des probabilités. Un événement peut être.
event may be : par exemple :
- the presence of a given eiemenr of a set; - la présence d'un eiement donné d'un ensemble;
- l'existence d'un caracrere déterminé, ou d'un mot déterminé,
- the occurrence of a specified characrer or of a specified
message.
word in a given position of a message. dans une position donnée d'un
16.02 MESSAGES AND THEIR COMMUNICATION 16.02 MESSAGES ET LEUR COMMUNICATION
16.02.01 16.02.01
message (en théorie de l'information et en théorie des com-
message (in information theory and communication theory)
An ordered series of characten intended to convey munications)
ordonnée de caractères destinée à communiquer des
information. Suite
informations.
16.02.02
16.02.02
source de messages
message source
source d'information
information source
That part of a communication system from which messages Partie d'un ensemble de communication d'où l'on considère
are considered to originate. que les messages sont issus.
16.02.03 16.02.03
collecteur de messages
message sink
Partie d'un ensemble de communication où l'on considère
That part of a communication system in which messages are
les messages sont recus.
considered to be received. que
3
---------------------- Page: 10 ----------------------
IS0 2382/XVI -1978 (E/F)
16.02.04 16.02.04
channel (in communication theory) voie (en théorie des communications)
Partie d'un ensemble de communication qui relie la source
That part of a communication system that connects the
de messages au collecteur de messages.
message source with the message sink.
NOTES
NOTES
1 A coder may be inserted between the message source and the 1 Un codeur peut être situé entre la source de message et l'entrée
de la voie, et un décodeur peut être situé entre la sortie de la voie
input to the channel, and a decoder between the output of the
channel and the message sink. Generally, these two units are not et le collecteur de message. Ces deux organes ne sont pas considérés
en général comme faisant partie de la voie. Dans certains cas, ils
considered as being parts of the channel. In certain cases, however,
they may be considered as parts of the message source and message peuvent être considérés comme faisant partie respectivement de la
sink, respectively. source et du collecteur.
2 En théorie de l'information selon Shannon, la voie peut être
2 In information theory according to Shannon the channel can be
characterized by the set of conditional probabilities of occurrence caractérisée par I 'ensemble des probabi I i tés condition ne1 I es d'appa-
of all the messages received at the message sink when a given rition de tous les me-s reçus au collecteur de messages lorsqu'un
message emanates from the message source. message déterminé est émis par la source.
16.02.05 16.02.05
symmetric binary channel voie binaire symétrique
A channel that is designed to convey messages consisting of Voie de communication destinée à la transmission de
binary characters and that has the property that the messages composés de caractères "binaires et dont les
conditional probabilities of changing any one character to propriétés sont telles que les probabilités conditionnelles du
the other character are equal. changement de l'un quelconque des caractères en l'autre
sont égales.
16.02.06 16.02.06
stationary message source source de messages stationnaire
stationary information source source d'information stationnaire
A message source from which each message has a Source de messages dont chaque message a une probabilité
probability of occurrence independent of the time of its de réalisation indépendante de l'instant de cette réalisation.
occu r re nce.
16.03 BASIC QUANTITATIVE TERMS 16.03 TERMES QUANTITATIFS PRINCIPAUX
16.03.01 16.03.01
decision content quantité de décision
A logarithmic measure of the number of decisions needed Mesure logarithmique du nombre de décision élémentaires
to select a given event among a finite number of mutually distinctes qui doivent être prises pour choisir un événement
exclusive events; in mathematical notation, this measure is : donné parmi un nombre fini d'événements s'excluant
mutuellement; mathématiquement, cette mesure est :
Ho = log n
Ho = log n
where n is the number of events.
où n est le nombre des événements.
Examples : See examples at the end of 16.03.
t
Exemple : Des exemples sont donnés à la fin de 16.03.
NOTES
NOTES
1 The note in 16.01.03 is applicable to this definition.
1 Le mot «événement» a, dans cette définition, le sens indiqué
2 The base of the logarithm determines the unit used.
16.01.03.
dans la note de l'article
3 The decision content is independent of the probabilities of the
2 La base du logarithme détermine l'unité employee.
occurrence of the events. However, in some applications, it is
assumed that these probabilities are equal.
3 La quantité de décision est indépendante des probabilités de
réalisation des événements. Dans certaines applications cependant,
ces probabilités sont considérées comme étant égales.
---------------------- Page: 11 ----------------------
IS0 2382/XV1-1978 (E/F)
16.03.02
16.03.02
information content quantité d'information
A measure of information conveyed by the occurrence of Mesure de l'information apportée par la réalisation d'un
an event of definite probability; in mathematical notation, événement de probabilité définie; mathématiquement, cette
this measure Z(x;) for the event xi is expressed as the mesure I(xi) est exprimée par le logarithme de l'inverse de
logarithm of the reciprocal of the probability phi) that the la probabilité p(xi) de réalisation de l'événement xi :
particular event will occur, i.e. :
1
1
I(x;) = log-= - logp(x;)
p(x;)
Exemple : Un exemple est donné à la fin de 16.03.
Example : See examples at the end of 16.03.
16.03.03
16.03.03
entropie
entropy
néguentropie (terme déconseillé)
mean information content
Valeur moyenne de la mesure de l'information apportée par
average information content
la réalisation de l'un quelconque d'un ensemble fini et
negentropy (deprecated)
exhaustif d'événements s'excluant mutuellement et de
The mean value of the measure of information conveyed by
probabilités définies; mathématiquement, cette mesure
the Occurrence of any one of a finite number of mutually
H(x) est l'espérance mathématique de la quantité
exclusive and jointly exhaustive events of definite
d'information I(xi) de chacun des événements x,. . . x, de
probabilities; in mathematical notation, this mean H(x) for
probabilités de réalisation p(x, ) . . . p(xn) :
a set of events x1 . . .xn with the probabilities
p(xi) . . . p(x,) equals the mathematical expectation, or
n n
mean value, of the information content I(xi) of the
individual events, i.e. :
n n
n
=- Ph;) logp(x;)
i= 1
n
Exemple : Un exemple est donné à la fin de 16.03.
=- Ph;) logP(xj)
i= 1
Example : See examples at the end of 16.03.
16.03.04
16.03.04
entropie relative
relative entropy
Rapport Hr de l'entropie H à la quantité de décision Ho.
The ratio Hr of the entropy H to the decision content Ho;
exprimé mathématiquement par :
in mathematical notation :
H
H
H =-
Hr =-
Ho Ho
16.03.05 16.03.05
redundancy (in information theory) redondance (en théorie de l'information)
The amount R by which the decision content Ho exceeds Excès R de la quantité de décision Ho sur l'entropie H,
the entropy H; in mathematical notation : exprimé mathématiquement par :
R=H,-H R=Ho-H
NOTE - En pratique, l'usage de codes convenables permet de
NOTE - Usually, messages can be represented with fewer characrers
représenter des messages avec un nombre réduit de caractères; la
by using suitable codes; the redundancy may be considered as a
measure of the decrease of the average length of the messages redondance peut être considérée comme une mesure de la
by coding. diminution de la longueur moyenne des messages ainsi réalisée au
accomplished
moyen du codage.
5
---------------------- Page: 12 ----------------------
IS0 2382/XVI -1978 (E/F)
16.03.06 16.03.06
Shannon Shannon
binary unit of information content unité binaire de quantité d'information
bit (strongly deprecated in this sense) logon
A unit of logarithmic measure of information equal to the bit (à proscrire dans ce sens)
Unité logarithmique de mesure de l'information égale à la
decision content of a set of two mutually exclusive events
expressed as a logarithm to base two. quantité de décision sur un ensemble de deux événements
s'excluant mutuellement, exprimée par un logarithme de
Example : The decision content of a character set of eight
base deux.
characters equals 3 shannons (log, 8 = 3).
Exemple : La quantité de décision sur un jeu de caractères à
huit caractères est égale à 3 shannons (log, 8 = 3).
16.03.07 16.03.07
hartley hartley
decimal unit of information content unité décimale de quantité d'information
Unité logarithmique de mesure de l'information égale a la
A unit of logarithmic measure of information equal to the
decision content of a set of ten mutually exclusive events quantité de décision sur un ensemble de dix événements
expressed as a logarithm to base 1 O. s'excluant mutuellement, exprimée par un logarithme de
base dix.
Example : The decision content of a character set of eight
Exemple : La quantité de décision sur un jeu de Caractères à
characters equals 0,903 hartley (log,, 8 = 0,903).
huit caracfèm est égale à 0,903 hartley (log,, 8 = 0,903).
16.03.08 16.03.08
unité naturelle de quantité d'information
natural unit of information content
NAT (abbreviation) NAT (abréviation)
Unité logarithmique de mesure de l'information exprimée
A unit of logarithmic measure of information expressed as a
par un logarithme népérien.
Napierian logarithm.
Exemple : La quantité de décision sur un jeu de caractères a
Example : The decision content of a character set of eight
huit caractères est égale à 2,079 unités naturelles de
characters equals log, 8 = 2,079 = 3 log, 2 natural units of
quantité d'information (log, 8 = 2,079 = 3 log, 2).
information content.
EXAMPLES EXEMPLES
Let a, b, c be the characters of a character set consisting of Soit a, b, c : les caractères d'un jeu de caractères à trois
three elements, and let the probabilities of their occurrence caractères et soit :
within any message, from a given message source, be
specified as follows :
1
da) =-
les probabilités de leur réalisation dans tous les messages
2
possibles issus d'une source de messages donnée.
1 The decision content of this character set is :
1 La quantité de décision de ce jeu de caractère est :
log, 3 = 1,580 shannons
log, 3 = 1,580 shannons
Ho = loglo 3 = 0,477 hartley
1 log,, 3 = 0,477 hartley
Ho=
I log, 3 = 1,098 natural units
log, 3 = 1,098 unités naturelles
2 The information content of these characters are :
2 Les quantités d'information de ces Caractères sont :
log, 2 = 1 Shannon
log, 2 = 1 Shannon
I(a) = loglo 2 = 0,301 hartley
= 0,301 hartley
Iia) = log,, 2
I log, 2 = 0,693 natural unit
log, 2 = 0,693 unité naturelle
1
log, 4 = 2 shannons
log, 4 = 2 shannons
I(b) = I(c) = log,, 4 = 0,602 hartley
= 0,602 hartley
i(b) = I(c) = log,, 4
I log, 4 = 1,386 natural units
I log, 4 = 1,386 unités naturelles
6
---------------------- Page: 13 ----------------------
IS0 2382/XVI -1978 (E/F)
3 Si les réalisations de ces trois caractères dans tous les
3 If the occurrences of the three characters within any
messages possibles sont indépendantes les unes des autres,
message are mutually independent, then the entropy of the
message source is : l‘entropie de la source de messages est :
1 1 1
1 1 1
H=-log2 +-log4 +-log4
H=-log2 +-log4 +-log4
2 4 4
2 4 4
1,5 shannons
1,5 shannons
1,5 x 0,301 = 0,452 hartley
1,5 x 0,301 = 0,452 hartley
=I 1.5 ~0,693 = 1,040 unités naturelles
=I 1,5 x 0,693 =
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.