ISO/TR 13519:2012

Guidance on the development and use of ISO statistical publications supported by software

ISO/TR 13519:2012 provides guidance on the development and use of ISO publications supported by software. The software largely relates to statistical calculations considered by the subcommittees of ISO/TC 69, Application of statistical methods, but many other numerical calculations are covered by similar considerations. In terms of the development of ISO publications, ISO/TR 13519:2012 gives guidance on the traceability of data products (figures, tables and other numerical results) reproduced in normative-type documents. In terms of assisting users of ISO publications, ISO/TR 13519:2012 gives guidance on information that should be included in ISO publications regarding software specification, categories of support for software, and software performance including the use of reference data sets for testing purposes. Examples are included that illustrate aspects of the guidance provided.

Lignes directrices pour la rédaction et l'application de publications statistiques ISO utilisant des logiciels

L'ISO/TR 123519:2012 fournit des lignes directrices pour la rédaction et l'application de publications statistiques ISO utilisant des logiciels. Les logiciels sont largement associés aux calculs statistiques traités par les sous-comités de l'ISO/TC 69, Application des méthodes statistiques, mais beaucoup d'autres calculs numériques sont concernés par des aspects similaires. En termes de préparation des publications ISO, l'ISO/TR 123519:2012 donne des indications sur la traçabilité des produits de données (figures, tableaux et autres résultats numériques) reproduits dans les documents de type normatif. Pour faciliter l'application des publications ISO par les utilisateurs, l'ISO/TR 123519:2012 donne des indications sur les informations qu'il convient d'inclure dans les publications ISO pour la spécification des logiciels, les catégories de support des logiciels, et la performance des logiciels, y compris l'utilisation des jeux de données de référence à des fins d'essais. Des exemples sont inclus qui illustrent les différents aspects des indications fournies.

General Information

• Status: Published
• Publication Date: 30-Aug-2012
• ICS: 03.120.30 - Application of statistical methods
• Technical Committee: ISO/TC 69 - Applications of statistical methods
• Drafting Committee: ISO/TC 69 - Applications of statistical methods
• Current Stage: 6060 - International Standard published
• Completion Date: 31-Aug-2012

Standards Content (Sample)

TECHNICAL ISO/TR
REPORT 13519
First edition
2012-09-01
Guidance on the development and
use of ISO statistical publications
supported by software
Lignes directrices pour la rédaction et l’application de publications
statistiques ISO utilisant des logiciels
Reference number
ISO/TR 13519:2012(E)
©
ISO 2012

---------------------- Page: 1 ----------------------
ISO/TR 13519:2012(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2012
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or ISO’s
member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail [e-mail]
Web www.iso.org
Published in Switzerland
ii © ISO 2012 – All rights reserved

---------------------- Page: 2 ----------------------
ISO/TR 13519:2012(E)
Contents Page
Foreword .iv
Introduction . v
1 Scope . 1
2 Terms and definitions . 1
3 Traceability of data products . 2
4 Specification of software . 3
5 Software support . 5
5.1 Support for software implementation . 5
5.2 Nature of supporting software . 7
5.3 Software languages . 7
6 Quality . 8
6.1 General . 8
6.2 Software performance . 9
6.3 Maintenance of software .12
7 Legal implications .12
8 Illustration .13
8.1 General .13
8.2 Examples of particular software .13
Bibliography .15
© ISO 2012 – All rights reserved iii

---------------------- Page: 3 ----------------------
ISO/TR 13519:2012(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the International
Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
In exceptional circumstances, when a technical committee has collected data of a different kind from that
which is normally published as an International Standard (“state of the art”, for example), it may decide by a
simple majority vote of its participating members to publish a Technical Report. A Technical Report is entirely
informative in nature and does not have to be reviewed until the data it provides are considered to be no longer
valid or useful.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO/TR 13519 was prepared by Technical Committee ISO/TC 69, Applications of statistical methods.
iv © ISO 2012 – All rights reserved

---------------------- Page: 4 ----------------------
ISO/TR 13519:2012(E)
Introduction
This document contains guidance on software to support the development and use of ISO statistical publications.
Aspects covered within this document include
— traceability of data products (figures, tables and other numerical results),
— specification of software,
— categories of support for software, and
— software performance including the use of reference data for testing purposes.
Any references to commercial products of any kind (including but not restricted to software, data or hardware)
or links to websites do not imply any approval, endorsement or recommendation by ISO, or any liability.
© ISO 2012 – All rights reserved v

---------------------- Page: 5 ----------------------
TECHNICAL REPORT ISO/TR 13519:2012(E)
Guidance on the development and use of ISO statistical
publications supported by software
1 Scope
This document provides guidance on the development and use of ISO publications supported by software. The
software largely relates to statistical calculations considered by the subcommittees of ISO/TC 69, Application
of statistical methods, but many other numerical calculations are covered by similar considerations.
In terms of the development of ISO publications, this document gives guidance on the traceability of data
products (figures, tables and other numerical results) reproduced in normative-type documents.
In terms of assisting users of ISO publications, this document gives guidance on information that should be
included in ISO publications regarding software specification, categories of support for software, and software
performance including the use of reference data sets for testing purposes.
Examples are included that illustrate aspects of the guidance provided.
Reference to ‘the Committee’ in this document relates to the ISO body concerned with developing the relevant
ISO publication.
2 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
2.1
algorithm
step-by-step procedure describing a specific calculation, given in sufficient detail that it can be implemented
in software
2.2
data product
digital data, including graphical figures expressed digitally, in an ISO publication
EXAMPLE 1 A numerical table in an ISO publication.
EXAMPLE 2 A graphical figure expressed digitally as an array of pixels in an ISO publication.
2.3
domain of applicability
set of inputs for which software can be expected to operate in a valid manner
2.4
numerical accuracy
quality of a numerical value expressed in terms of the number of correct decimal digits in absolute or relative form
2.5
problem parametrization
mathematical representation of a problem involving a specific set of defining parameters
NOTE Generally, a problem has more than one parametrization.
EXAMPLE Straight line in two variables: ISO/TS 28037:2010, Determination and use of straight-line calibration functions.
A straight line in the variables X and Y can be parametrized as Y = A + A X and as Y = B + B (X – 100) (and in other ways).
1 2 1 2
The second form is superior to the first when it is to be used as the model in straight-line regression, where X denotes
[12]
Celsius temperature, taking values close to 100 °C. See ISO/TS 28037:2010 .
© ISO 2012 – All rights reserved 1

---------------------- Page: 6 ----------------------
ISO/TR 13519:2012(E)
2.6
reference data
data used for testing an item of software for a specific calculation
2.7
reference result
result corresponding to reference data for a specific calculation
NOTE A reference result is provided independently of test software and to a numerical accuracy that is better than
that required of the result provided by the test software.
2.8
test result
result produced by test software for reference data for a specific calculation
2.9
test software
software under test
2.10
unit roundoff
distance from 1,0 to the closest floating-point number strictly less than 1,0
[1]
NOTE 1 See IEEE 754:2008 .
NOTE 2 For the purpose of this Technical Report, floating-point numbers constitute part of the system of numerical
computation used for providing statistical results.
NOTE 3 All computed values given in this Technical Report were obtained on a computer having unit roundoff
−16
of 2,22 × 10 .
3 Traceability of data products
3.1 Digital data, including figures, in an ISO document should be traceable to credible sources. Such data are
termed “data product” to distinguish them from source or raw data.
3.2 Such traceability (also known as data provenance) requires knowledge of the source data and the
processes by which the data product is derived from the source data. These processes are known as data
transformations.
NOTE Traceability is vital in scientific work in general, and statistical applications in particular, concerning the
credibility of published data.
3.3 In standards work, it is necessary to understand fully the provenance of a derived data product so that
those products can be reproduced and updated as necessary.
[5]
NOTE ISO 19115:2003 relates to traceability considerations. It is applicable particularly to Geographic Information
in the form of digital data, but its principles also apply to non-geographic data. ISO 19115:2003 is typically used for large-
scale applications requiring databases. For the purposes of this Technical Report, smaller-scale considerations apply, but
some concepts are usefully borrowed from this area.
3.4 For any data product, the source data used and the data transformations applied should be recorded in
sufficient detail that the data product could be reproduced. Explicit reference should be given to software used
for this purpose.
3.5 If the data product is a graphical figure, traceability relates to normal visual resolution. Otherwise,
traceability relates to the number of decimal digits quoted in the ISO publication.
2 © ISO 2012 – All rights reserved

---------------------- Page: 7 ----------------------
ISO/TR 13519:2012(E)
EXAMPLE ISO Technical Specification with data products provided by MATLAB and LaTeX.
Each numerical table in ISO/TS 28037:2010 was produced using a MATLAB script that generated LaTeX source, which
was combined with other LaTeX source to provide a PDF version of ISO/TS 28037:2010. The table is a data product that
is provided by a transformation (implemented in the MATLAB script) of a data set that corresponded to the data points
— the source data — or data derived similarly from the source data. Any change at the drafting stage in the source data
or transformations was hence reflected in the resulting data product. Consequently no human transcription error was
incurred and the numerical tables (and accompanying text) would be reproducible through re-use of this process.
The source data and details of the transformations were recorded in ISO/TS 28037:2010.
NOTE 1 ISO Central Secretariat can provide a suitable website to hold traceability records including software.
NOTE 2 MATLAB is the trade name of a product supplied by The MathWorks Inc.
[6]
3.6 The rounding rules given in Annex B of ISO 80000-1:2009 apply to the expression of decimal numbers.
4 Specification of software
An ISO publication should contain a specification of software that would materially assist in using that publication.
The software of concern largely relates to statistical calculations. The specification would include details of
a) the inputs to the software,
b) the outputs from the software,
c) how the outputs are obtained from the inputs,
d) how the inputs and outputs and relevant intermediate values relate to the various (sub)clauses and
quantities in the ISO publication, and
e) the performance of the software, particularly in terms of the numerical accuracy required in the results
produced. Also see 6.2.
EXAMPLE 1 ISO 13528:2005, Statistical methods for use in proficiency testing by interlaboratory comparisons
[4]
Subclause 8.6 of ISO 13528:2005 is concerned with producing a graph of repeatability standard deviation for each
laboratory involved in a proficiency testing scheme against the corresponding average for the laboratory. It also specifies
the construction of a confidence region corresponding to a particular significance level 1 – P under the assumption of
normality. The generic specification in this case for such a graph is as follows:
a) Software inputs
p   number of participating laboratories,
n  number of replicate indication values,
x  average indication value for laboratory i, i = 1, …, p,
i
s  within-laboratory standard deviation for laboratory i, i = 1, …, p, and
i
P  significance level (for example, 0,05).
b) Software outputs
x  x-coordinates used in defining the boundary of the region having a significance level of 100P %, and
s  corresponding y-coordinates.
c) Outputs obtained from inputs using
12/ 12/ 2
values of x lying in the interval Xv−(/nS) to Xv+(/nS), where v = χ , and
21; −P
12/
 
2
 
−12//12
   
values of s, corresponding to those of x, equal to Snexp(±−22)(vn−−xX)/ S ,
 
 
 
 
 
© ISO 2012 – All rights reserved 3

---------------------- Page: 8 ----------------------
ISO/TR 13519:2012(E)
where
* *
Xx= , the robust average of x , …, x , and Ss= , the robust pooled value of s , …, s [see d)].
1 p 1 p
d) Inputs and outputs and relevant intermediate values relate to the various (sub)clauses and quantities as follows:
Items in a) and b) and how items in b) are obtained from those in a) are described in subclause 8.6.1 of ISO 13528:2005,
*
x is calculated by Algorithm A in Annex C.1 of ISO 13528:2005,
* *
s is the value of w calculated by Algorithm S in Annex C.2 of ISO 13528:2005, and
the expression for s is given in Formula (41) of ISO 13528:2005.
e) Performance of the software
Standard deviations are expressed to a prescribed number of significant decimal digits (usually one or two), and related
averages expressed to the same number of decimal places, for inputs lying within a stated domain of applicability.
In any particular instance, numerical values for the inputs (p, n, the x , the s and P) would be provided. Figure 11
i i
in ISO 13528:2005 is a specific instance of a graph produced by plotting the points (x , s ), i = 1, …, p. It also shows the
i i
boundaries of confidence regions corresponding to a significance level P, for P = 0,001, 0,01, 0,05.
EXAMPLE 2 ISO/TS 28037:2010, Determination and use of straight-line calibration functions
[12]
Clause 9 of ISO/TS 28037:2010 is concerned with obtaining estimates a and b of the parameters A and B in a straight-line
calibration function Y = A + BX relating variables X and Y. Measured values (data points) x and y of X and Y are available,
i i
as are associated standard uncertainties u(y ) and covariances cov(y , y ) associated with each pair (y , y ), i = 1, …, m,
i i j i j
j = 1, …, m, j ≠ i. Uncertainties associated with the x are regarded as negligibly small in this clause of ISO/TS 28037:2010,
i
as are other covariances. The specification in this case is as follows:
a) Software inputs
m
number of data points,
x
measured value of X-coordinate of the ith data point, i = 1, …, m,
i
y measured value of Y-coordinate of the ith data point, i = 1, …, m,
i
u(y ) standard uncertainty associated with y , i = 1, …, m, and
i i
cov(y , y ) covariance associated with pair (y , y ), i = 1, …, m, j = 1, …, m, j ≠ i.
i j i j
b) Software outputs
a estimate of A,
b estimate of B,
u(a) standard uncertainty associated with a,
u(b) standard uncertainty associated with b, and
cov(a, b) covariance associated with a and b.
c) Outputs obtained from inputs using algorithm given in subclause 9.2.2 of ISO/TS 28037:2010.
NOTE A software implementation is provided at http://standards.iso.org/iso/ts/28037/ .
d) Inputs and outputs and relevant intermediate values relate to the various (sub)clauses and quantities as follows:
Items in a) and b) and how items in b) are obtained from those in a) are described in subclauses 9.1 and 9.2 of
ISO/TS 28037:2010.
4 © ISO 2012 – All rights reserved

---------------------- Page: 9 ----------------------
ISO/TR 13519:2012(E)
e) Performance of the software
The software obtains results having adequate numerical accuracy for practical calibration problems, by the use of
stable numerical methods (see 6.2). The software reproduces the data products (figures, tables and other numerical
results) in ISO/TS 28037:2010 in accordance with Clause 3.
5 Software support
5.1 Support for software implementation
5.1.1 The Committee should consider any software aspects relevant to an ISO publication with which it is
concerned and the consequent categories of support to be provided. Categories of support for the task in hand
relate to the following:
0 no support;
1 general-purpose software provided by a third party;
2 specific software provided by a third party;
3 stand-alone software accompanying the ISO publication, that is, software that can be run by the
user of the ISO publication;
4 sample code included in the ISO publication for extension or generalization by users or third parties;
5 an algorithm (step-by-step procedure) for implementation as software by users or third parties.
The categories of support to be provided in any particular case should be stated in the Scope of the relevant ISO
publication, and the Committee should be prepared to provide such support.
NOTE 1 The “third party” is the provider of the software, the first party being the user of the ISO publication, and the
second party the Committee involved in preparing the publication.
NOTE 2 Instances of 2 and 3 are given in 5.1.3 Example.
5.1.2 The following information should be given in the relevant ISO publication where appropriate:
a) domain of applicability of the software;
b) numerical accuracy expected in the outputs from application of the software. A measure of the sensitivity
of the outputs to changes in the inputs can also be given. Also see 6.2.4;
NOTE The numerical accuracy in general depends on the input data and is specific to that data.
c) any results to be provided by the software in addition to the outputs. Such results may be those of
intermediate calculations;
d) execution time and memory requirements of the software.
EXAMPLE The time to compute a median for N input data is comparable to that required to sort N floating-point
numbers using a fast sorting algorithm.
The Committee should consider which of a) to d) apply to the relevant ISO publication, and in terms of these
the appropriate categories of support in 5.1.1.
NOTE 1 Since execution time in d) depends on many factors, including hardware and programming language, this time
can be stated in a relative sense.
NOTE 2 Software performance issues are considered in 6.2.
© ISO 2012 – All rights reserved 5

---------------------- Page: 10 ----------------------
ISO/TR 13519:2012(E)
5.1.3 For each relevant task described in an ISO publication, the Committee should decide and document in
the publication whether the task can be implemented by any of the following means:
A Any software capable of carrying out the task required;
B As A, but to a particular level of performance;
C Only software that implements a specified algorithm;
D Only a specific software implementation (for example named third-party software, or an executable
software application provided with the ISO publication).
EXAMPLE 1 Illustration of category A: ISO/TR 12845:2010, Selected illustrations of fractional factorial screening
experiments.
[9]
ISO/TR 12845:2010 utilizes statistical software of current vintage for experimental data analysis in six detailed examples.
In each example a software product is used to produce output to aid in the understanding of the results for the experimental
data considered. Four different software products in all were used:
a) JMP, the trade name of a product supplied by SAS Inc.;
b) Design-Expert, the trade name of a product supplied by Stat-Ease, Inc.;
c) MINITAB, the trade name of a product supplied by Minitab Inc.;
d) R, a free software environment for statistical computing and graphics, which compiles and runs on a wide variety
of UNIX platforms, Windows and MacOS.
NOTE 1 This information is given for the convenience of users of ISO/TR 12845:2010 and does not constitute an
endorsement by ISO of the product named.
NOTE 2 Other statistical software products exist to analyse experimental data of the type considered.
NOTE 3 Ideally, particularly for critical applications, it may be useful to compare the results produced by more than one
software product to help establish whether the results are fit for purpose. The results may differ for a variety of reasons
and users may seek to understand the reasons for the differences.
[10] [11]
NOTE 4 ISO/TR 14468:2010 and ISO/TR 29901:2007 also make use of JMP and Minitab for analysing
experimental data.
EXAMPLE 2 Illustration of categories A to D: modelling of data by a straight-line function.
Consider the problem of modelling data points x , y , i = 1, …, m, by a straight line function using the method of least squares,
i i
where (a) the standard uncertainties u(y ) associated with the specified values of y are available, (b) the uncertainties
i i
associated with the specified values of x are negligible, and (c) there is no covariance associated with any pair of data values.
i
For this problem, an example of A is general-purpose software for solving a linear least-squares problem of the form
m
2
min(fA ,., A ),
∑ in1
i=1
where the f depend linearly on A , …, A , and the minimization is carried out with respect to A , …, A .
i 1 n 1 n
An example of B is software that is general purpose as immediately above, but implements a numerically stable algorithm,
thus ensuring that floating-point rounding errors do not adversely influence the results of the calculation. In particular,
the software is to achieve a prescribed performance in terms of the numerical accuracy delivered (6.2), at least for any
examples in the relevant ISO publication. See Example 1 e) in Clause 4.
An example of C is a software implementation of an algorithm specifically designed for solving the problem
2
m
 
yA−−Bx
ii
min ,
 
∑
AB, uy()
 i 
i=1
where A and B are the intercept and gradient of the straight line, respectively, and yA−− Bx is the residual deviation of
ii
the model A + BX at X = x .
i
6 © ISO 2012 – All rights reserved

---------------------- Page: 11 ----------------------
ISO/TR 13519:2012(E)
[12]
An example of D is the software provided to accompany Clause 6 of ISO/TS 28037:2010 . See Clause 4, Example 2.
5.1.4 A particular part or parts of a large software package might be relevant and, if so, would need to be identified.
5.1.5 The results provided by the software can be influenced by
a) the version of the software,
b) the version of the software environment,
c) the version of the programming language,
d) the version of the operating system, and
e) the computer hardware.
As far as possible, a choice of a) to e) should be made that minimizes these influences. These aspects also
relate to the maintenance of software considered in 6.3.
5.2 Nature of supporting software
5.2.1 Software that supports statistical calculations can take the following forms:
a) free, open-source software;
b) commercial, open-source software;
c) free, closed-source software;
d) commercial, closed-source software.
NOTE 1 Free open-source software is software that is developed, tested and modified through public collaboration and
distributed with the objective that it should be shared with others.
NOTE 2 Commercial open-source software is software that contains elements of free open-source software, but
possibly with limited functionality.
NOTE 3 Considerations are that (a) free software products are more likely to be employed by users of ISO publications,
and (b) open-source software is visible to inspection, and generally has had more attention paid to its presentation.
5.2.2 If transparency, in addition to traceability, is a primary consideration, the (decreasing) order of preference
is a) to d) in 5.2.1.
5.2.3 An overriding consideration is practical implementation of the software in the user community.
5.2.4 Consideration should be given to the particular software brands already in use among the intended
audience for the ISO publication.
NOTE There is little value in recommending or requiring software that would not operate on the platforms used by the
majority of users of the ISO publication under consideration.
5.3 Software languages
5.3.1 In choosing the language in which to provide the sample code in support category 4 (see 5.1.1),
consideration should be given to the following aspects:
a) Portability: compilers for languages such as C, C++, Java and Fortran are widely available for many
different software platforms;
© ISO 2012 – All rights reserved 7

---------------------- Page: 12 ----------------------
ISO/TR 13519:2012(E)
b) Stability: languages that are stable over time have advantages. For example, programs that have run
satisfactorily in early versions of Fortran will generally still so run in more recent versions of the language;
c) Standards compliance: languages specified by ISO are preferred;
d) End-user application: programming languages that cannot be readily installed by the target audience do
not materially assist implementation of the ISO publication; proprietary programming languages may be
more easily installed by a particular audience.
5.3.2 If appropriate, sample code in more than one language should be provided.
5.3.3 An overriding consideration is the extent to which the code provided assists implementation of the
ISO publication.
6 Quality
6.1 General
6.1.1 Software that supports statistical calculations should be developed according to a Software Quality
[7]
System. ISO 9126-1:2001 provides a model for evaluating software quality. See Figure 1. Its provisions relate
to a number of the subclauses in this Technical Report.
Are the requirements available
in software?
Functionality
How easy is it to transfer to How reliable is the
another environment? software?
Portability Reliability
ISO 9126-1:2001
Maintainability Usability
How easy is it to modify the Is the software
software? easy to use?
Efficiency
How efficient is the software?
Figure 1 — ISO 9126-1:2001 model for evaluating software quality
The software used should be validated for its quality by using reference data or another comparable facility.
[15]
6.1.2 Sample code provided explicitly in the ISO publication should follow code readability guidelines . In
particular, for the purpose addressed here, it should
— include adequate comments that relate explicitly to appropriate subclauses of the ISO publication, and
— use meaningful identifier names, preferably relating to the terminology of the ISO publication.
[8]
6.1.3 ISO/IEC 18019:2004 can be consulted regarding the provision of user documentation.
8 © ISO 2012 – All rights reserved

---------------------- Page: 13 ----------------------
ISO/TR 13519:2012(E)
6.2 Software performance
6.2.1 Examples given in an ISO publication
To obtain the numerical results in an example in an ISO publication, it may in many cases be sufficient to
use commercial software (for example, Microsoft Excel, MATLAB, Minitab, SAS). When the calculations only
include basic statistics that can be performed by a single command (for example, performing a t-test or an
analysis of variance), it should be sufficient to refer to the software used. However, it should not be assumed
that all commercial software would provide results that are fit for purpose. The calculatio
...

RAPPORT ISO/TR
TECHNIQUE 13519
Première édition
2012-09-01
Lignes directrices pour la rédaction et
l’application de publications statistiques
ISO utilisant des logiciels
Guidance on the development and use of ISO statistical publications
supported by software
Numéro de référence
ISO/TR 13519:2012(F)
©
ISO 2012

---------------------- Page: 1 ----------------------
ISO/TR 13519:2012(F)
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2012
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l’accord écrit
de l’ISO à l’adresse ci-après ou du comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail [e-mail]
Web www.iso.org
Publié en Suisse
ii © ISO 2012 – Tous droits réservés

---------------------- Page: 2 ----------------------
ISO/TR 13519:2012(F)
Sommaire Page
Avant-propos .iv
Introduction . v
1 Domaine d’application . 1
2 Termes et définitions . 1
3 Traçabilité des produits de données . 2
4 Spécification des logiciels . 3
5 Support des logiciels . 5
5.1 Support pour l’implémentation logicielle. 5
5.2 Nature du logiciel de support . 7
5.3 Langages logiciels . 8
6 Qualité . 8
6.1 Généralités . 8
6.2 Performance logicielle . 9
6.3 Maintenance du logiciel .13
7 Implications légales .13
8 Illustration .14
8.1 Généralités .14
8.2 Exemples de logiciel spécifique .14
Bibliographie .16
© ISO 2012 – Tous droits réservés iii

---------------------- Page: 3 ----------------------
ISO/TR 13519:2012(F)
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes nationaux de
normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est en général confiée aux
comités techniques de l’ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du comité
technique créé à cet effet. Les organisations internationales, gouvernementales et non gouvernementales,
en liaison avec l’ISO participent également aux travaux. L’ISO collabore étroitement avec la Commission
électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI, Partie 2.
La tâche principale des comités techniques est d’élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur publication
comme Normes internationales requiert l’approbation de 75 % au moins des comités membres votants.
Exceptionnellement, lorsqu’un comité technique a réuni des données de nature différente de celles qui sont
normalement publiées comme Normes internationales (ceci pouvant comprendre des informations sur l’état
de la technique par exemple), il peut décider, à la majorité simple de ses membres, de publier un Rapport
technique. Les Rapports techniques sont de nature purement informative et ne doivent pas nécessairement
être révisés avant que les données fournies ne soient plus jugées valables ou utiles.
L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de droits
de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable de ne pas avoir
identifié de tels droits de propriété et averti de leur existence.
L’ISO/TR 13519 a été élaboré par le comité technique ISO/TC 69, Application des méthodes statistiques.
iv © ISO 2012 – Tous droits réservés

---------------------- Page: 4 ----------------------
ISO/TR 13519:2012(F)
Introduction
Le présent document contient des lignes directrices sur les logiciels destinés à faciliter la préparation et
l’application des publications statistiques ISO.
Les aspects couverts dans le présent document sont:
— la traçabilité des produits de données (figures, tableaux et autres résultats numériques),
— les spécifications des logiciels,
— les catégories de support pour les logiciels, et
— la performance des logiciels, y compris l’utilisation de données de référence à des fins d’essais.
Toute référence à des produits commerciaux de toute nature (y compris et sans limitation, les logiciels, les
données ou le matériel) ou des liens vers des sites web n’implique aucune approbation, entérinement ou
recommandation de la part de l’ISO, ni une quelconque responsabilité.
© ISO 2012 – Tous droits réservés v

---------------------- Page: 5 ----------------------
RAPPORT TECHNIQUE ISO/TR 13519:2012(F)
Lignes directrices pour la rédaction et l’application de
publications statistiques ISO utilisant des logiciels
1 Domaine d’application
Le présent document fournit des lignes directrices pour la rédaction et l’application de publications statistiques
ISO utilisant des logiciels. Les logiciels sont largement associés aux calculs statistiques traités par les sous-
comités de l’ISO/TC 69, Application des méthodes statistiques, mais beaucoup d’autres calculs numériques
sont concernés par des aspects similaires.
En termes de préparation des publications ISO, le présent document donne des indications sur la traçabilité
des produits de données (figures, tableaux et autres résultats numériques) reproduits dans les documents de
type normatif.
Pour faciliter l’application des publications ISO par les utilisateurs, le présent document donne des indications
sur les informations qu’il convient d’inclure dans les publications ISO pour la spécification des logiciels, les
catégories de support des logiciels, et la performance des logiciels, y compris l’utilisation des jeux de données
de référence à des fins d’essais.
Des exemples sont inclus qui illustrent les différents aspects des indications fournies.
Dans le présent document, «Comité» se rapporte à l’organisme de l’ISO concerné par la préparation de la
publication ISO correspondante.
2 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s’appliquent.
2.1
algorithme
procédure pas à pas décrivant un calcul spécifique, et suffisamment détaillée pour pouvoir être implémentée
dans un logiciel
2.2
produit de données
données numériques, y compris les figures graphiques exprimées numériquement, dans une publication ISO
EXEMPLE 1 Un tableau numérique dans une publication ISO.
EXEMPLE 2 Une figure graphique exprimée sous forme numérique comme une matrice de pixels dans une publication ISO.
2.3
domaine d’applicabilité
ensemble des entrées sur lesquelles on estime que le logiciel peut agir de façon valide
2.4
exactitude numérique
qualité d’une valeur numérique exprimée en termes de nombre de décimales sous forme absolue ou relative
2.5
paramétrage du problème
représentation mathématique d’un problème impliquant un ensemble spécifique de paramètres de définition
NOTE Généralement, un problème a plusieurs paramétrages.
EXEMPLE Fonction linéaire à deux variables: ISO/TS 28037:2010, Détermination et utilisation des fonctions
d’étalonnage linéaire.
© ISO 2012 – Tous droits réservés 1

---------------------- Page: 6 ----------------------
ISO/TR 13519:2012(F)
Une droite des variables X et Y peut être paramétrée par Y = A + A X et par Y = B + B (X – 100) (et d’autres façons). La
1 2 1 2
seconde forme est meilleure que la première si elle doit être utilisée comme modèle de régression linéaire, dans lequel X
[12]
représente la température en degrés Celsius avec des valeurs proches de 100 ºC. Voir l’ISO/TS 28037:2010 .
2.6
données de référence
données utilisées pour soumettre à essai un élément de logiciel dans un calcul spécifique
2.7
résultat de référence
résultat correspondant aux données de référence pour un calcul spécifique
NOTE Un résultat de référence est fourni indépendamment du logiciel d’essai et avec une précision numérique
meilleure que celle exigée du résultat fourni par le logiciel d’essai.
2.8
résultat des essais
résultat produit par le logiciel d’essai pour les données de référence d’un calcul spécifique
2.9
logiciel d’essai
logiciel soumis à essai
2.10
arrondi à l’unité
distance de 1,0 au nombre à virgule flottante le plus proche strictement inférieur à 1,0
[1]
NOTE 1 Voir l’IEEE 754:2008 .
NOTE 2 Pour l’objet du présent Rapport technique, les nombres à virgule flottante constituent la partie du système de
calcul numérique utilisé pour fournir des résultats statistiques.
NOTE 3 Toutes les valeurs calculées qui sont données dans ce Rapport technique ont été obtenues sur un ordinateur
–16
avec un arrondi à l’unité de 2,22 × 10 .
3 Traçabilité des produits de données
3.1 Il convient que les données numériques, y compris les figures, présentes dans un document ISO soient
traçables à des sources crédibles. De telles données sont désignées comme un «produit de données» pour les
distinguer de données source ou de données brutes.
3.2 Une telle traçabilité (désignée également par l’expression «origine des données») exige une connaissance
des données source et des processus par lesquels le produit de données a été déduit à partir des données
source. Ces processus sont connus sous le nom de «transformations de données».
NOTE La traçabilité est vitale dans le travail scientifique en général, et pour les applications statistiques en particulier,
pour la crédibilité des données publiées.
3.3 Dans les travaux de normalisation, il est nécessaire de comprendre complètement la provenance d’un
produit de données obtenu de sorte que ces produits puissent être reproduits et mis à jour selon les besoins.
[5]
NOTE L’ISO 19115:2003 se rapporte aux considérations sur la traçabilité. Elle est applicable en particulier aux
informations géographiques sous forme de données numériques, mais ses principes s’appliquent également aux données
non-géographiques. L’ISO 19115:2003 est typiquement utilisée pour des applications à grande échelle exigeant des bases
de données. Pour l’objet du présent Rapport technique, les considérations à une plus petite échelle s’appliquent, mais
certains concepts sont utilement empruntés à ce domaine.
3.4 Pour tout produit de données, il convient d’enregistrer les données source utilisées et les transformations
de données appliquées avec suffisamment de détails pour que le produit de données puisse être reproduit. Il
convient de faire une référence explicite au logiciel utilisé dans ce but.
2 © ISO 2012 – Tous droits réservés

---------------------- Page: 7 ----------------------
ISO/TR 13519:2012(F)
3.5 Si le produit de données est une figure graphique, la traçabilité se rapporte à la résolution visuelle
normale. Sinon, la traçabilité concerne le nombre de décimales cité dans la publication ISO.
EXEMPLE Spécification technique ISO avec des produits de données fournis par MATLAB et LaTeX.
Chaque tableau numérique de l’ISO/TS 28037:2010 a été produit en utilisant un script de MATLAB qui a créé la source
LaTeX, combinée avec une autre source LaTeX afin de créer une version PDF de l’ISO/TS 28037:2010. Le tableau est un
produit de données issu d’une transformation (implémentée dans le script de MATLAB) d’un ensemble de données qui
correspondaient aux points de données — les données source — ou aux données déduites de façon similaire des données
source. Tout changement au stade du projet dans les données source ou les transformations a été par conséquent intégré
au produit de données qui en résulte. Par conséquent, aucune erreur humaine de transcription n’a pu se produire et les
tableaux numériques (avec leur texte d’accompagnement) seraient reproductibles par réutilisation de ce processus.
Les données source et les détails des transformations ont été enregistrés dans l’ISO/TS 28037:2010.
NOTE 1 Le Secrétariat Central de l’ISO peut fournir un site web adapté pour contenir les enregistrements de traçabilité,
y compris le logiciel.
NOTE 2 MATLAB est le nom de marque d’un produit fourni par The MathWorks Inc.
[6]
3.6 Les règles d’arrondi données à l’Annexe B de l’ISO 80000-1:2009 s’appliquent à l’expression des
nombres décimaux.
4 Spécification des logiciels
Il convient que toute publication ISO contienne une spécification des logiciels qui pourraient fournir une aide
matérielle dans l’application de cette publication. Les logiciels concernés se rapportent en grande partie aux
calculs statistiques. La spécification comprendrait des informations détaillées sur:
a) les données d’entrée du logiciel,
b) les données de sortie du logiciel,
c) comment les données de sortie sont obtenues à partir des données d’entrée,
d) comment les données d’entrée et les données de sortie ainsi que les valeurs intermédiaires pertinentes
sont en relation avec les divers articles (et paragraphes) et grandeurs cités dans la publication ISO, et
e) la performance du logiciel, en particulier en termes de précision numérique exigée dans les résultats
produits; voir également 6.2.
EXEMPLE 1 ISO 13528:2005, Méthodes statistiques utilisées dans les essais d’aptitude par comparaisons
interlaboratoires.
[4]
Le paragraphe 8.6 de l’ISO 13528:2005 se rapporte à la création d’un graphique d’écart-type de répétabilité pour chaque
laboratoire impliqué dans un projet d’essais d’aptitude par rapport à la moyenne correspondante pour le laboratoire.
Il spécifie également la construction d’une région de confiance correspondant à un niveau de signification 1 – P sous
l’hypothèse de normalité. Dans ce cas, la spécification générique pour un tel graphique est la suivante.
a) Données d’entrée du logiciel
p nombre de laboratoires participants,
n
nombre de valeurs indicatives répliquées,
x valeur moyenne indicative pour le laboratoire i, i = 1, …, p,
i
s écart-type intralaboratoire pour le laboratoire i, i = 1, …, p, et
i
P
niveau de signification (par exemple, 0,05).
b) Données de sorties du logiciel
x
les coordonnées x utilisées pour définir la limite de la zone ayant un niveau de signification de 100P %, et,
s les coordonnées y correspondantes.
© ISO 2012 – Tous droits réservés 3

---------------------- Page: 8 ----------------------
ISO/TR 13519:2012(F)
c) Données de sortie obtenues à partir des entrées utilisant:
12/ 12/ 2
des valeurs de x comprises dans l’intervalle Xv−(/nS) à Xv+(/nS), où v = χ , et
21; −P
12/
 
2
 
−12//12
 
 
des valeurs de s, correspondant à celles de x, égales à Snexp(±−22)(vn−−xX)/ S ,
 
 
 
 
 
où
∗ ∗
Xx= , la moyenne robuste de x , …, x ; Ss= , la valeur robuste groupée de s , …, s [voir d)].
1 p 1 p
d) Les données d’entrée et de sortie et les valeurs intermédiaires pertinentes concernent les différents articles,
paragraphes et grandeurs suivants:
Les éléments en a) et b) et la manière dont les éléments en b) sont obtenus à partir de ceux de a) sont décrits dans
le paragraphe 8.6.1 de l’ISO 13528:2005,
∗
x est calculé par l’algorithme A en Annexe C.1 de l’ISO 13528:2005,
∗ ∗
s est la valeur de w calculée par l’algorithme S à l’Annexe C.2 de l’ISO 13528:2005, et
l’expression pour s est donnée dans la Formule (41) de l’ISO 13528:2005.
e) Performance du logiciel
Les écarts-types sont exprimés avec un nombre requis de décimales significatives (habituellement une ou deux), et
les moyennes associées sont exprimées selon le même nombre de décimales, pour les données d’entrée comprises
dans un domaine spécifié d’applicabilité.
Sur un exemple particulier, les valeurs numériques pour les données d’entrée (p, n, les x , les s et P) seraient fournies. La
i i
Figure 11 de l’ISO 13528:2005 est un exemple particulier d’un graphique créé en traçant les points (x , s ), i = 1, …, p. Il affiche
i i
également les limites des régions de confiance correspondant à un niveau de signification P, pour P = 0,001, = 0,01, 0,05.
EXEMPLE 2 ISO/TS 28037:2010, Détermination et utilisation des fonctions d’étalonnage linéaire.
[12]
L’Article 9 de l’ISO/TS 28037:2010 porte sur l’obtention d’estimations a et b des paramètres A et B dans une fonction
d’étalonnage linéaire Y = A + BX pour les variables X et Y. Les valeurs mesurées (observations) x et y de X et Y sont
i i
disponibles, de même que les incertitudes-types associées u(y) et les covariances cov(y , y ) associées à chaque
i i j
paire (y , y ), i = 1, …, m, j = 1, …, m, j ≠ i. Les incertitudes associées à x sont considérées comme négligeables car très
i j i
petites dans le cadre de cet article de l’ISO 28037:2010, de même que d’autres covariances. Dans ce cas, la spécification
est la suivante.
a) Données d’entrée du logiciel
m nombre d’observations,
x
valeur mesurée de la coordonnée X de la i-ième observation, i = 1, …, m,
i
y valeur mesurée de la coordonnée Y de la i-ième observation, i = 1, …, m,
i
u(y ) incertitude-type associée à y , i = 1, …, m, et
i i
cov(y , y ) covariance associée à la paire (y , y ), i = 1, …, m, j = 1, …, m, j ≠ i
i j i j
b) Données de sorties du logiciel
a estimation de A,
b estimation de B,
u(a) incertitude-type associée à a,
u(b) incertitude-type associée à b, et
cov(a, b) covariance associée à a et b.
c) Données de sortie obtenues à partir des données d’entrée en utilisant l’algorithme donné dans le paragraphe 9.2.2
de l’ISO/TS 28037:2010.
NOTE Une implémentation de logiciel est fournie sur http://standards.iso.org/iso/ts/28037/.
4 © ISO 2012 – Tous droits réservés

---------------------- Page: 9 ----------------------
ISO/TR 13519:2012(F)
d) Les données d’entrée et de sortie et les valeurs intermédiaires pertinentes concernent les différents articles,
paragraphes et grandeurs suivants:
Les éléments en a) et b) et la manière dont les éléments en b) sont obtenus à partir de ceux en a) sont décrits dans
les paragraphes 9.1 et 9.2 de l’ISO/TS 28037:2010.
e) Performance du logiciel
Le logiciel obtient des résultats ayant une précision numérique adéquate pour les problèmes pratiques d’étalonnage,
grâce à l’utilisation de méthodes numériques stables (voir 6.2). Le logiciel reproduit les produits de données (figures,
tableaux et autres résultats numériques) dans l’ISO 28037:2010 selon l’Article 3.
5 Support des logiciels
5.1 Support pour l’implémentation logicielle
5.1.1 Il convient que le Comité prenne en compte tous les aspects logiciels qui sont liés à l’application d’une
publication ISO et qui la concernent, ainsi que ceux liés aux catégories de support résultant à fournir. Les
catégories de support possible concernées sont les suivantes:
0 aucun support;
1 logiciel à usage généraliste fourni par une tierce partie;
2 logiciel spécifique fourni par une tierce partie;
3 logiciel autonome accompagnant la publication ISO, c’est-à-dire un logiciel qui peut être exécuté
par l’utilisateur de la publication ISO;
4 code échantillon inclus dans la publication ISO pour une généralisation ou une extension
exécutable par des tierces parties ou des utilisateurs;
5 algorithme (procédure pas à pas) pour une implémentation en tant que logiciel par les
utilisateurs ou des tierces parties.
Il convient de spécifier les catégories de support à fournir dans tous les cas particuliers dans l’objet de la
publication ISO correspondante, et il convient que le Comité soit disposé à fournir un tel support.
NOTE 1 «Tierce partie» désigne le fournisseur du logiciel, la partie de premier rang étant l’utilisateur de la publication ISO,
et la partie de second rang le Comité concerné par la préparation de la publication.
NOTE 2 Des exemples de 2 et de 3 sont donnés dans l’Exemple en 5.1.3.
5.1.2 Il convient de donner les informations suivantes dans la publication ISO correspondante quand cela
est nécessaire:
a) domaine d’applicabilité du logiciel;
b) précision numérique attendue dans les données de sortie produites par l’application du logiciel. Une mesure
de la sensibilité des données de sortie aux changements dans les données d’entrée peut également être
indiquée; voir également 6.2.4;
NOTE En général, la précision numérique dépend des données d’entrée et elle est spécifique à ces données.
c) tous les résultats fournis par le logiciel autres que les données de sortie; il peut s’agir des résultats des
calculs intermédiaires;
d) temps d’exécution et capacités mémoire requises par le logiciel.
EXEMPLE Le temps de calcul d’une médiane pour les N données d’entrée est comparable à celui nécessaire pour
trier N nombres à virgule flottante en utilisant un algorithme de tri rapide.
© ISO 2012 – Tous droits réservés 5

---------------------- Page: 10 ----------------------
ISO/TR 13519:2012(F)
Il convient que le Comité étudie lesquels des points a) à d) s’appliquent à la publication ISO concernée, et par
rapport à ces points, quelles sont les catégories correspondantes de support en 5.1.1.
NOTE 1 Puisque le temps d’exécution en d) dépend de nombreux facteurs, y compris le matériel et le langage de
programmation, ce temps peut être indiqué de façon relative.
NOTE 2 Les données de performance logicielle sont étudiées en 6.2.
5.1.3 Pour chaque tâche correspondante décrite dans une publication ISO, il convient que le Comité décide
si la tâche peut être implémentée par un ou plusieurs des moyens suivants et qu’il documente ladite décision
dans la publication:
A tout logiciel capable d’effectuer la tâche exigée;
B comme dans A, mais à un niveau particulier de performance;
C seulement un logiciel qui implémente un algorithme spécifié;
D seulement une implémentation logicielle spécifique (par exemple un logiciel nommé de tierce
partie, ou une application logicielle exécutable fournie avec la publication ISO).
EXEMPLE 1 Illustration de la catégorie A: ISO/TR 12845:2010, Illustrations choisies de plans d’expériences factoriels
fractionnaires.
[9]
L’ISO/TR 12845:2010 utilise un logiciel statistique de conception actuelle pour l’analyse de données expérimentales sur
six exemples détaillés. Dans chaque exemple, un produit logiciel est utilisé pour produire un résultat destiné à faciliter la
compréhension des résultats dans les données expérimentales étudiées. En tout, quatre produits logiciels différents ont
été utilisés:
a) JMP, le nom de marque d’un produit fourni par SAS Inc.;
b) Design-Expert, le nom de marque d’un produit fourni par Stat-Ease, Inc.;
c) MINITAB, le nom de marque d’un produit fourni par Minitab Inc.;
d) R, un environnement de logiciel libre pour le calcul statistique et les applications graphiques, qui compile et s’exécute
sur une grande variété de plates-formes UNIX, Windows et MacOS.
NOTE 1 Cette information est donnée par souci de commodité à l’intention des utilisateurs de l’ISO/TR 12845:2010 et
ne saurait constituer un engagement de l’ISO à l’égard de ces produits.
NOTE 2 D’autres produits logiciels de statistiques existent pour analyser les données expérimentales du type étudié.
NOTE 3 Dans l’idéal, en particulier pour les applications critiques, il peut être utile de comparer les résultats donnés
par différents produits logiciels pour pouvoir déterminer si ces résultats sont adaptés au but recherché. Les résultats
peuvent varier pour des raisons différentes et les utilisateurs peuvent ainsi rechercher les raisons des différences.
[10] [11]
NOTE 4 L’ISO/TR 14468:2010 et l’ISO/TR 29901:2007 utilisent également JMP et Minitab pour analyser des
données expérimentales.
EXEMPLE 2 Illustration des catégories A à D: modélisation des données par une fonction linéaire.
Considérons le problème de la modélisation d’observations x , y , i = 1, …, m, par une fonction linéaire utilisant la méthode
i i
des moindres carrés, dans laquelle (a) les incertitudes-types u(y ) associées aux valeurs spécifiées de y sont disponibles,
i i
(b) les incertitudes associées aux valeurs spécifiées de x sont négligeables, et (c) il n’y a aucune covariance associée à
i
une paire de données.
Pour ce type de problème, un exemple de A est un logiciel à usage généraliste permettant de résoudre un problème
linéaire de moindres carrés de la forme:
m
2
min(fA ,., A ),
in1
∑
i=1
où f dépend linéairement de A , …, A , et la minimisation est effectuée en ce qui concerne A , …, A .
i 1 n 1 n
6 © ISO 2012 – Tous droits réservés

---------------------- Page: 11 ----------------------
ISO/TR 13519:2012(F)
Un exemple de B est un logiciel à usage généraliste comme indiqué précédemment, mais qui implémente un algorithme
numériquement stable, permettant de ce fait que les erreurs d’arrondi en virgule flottante n’influencent pas défavorablement
les résultats du calcul. En particulier, le logiciel doit réaliser une performance prescrite en termes de précision numérique
fournie (6.2), au moins pour tous les exemples cités dans la publication ISO correspondante. Voir Exemple 1 e) dans l’Article 4.
Un exemple de C est une implémentation logicielle d’un algorithme conçu spécifiquement pour résoudre le problème
2
m
 
yA−−Bx
ii
min ,
 
∑
AB, uy()
i
 
i=1
dans lequel A et B sont l’ordonnée à l’origine et la pente de la droite, respectivement, et yA−− Bx est l’écart résiduel
ii
du modèle A + BX à X = x .
i
[12]
Un exemple de D est le logiciel fourni pour accompagner l’Article 6 de l’ISO/TS 28037:2010 . Voir l’Article 4, Exemple 2.
5.1.4 Un module ou des modules particuliers d’un grand progiciel pourrait être adapté et, si oui, il devrait
être identifié.
5.1.5 Les résultats fournis par le logiciel peuvent être influencés par:
a) la version du logiciel,
b) la version de l’environnement logiciel,
c) la version du langage de programmation,
d) la version du système d’exploitation, et
e) le matériel de l’ordinateur.
Autant que possible, il convient de faire un choix de a) à e) qui réduise au minimum ces influences. Ces aspects
sont également liés à la maintenance du logiciel considéré en 6.3.
5.2 Nature du logiciel de support
5.2.1 Les logiciels prenant en charge les calculs statistiques peuvent prendre les formes suivantes:
a) logiciel libre gratuit;
b) logiciel libre commercial;
c) logiciel gratuit, mais dont les sources ne sont pas accessibles;
d) logiciel commercial dont les sources ne sont pas accessibles.
NOTE 1 Un logiciel libre et gratuit est un logiciel développé, soumis à l’essai et modifié par une équipe collaborative et
publique et il est distribué avec pour objectif de le partager avec d’autres.
NOTE 2 Un logiciel libre commercial est un logiciel contenant des éléments d’un logiciel libre gratuit, mais probablement
avec des fonctionnalités limitées.
NOTE 3 On estime que (a) les utilisateurs des publications ISO sont plus enclins à utiliser des produits logiciels gratuits, et
(b) que les logiciels libres sont plus accessibles pour une évaluation, et généralement font l’objet d’une présentation plus étoffée.
5.2.2 Si la transparence, en plus de la traçabilité, est une considération majeure, l’ordre de préférence
(décroissant) sera de a) à d) en 5.2.1.
5.2.3 Un aspect primordial concerne la mise en œuvre pratique du logiciel par la communauté des utilisateurs.
© ISO 2012 – Tous droits réservés 7

---------------------- Page: 12 ----------------------
ISO/TR 13519:2012(F)
5.2.4 Il convient de prendre en compte les applications logicielles particulières déjà utilisées par les personnes
à qui est destinée la publication ISO.
NOTE Il y a peu d’intérêt à recommander ou à prescrire un logici
...