SIST ISO 5060:2024
(Main)Translation services — Evaluation of translation output — General guidance
Translation services — Evaluation of translation output — General guidance
This document gives guidance on the evaluation of human translation output, post-edited machine translation output, and unedited machine translation output. It also provides guidance on the qualifications and competences of evaluators. The role of sampling is also discussed in this document.
This document focuses on an analytic translation evaluation approach using error types and penalty points configured to produce an error score and a quality rating.
A further focus is the human evaluation of translation output only. This document follows an approach designed to reflect minimum complexity. The rationale behind this approach is to keep this document applicable for as many users as possible in the translation sector.
The guidance provided in this document can also support the evaluation of source texts intended for translation.
This document is applicable to translation service providers (TSPs), including individual translators, translation companies or in-house translation services, their clients and other interested parties in the translation sector, such as translator education and training institutions.
This document does not apply to related elements such as the processes of assuring the quality of translation output and corrective actions.
This document does not apply to interpreting.
Services de traduction — Évaluation des résultats de traduction — Recommandations générales
Le présent document fournit des recommandations relatives à l’évaluation du résultat d’une traduction humaine, d’une traduction automatique post-éditée et d’une traduction automatique non éditée. Il donne également des recommandations relatives aux qualifications et aux compétences des évaluateurs. Le rôle de l’échantillonnage y est également abordé.
Le présent document se concentre sur une approche analytique d’évaluation de la traduction utilisant des types d’erreurs et des points de pénalité configurés pour obtenir un score d’erreur et une note de qualité.
Il met également l’accent uniquement sur l’évaluation humaine du résultat de traduction. Le présent document suit une approche conçue pour présenter le moins de complexité possible. Le but de cette approche est de faire en sorte que le présent document soit applicable par le plus grand nombre d’utilisateurs possible dans le secteur de la traduction.
Les recommandations fournies dans le présent document peuvent également servir à l’évaluation des textes sources destinés à être traduits.
Le présent document s’applique aux prestataires de services de traduction (PST), y compris les traducteurs indépendants, les sociétés de traduction ou les services internes de traduction, à leurs clients et aux autres parties intéressées du secteur de la traduction, telles que les établissements d’enseignement et de formation des traducteurs.
Le présent document ne s’applique pas aux éléments connexes tels que les processus d’assurance de la qualité du résultat de traduction et les actions correctives.
Le présent document ne s’applique pas à l’interprétation.
Prevajalske storitve - Vrednotenje rezultatov prevajanja - Splošna navodila
General Information
Standards Content (Sample)
SLOVENSKI STANDARD
01-oktober-2024
Prevajalske storitve - Vrednotenje rezultatov prevajanja - Splošna navodila
Translation services — Evaluation of translation output — General guidance
Services de traduction — Évaluation des résultats de traduction — Recommandations
générales
Ta slovenski standard je istoveten z: ISO 5060:2024
ICS:
01.020 Terminologija (načela in Terminology (principles and
koordinacija) coordination)
03.080.99 Druge storitve Other services
2003-01.Slovenski inštitut za standardizacijo. Razmnoževanje celote ali delov tega standarda ni dovoljeno.
International
Standard
ISO 5060
First edition
Translation services — Evaluation
2024-02
of translation output — General
guidance
Services de traduction — Évaluation des résultats de traduction
— Recommandations générales
Reference number
© ISO 2024
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
3.1 General concepts .1
3.2 Concepts related to the people involved in the evaluation process .3
3.3 Concepts related to the evaluation process .3
3.4 Concepts related to errors .4
3.5 Concepts related to penalty points.5
4 Human resources . 6
4.1 General .6
4.2 Professional competences of evaluators .6
4.3 Qualifications of evaluators .6
5 Pre-evaluation phase . 7
5.1 Evaluation approaches .7
5.2 Implementing the evaluation of translation output .7
5.3 Specifications .7
5.4 Error typology .7
5.5 Error type weights .9
5.6 Severity levels .9
5.7 Critical errors .9
5.8 Counting repeated errors .9
6 Evaluation phase . 9
6.1 General .9
6.2 Basic evaluation principles .10
6.3 Sampling the translation output to be evaluated .10
6.4 Translation evaluation scorecard .10
6.5 Quality rating .11
7 Post-evaluation phase .11
7.1 Feedback .11
7.2 Dispute resolution .11
Annex A (informative) Translation use case, evaluation purpose and constraints .12
Annex B (informative) Developing a translation evaluation strategy .13
Annex C (informative) Developing a translation evaluation system . 14
Annex D (informative) Sampling .15
Annex E (informative) Cohesion and coherence .16
Annex F (informative) Examples of scorecards for evaluating translation output . 17
Bibliography .21
iii
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out through
ISO technical committees. Each member body interested in a subject for which a technical committee
has been established has the right to be represented on that committee. International organizations,
governmental and non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely
with the International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are described
in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the different types
of ISO document should be noted. This document was drafted in accordance with the editorial rules of the
ISO/IEC Directives, Part 2 (see www.iso.org/directives).
ISO draws attention to the possibility that the implementation of this document may involve the use of (a)
patent(s). ISO takes no position concerning the evidence, validity or applicability of any claimed patent
rights in respect thereof. As of the date of publication of this document, ISO had not received notice of (a)
patent(s) which may be required to implement this document. However, implementers are cautioned that
this may not represent the latest information, which may be obtained from the patent database available at
www.iso.org/patents. ISO shall not be held responsible for identifying any or all such patent rights.
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and expressions
related to conformity assessment, as well as information about ISO's adherence to the World Trade
Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 37, Language and terminology, Subcommittee
SC 5, Translation, interpreting and related technology.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www.iso.org/members.html.
iv
Introduction
Globalization, the accompanying growth of the translation market, the professionalization of translation
services and the growing availability of online machine translation tools have driven the demand for
standardized and harmonized principles and procedures for the evaluation of translation output.
In an industrial world in which products have to comply with legal regulations and client specifications,
translation output has to be regarded as a product that has to fulfil certain requirements. The systematic
comparison of a target language content with the source language content giving regard to the translation
project specifications provides the means to arrive at a valuable and objective judgement of achievement.
v
International Standard ISO 5060:2024(en)
Translation services — Evaluation of translation output —
General guidance
1 Scope
This document gives guidance on the evaluation of human translation output, post-edited machine
translation output, and unedited machine translation output. It also provides guidance on the qualifications
and competences of evaluators. The role of sampling is also discussed in this document.
This document focuses on an analytic translation evaluation approach using error types and penalty points
configured to produce an error score and a quality rating.
A further focus is the human evaluation of translation output only. This document follows an approach
designed to reflect minimum complexity. The rationale behind this approach is to keep this document
applicable for as many users as possible in the translation sector.
The guidance provided in this document can also support the evaluation of source texts intended for
translation.
This document is applicable to translation service providers (TSPs), including individual translators,
translation companies or in-house translation services, their clients and other interested parties in the
translation sector, such as translator education and training institutions.
This document does not apply to related elements such as the processes of assuring the quality of translation
output and corrective actions.
This document does not apply to interpreting.
2 Normative refe
...
International
Standard
ISO 5060
First edition
Translation services — Evaluation
2024-02
of translation output — General
guidance
Services de traduction — Évaluation des résultats de traduction
— Recommandations générales
Reference number
© ISO 2024
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
3.1 General concepts .1
3.2 Concepts related to the people involved in the evaluation process .3
3.3 Concepts related to the evaluation process .3
3.4 Concepts related to errors .4
3.5 Concepts related to penalty points.5
4 Human resources . 6
4.1 General .6
4.2 Professional competences of evaluators .6
4.3 Qualifications of evaluators .6
5 Pre-evaluation phase . 7
5.1 Evaluation approaches .7
5.2 Implementing the evaluation of translation output .7
5.3 Specifications .7
5.4 Error typology .7
5.5 Error type weights .9
5.6 Severity levels .9
5.7 Critical errors .9
5.8 Counting repeated errors .9
6 Evaluation phase . 9
6.1 General .9
6.2 Basic evaluation principles .10
6.3 Sampling the translation output to be evaluated .10
6.4 Translation evaluation scorecard .10
6.5 Quality rating .11
7 Post-evaluation phase .11
7.1 Feedback .11
7.2 Dispute resolution .11
Annex A (informative) Translation use case, evaluation purpose and constraints .12
Annex B (informative) Developing a translation evaluation strategy .13
Annex C (informative) Developing a translation evaluation system . 14
Annex D (informative) Sampling .15
Annex E (informative) Cohesion and coherence .16
Annex F (informative) Examples of scorecards for evaluating translation output . 17
Bibliography .21
iii
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out through
ISO technical committees. Each member body interested in a subject for which a technical committee
has been established has the right to be represented on that committee. International organizations,
governmental and non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely
with the International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are described
in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the different types
of ISO document should be noted. This document was drafted in accordance with the editorial rules of the
ISO/IEC Directives, Part 2 (see www.iso.org/directives).
ISO draws attention to the possibility that the implementation of this document may involve the use of (a)
patent(s). ISO takes no position concerning the evidence, validity or applicability of any claimed patent
rights in respect thereof. As of the date of publication of this document, ISO had not received notice of (a)
patent(s) which may be required to implement this document. However, implementers are cautioned that
this may not represent the latest information, which may be obtained from the patent database available at
www.iso.org/patents. ISO shall not be held responsible for identifying any or all such patent rights.
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and expressions
related to conformity assessment, as well as information about ISO's adherence to the World Trade
Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 37, Language and terminology, Subcommittee
SC 5, Translation, interpreting and related technology.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www.iso.org/members.html.
iv
Introduction
Globalization, the accompanying growth of the translation market, the professionalization of translation
services and the growing availability of online machine translation tools have driven the demand for
standardized and harmonized principles and procedures for the evaluation of translation output.
In an industrial world in which products have to comply with legal regulations and client specifications,
translation output has to be regarded as a product that has to fulfil certain requirements. The systematic
comparison of a target language content with the source language content giving regard to the translation
project specifications provides the means to arrive at a valuable and objective judgement of achievement.
v
International Standard ISO 5060:2024(en)
Translation services — Evaluation of translation output —
General guidance
1 Scope
This document gives guidance on the evaluation of human translation output, post-edited machine
translation output, and unedited machine translation output. It also provides guidance on the qualifications
and competences of evaluators. The role of sampling is also discussed in this document.
This document focuses on an analytic translation evaluation approach using error types and penalty points
configured to produce an error score and a quality rating.
A further focus is the human evaluation of translation output only. This document follows an approach
designed to reflect minimum complexity. The rationale behind this approach is to keep this document
applicable for as many users as possible in the translation sector.
The guidance provided in this document can also support the evaluation of source texts intended for
translation.
This document is applicable to translation service providers (TSPs), including individual translators,
translation companies or in-house translation services, their clients and other interested parties in the
translation sector, such as translator education and training institutions.
This document does not apply to related elements such as the processes of assuring the quality of translation
output and corrective actions.
This document does not apply to interpreting.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content constitutes
requirements of this document. For dated references, only the edition cited applies. For undated references,
the latest edition of the referenced document (including any amendments) applies.
ISO 20539, Translation, interpreting and related technology — Vocabulary
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 20539 and the following apply.
ISO and IEC maintain terminology databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at https:// www .electropedia .org/
3.1 General concepts
3.1.1
translate
render source language content (3.1.6) into target language content (3.1.7) in written form or signed language
[SOURCE: ISO 20539:2023, 3.1.8]
...
Norme
internationale
ISO 5060
Première édition
Services de traduction — Évaluation
2024-02
des résultats de traduction —
Recommandations générales
Translation services — Evaluation of translation output —
General guidance
Numéro de référence
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2024
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii
Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 1
3.1 Concepts généraux .2
3.2 Concepts relatifs aux personnes impliquées dans le processus d’évaluation .3
3.3 Concepts relatifs au processus d’évaluation .3
3.4 Concepts relatifs aux erreurs .4
3.5 Concepts relatifs aux points de pénalité .5
4 Ressources humaines . 6
4.1 Généralités .6
4.2 Compétences professionnelles des évaluateurs .6
4.3 Qualifications des évaluateurs .7
5 Phase de pré-évaluation . 7
5.1 Approches d’évaluation . .7
5.2 Mise en œuvre de l’évaluation d’un résultat de traduction .7
5.3 Spécifications .8
5.4 Typologie des erreurs .8
5.5 Pondérations par type d’erreur .9
5.6 Niveaux de gravité .9
5.7 Erreurs critiques.9
5.8 Comptage des erreurs répétées .10
6 Phase d’évaluation . 10
6.1 Généralités .10
6.2 Principes fondamentaux de l’évaluation .10
6.3 Échantillonnage du résultat de traduction à évaluer .10
6.4 Tableau de bord d’évaluation de la traduction .11
6.5 Note de qualité . 12
7 Phase de post-évaluation .12
7.1 Retour d’information . 12
7.2 Règlement des litiges . 12
Annexe A (informative) Cas d’utilisation de la traduction, objectif de l’évaluation et contraintes .13
Annexe B (informative) Mise au point d’une stratégie d’évaluation de la traduction . 14
Annexe C (informative) Mise au point d’un système d’évaluation de la traduction .15
Annexe D (informative) Échantillonnage .16
Annexe E (informative) Cohésion et cohérence . 17
Annexe F (informative) Exemples de tableaux de bord pour l’évaluation d’un résultat de
traduction .18
Bibliographie .22
iii
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux
de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général
confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire
partie du comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (IEC) en ce qui concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a
été rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir
www.iso.org/directives).
L’ISO attire l’attention sur le fait que la mise en application du présent document peut entraîner l’utilisation
d’un ou de plusieurs brevets. L’ISO ne prend pas position quant à la preuve, à la validité et à l’applicabilité de
tout droit de brevet revendiqué à cet égard. À la date de publication du présent document, l’ISO n'avait pas
reçu notification qu’un ou plusieurs brevets pouvaient être nécessaires à sa mise en application. Toutefois,
il y a lieu d’avertir les responsables de la mise en application du présent document que des informations
plus récentes sont susceptibles de figurer dans la base de données de brevets, disponible à l'adresse
www.iso.org/brevets. L’ISO ne saurait être tenue pour responsable de ne pas avoir identifié tout ou partie de
tels droits de propriété.
Les appellations commerciales éventuellement mentionnées dans le présent document sont données pour
information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion de
l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles techniques au
commerce (OTC), voir www.iso.org/avant-propos.
Le présent document a été élaboré par le comité technique ISO/TC 37, Langage et terminologie, sous-
comité SC 5, Traduction, interprétation et technologies apparentées.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes se
trouve à l’adresse www.iso.org/fr/members.html.
iv
Introduction
La mondialisation, la croissance du marché de la traduction qui l’accompagne, la professionnalisation des
services de traduction et la mise à disposition croissante d’outils de traduction automatique en ligne ont
suscité une demande de principes et de procédures normalisés et harmonisés pour évaluer les résultats de
traduction.
Dans un monde industrialisé où les produits doivent être conformes aux dispositions légales et aux
spécifications des clients, les résultats de traductions doivent être considérés comme un produit devant
répondre à certaines exigences. La comparaison systématique d’un contenu dans la langue cible avec le
contenu dans la langue source, en tenant compte des spécifications du projet de traduction, permet d’obtenir
un avis pertinent et objectif sur le résultat.
v
Norme internationale ISO 5060:2024(fr)
Services de traduction — Évaluation des résultats de
traduction — Recommandations générales
1 Domaine d’application
Le présent document fournit des recommandations relatives à l’évaluation du résultat d’une traduction
humaine, d’une traduction automatique post-éditée et d’une traduction automatique non éditée. Il donne
également des recommandations relatives aux qualifications et aux compétences des évaluateurs. Le rôle de
l’échantillonnage y est également abordé.
Le présent document se concentre sur une approche analytique d’évaluation de la traduction utilisant des
types d’erreurs et des points de pénalité configurés pour obtenir un score d’erreur et une note de qualité.
Il met également l’accent uniquement sur l’évaluation humaine du résultat de traduction. Le présent
document suit une approche conçue pour présenter le moins de complexité possible. Le but de cette approche
est de faire en sorte que le présent document soit applicable par le plus grand nombre d’utilisateurs possible
dans le secteur de la traduction.
Les recommandations fournies dans le présent document peuvent également servir à l’évaluation des textes
sources destinés à être traduits.
Le présent document s’applique aux prestataires de services de traduction (PST), y compris les traducteurs
indépendants, les sociétés de traduction ou les services internes de traduction, à leurs clients et aux autres
parties intéressées du secteur de la traduction, telles que les établissements d’enseignement et de formation
des traducteurs.
Le présent document ne s’applique pas aux éléments connexes tels que les processus d’assurance de la
qualité du résultat de traduction et les actions correctives.
Le présent document ne s’applique pas à l’interprétation.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, s
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.