Translation services - Evaluation of translation output - General guidance

This document gives guidance on the evaluation of human translation output, post-edited machine translation output, and unedited machine translation output. It also provides guidance on the qualifications and competences of evaluators. The role of sampling is also discussed in this document. This document focuses on an analytic translation evaluation approach using error types and penalty points configured to produce an error score and a quality rating. A further focus is the human evaluation of translation output only. This document follows an approach designed to reflect minimum complexity. The rationale behind this approach is to keep this document applicable for as many users as possible in the translation sector. The guidance provided in this document can also support the evaluation of source texts intended for translation. This document is applicable to translation service providers (TSPs), including individual translators, translation companies or in-house translation services, their clients and other interested parties in the translation sector, such as translator education and training institutions. This document does not apply to related elements such as the processes of assuring the quality of translation output and corrective actions. This document does not apply to interpreting.

Services de traduction — Évaluation des résultats de traduction — Recommandations générales

Le présent document fournit des recommandations relatives à l’évaluation du résultat d’une traduction humaine, d’une traduction automatique post-éditée et d’une traduction automatique non éditée. Il donne également des recommandations relatives aux qualifications et aux compétences des évaluateurs. Le rôle de l’échantillonnage y est également abordé. Le présent document se concentre sur une approche analytique d’évaluation de la traduction utilisant des types d’erreurs et des points de pénalité configurés pour obtenir un score d’erreur et une note de qualité. Il met également l’accent uniquement sur l’évaluation humaine du résultat de traduction. Le présent document suit une approche conçue pour présenter le moins de complexité possible. Le but de cette approche est de faire en sorte que le présent document soit applicable par le plus grand nombre d’utilisateurs possible dans le secteur de la traduction. Les recommandations fournies dans le présent document peuvent également servir à l’évaluation des textes sources destinés à être traduits. Le présent document s’applique aux prestataires de services de traduction (PST), y compris les traducteurs indépendants, les sociétés de traduction ou les services internes de traduction, à leurs clients et aux autres parties intéressées du secteur de la traduction, telles que les établissements d’enseignement et de formation des traducteurs. Le présent document ne s’applique pas aux éléments connexes tels que les processus d’assurance de la qualité du résultat de traduction et les actions correctives. Le présent document ne s’applique pas à l’interprétation.

Prevajalske storitve - Vrednotenje rezultatov prevajanja - Splošna navodila

Ta dokument podaja navodila za vrednotenje rezultatov človeškega prevoda ter rezultatov urejenega in neurejenega strojnega prevoda. Podaja tudi smernice za kvalifikacije in kompetence oseb, ki izvajajo vrednotenje. V tem dokumentu je obravnavana tudi vloga vzorčenja.
Ta dokument se osredotoča na pristop analitičnega vrednotenja prevodov, pri katerem se z uporabo vrst napak in kazenskih točk ocenijo napake in kakovost prevajanja.
Dodatna pozornost je namenjena zgolj človeškemu vrednotenju rezultatov prevajanja. V tem dokumentu je uporabljen pristop, ki odraža minimalno kompleksnost. Bistvo tega pristopa je zagotoviti uporabnost tega dokumenta za čim večje število uporabnikov v prevajalskem sektorju.
Navodila v tem dokumentu lahko podpirajo tudi vrednotenje izvornih besedil, namenjenih za prevod.
Ta dokument se uporablja za ponudnike prevajalskih storitev (TSP), vključno s posameznimi prevajalci, prevajalskimi podjetji ali notranjimi prevajalskimi službami, njihove naročnike ter druge zainteresirane stranke v prevajalskem sektorju (npr. ustanove za izobraževanje in usposabljanje prevajalcev).
Ta dokument se ne uporablja za povezane elemente, kot so procesi zagotavljanja kakovosti rezultatov prevajanja in korektivnih ukrepov.
Ta dokument se ne uporablja za tolmačenje.

General Information

Status
Published
Publication Date
12-Feb-2024
Current Stage
6060 - International Standard published
Start Date
13-Feb-2024
Due Date
11-Feb-2024
Completion Date
13-Feb-2024

Overview - ISO 5060:2024 (Translation evaluation guidance)

ISO 5060:2024 provides general guidance for the human evaluation of translation output. It covers the evaluation of:

  • human translation,
  • post-edited machine translation (PEMT), and
  • unedited machine translation (MT).

The standard adopts an analytic evaluation approach based on defined error types and penalty points that produce an error score and a final quality rating. It focuses on minimum complexity to remain widely applicable across the translation sector and also supports the evaluation of source texts intended for translation. The document is explicitly not for interpreting and does not prescribe processes for quality assurance or corrective actions.

Key topics and technical requirements

ISO 5060:2024 addresses practical elements needed to implement repeatable translation evaluation workflows:

  • Evaluation approach: analytic, error-type based scoring rather than holistic-only assessment.
  • Error typology & severity: guidance on classifying errors, assigning severity levels and identifying critical errors.
  • Penalty points & scoring: configuration of penalty points to compute an error score and convert it to a quality rating.
  • Sampling: role and methods for sampling translation output to be evaluated.
  • Evaluator competence: recommended qualifications and professional competences for evaluators and human resources considerations.
  • Evaluation lifecycle: structured pre-evaluation (specifications and scorecards), evaluation phase (scoring, counting repeated errors), and post-evaluation (feedback and dispute resolution).
  • Tools & artefacts: templates such as scorecards and guidance for developing a translation evaluation system (annexes contain practical examples).

Practical applications and who uses it

ISO 5060:2024 is designed for broad use across the translation ecosystem:

  • Translation service providers (TSPs) - freelance translators, agencies, and in-house language teams can standardize evaluation of deliverables.
  • Clients and procurement teams - for objective supplier evaluation, acceptance criteria and SLA measurement.
  • Localization managers and QA teams - to compare human, PEMT and MT output using consistent metrics.
  • Translator education and training institutions - to teach evaluative best practices and assessor competence.
  • Project managers - to define sampling, scorecards and feedback loops for continuous improvement.

Keywords: ISO 5060:2024, translation evaluation, translation services, error typology, penalty points, post-editing, machine translation, evaluator competence, quality rating, translation scorecard.

Related standards

  • ISO 20539 - vocabulary for translation, interpreting and related technology (normative reference).
  • ISO 17100 - translation services - definitions and requirements (used in definitions and scope).
Standard

ISO 5060:2024 - BARVE

English language
26 pages
Preview
Preview
e-Library read for
1 day
Standard

ISO 5060:2024 - Translation services — Evaluation of translation output — General guidance Released:13. 02. 2024

English language
21 pages
sale 15% off
Preview
sale 15% off
Preview
Standard

ISO 5060:2024 - Services de traduction — Évaluation des résultats de traduction — Recommandations générales Released:13. 02. 2024

French language
22 pages
sale 15% off
Preview
sale 15% off
Preview

Frequently Asked Questions

ISO 5060:2024 is a standard published by the International Organization for Standardization (ISO). Its full title is "Translation services - Evaluation of translation output - General guidance". This standard covers: This document gives guidance on the evaluation of human translation output, post-edited machine translation output, and unedited machine translation output. It also provides guidance on the qualifications and competences of evaluators. The role of sampling is also discussed in this document. This document focuses on an analytic translation evaluation approach using error types and penalty points configured to produce an error score and a quality rating. A further focus is the human evaluation of translation output only. This document follows an approach designed to reflect minimum complexity. The rationale behind this approach is to keep this document applicable for as many users as possible in the translation sector. The guidance provided in this document can also support the evaluation of source texts intended for translation. This document is applicable to translation service providers (TSPs), including individual translators, translation companies or in-house translation services, their clients and other interested parties in the translation sector, such as translator education and training institutions. This document does not apply to related elements such as the processes of assuring the quality of translation output and corrective actions. This document does not apply to interpreting.

This document gives guidance on the evaluation of human translation output, post-edited machine translation output, and unedited machine translation output. It also provides guidance on the qualifications and competences of evaluators. The role of sampling is also discussed in this document. This document focuses on an analytic translation evaluation approach using error types and penalty points configured to produce an error score and a quality rating. A further focus is the human evaluation of translation output only. This document follows an approach designed to reflect minimum complexity. The rationale behind this approach is to keep this document applicable for as many users as possible in the translation sector. The guidance provided in this document can also support the evaluation of source texts intended for translation. This document is applicable to translation service providers (TSPs), including individual translators, translation companies or in-house translation services, their clients and other interested parties in the translation sector, such as translator education and training institutions. This document does not apply to related elements such as the processes of assuring the quality of translation output and corrective actions. This document does not apply to interpreting.

ISO 5060:2024 is classified under the following ICS (International Classification for Standards) categories: 01.020 - Terminology (principles and coordination). The ICS classification helps identify the subject area and facilitates finding related standards.

You can purchase ISO 5060:2024 directly from iTeh Standards. The document is available in PDF format and is delivered instantly after payment. Add the standard to your cart and complete the secure checkout process. iTeh Standards is an authorized distributor of ISO standards.

Standards Content (Sample)


SLOVENSKI STANDARD
01-oktober-2024
Prevajalske storitve - Vrednotenje rezultatov prevajanja - Splošna navodila
Translation services — Evaluation of translation output — General guidance
Services de traduction — Évaluation des résultats de traduction — Recommandations
générales
Ta slovenski standard je istoveten z: ISO 5060:2024
ICS:
01.020 Terminologija (načela in Terminology (principles and
koordinacija) coordination)
03.080.99 Druge storitve Other services
2003-01.Slovenski inštitut za standardizacijo. Razmnoževanje celote ali delov tega standarda ni dovoljeno.

International
Standard
ISO 5060
First edition
Translation services — Evaluation
2024-02
of translation output — General
guidance
Services de traduction — Évaluation des résultats de traduction
— Recommandations générales
Reference number
© ISO 2024
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
3.1 General concepts .1
3.2 Concepts related to the people involved in the evaluation process .3
3.3 Concepts related to the evaluation process .3
3.4 Concepts related to errors .4
3.5 Concepts related to penalty points.5
4 Human resources . 6
4.1 General .6
4.2 Professional competences of evaluators .6
4.3 Qualifications of evaluators .6
5 Pre-evaluation phase . 7
5.1 Evaluation approaches .7
5.2 Implementing the evaluation of translation output .7
5.3 Specifications .7
5.4 Error typology .7
5.5 Error type weights .9
5.6 Severity levels .9
5.7 Critical errors .9
5.8 Counting repeated errors .9
6 Evaluation phase . 9
6.1 General .9
6.2 Basic evaluation principles .10
6.3 Sampling the translation output to be evaluated .10
6.4 Translation evaluation scorecard .10
6.5 Quality rating .11
7 Post-evaluation phase .11
7.1 Feedback .11
7.2 Dispute resolution .11
Annex A (informative) Translation use case, evaluation purpose and constraints .12
Annex B (informative) Developing a translation evaluation strategy .13
Annex C (informative) Developing a translation evaluation system . 14
Annex D (informative) Sampling .15
Annex E (informative) Cohesion and coherence .16
Annex F (informative) Examples of scorecards for evaluating translation output . 17
Bibliography .21

iii
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out through
ISO technical committees. Each member body interested in a subject for which a technical committee
has been established has the right to be represented on that committee. International organizations,
governmental and non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely
with the International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are described
in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the different types
of ISO document should be noted. This document was drafted in accordance with the editorial rules of the
ISO/IEC Directives, Part 2 (see www.iso.org/directives).
ISO draws attention to the possibility that the implementation of this document may involve the use of (a)
patent(s). ISO takes no position concerning the evidence, validity or applicability of any claimed patent
rights in respect thereof. As of the date of publication of this document, ISO had not received notice of (a)
patent(s) which may be required to implement this document. However, implementers are cautioned that
this may not represent the latest information, which may be obtained from the patent database available at
www.iso.org/patents. ISO shall not be held responsible for identifying any or all such patent rights.
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and expressions
related to conformity assessment, as well as information about ISO's adherence to the World Trade
Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 37, Language and terminology, Subcommittee
SC 5, Translation, interpreting and related technology.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www.iso.org/members.html.

iv
Introduction
Globalization, the accompanying growth of the translation market, the professionalization of translation
services and the growing availability of online machine translation tools have driven the demand for
standardized and harmonized principles and procedures for the evaluation of translation output.
In an industrial world in which products have to comply with legal regulations and client specifications,
translation output has to be regarded as a product that has to fulfil certain requirements. The systematic
comparison of a target language content with the source language content giving regard to the translation
project specifications provides the means to arrive at a valuable and objective judgement of achievement.

v
International Standard ISO 5060:2024(en)
Translation services — Evaluation of translation output —
General guidance
1 Scope
This document gives guidance on the evaluation of human translation output, post-edited machine
translation output, and unedited machine translation output. It also provides guidance on the qualifications
and competences of evaluators. The role of sampling is also discussed in this document.
This document focuses on an analytic translation evaluation approach using error types and penalty points
configured to produce an error score and a quality rating.
A further focus is the human evaluation of translation output only. This document follows an approach
designed to reflect minimum complexity. The rationale behind this approach is to keep this document
applicable for as many users as possible in the translation sector.
The guidance provided in this document can also support the evaluation of source texts intended for
translation.
This document is applicable to translation service providers (TSPs), including individual translators,
translation companies or in-house translation services, their clients and other interested parties in the
translation sector, such as translator education and training institutions.
This document does not apply to related elements such as the processes of assuring the quality of translation
output and corrective actions.
This document does not apply to interpreting.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content constitutes
requirements of this document. For dated references, only the edition cited applies. For undated references,
the latest edition of the referenced document (including any amendments) applies.
ISO 20539, Translation, interpreting and related technology — Vocabulary
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 20539 and the following apply.
ISO and IEC maintain terminology databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at https:// www .electropedia .org/
3.1 General concepts
3.1.1
translate
render source language content (3.1.6) into target language content (3.1.7) in written form or signed language
[SOURCE: ISO 20539:2023, 3.1.8]

3.1.2
translation
set of processes to render source language content (3.1.6) into target language content (3.1.7) in written form
Note 1 to entry: A translation can refer to formats other than text-based formats (e.g. an audio file, image, etc.).
[SOURCE: ISO 17100:2015, 2.1.2, modified — “may” has been changed to “can” in Note 1 to entry.]
3.1.3
revision
bilingual editing
examination of target language content (3.1.7) against source language content (3.1.6) for its suitability for
the agreed purpose
[SOURCE: ISO 17100:2015, 2.2.6, modified — "bilingual examination" has been replaced by "examination" in
the definition and Note 1 to entry has been changed into an admitted term.]
3.1.4
evaluation of translation output
evaluation
bilingual examination of target language content (3.1.7) against source language content (3.1.6) while
classifying any errors (3.4.1) with respect to translation evaluation specifications (3.3.5) and for the purpose
of reaching a quality rating (3.3.10)
Note 1 to entry: The term “assessment” is frequently used as a synonym for evaluation. While both involve inspection,
“evaluation” is the preferred term, since formally there are some differences. Evaluation is product-oriented and
judgmental (to accept or reject a product), whereas assessment is process-oriented and diagnostic (to provide
feedback on how to improve the process used to produce the product). The preference for “evaluation” is also to avoid
the confusion that the abbreviated term “QA” gives rise to, mostly referring to "quality assurance".
3.1.5
corrective action
action taken to eliminate the cause of nonconformities or errors (3.4.1) during translation (3.1.2) or in target
language content (3.1.7)
Note 1 to entry: Corrective action involves an investigation to identify what went wrong and what action can be taken
to ensure that it does not happen in the same way again.
[SOURCE: ISO 17100:2015, 2.5.5, modified — Singular "nonconformity" has been changed to plural
"nonconformities" and “in the translation process” has been changed to “during translation”.]
3.1.6
source language content
language content to be translated (3.1.1)
[SOURCE: ISO 17100:2015, 2.3.2]
3.1.7
target language content
language content translated (3.1.1) from source language content (3.1.6)
[SOURCE: ISO 17100:2015, 2.3.3]
3.1.8
translation output
result of translation (3.1.2)
[SOURCE: ISO 20539:2023, 3.3.3]

3.1.9
client-TSP agreement
arrangement between a client and a translation service provider (TSP) which specifies the conditions of a
translation service (3.1.10)
Note 1 to entry: This can take the form of a contract, memorandum of understanding, oral agreement, email, etc. Oral
agreements can be documented in writing.
3.1.10
translation service
production and delivery of target language content (3.1.7) according to a client-TSP agreement (3.1.9)
[SOURCE: ISO 20539:2023, 3.3.4, modified — “specifications issued by a client” has been changed to “a client-
TSP agreement”.]
3.1.11
segment
unit of text produced for a computer application to facilitate translation (3.1.2)
Note 1 to entry: A segment can be a sentence, heading or other unit of text, such as phrase, word or a single character.
[SOURCE: ISO 18587:2017, 3.2.9]
3.2 Concepts related to the people involved in the evaluation process
3.2.1
evaluator
person who performs evaluation of translation output (3.1.4) in accordance with the translation evaluation
system (3.3.4) of the evaluating entity (3.2.2)
3.2.2
evaluating entity
person or group of people who determines a translation evaluation strategy (3.3.3)
3.3 Concepts related to the evaluation process
3.3.1
requirement
need or expectation that is stated, generally implied or obligatory
[SOURCE: ISO 9000:2015, 3.6.4, modified — Notes to entry have been deleted.]
3.3.2
translation project specifications
set of agreed upon and defined requirements (3.3.1) for producing translation output (3.1.8)
Note 1 to entry: ISO 17100:2015, Annex B, lists a set of sample project specifications.
3.3.3
translation evaluation strategy
organization-wide policy implemented based on the specific purpose for the evaluation of translation output
(3.1.4)
Note 1 to entry: The purpose for the evaluation of translation output can vary from project to project. Therefore, it can
be necessary to apply various translation evaluation strategies.
3.3.4
translation evaluation system
set of steps and actions performed during the evaluation of translation output (3.1.4) implemented based on
the translation evaluation strategy (3.3.3)

3.3.5
translation evaluation specifications
set of principles for the evaluation of translation output (3.1.4), based on the translation project specifications
(3.3.2)
3.3.6
translation evaluation sample
sample
amount of content taken from target language content (3.1.7) to be submitted to an evaluation of translation
output (3.1.4)
3.3.7
sampling
procedure whereby a part of the translation output (3.1.8) is selected to provide a translation evaluation
sample (3.3.6)
3.3.8
translation evaluation scorecard
translation evaluation scoresheet
table containing all relevant error types (3.4.3) with their assigned penalty points (3.5.1), for the purpose of
producing an error score (3.3.9) and the quality rating (3.3.10) for the evaluated translation output (3.1.8),
and for documenting the evaluation
3.3.9
error score
evaluation penalty point total (3.5.3) in relation to the number of characters, number of words or number of
lines evaluated in the translation output (3.1.8)
3.3.10
quality rating
classification of evaluated translation output (3.1.8), based on comparing the error score (3.3.9) with an
applicable error score threshold (3.5.6) and rating system
3.3.11
risk assessment
process of identifying potential risk based on the likelihood that an error (3.4.1) will occur and analysing
and evaluating its risk level according to the perceived severity of its impact
3.4 Concepts related to errors
3.4.1
error
failure to adhere to translation project specifications (3.3.2)
3.4.2
error typology
classification system of errors (3.4.1)
3.4.3
error type
class of translation error (3.4.1) identified by name, definition and position in an error typology (3.4.2)
3.4.4
main error type
superordinate error type (3.4.3)
3.4.5
error sub-type
subordinate error type (3.4.3)

3.4.6
severity level
rating of the impact of an error (3.4.1) on the target language content (3.1.7) and its suitability for its intended
purpose
Note 1 to entry: Example of severity levels: minor, major and critical.
3.4.7
neutral item
annotation pointing out an element that is not an error (3.4.1) but is flagged for further attention
3.4.8
minor error
error (3.4.1) that does not prevent the translation output (3.1.8) from fulfilling its intended purpose
3.4.9
major error
error (3.4.1) that can prevent the translation output (3.1.8) from fulfilling its intended purpose
3.4.10
critical error
error (3.4.1) that does prevent the translation output (3.1.8) from fulfilling its intended purpose
3.4.11
repeated error
error (3.4.1), recurring within a text, that is annotated, and that can be but is not always assigned penalty
points (3.5.1)
3.4.12
severity multiplier value
numerical value reflecting severity levels (3.4.6) of a given error (3.4.1) multiplied with error counts (3.4.13)
3.4.13
error count
number of errors (3.4.1) found during an evaluation of translation output (3.1.4)
3.5 Concepts related to penalty points
3.5.1
penalty point
numerical value calculated for each error type (3.4.3) based on the severity multiplier value (3.4.12)
3.5.2
error type penalty point total
sum of penalty points (3.5.1) for a given error type (3.4.3)
3.5.3
evaluation penalty point total
sum of error type penalty point totals (3.5.2) of an evaluation of translation output (3.1.4)
3.5.4
error type weight
numerical value used to modify the unweighted error type penalty point total (3.5.2)
3.5.5
weight, verb
apply error type weights (3.5.4)
3.5.6
error score threshold
target value above or below which an evaluation of translation output (3.1.4) is assigned a passing rating

4 Human resources
4.1 General
The translation service provider (TSP) should have a process in place to ensure that people performing
evaluation of translation output have the competences and qu
...


International
Standard
ISO 5060
First edition
Translation services — Evaluation
2024-02
of translation output — General
guidance
Services de traduction — Évaluation des résultats de traduction
— Recommandations générales
Reference number
© ISO 2024
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
3.1 General concepts .1
3.2 Concepts related to the people involved in the evaluation process .3
3.3 Concepts related to the evaluation process .3
3.4 Concepts related to errors .4
3.5 Concepts related to penalty points.5
4 Human resources . 6
4.1 General .6
4.2 Professional competences of evaluators .6
4.3 Qualifications of evaluators .6
5 Pre-evaluation phase . 7
5.1 Evaluation approaches .7
5.2 Implementing the evaluation of translation output .7
5.3 Specifications .7
5.4 Error typology .7
5.5 Error type weights .9
5.6 Severity levels .9
5.7 Critical errors .9
5.8 Counting repeated errors .9
6 Evaluation phase . 9
6.1 General .9
6.2 Basic evaluation principles .10
6.3 Sampling the translation output to be evaluated .10
6.4 Translation evaluation scorecard .10
6.5 Quality rating .11
7 Post-evaluation phase .11
7.1 Feedback .11
7.2 Dispute resolution .11
Annex A (informative) Translation use case, evaluation purpose and constraints .12
Annex B (informative) Developing a translation evaluation strategy .13
Annex C (informative) Developing a translation evaluation system . 14
Annex D (informative) Sampling .15
Annex E (informative) Cohesion and coherence .16
Annex F (informative) Examples of scorecards for evaluating translation output . 17
Bibliography .21

iii
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out through
ISO technical committees. Each member body interested in a subject for which a technical committee
has been established has the right to be represented on that committee. International organizations,
governmental and non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely
with the International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are described
in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the different types
of ISO document should be noted. This document was drafted in accordance with the editorial rules of the
ISO/IEC Directives, Part 2 (see www.iso.org/directives).
ISO draws attention to the possibility that the implementation of this document may involve the use of (a)
patent(s). ISO takes no position concerning the evidence, validity or applicability of any claimed patent
rights in respect thereof. As of the date of publication of this document, ISO had not received notice of (a)
patent(s) which may be required to implement this document. However, implementers are cautioned that
this may not represent the latest information, which may be obtained from the patent database available at
www.iso.org/patents. ISO shall not be held responsible for identifying any or all such patent rights.
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and expressions
related to conformity assessment, as well as information about ISO's adherence to the World Trade
Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 37, Language and terminology, Subcommittee
SC 5, Translation, interpreting and related technology.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www.iso.org/members.html.

iv
Introduction
Globalization, the accompanying growth of the translation market, the professionalization of translation
services and the growing availability of online machine translation tools have driven the demand for
standardized and harmonized principles and procedures for the evaluation of translation output.
In an industrial world in which products have to comply with legal regulations and client specifications,
translation output has to be regarded as a product that has to fulfil certain requirements. The systematic
comparison of a target language content with the source language content giving regard to the translation
project specifications provides the means to arrive at a valuable and objective judgement of achievement.

v
International Standard ISO 5060:2024(en)
Translation services — Evaluation of translation output —
General guidance
1 Scope
This document gives guidance on the evaluation of human translation output, post-edited machine
translation output, and unedited machine translation output. It also provides guidance on the qualifications
and competences of evaluators. The role of sampling is also discussed in this document.
This document focuses on an analytic translation evaluation approach using error types and penalty points
configured to produce an error score and a quality rating.
A further focus is the human evaluation of translation output only. This document follows an approach
designed to reflect minimum complexity. The rationale behind this approach is to keep this document
applicable for as many users as possible in the translation sector.
The guidance provided in this document can also support the evaluation of source texts intended for
translation.
This document is applicable to translation service providers (TSPs), including individual translators,
translation companies or in-house translation services, their clients and other interested parties in the
translation sector, such as translator education and training institutions.
This document does not apply to related elements such as the processes of assuring the quality of translation
output and corrective actions.
This document does not apply to interpreting.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content constitutes
requirements of this document. For dated references, only the edition cited applies. For undated references,
the latest edition of the referenced document (including any amendments) applies.
ISO 20539, Translation, interpreting and related technology — Vocabulary
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 20539 and the following apply.
ISO and IEC maintain terminology databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at https:// www .electropedia .org/
3.1 General concepts
3.1.1
translate
render source language content (3.1.6) into target language content (3.1.7) in written form or signed language
[SOURCE: ISO 20539:2023, 3.1.8]

3.1.2
translation
set of processes to render source language content (3.1.6) into target language content (3.1.7) in written form
Note 1 to entry: A translation can refer to formats other than text-based formats (e.g. an audio file, image, etc.).
[SOURCE: ISO 17100:2015, 2.1.2, modified — “may” has been changed to “can” in Note 1 to entry.]
3.1.3
revision
bilingual editing
examination of target language content (3.1.7) against source language content (3.1.6) for its suitability for
the agreed purpose
[SOURCE: ISO 17100:2015, 2.2.6, modified — "bilingual examination" has been replaced by "examination" in
the definition and Note 1 to entry has been changed into an admitted term.]
3.1.4
evaluation of translation output
evaluation
bilingual examination of target language content (3.1.7) against source language content (3.1.6) while
classifying any errors (3.4.1) with respect to translation evaluation specifications (3.3.5) and for the purpose
of reaching a quality rating (3.3.10)
Note 1 to entry: The term “assessment” is frequently used as a synonym for evaluation. While both involve inspection,
“evaluation” is the preferred term, since formally there are some differences. Evaluation is product-oriented and
judgmental (to accept or reject a product), whereas assessment is process-oriented and diagnostic (to provide
feedback on how to improve the process used to produce the product). The preference for “evaluation” is also to avoid
the confusion that the abbreviated term “QA” gives rise to, mostly referring to "quality assurance".
3.1.5
corrective action
action taken to eliminate the cause of nonconformities or errors (3.4.1) during translation (3.1.2) or in target
language content (3.1.7)
Note 1 to entry: Corrective action involves an investigation to identify what went wrong and what action can be taken
to ensure that it does not happen in the same way again.
[SOURCE: ISO 17100:2015, 2.5.5, modified — Singular "nonconformity" has been changed to plural
"nonconformities" and “in the translation process” has been changed to “during translation”.]
3.1.6
source language content
language content to be translated (3.1.1)
[SOURCE: ISO 17100:2015, 2.3.2]
3.1.7
target language content
language content translated (3.1.1) from source language content (3.1.6)
[SOURCE: ISO 17100:2015, 2.3.3]
3.1.8
translation output
result of translation (3.1.2)
[SOURCE: ISO 20539:2023, 3.3.3]

3.1.9
client-TSP agreement
arrangement between a client and a translation service provider (TSP) which specifies the conditions of a
translation service (3.1.10)
Note 1 to entry: This can take the form of a contract, memorandum of understanding, oral agreement, email, etc. Oral
agreements can be documented in writing.
3.1.10
translation service
production and delivery of target language content (3.1.7) according to a client-TSP agreement (3.1.9)
[SOURCE: ISO 20539:2023, 3.3.4, modified — “specifications issued by a client” has been changed to “a client-
TSP agreement”.]
3.1.11
segment
unit of text produced for a computer application to facilitate translation (3.1.2)
Note 1 to entry: A segment can be a sentence, heading or other unit of text, such as phrase, word or a single character.
[SOURCE: ISO 18587:2017, 3.2.9]
3.2 Concepts related to the people involved in the evaluation process
3.2.1
evaluator
person who performs evaluation of translation output (3.1.4) in accordance with the translation evaluation
system (3.3.4) of the evaluating entity (3.2.2)
3.2.2
evaluating entity
person or group of people who determines a translation evaluation strategy (3.3.3)
3.3 Concepts related to the evaluation process
3.3.1
requirement
need or expectation that is stated, generally implied or obligatory
[SOURCE: ISO 9000:2015, 3.6.4, modified — Notes to entry have been deleted.]
3.3.2
translation project specifications
set of agreed upon and defined requirements (3.3.1) for producing translation output (3.1.8)
Note 1 to entry: ISO 17100:2015, Annex B, lists a set of sample project specifications.
3.3.3
translation evaluation strategy
organization-wide policy implemented based on the specific purpose for the evaluation of translation output
(3.1.4)
Note 1 to entry: The purpose for the evaluation of translation output can vary from project to project. Therefore, it can
be necessary to apply various translation evaluation strategies.
3.3.4
translation evaluation system
set of steps and actions performed during the evaluation of translation output (3.1.4) implemented based on
the translation evaluation strategy (3.3.3)

3.3.5
translation evaluation specifications
set of principles for the evaluation of translation output (3.1.4), based on the translation project specifications
(3.3.2)
3.3.6
translation evaluation sample
sample
amount of content taken from target language content (3.1.7) to be submitted to an evaluation of translation
output (3.1.4)
3.3.7
sampling
procedure whereby a part of the translation output (3.1.8) is selected to provide a translation evaluation
sample (3.3.6)
3.3.8
translation evaluation scorecard
translation evaluation scoresheet
table containing all relevant error types (3.4.3) with their assigned penalty points (3.5.1), for the purpose of
producing an error score (3.3.9) and the quality rating (3.3.10) for the evaluated translation output (3.1.8),
and for documenting the evaluation
3.3.9
error score
evaluation penalty point total (3.5.3) in relation to the number of characters, number of words or number of
lines evaluated in the translation output (3.1.8)
3.3.10
quality rating
classification of evaluated translation output (3.1.8), based on comparing the error score (3.3.9) with an
applicable error score threshold (3.5.6) and rating system
3.3.11
risk assessment
process of identifying potential risk based on the likelihood that an error (3.4.1) will occur and analysing
and evaluating its risk level according to the perceived severity of its impact
3.4 Concepts related to errors
3.4.1
error
failure to adhere to translation project specifications (3.3.2)
3.4.2
error typology
classification system of errors (3.4.1)
3.4.3
error type
class of translation error (3.4.1) identified by name, definition and position in an error typology (3.4.2)
3.4.4
main error type
superordinate error type (3.4.3)
3.4.5
error sub-type
subordinate error type (3.4.3)

3.4.6
severity level
rating of the impact of an error (3.4.1) on the target language content (3.1.7) and its suitability for its intended
purpose
Note 1 to entry: Example of severity levels: minor, major and critical.
3.4.7
neutral item
annotation pointing out an element that is not an error (3.4.1) but is flagged for further attention
3.4.8
minor error
error (3.4.1) that does not prevent the translation output (3.1.8) from fulfilling its intended purpose
3.4.9
major error
error (3.4.1) that can prevent the translation output (3.1.8) from fulfilling its intended purpose
3.4.10
critical error
error (3.4.1) that does prevent the translation output (3.1.8) from fulfilling its intended purpose
3.4.11
repeated error
error (3.4.1), recurring within a text, that is annotated, and that can be but is not always assigned penalty
points (3.5.1)
3.4.12
severity multiplier value
numerical value reflecting severity levels (3.4.6) of a given error (3.4.1) multiplied with error counts (3.4.13)
3.4.13
error count
number of errors (3.4.1) found during an evaluation of translation output (3.1.4)
3.5 Concepts related to penalty points
3.5.1
penalty point
numerical value calculated for each error type (3.4.3) based on the severity multiplier value (3.4.12)
3.5.2
error type penalty point total
sum of penalty points (3.5.1) for a given error type (3.4.3)
3.5.3
evaluation penalty point total
sum of error type penalty point totals (3.5.2) of an evaluation of translation output (3.1.4)
3.5.4
error type weight
numerical value used to modify the unweighted error type penalty point total (3.5.2)
3.5.5
weight, verb
apply error type weights (3.5.4)
3.5.6
error score threshold
target value above or below which an evaluation of translation output (3.1.4) is assigned a passing rating

4 Human resources
4.1 General
The translation service provider (TSP) should have a process in place to ensure that people performing
evaluation of translation output have the competences and qualifications outlined in 4.2 and 4.3.
4.2 Professional competences of evaluators
Evaluators should have the following competences:
a) Translation competence: The ability to translate content, including the ability to address the problems
of language content comprehension and language content production and the ability to render the target
language content in accordance with the translation project specifications.
b) Revision competence: The
...


Norme
internationale
ISO 5060
Première édition
Services de traduction — Évaluation
2024-02
des résultats de traduction —
Recommandations générales
Translation services — Evaluation of translation output —
General guidance
Numéro de référence
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2024
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii
Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 1
3.1 Concepts généraux .2
3.2 Concepts relatifs aux personnes impliquées dans le processus d’évaluation .3
3.3 Concepts relatifs au processus d’évaluation .3
3.4 Concepts relatifs aux erreurs .4
3.5 Concepts relatifs aux points de pénalité .5
4 Ressources humaines . 6
4.1 Généralités .6
4.2 Compétences professionnelles des évaluateurs .6
4.3 Qualifications des évaluateurs .7
5 Phase de pré-évaluation . 7
5.1 Approches d’évaluation . .7
5.2 Mise en œuvre de l’évaluation d’un résultat de traduction .7
5.3 Spécifications .8
5.4 Typologie des erreurs .8
5.5 Pondérations par type d’erreur .9
5.6 Niveaux de gravité .9
5.7 Erreurs critiques.9
5.8 Comptage des erreurs répétées .10
6 Phase d’évaluation . 10
6.1 Généralités .10
6.2 Principes fondamentaux de l’évaluation .10
6.3 Échantillonnage du résultat de traduction à évaluer .10
6.4 Tableau de bord d’évaluation de la traduction .11
6.5 Note de qualité . 12
7 Phase de post-évaluation .12
7.1 Retour d’information . 12
7.2 Règlement des litiges . 12
Annexe A (informative) Cas d’utilisation de la traduction, objectif de l’évaluation et contraintes .13
Annexe B (informative) Mise au point d’une stratégie d’évaluation de la traduction . 14
Annexe C (informative) Mise au point d’un système d’évaluation de la traduction .15
Annexe D (informative) Échantillonnage .16
Annexe E (informative) Cohésion et cohérence . 17
Annexe F (informative) Exemples de tableaux de bord pour l’évaluation d’un résultat de
traduction .18
Bibliographie .22

iii
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux
de normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général
confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire
partie du comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (IEC) en ce qui concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d'approbation requis pour les différents types de documents ISO. Le présent document a
été rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir
www.iso.org/directives).
L’ISO attire l’attention sur le fait que la mise en application du présent document peut entraîner l’utilisation
d’un ou de plusieurs brevets. L’ISO ne prend pas position quant à la preuve, à la validité et à l’applicabilité de
tout droit de brevet revendiqué à cet égard. À la date de publication du présent document, l’ISO n'avait pas
reçu notification qu’un ou plusieurs brevets pouvaient être nécessaires à sa mise en application. Toutefois,
il y a lieu d’avertir les responsables de la mise en application du présent document que des informations
plus récentes sont susceptibles de figurer dans la base de données de brevets, disponible à l'adresse
www.iso.org/brevets. L’ISO ne saurait être tenue pour responsable de ne pas avoir identifié tout ou partie de
tels droits de propriété.
Les appellations commerciales éventuellement mentionnées dans le présent document sont données pour
information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l'ISO liés à l'évaluation de la conformité, ou pour toute information au sujet de l'adhésion de
l'ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles techniques au
commerce (OTC), voir www.iso.org/avant-propos.
Le présent document a été élaboré par le comité technique ISO/TC 37, Langage et terminologie, sous-
comité SC 5, Traduction, interprétation et technologies apparentées.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes se
trouve à l’adresse www.iso.org/fr/members.html.

iv
Introduction
La mondialisation, la croissance du marché de la traduction qui l’accompagne, la professionnalisation des
services de traduction et la mise à disposition croissante d’outils de traduction automatique en ligne ont
suscité une demande de principes et de procédures normalisés et harmonisés pour évaluer les résultats de
traduction.
Dans un monde industrialisé où les produits doivent être conformes aux dispositions légales et aux
spécifications des clients, les résultats de traductions doivent être considérés comme un produit devant
répondre à certaines exigences. La comparaison systématique d’un contenu dans la langue cible avec le
contenu dans la langue source, en tenant compte des spécifications du projet de traduction, permet d’obtenir
un avis pertinent et objectif sur le résultat.

v
Norme internationale ISO 5060:2024(fr)
Services de traduction — Évaluation des résultats de
traduction — Recommandations générales
1 Domaine d’application
Le présent document fournit des recommandations relatives à l’évaluation du résultat d’une traduction
humaine, d’une traduction automatique post-éditée et d’une traduction automatique non éditée. Il donne
également des recommandations relatives aux qualifications et aux compétences des évaluateurs. Le rôle de
l’échantillonnage y est également abordé.
Le présent document se concentre sur une approche analytique d’évaluation de la traduction utilisant des
types d’erreurs et des points de pénalité configurés pour obtenir un score d’erreur et une note de qualité.
Il met également l’accent uniquement sur l’évaluation humaine du résultat de traduction. Le présent
document suit une approche conçue pour présenter le moins de complexité possible. Le but de cette approche
est de faire en sorte que le présent document soit applicable par le plus grand nombre d’utilisateurs possible
dans le secteur de la traduction.
Les recommandations fournies dans le présent document peuvent également servir à l’évaluation des textes
sources destinés à être traduits.
Le présent document s’applique aux prestataires de services de traduction (PST), y compris les traducteurs
indépendants, les sociétés de traduction ou les services internes de traduction, à leurs clients et aux autres
parties intéressées du secteur de la traduction, telles que les établissements d’enseignement et de formation
des traducteurs.
Le présent document ne s’applique pas aux éléments connexes tels que les processus d’assurance de la
qualité du résultat de traduction et les actions correctives.
Le présent document ne s’applique pas à l’interprétation.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique. Pour
les références non datées, la dernière édition du document de référence s'applique (y compris les éventuels
amendements).
ISO 20539, Traduction, interprétation et technologies apparentées — Vocabulaire
3 Termes et définitions
Pour les besoins du présent document, les termes et les définitions de l’ISO 20539 ainsi que les suivants
s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en normalisation,
consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l’adresse https:// www .electropedia .org/

3.1 Concepts généraux
3.1.1
traduire
restituer un contenu dans la langue source (3.1.6) en un contenu dans la langue cible (3.1.7) sous forme écrite
ou en langue des signes
[SOURCE: ISO 20539:2023, 3.1.8]
3.1.2
traduction
ensemble de processus permettant de transposer un contenu dans la langue source (3.1.6) en un contenu dans
la langue cible (3.1.7) sous forme écrite
Note 1 à l'article: Une traduction peut se rapporter à des formats autres que les formats textuels (par exemple un
fichier audio, une image, etc.).
[SOURCE: ISO 17100:2015, 2.1.2]
3.1.3
révision
édition bilingue
examen du contenu dans la langue cible (3.1.7) par rapport au contenu dans la langue source (3.1.6) afin
d’évaluer son adéquation avec l’objectif convenu
[SOURCE: ISO 17100:2015, 2.2.6, modifié — «examen bilingue» a été remplacé par «examen» dans la
définition et la Note 1 à l’article a été remplacée par un terme admis.]
3.1.4
évaluation d’un résultat de traduction
évaluation
examen bilingue du contenu dans la langue cible (3.1.7) par rapport au contenu dans la langue source (3.1.6),
en classant toute erreur (3.4.1) par rapport aux spécifications d’évaluation de la traduction (3.3.5) et dans le
but d’obtenir une note de qualité (3.3.10)
Note 1 à l'article: Non applicable en français.
3.1.5
action corrective
action entreprise pour éliminer la cause de non-conformités ou d’erreurs (3.4.1) au cours de la traduction
(3.1.2) ou dans le contenu dans la langue cible (3.1.7)
Note 1 à l'article: Une action corrective implique une enquête visant à identifier les problèmes survenus et l’action qui
peut être entreprise pour s’assurer qu’ils ne se reproduiront plus.
[SOURCE: ISO 17100:2015, 2.5.5, modifié — «non-conformité» a été mis au pluriel et «dans le processus de
traduction» a été remplacé par «au cours de la traduction».]
3.1.6
contenu dans la langue source
contenu linguistique devant être traduit (3.1.1)
[SOURCE: ISO 17100:2015, 2.3.2]
3.1.7
contenu dans la langue cible
contenu linguistique traduit (3.1.1) à partir du contenu dans la langue source (3.1.6)
[SOURCE: ISO 17100:2015, 2.3.3]

3.1.8
résultat de traduction
résultat d’une traduction (3.1.2)
[SOURCE: ISO 20539:2023, 3.3.3]
3.1.9
accord entre le PST et le client
accord entre un client et un prestataire de services de traduction (PST) qui spécifie les conditions d’un
service de traduction (3.1.10)
Note 1 à l'article: Cela peut prendre la forme d’un contrat, d’un protocole d’accord, d’un accord verbal, d’un courrier
électronique, etc. Les accords verbaux peuvent être documentés par écrit.
3.1.10
service de traduction
production et livraison d’un contenu dans la langue cible (3.1.7) selon un accord entre le PST et le client (3.1.9)
[SOURCE: ISO 20539:2023, 3.3.4, modifié — «les spécifications du client» a été remplacé par «un accord
entre le PST et le client».]
3.1.11
segment
unité de texte produite pour une application informatique afin de faciliter la traduction (3.1.2)
Note 1 à l'article: Un segment peut être une phrase, un titre ou une autre unité de texte, telle qu’un syntagme, un mot
ou un caractère unique.
[SOURCE: ISO 18587:2017, 3.2.9]
3.2 Concepts relatifs aux personnes impliquées dans le processus d’évaluation
3.2.1
évaluateur
personne qui effectue l’évaluation d’un résultat de traduction (3.1.4) conformément au système d’évaluation de
la traduction (3.3.4) de l’entité évaluatrice (3.2.2)
3.2.2
entité évaluatrice
personne ou groupe de personnes qui détermine une stratégie d’évaluation de la traduction (3.3.3)
3.3 Concepts relatifs au processus d’évaluation
3.3.1
exigence
besoin ou attente formulé, généralement implicite ou obligatoire
[SOURCE: ISO 9000:2015, 3.6.4, modifié — Les notes à l’article ont été supprimées.]
3.3.2
spécifications du projet de traduction
ensemble d’exigences (3.3.1) convenues et définies dans le but de produire un résultat de traduction (3.1.8)
Note 1 à l'article: L’Annexe B de l’ISO 17100:2015 répertorie une liste d’exemples de spécifications de projet.
3.3.3
stratégie d’évaluation de la traduction
politique, à l’échelle de l’organisme, mise en œuvre en fonction de l’objectif spécifique de l’évaluation d’un
résultat de traduction (3.1.4)
Note 1 à l'article: L’objectif de l’évaluation d’un résultat de traduction peut varier d’un projet à l’autre. Par conséquent,
il peut se révéler nécessaire d’appliquer différentes stratégies d’évaluation de la traduction.

3.3.4
système d’évaluation de la traduction
ensemble d’étapes et d’actions réalisées au cours de l’évaluation d’un résultat de traduction (3.1.4) et mises en
œuvre en fonction de la stratégie d’évaluation de la traduction (3.3.3)
3.3.5
spécifications d’évaluation de la traduction
ensemble de principes pour l’évaluation d’un résultat de traduction (3.1.4), basés sur les spécifications du
projet de traduction (3.3.2)
3.3.6
échantillon pour l’évaluation de la traduction
échantillon
quantité de contenu tiré du contenu dans la langue cible (3.1.7) à soumettre à une évaluation du résultat de
traduction (3.1.4)
3.3.7
échantillonnage
procédure par laquelle une partie du résultat de traduction (3.1.8) est sélectionnée afin de constituer un
échantillon pour l’évaluation de la traduction (3.3.6)
3.3.8
tableau de bord d’évaluation de la traduction
fiche d’évaluation de la traduction
tableau contenant tous les types d’erreurs (3.4.3) pertinents avec leurs points de pénalité (3.5.1)
correspondants, dans le but d’obtenir un score d’erreur (3.3.9) et la note de qualité (3.3.10) pour le résultat de
traduction (3.1.8) évalué, et de documenter l’évaluation
3.3.9
score d’erreur
total des points de pénalité d’une évaluation (3.5.3) par rapport au nombre de caractères, au nombre de mots
ou au nombre de lignes évaluées dans le résultat de traduction (3.1.8)
3.3.10
note de qualité
classification du résultat de traduction (3.1.8) évalué, basée sur la comparaison du score d’erreur (3.3.9) avec
un seuil de score d’erreur (3.5.6) applicable et un système de notation
3.3.11
appréciation du risque
processus d’identification du risque potentiel basé sur la probabilité qu’une erreur (3.4.1) se produise, ainsi
que d’analyse et d’évaluation du niveau de risque par rapport à la gravité perçue de son impact
3.4 Concepts relatifs aux erreurs
3.4.1
erreur
non-respect des spécifications du projet de traduction (3.3.2)
3.4.2
typologie des erreurs
système de classification des erreurs (3.4.1)
3.4.3
type d’erreur
classe d’erreur (3.4.1) de traduction identifiée par son nom, sa définition et sa position dans une typologie des
erreurs (3.4.2)
3.4.4
type d’erreur principal
type d’erreur (3.4.3) superordonné

3.4.5
sous-type d’erreur
type d’erreur (3.4.3) subordonné
3.4.6
niveau de gravité
évaluation de l’impact d’une erreur (3.4.1) sur le contenu dans la langue cible (3.1.7) et de son adéquation avec
l’objectif visé
Note 1 à l'article: Exemple de niveaux de gravité: mineur, majeur et critique.
3.4.7
élément neutre
annotation indiquant un élément qui n’est pas une erreur (3.4.1) mais qui est signalé comme devant faire
l’objet d’une attention particulière
3.4.8
erreur mineure
erreur (3.4.1) qui n’empêche pas le résultat de traduction (3.1.8) d’atteindre l’objectif visé
3.4.9
erreur majeure
erreur (3.4.1) qui peut empêcher le résultat de traduction (3.1.8) d’atteindre l’objectif visé
3.4.10
erreur critique
erreur (3.4.1) qui empêche le résultat de traduction (3.1.8) d’atteindre l’objectif visé
3.4.11
erreur répétée
erreur (3.4.1) récurrente dans un texte, qui est annotée, et qui peut, mais pas toujours, se voir attribuer des
points de pénalité (3.5.1)
3.4.12
coefficient de gravité
valeur numérique reflétant les niveaux de gravité (3.4.6) d’une erreur (3.4.1) donnée, multipliée par le
décompte d’erreurs (3.4.13)
3.4.13
décompte d’erreurs
nombre d’erreurs (3.4.1) constatées lors de l’évaluation d’un résultat de traduction (3.1.4)
3.5 Concepts relatifs aux points de pénalité
3.5.1
point de pénalité
valeur numérique calculée pour chaque type d’erreur (3.4.3) en fonction du coefficient de gravité (3.4.12)
3.5.2
total des points de pénalité d’un type d’erreur
somme des points de pénalité (3.5.1) liés à un type d’erreur (3.4.3) donné
3.5.3
total des points de pénalité d’une évaluation
somme des totaux des points de pénalité des types d’erreurs (3.5.2) résultant de l’évaluation d’un résultat de
traduction (3.1.4)
3.5.4
pondération par type d’erreur
valeur numérique utilisée pour modifier le total des points de pénalité d’un type d’erreur (3.5.2) non pondéré

3.5.5
pondérer
appliquer des pondérations par type d’erreur (3.5.4)
3.5.6
seuil du score d’erreur
valeur cible au-dessus ou au-dessous de laquelle l’évaluation d’un résultat de traduction (3.1.4) se voit
attribuer une note jugée conforme
4 Ressources humaines
4.1 Généralités
Il convient que le prestataire de services de traduction (PST) dispose d’un processus pour s’assurer que les
personnes réalisant l’évaluation d’un résultat de traduction possèdent les compétences et les qualifications
décrites en 4.2 et 4.3.
4.2 Compétences professionnelles des évaluateurs
Il convient que les évaluateurs possèdent les compétences énumérées ci-dessous:
a) compétence en matière de traduction: la capacité de traduire un contenu, y compris la capacité de
résoudre les problèmes de compréhension d’un contenu linguistique et de production d’un contenu
linguistique, et la capacité de restituer le contenu dans la langue cible conformément aux spécifications
du projet de traduction;
b) compétence en matière de révision: la capacité de comparer objectivement le contenu dans la langue
cible avec le contenu dans la langue source, et la capacité d’identifier les erreurs potentielles et de
suggérer ou d’apporter des corrections afin de s’assurer que le contenu révisé dans la langue cible
répond aux spécifications du projet de traduction;
c) compétence en matière d’évaluation: cette compétence exige une attention particulière aux détails,
la capacité de suivre rigoureusement des instructions et la capacité de rendre compte des retours
d’information de manière constructive. Cette compétence inclut la capacité de classer et d’annoter
objectivement toutes les erreurs constatées au cours du processus d’évaluation, et de les attribuer au
type d’erreur et au niveau de gravité appropriés afin d’établir un score d’erreur en remplissant le tableau
de bord d’évaluation de la traduction;
d) compétence linguistique et textuelle dans la langue source et dans la langue cible: la capacité de
comprendre la langue source, la maîtrise de la langue cible et une connaissance générale ou spécialisée
des conventions textuelles. Cette compétence linguistique et textuelle inclut la capacité d’appliquer ces
connaissances lors de la production d’un résultat de traduction ou d’un autre contenu dans la langue
cible;
e) compétence en matière d’acquisition et de traitement de l’information: la capacité de comprendre les
processus nécessaires à l’évaluation de la qualité de la trad
...

Questions, Comments and Discussion

Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.

Loading comments...

The ISO 5060:2024 standard titled "Translation services - Evaluation of translation output - General guidance" provides a comprehensive framework for assessing the quality of various forms of translation outputs, including human translation, post-edited machine translation, and unedited machine translation. The scope of this standard is clearly defined, focusing on the evaluation process and the qualifications required for evaluators, which is crucial in ensuring that the translation quality meets the expected benchmarks. A significant strength of ISO 5060:2024 is its structured approach to analytic translation evaluation. By utilizing error types and penalty points, it formulates an error score and quality rating, allowing for a quantifiable assessment of translation outputs. This analytic method enhances the reliability and objectivity of evaluations, making it a valuable tool for translation service providers (TSPs) and their clients. Furthermore, the emphasis on minimum complexity in the evaluation process broadens the applicability of this standard within the translation sector, catering to a wide range of users from individual translators to large translation companies. The standard also addresses the vital role of sampling in evaluation, which adds another layer of rigor to the assessment process. By providing guidance on sampling techniques, ISO 5060:2024 ensures that evaluators can conduct assessments that are representative of the overall quality of translation outputs. Moreover, the document’s relevance extends beyond mere evaluation, as it also provides insights into the assessment of source texts intended for translation. This additional guidance is particularly beneficial for TSPs, as it allows for a holistic view of the translation process and the factors influencing translation quality. Overall, ISO 5060:2024 stands as a pivotal resource for stakeholders in the translation sector, including translation education and training institutions. Its clear outline of evaluator qualifications and its focus on human evaluation of translation output underpin its significance in promoting effective and consistent translation quality assessment practices.

ISO 5060:2024 문서는 번역 서비스의 평가에 대한 일반적인 지침을 제공하며, 인적 번역 결과, 후편집된 기계 번역 결과 및 편집되지 않은 기계 번역 결과에 대한 평가 방법을 다룹니다. 이 문서는 평가자의 자격과 역량에 대한 지침도 제공하며, 샘플링의 역할에 대해서도 설명하고 있습니다. 이 문서는 오류 유형과 페널티 포인트를 설정하여 오류 점수와 품질 등급을 산출하는 분석적인 번역 평가 접근법에 중점을 두고 있습니다. 또한, 오직 인적 번역 결과의 평가에만 초점을 맞추고 있으며, 가능한 많은 번역 분야의 사용자들에게 적용 가능하도록 최저 복잡성을 반영하는 방식을 따릅니다. 이러한 접근 방식의 근거는 번역 분야의 다양한 이해관계자들에게 유용한 자료가 되도록 하기 위함입니다. ISO 5060:2024는 개별 번역가, 번역 회사와 같은 번역 서비스 제공자(TSP) 및 번역 교육 및 훈련 기관과 같은 관련 기관을 포함하여 번역 분야의 모든 이해관계자에게 적용됩니다. 이 문서는 번역 결과의 품질 보증 프로세스나 수정 조치와 같은 관련 요소에는 적용되지 않으며, 통역에 대해서도 적용되지 않습니다. 따라서, 이 문서는 번역 결과 평가에 대한 명확하고 체계적인 기준을 제시하여 번역 서비스의 품질 향상에 기여할 수 있는 중요한 자료로 평가됩니다. 번역 서비스 제공자는 이 지침을 통해 번역 결과의 신뢰성을 높이고, 보다 높은 품질의 서비스를 제공할 수 있는 기반을 마련할 수 있습니다.

Die ISO 5060:2024 ist ein wegweisendes Dokument, das sich mit der Bewertung von Übersetzungsleistungen beschäftigt und eine wichtige Rolle in der Translation Services (TSP)-Branche spielt. Der Umfang des Standards umfasst die Evaluierung menschlicher Übersetzungen, nachbearbeiteter maschineller Übersetzungen sowie unbearbeiteter maschineller Übersetzungen. Dies stellt sicher, dass eine Vielzahl von Übersetzungsoutput angemessen bewertet werden kann, was für Übersetzungsdienstleister, darunter individuelle Übersetzer und Übersetzungsunternehmen, von großer Bedeutung ist. Ein herausragendes Merkmal der ISO 5060:2024 ist der analytische Ansatz zur Bewertung von Übersetzungen, der Fehlerarten und Strafpunkte zur Berechnung eines Fehlerwerts und einer Qualitätsbewertung verwendet. Diese Methode fördert eine objektive Bewertung des Übersetzungsergebnisses, was die Transparenz und Nachvollziehbarkeit des Bewertungsprozesses erhöht. Darüber hinaus wird die Rolle der Evaluatoren klar umrissen, mit einem Fokus auf deren Qualifikationen und Kompetenzen, was die Konsistenz und Zuverlässigkeit der Bewertungen verbessert. Ein weiterer Vorteil des Dokuments ist sein Fokus auf die Minimierung der Komplexität. Durch die einfache Handhabung und die verständlichen Richtlinien ist der Standard so gestaltet, dass er eine breite Nutzerbasis in der Übersetzungsbranche anspricht. Dies erhöht die Relevanz des Dokuments für unterschiedliche Interessengruppen, einschließlich Bildungs- und Ausbildungseinrichtungen für Übersetzer, die von diesen praxisnahen Bewertungsrichtlinien profitieren können. Darüber hinaus ist die ISO 5060:2024 auch nützlich für die Evaluierung von Ausgangstexten, die für die Übersetzung vorgesehen sind, was ihren Anwendungsbereich zusätzlich erweitert. Es ist jedoch wichtig zu beachten, dass der Standard nicht auf die Qualitätssicherungsprozesse oder weitere verwandte Elemente eingeht, was eine gezielte Anwendung der Richtlinien gewährleistet. Insgesamt stellt die ISO 5060:2024 einen bedeutenden Fortschritt in der Bewertung von Übersetzungen dar, da sie standardisierte Bewertungsmethoden bietet und somit die Qualität und Konsistenz in der Übersetzungsindustrie verbessert.

ISO 5060:2024は、翻訳サービスの評価に関する重要な指針を提供しています。この標準は、人的翻訳の出力、ポストエディットされた機械翻訳の出力、未編集の機械翻訳の出力の評価についてのガイドラインを示しており、評価者の資格や能力に関する指針も含まれています。特に、翻訳出力の評価における人間の役割に焦点を当てている点が特筆に値します。 この標準の主な強みの一つは、エラータイプとペナルティポイントに基づく分析的な翻訳評価アプローチを採用していることです。このアプローチにより、エラー得点や品質評価を生産することが可能となり、評価が定量的かつ客観的に行えるようになります。また、最小限の複雑性を反映するよう設計されているため、翻訳分野における多くのユーザーに適用可能です。このことは、翻訳サービスプロバイダー(TSP)、個々の翻訳者、翻訳会社、社内翻訳サービス、翻訳教育機関など、さまざまな関係者にとって利用しやすい環境を提供します。 さらに、この標準は翻訳のためのソーステキストの評価にも対応していて、多くの翻訳作業に応用できるのが魅力です。一方で、翻訳出力の品質を保証するプロセスや是正措置に関してはこの文書の適用範囲外であるため、評価に特化した明確なフレームワークを提供しています。通訳には適用できませんが、翻訳の品質評価に関心のあるすべての stakeholders にとって、新たな指針としての重要性を持っています。

La norme ISO 5060:2024, intitulée "Services de traduction - Évaluation de la production de traduction - Directives générales", offre une référence essentielle pour l'évaluation des résultats de traduction. Son champ d'application est vaste, englobant l'évaluation des traductions humaines, des traductions post-éditées par machine, ainsi que des traductions non éditées par machine. Cette approche analytique de l'évaluation des traductions, axée sur les types d'erreurs et les points de pénalité, permet de produire un score d'erreur et une évaluation de qualité clairement définis. Parmi ses points forts, cette norme souligne l'importance des qualifications et des compétences des évaluateurs au sein du processus d'évaluation. Cela garantit que les évaluations sont effectuées par des professionnels qualifiés, augmentant ainsi la fiabilité et la pertinence des résultats. De plus, la norme aborde le rôle de l'échantillonnage, une technique cruciale pour obtenir des évaluations représentatives dans le contexte de l'évaluation des services de traduction. La pertinence de l'ISO 5060:2024 s'étend aux prestataires de services de traduction, y compris les traducteurs indépendants, les entreprises de traduction et les services de traduction internes, ainsi qu'à leurs clients et à d'autres parties intéressées dans le secteur de la traduction. En offrant des directives claires et applicables à une vaste gamme d'utilisateurs, cette norme contribue à uniformiser les pratiques d'évaluation dans le domaine de la traduction. Enfin, en se concentrant sur une approche simple, cette directive demeure accessible à un large éventail d'acteurs de l'industrie de la traduction, tout en excluant les processus liés à l'assurance qualité et les actions correctives dans l'évaluation de la production de traduction.

ISO/FDIS 5060は、翻訳サービスの品質を評価するための一般的なガイドラインを提供する新しい国際規格です。この規格は、翻訳の成果物が特定の品質要件を満たすことを確実にすることを目的としています。評価基準の定義から評価方法の選択、評価の実施までの推奨事項が含まれています。また、クライアント、レビュワー、翻訳者など、評価プロセスに関与するすべての関係者の役割と責任についての指針も提供しています。ISO/FDIS 5060は、翻訳サービスの品質向上を目指す組織にとって、包括的なフレームワークを提供します。

ISO/FDIS 5060은 번역 서비스의 품질을 평가하는 데 관한 일반적인 지침을 제공하는 새로운 국제 표준입니다. 이 표준은 번역 결과가 특정한 품질 요구 사항을 충족하는지 보장하기 위해 개발되었습니다. 이는 평가 기준을 정의하는 것부터 평가 방법을 선택하고 평가를 수행하는 데 이르기까지 권고 사항을 포함하고 있습니다. 또한 ISO/FDIS 5060은 클라이언트, 리뷰어 및 번역가와 같은 평가 과정에 참여하는 모든 당사자들의 역할과 책임에 대한 지침을 제공합니다. ISO/FDIS 5060은 번역 서비스의 품질을 향상시키려는 조직에 유용한 포괄적인 기준을 제공합니다.

ISO/FDIS 5060 is a new international standard that provides guidance on evaluating the quality of translation services. The standard aims to ensure that translation output meets certain quality requirements. It includes recommendations for defining evaluation criteria, selecting evaluation methods, and conducting evaluations. The standard also offers guidance on the roles and responsibilities of all parties involved in the evaluation process, including clients, reviewers, and translators. ISO/FDIS 5060 provides a comprehensive framework for evaluating translation services and will be helpful for organizations seeking to improve the quality of their translation output.