ISO/TR 17797:2014
(Main)Electronic archiving — Selection of digital storage media for long term preservation
Electronic archiving — Selection of digital storage media for long term preservation
ISO/TR 17797:2014 gives guidelines on a selection of the most appropriate storage media for use in long-term electronic storage solutions. It includes a discussion on magnetic, optical, and electronic storage.
Archivage électronique — Sélection d'un support de stockage numérique pour une préservation à long terme
General Information
Buy Standard
Standards Content (Sample)
ТЕХНИЧЕСКИЙ
ISO/TR
ОТЧЁТ
17797
Первое издание
2014-10-01
Архивирование электронное. Выбор
цифровой запоминающей среды для
долгосрочного сохранения
информации
Electronic archiving — Selection of digital storage media for long term
preservation
Ответственность за подготовку русской версии несёт GOST R
(Российская Федерация) в соответствии со статьёй 18.1 Устава ISO
Ссылочный номер
ISO/TR 17797:2014(R)
©
ISO 2014
---------------------- Page: 1 ----------------------
ISO/TR 17797:2014(R)
ДОКУМЕНТ ЗАЩИЩЕН АВТОРСКИМ ПРАВОМ
© ISO 2014
Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO, которое должно быть получено после запроса о разрешении, направленного по
адресу, приведенному ниже, или в комитет-член ISO в стране запрашивающей стороны.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright @ iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2014 – Все права сохраняются
---------------------- Page: 2 ----------------------
ISO/TR 17797:2014(R)
Содержание Страница
Предисловие . v
Введение . vi
1 Область применения . 1
2 Нормативные ссылки . 1
3 Термины и определения . 1
4 Методология долгосрочного хранения . 2
5 Выбор системы хранения информации и запоминающей среды . 2
6 Дисковод жёсткого диска . 3
6.1 Общие положения . 3
6.2 Возможные причины отказов . 4
6.3 Показатели качества. 5
6.4 Технические аспекты . 8
6.5 Инструментальные средства управления . 10
7 Магнитная лента . 10
7.1 Общие характеристики . 10
7.2 Причины отказов . 10
7.3 Показатели качества. 11
7.4 Технические аспекты . 12
7.5 Инструментальные средства контроля . 13
8 Флэш-память твёрдотельного диска (SDD) . 13
8.1 Общие положения . 13
8.2 Причины отказов . 13
8.3 Показатели качества. 14
8.4 Технические аспекты . 15
8.5 Инструментальные средства контроля . 16
9 Оптические диски (для однократной записи и перезаписываемые) . 16
9.1 Общие положения . 16
9.2 Причины отказов . 17
9.3 Показатели качества. 17
9.4 Технические аспекты . 18
9.5 Инструментальные средства контроля . 19
10 Общие требования к системе долговременного хранения информации . 20
10.1 Общие положения . 20
10.2 Контролепригодность носителя . 20
10.3 Оптимальный выбор запоминающей среды . 20
10.4 Дублирование запоминающих устройств . 21
10.5 Инвентаризация носителей . 21
10.6 Регулярная проверка . 21
11 Выбор запоминающей среды . 21
11.1 Общие положения . 21
11.2 Объём хранимой информации . 22
11.3 Размеры отдельных элементов данных . 22
11.4 Период сохранения целостности информации . 22
11.5 Выбор ёмкости информационного носителя . 23
11.6 Обновление технологий, используемых организацией . 23
© ISO 2014 – Все права сохраняются iii
---------------------- Page: 3 ----------------------
ISO/TR 17797:2014(R)
11.7 Требования к информационному поиску и доступу .23
11.8 Уязвимость носителей для различных потенциальных угроз .23
11.9 Эксплуатационные затраты .24
11.10 Потребности хозяйственной деятельности, требования регуляционных органов и
сохранение доказательной силы документов .24
11.11 Цикл обновления технологии и миграция программного обеспечения .24
11.12 Признание в масштабах отрасли и соответствие техническому прогрессу .24
Приложение A (информативное) Технология RAID .25
Приложение B (информативное) Технология SMART .27
Библиография .28
iv © ISO 2014 – Все права сохраняются
---------------------- Page: 4 ----------------------
ISO/TR 17797:2014(R)
Предисловие
ISO (Международная организация по стандартизации) является всемирной федерацией национальных
организаций по стандартизации (комитетов-членов ISO). Разработка международных стандартов
обычно осуществляется техническими комитетами ISO. Каждый комитет-член, заинтересованный в
деятельности, для которой был создан технический комитет, имеет право быть представленным в этом
комитете. Международные правительственные и неправительственные организации, имеющие связь с
ISO, также принимают участие в работе. ISO работает в тесном сотрудничестве с Международной
электротехнической комиссией (IEC) по всем вопросам стандартизации в области электротехники.
Процедуры разработки, использованные при создании настоящего документа, и надлежащие операции
его дальнейшего сопровождения описаны в части 1 Директив ISO/IEC, в которых особенно важны
критерии утверждения и приёмки различных документов ISO. Проект настоящего документа был
подготовлен в полном соответствии с правилами, приведёнными в части 2 Директив ISO/IEC
(см. www.iso.org/directives).
Принимается во внимание тот факт, что некоторые из элементов настоящего документа могут
являться предметом патентов. ISO не принимает на себя обязательств по идентификации отдельных
или всех таких патентных прав. Подробные сведения о патентных правах, выявляемых в процессе
разработки того или иного документа, подлежат включению в его введение и/или в перечень
полученных ISO деклараций (см. www.iso.org/patents). Подробные сведения о патентных правах,
выявляемых в процессе разработки того или иного документа, подлежат включению в его введение
и/или в перечень полученных ISO деклараций (см. www.iso.org/patents).
Любая торговая марка, фигурирующая в настоящем документе, является информацией,
представляемой исключительно для удобства его пользователей, и не может считаться признаком
выражаемого предпочтения.
Разъяснение специфических терминов и формулировок ISO, касающихся оценки соответствия
конкретным нормативным документам, равно как и приверженности ISO принципам Всемирной
торговой организации (ВТО) в части устранения технических барьеров в торговле, можно найти на
сайте ISO по унифицированному указателю информационного ресурса (URL): Foreword -
Supplementary information
Ответственность за сопровождение данного документа возложена на подкомитет SC 1, Обеспечение
качества, относящийся к Техническому комитету ISO/TC 171 Прикладные системы управления
документооборотом.
© ISO 2014 – Все права сохраняются v
---------------------- Page: 5 ----------------------
ISO/TR 17797:2014(R)
Введение
Существенная часть цифровой информации, которая порождается различными действиями людей,
нуждается в сохранении на длительный период времени, а в некоторых случаях подлежит хранению
как можно дольше. В рамках данного технического отчёта определение “долгосрочный” указывает на
период хранения не меньше прогнозируемого срока службы носителя запоминаемой информации.
Используемые в настоящее время для долговременного хранения цифровой информации
запоминающие устройства проектировались и изготовлялись без учёта вышеуказанного фактора
времени, а просто создавались по критериям максимизации скорости передачи данных, плотности
записи и быстродействия при доступе. Все эти параметры, безусловно, должны приниматься во
внимание и в тех случаях, когда выдвигается требование долгосрочного хранения информации, а не
только её обычного резервного копирования.
Современные информационно-управляющие системы могут оказаться не способными к надёжному
осуществлению долговременного хранения запоминаемой ими информации, так как для этого
требуется разработка специальных ресурсов и комплексных процедур, зачастую повышающих затраты
на хранение данных в сравнении со “стандартными” информационными системами (к таким
процедурам и ресурсам относятся дублирование файлов, обновление памяти, резервирование
оборудования, системы текущего контроля, строгий регламент технического обслуживания; частая
миграция данных, сопряжённая с рисками; высокое энергопотребление и др.).
Однако даже в тех случаях, когда система предназначена специально для долгосрочного хранения
данных, должны приниматься во внимание повседневные потребности в организации доступа к
хранимой цифровой информации и управления информационными потоками.
При проектировании систем долгосрочного хранения необходимо предусматривать создание
специальных каналов с использованием высококачественных запоминающих сред, работающих по
критериям обеспечения высокой надёжности и стабильности; такая информационная устойчивость
гарантирует возможность оптимизации как процесса долговременного хранения цифровой
информации, так и организации доступа к ней.
В контексте требований к долгосрочному сохранению цифровой информации возникает
необходимость в определении условий и выработке рекомендаций по созданию специализированных
запоминающих сред с гарантированными свойствами стабильности и надёжности.
Основными критериями долгосрочного сохранения цифровой информации могут быть:
a) собственная стабильность запоминающей среды;
b) стабильность физических и/или химических изменений информационного носителя, порождаемых
процедурами обработки записей данных;
c) надлежащее качество и высокая надёжность процесса записи данных;
d) защита пути доступа к информации и метаданным;
e) защита инструментальных средств доступа (например, специальных программ, необходимых для
использования цифровых элементов, которые не подлежат преобразованию к
стандартизованному формату или формату долговременного хранения);
f) надлежащее качество информации:
— соответствие спецификации форматов;
— целостность данных.
vi © ISO 2014 – Все права сохраняются
---------------------- Page: 6 ----------------------
ISO/TR 17797:2014(R)
В настоящем Техническом отчёте рассматриваются только три первых критерия из приведённого
выше списка.
Следует отметить, что цель настоящего документа состоит не в том, чтобы установить какие-то
правила или технические условия, касающиеся использования информационно-управляющих систем,
поскольку эту роль уже успешно выполняют, например, такие международные стандарты, как
ISO 14641-1, ISO 15489-1 и ISO/TR 15489-2.
© ISO 2014 – Все права сохраняются vii
---------------------- Page: 7 ----------------------
ТЕХНИЧЕСКИЙ ОТЧЕТ ISO/TR 17797:2014(R)
Архивирование электронное. Выбор цифровой
запоминающей среды для долгосрочного
сохранения информации
1 Область применения
Настоящий Технический отчёт содержит руководящие указания по выбору наиболее подходящей
запоминающей среды для использования в качестве долговременной памяти электронных систем
долгосрочного сохранения данных; рассматриваются магнитные, оптические и электронные
запоминающие устройства.
2 Нормативные ссылки
Приведенные ниже нормативные документы содержат положения, на которые даются ссылки в
настоящем техническом отчёте, и которые, следовательно, становятся положениями данного
стандарта. Для датированных ссылок применимо только указанное издание. Применительно к
недатированным ссылочным документам действующим остаётся самое последнее издание
нормативного документа (включая все более поздние изменения):
ISO 12651-1, Управление электронным документооборотом. Словарь. Часть 1. Графическое
представление документов
3 Термины и определения
В настоящем документе используются термины и определения из стандарта ISO 12651-1, а также
термины и определения, приведённые ниже.
3.1
обновление памяти
refreshment
перемещение данных, при котором один тип носителя заменяется другим эквивалентным типом таким
образом, что функциональные возможности всех средств технического и программного обеспечения
хранения информации остаются неизменными
Примечание 1 к словарной статье: Расчёт циклов обновления памяти основывается на прогнозируемом сроке
службы информационного носителя.
[ИСТОЧНИК: ISO 13008:2012]
3.2
миграция (данных)
migration
процесс перемещения цифровой информации, включая все ёё характеристики, из одной конфигурации
системы аппаратного или программного обеспечения в другую без изменения формата данных
Примечание 1 к словарной статье: К миграции может также относиться перенос информации на более
совершенное компьютерное оборудование с внесением изменений в конфигурации аппаратного или программного
обеспечения.
[модифицированное определение из ISO 13008]
© ISO 2014 – Все права сохраняются 1
---------------------- Page: 8 ----------------------
ISO/TR 17797:2014(R)
3.3
запоминающая среда
storage medium
устройство, на котором может записываться цифровая информация
Примечание 1 к словарной статье: Это устройство может представлять собой средство технической поддержки,
средство технической поддержки в сочетании с медиаплеером или стационарный регистратор.
4 Методология долгосрочного хранения
Характеристики, требуемые от запоминающей среды, должны быть чётко определены соответственно
следующим критериям:
— высокая надёжность;
— прогнозируемый срок службы;
— чувствительность к характеристикам окружающей среды (операционной или запоминающей), а
также к внутренним и внешним условиям;
— моральное старение аппаратных и программных средств.
Часть настоящего Технического отчёта посвящена описанию методов и рекомендаций,
обеспечивающих правильный выбор подходящих информационных носителей на основе применения
следующих критериев:
— существующие стратегии хранения информации;
— используемый процесс оценки запоминающей среды (процедуры, средства контроля);
— используемые средства текущего контроля характеристик (встроенные каналы управления,
верификация данных и т.п.);
— определение приемлемого значения критерия приёмки;
— анализ существующих или желательных средств обнаружения трендов.
В рамках такого подхода структура данного документа нацелена на рассмотрение следующих
предметных областей:
— требования к запоминающим средам для долговременного хранения информации;
— функциональные возможности различных технологий хранения цифровой информации в аспекте
характеристик качества, надёжности и долговечности;
— определение подходящих критериев оценки;
— необходимые элементы системы диагностики.
5 Выбор системы хранения информации и запоминающей среды
В этом разделе рассматривается ряд проблем, относящихся к различным типам запоминающих сред,
которые могут применяться для хранения цифровой информации. Выбор определённого носителя
должен осуществляться с учётом принятой стратегии долгосрочного сохранения данных и архитектуры
используемой информационно-управляющей системы.
Любые информационные носители и системы записи информации подвержены опасности внезапного
нарушения доступа к цифровой информации – независимо от технологии его организации, вследствие
чего информационно-управляющая система должна проектироваться таким образом, чтобы риск
потери информации в результате таких сбоев доступа сводился к минимуму.
2 © ISO 2014 – Все права сохраняются
---------------------- Page: 9 ----------------------
ISO/TR 17797:2014(R)
Причины потери доступа могут быть самыми разными, однако наиболее распространёнными
причинами являются физические отказы информационного носителя и его приводных механизмов: на
их долю приходится 70 % всех случаев потери доступа (30 % - на нестабильность процесса
считывания и 38 % - на отказы привода).
Процедура выбора подходящей системы хранения цифровой информации и надлежащей
запоминающей среды довольно сложна из-за того, что зачастую их поведение на протяжении срока
службы непредсказуемо. Надёжностные модели, используемые производителями запоминающих
устройств, могут выдавать оценки, которые нередко оказываются недостижимыми в реальных
условиях функционирования. Оценка надёжности запоминающих сред часто даётся производителями
как прогнозируемая интенсивность отказов или как ожидаемый срок службы; например, расчётный срок
службы конкретного типа носителя информации может характеризоваться диапазоном от 10 лет до
нескольких сотен лет. Однако при его практическом применении в разных прикладных системах может
выясниться, что реальный срок службы будет составлять от нескольких месяцев до 20 лет, поскольку
может быть показано, что эксплуатационный срок службы зависит от конкретных условий
функционирования. Эту несоразмерность теоретического и практического срока службы необходимо
принимать внимание при решении задачи выбора между различными типами информационных
носителей или между разными моделями одного и того же типа.
Ещё один фактор, подлежащий учёту при выборе подходящего технического решения по
долгосрочному хранению данных, это явление морального старения носителей информации.
Последние достижения научно-технического прогресса в области запоминающих устройств привели к
очень быстрому усовершенствованию их функциональных рабочих характеристик, но одновременно
это вызвало и быстрое устаревание уже реализованных технических решений. Кроме того,
характеристики надёжности и долговечности, как правило, не передаются от предыдущего поколения
технических устройств к сменяющему их новому поколению. С каждым новым технологическим
достижением большая часть знаний, накопленных в различных испытаниях и многочисленных
статистических исследованиях эксплуатируемых систем, будет нуждаться в замене новыми
испытаниями и другими методами оценки надёжности более совершенных систем. Эта насущная
потребность никак не подкрепляется научными исследованиями в сфере процессов старения
запоминающих сред, что очень сильно усложняет разработку модели для адекватной оценки
характеристик долговечности информационных носителей (см. раздел “Библиография”).
Поэтому для правильного выбора технических решений по системам памяти должны приниматься во
внимание следующие факторы:
— результаты приёмочных испытаний;
— возможности контроля технологических процессов изготовления;
— контроль качества изделий методом выборочных испытаний;
— продольный текущий контроль запоминающих устройств и их приводных механизмов;
— рабочие условия эксплуатации и хранения запоминающих устройств;
— непрерывное отслеживание эволюционного процесса добавления аппаратных и программных
средств из-за наличия риска снятия с производства тех или иных покупных изделий.
6 Дисковод жёсткого диска
6.1 Общие положения
Технология дисководов жёстких дисков хорошо разработана и в течение последних 50 лет произошло
существенное увеличение их ёмкости, производительности и скорости передачи данных при
одновременном значительном снижении стоимости.
Дисковод жёсткого диска – это электромеханическое устройство, состоящее обычно из круглых
алюминиевых пластин, которые разделены слоями магнитного материала для записи данных. Запись
© ISO 2014 – Все права сохраняются 3
---------------------- Page: 10 ----------------------
ISO/TR 17797:2014(R)
и чтение данных осуществляются подвижными магнитными головками, «плавающими» над
поверхностью диска.
Использование дисководов жёстких дисков в качестве физических носителей информации сопряжено с
двумя основными рисками:
— короткий ожидаемый срок службы, делающий необходимой их замену каждые пять лет, и
— возможность потери данных при интенсивном использовании – в результате частого
включения/выключения, при физическом повреждении самого дисковода, внезапном отказе диска и т.п.
Конфигурации дисководов
Дисководы жёстких дисков могут использоваться в информационно-управляющих системах в разных
конфигурациях: как съёмные либо внешние устройства или как интегрированные системы, в которых
для повышения эффективности и надёжности применяются резервирование устройств и коды с
исправлением ошибок. При этом возможны следующие режимы:
— оперативный (on-line), в рамках которого системная конфигурация обеспечивает непрерывное
или прерывистое возбуждение дисковода через постоянное соединение;
— автономный (off-line), реализуемый не под управлением процессорного блока – когда дисковод
физически удалён из системы или отсоединён от неё, и доступ к информации на диске не может
быть осуществлён без вмешательства человека;
— простой или неактивное состояние дисковода;
— съёмный жёсткий диск (RHDD);
— многоцелевой жёсткий диск (iVDR);
— внешний дисковод и др.
6.2 Возможные причины отказов
Системы хранения информации и, в особенности, те из них, которые имеют в своей конструкции
движущиеся детали, подвержены отказам механических элементов, причиной которых могут являться
факторы, рассматриваемые ниже.
6.2.1 Отказы механических элементов
— Отказы головок чтения/записи возможны по причинам загрязнения и контакта с поверхностью
диска (при поломке);
— Отказы рычажного механизма могут происходить по причине резонансных колебаний и попадания
влаги внутрь;
— Отказы дисковых пластин возможны по причинам наличия царапин, износа, локального дефекта,
коробления и повреждения магнитного слоя;
— Отказы приводных механизмов могут происходить по причинам неисправности шпинделя
электродвигателя, подшипника, неравномерного вращения, отсутствия смазки;
— Отказы при обмене данными, вызванные ненадлежащими условиями эксплуатации.
6.2.2 Отказы электроники (электропривода, контроллера, буфера, соединителей, интерфейса и др.)
— основными причинами этих отказов являются броски напряжения, скачки тока и статическое
электричество, неблагоприятно воздействующие на следующие элементы;
— компоненты интегральных схем;
— неплотные соединения (блока питания, электропривода, шины и т.п.);
4 © ISO 2014 – Все права сохраняются
---------------------- Page: 11 ----------------------
ISO/TR 17797:2014(R)
— сервосигналы микросхем памяти.
6.2.3 Внешние факторы:
— магнитные поля;
— температура и влажность окружающей среды;
— попадание воды;
— удары и вибрации.
6.2.4 Причины возможных сбоев дисков в автономном режиме:
— затухание сигналов записанных битов из-за теплового разрушения магнитного материала;
— коррозия носителя данных;
— испарение смазочного масла в узлах привода;
— испарение или постепенная потеря свойств жидкой смазки для подшипников;
— коррозия и старение элементов электроники.
Эти факторы, действующие на протяжении всего периода хранения архивных данных, зависят от
температуры и влажности рабочей среды.
См. Ссылку [54].
6.3 Показатели качества
6.3.1 Общие замечания
Вследствие того, что применяемая в жёстких дисках технология чтения/записи информации требует
высочайшей точности используемых механических деталей, можно гарантировать высокое качество
работы даже самых совершенных дисководов в течение всего лишь нескольких лет. Интенсивность
отказов жёстких дисков подчиняется вероятностному закону, который моделируется так называемой U-
образной кривой, показанной ниже на Рисунке 1. Согласно этой кривой, вначале следует период
относительно частых “ранних отказов” (называемых также преждевременными); затем наступает
период относительно низкой интенсивности отказов (период нормальной эксплуатации), длящийся
несколько лет; а после этого начинается период постепенного снижения уровня надёжности, поскольку
диски достигают конца своего срока службы.
Рисунок 1 — U-образная кривая изменения интенсивности отказов во времени
© ISO 2014 – Все права сохраняются 5
---------------------- Page: 12 ----------------------
ISO/TR 17797:2014(R)
Большая часть временной шкалы относится к статистике уже эксплуатируемых систем. Однако эти
результаты не дают никакого представления о надёжности новых поколений устройств, так как
схожесть технических устройств не является достаточным основанием для экстраполяции их свойств.
Быстрая эволюция аппаратных средств обеспечивает лишь обратную совместимость новых
модификаций с более ранними (т.е. со всеми аналогичными устройствами предыдущих моделей), но
не даёт возможности прогнозировать их поведение в конкретных условиях эксплуатации (хотя
правомерно предполагается, что при смене поколений стабильность технической поддержки
сохраняется).
6.3.2 Термины теории надёжности
6.3.2.1 Общие замечания
В спецификациях, представляемых производителями, характеристики надёжности и их значения
существенно разнятся; примерами таких характеристик могут служить:
— средняя наработка на отказ – [MTBF (Mean time between failures)];
— средняя наработка до отказа – [MTTF (Mean time to failure)];
— частота сбоев за год – [AFR (Annualized failure rate)];
— среднее время между отказами, связанными с потерей данных – [MTBDL (Mean time between data
loss)];
— среднее время восстановления после отказа – [MTTR (Mean time to repair)];
— период нормальной эксплуатации – (Useful /Service life).
Сведения о надёжности редко сопровождаются описанием эксплуатационных условий, в которых
получены конкретные значения.
6.3.2.2 Средняя наработка на отказ (MTBF) или средняя наработка до отказа (MTTF)
Показатель MTBF – это расчётный статистический параметр, который показывает ожидаемое среднее
время безотказной работы стандартного дисковода из большой совокупности однотипных дисководов.
Средняя наработка на отказ не показывает, как долго будет работать дисковод, прежде чем
произойдёт его отказ, а характеризует лишь вероятный интервал времени между отказами.
Для правильной интерпретации значение MTBF привязыва
...
TECHNICAL ISO/TR
REPORT 17797
First edition
2014-10-01
Electronic archiving — Selection of
digital storage media for long term
preservation
Archivage électronique — Sélection d’un support de stockage
numérique pour une préservation à long terme
Reference number
ISO/TR 17797:2014(E)
©
ISO 2014
---------------------- Page: 1 ----------------------
ISO/TR 17797:2014(E)
COPYRIGHT PROTECTED DOCUMENT
© ISO 2014
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2014 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/TR 17797:2014(E)
Contents Page
Foreword .v
Introduction .vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Methodology . 1
5 Choice of storage system/media . 2
6 Hard disk drive . 3
6.1 General . 3
6.2 Reasons for failure . 3
6.3 Quality indicators . 4
6.4 Technical arrangements . 7
6.5 Control tools . 8
7 Magnetic tape . 9
7.1 General . 9
7.2 Reasons for failure . 9
7.3 Quality indicators .10
7.4 Technical arrangements .10
7.5 Control tools .11
8 Solid state drive (SDD), flash memory .11
8.1 General .11
8.2 Reasons for failure .12
8.3 Quality indicators .12
8.4 Technical arrangements .12
8.5 Control tools .13
9 Optical discs (recordable and rewritable) .14
9.1 General .14
9.2 Reasons for failure .14
9.3 Quality indicators .14
9.4 Technical arrangements .15
9.5 Control tools .16
10 General requirements for long-term preservation .17
10.1 General .17
10.2 Media traceability .17
10.3 Optimal storage identification .17
10.4 Duplication of storage .17
10.5 Media stocktaking .17
10.6 Periodic inspection .18
11 Selection of media .18
11.1 General .18
11.2 Volume of information .18
11.3 Size of individual items .18
11.4 Retention period of the information .19
11.5 Capacity of the media .19
11.6 Technology already in use within the organization .19
11.7 Retrieval and accessibility requirements .19
11.8 Exposure to threats to media .20
11.9 Costs .20
11.10 Records management, regulatory, and discovery .20
11.11 Technology refresh cycle/software migration .20
© ISO 2014 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO/TR 17797:2014(E)
11.12 Industry acceptance and maturity .20
Annex A (informative) RAID .21
Annex B (informative) SMART .23
Bibliography .24
iv © ISO 2014 – All rights reserved
---------------------- Page: 4 ----------------------
ISO/TR 17797:2014(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers
to Trade (TBT) see the following URL: Foreword - Supplementary information
The committee responsible for this document is ISO/TC 171, Document management applications,
Subcommittee SC 1, Quality.
© ISO 2014 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO/TR 17797:2014(E)
Introduction
A significant proportion of digital information generated by different human activities will need to be
stored for a long period of time and in some cases for as long as it is possible. Where ‘long-term’ is used
in this Technical Report, a storage period of not less than the anticipated life of the storage media is
assumed.
The media currently used to store digital information for the long-term have not been analysed and
manufactured for this purpose but mainly developed to maximize transfer rates, density recording, and
access time. All these parameters have to be taken in perspective when long-term preservation is the
requirement, not just simple backup purposes.
In general, current information management systems might not be conducive to the satisfactory
achievement of long-term preservation. For long-term preservation, there needs to be the development
of special resources and complex procedures with often increased costs when compared with ‘normal’
information management systems (duplication of files, refreshing storage, equipment redundancy,
monitoring systems, heavy maintenance, frequent and risky migration, high energy consumption, etc.).
Even when a system is designed for long-term preservation, the day-to-day requirements for access and
management of the stored digital information needs to be taken into consideration.
When designing systems for long-term preservation, it is necessary to have specific pathways with the
objective of providing qualified storage media on criteria such as reliability and stability; this would
ensure that the sustainability of digital information leads to optimize the solution for both long-term
preservation and access to digital information.
The context of the requirement for long-term digital preservation needs to establish conditions and
recommendations for media that is specially manufactured with a guaranteed potential of stability and
reliability.
The main criteria involved in the long-term preservation of digital information can be summarized as
follows:
a) intrinsic stability of storage media;
b) stability of physical and/or chemical modifications of media produced by record processing;
c) quality and reliability of recording process;
d) preservation of access path to information and metadata;
e) preservation of access tools (i.e. any special software needed to use digital items that have not been
migrated to a long-term or standardized format);
f) quality of information;
— compliance with format specification;
— data integrity.
Only the first three criteria from the list above are considered as part of this Technical Report.
It is noted that the objective is not to make rules or specifications for use on information management
systems as several International Standards, such as ISO 14641-1, ISO 15489-1, and ISO/TR 15489-2, fill
this role.
vi © ISO 2014 – All rights reserved
---------------------- Page: 6 ----------------------
TECHNICAL REPORT ISO/TR 17797:2014(E)
Electronic archiving — Selection of digital storage media
for long term preservation
1 Scope
This Technical Report gives guidelines on a selection of the most appropriate storage media for use
in long-term electronic storage solutions. It includes a discussion on magnetic, optical, and electronic
storage.
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated
references, the latest edition of the referenced document (including any amendments) applies.
ISO 12651-1, Electronic document management — Vocabulary — Part 1: Electronic document imaging
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 12651-1 and the following
apply.
3.1
refreshment
data migration where the media is replaced with equivalent media such that all storage hardware and
software functionality is unchanged
Note 1 to entry: Refreshment cycles are based on the predicted life span of the medium.
[SOURCE: ISO 13008:2012]
3.2
migration
process of moving digital information, including their existing characteristics, from one hardware or
software configuration to another without changing the format
Note 1 to entry: Migration can also include converting to a more current computing environment, involving
changes to hardware/software configurations.
[SOURCE: adapted from ISO 13008]
3.3
storage medium
device on which digital information can be recorded
Note 1 to entry: Device can designate a support, a combined support and media player, or a set recorder.
4 Methodology
The characteristics required for storage media should be clearly established regarding the following
criteria:
— reliability;
© ISO 2014 – All rights reserved 1
---------------------- Page: 7 ----------------------
ISO/TR 17797:2014(E)
— anticipated longevity;
— sensitivity to environment (operating or storage), internal and external conditions;
— obsolescence of hardware and software.
A part of this Technical Report describes methods or guidelines which lead to the identification of
appropriate media based on criteria specified, such as the following:
— control strategies;
— media evaluation process (procedures, monitoring devices);
— tools for monitoring characteristics (ECC, data verification, etc.);
— defining acceptance criteria level;
— analysis of means (existing or desired) for detecting trends.
On this basis, this Technical Report is structured around the following points:
— requirements for the long-term storage media;
— capability of different types of technologies to store digital information in the long term, including
aspects of quality, reliability, and durability;
— definition of criteria considered;
— diagnostic elements to be used.
5 Choice of storage system/media
This clause lists some of the issues related to the different types of media that can be used for the storage
of digital information. The choice of media should support the long-term preservation strategy and the
architecture of the information management system.
All media/recording systems are at risk of a sudden loss of access to digital information, regardless of
the technology, so an information management system should be designed to mitigate this risk of loss
of this information.
There are various reasons for loss of access, but the most common is the physical failure of media/drivers.
This can be the cause in up to 70 % of cases (30 % drive read instability, 38 % drive failure).
The choice of storage system/media is complex because of their often unpredictable behaviour during
their life. Reliability models used by manufacturers can provide estimates that are often not achieved in
the operational environment. The reliability of storage media is often given by manufacturers in terms
of failure rate or in terms of lifespan; for example, the rated lifetime of a particular media type might
range from 10 years to several centuries. However, in practical applications it can be found that the
actual lifespan can range from a few months to 20 years, as it can be shown that operational life depends
upon the operating environment. This disparity needs to be taken into consideration when deciding
between different types of media or different models of the same type of media.
A further factor that should be taken into consideration when choosing storage solutions is the issue of
obsolescence. Recent developments in storage systems have resulted in a very rapid increase in functional
performance, but this has also lead to the rapid obsolescence of implemented solutions. Moreover,
reliability and lifespan are typically not transferable from old systems to newer replacements. With
each new advance in technology, much of the knowledge gained by tests or various statistical studies
on existing systems will need to be replaced by trials and other methods of estimating the reliability of
the new systems. This requirement is not supported by research on media degradation processes which
makes it very difficult to establish a model for estimating storage media life (see Bibliography).
2 © ISO 2014 – All rights reserved
---------------------- Page: 8 ----------------------
ISO/TR 17797:2014(E)
Storage solutions should be chosen taking into consideration the following:
— results of acceptance tests;
— traceability of the manufacturing processes;
— quality testing by sampling processes;
— longitudinal monitoring of media/drivers;
— environmental conditions of operational use and storage;
— continuous monitoring on the evolution of supply (hardware and software) in relation to the risk of
withdrawal of commercial products.
6 Hard disk drive
6.1 General
Hard disk drive (HDD) technology is well established, and over the past 50 years there have been
substantial improvements in data transfer rates and capacity along with a marked decrease in product
price.
Hard disk drives are electromechanical devices containing generally aluminium platters that are layered
with magnetic recording material. Data are written to and read from the disk by moveable read/write
heads which float over the surface of the disk.
Two main risks are associated with the use of hard disk drives as physical carriers.
— They have a short life expectancy and should be replaced every five years.
— This technology is also susceptible to data loss from extended use, powering the disk on or off,
physical damage of the drive itself, and sudden disk failure, etc.
Configurations
HDD can be used in information management systems under different configurations: either removable
or external drives or integrated systems using redundancy and error correction codes to improve
performance and reliability.
— On-line: the system configuration maintains a continuous or intermittent solicitation through a
permanent connection;
— Off-line: not under control of processing unit, physically removed or disconnected and can’t be
accessed without human intervention:
— idle or inactive;
— RHDD removable hard disk drive;
— iVDR versatile hard disk;
— external HDD, etc.
6.2 Reasons for failure
Storage systems, and in particular those that have moving parts, are prone to mechanical failure. Failure
can occur through a number of factors.
6.2.1 Mechanical failures:
© ISO 2014 – All rights reserved 3
---------------------- Page: 9 ----------------------
ISO/TR 17797:2014(E)
— Heads: contamination, disk contact (crash);
— Arm: resonance, damping;
— Platters: scratch, wear, local defect, warping, magnetic layer defect;
— Motor: spindle motor, bearing, defective rotation, lubricant;
— Exploitation processing; data swap.
6.2.2 Electronic failures (motor driver, controller, buffer, connectors, interface, etc.):
— Main causes: power spikes, electrical surge, static electricity;
— Damaged to integrated components;
— Fail connection (power unit, driver, bus, etc.);
— Servo, memory chips.
6.2.3 External factors:
— Magnetic fields;
— Temperature and humidity;
— Water contact;
— Shocks, vibrations.
6.2.4 Disks off-line, the potential factors identified are
— Magnetic thermal decay of recorded bits;
— Media corrosion;
— Media lubricant oil evaporation;
— Fluid dynamic bearing oil evaporation or degradation;
— Electronic corrosion and degradation.
These archival life factors are all functions of temperature and humidity.
See Reference [54].
6.3 Quality indicators
6.3.1 General
Due to the incredibly precise nature of the technology used in hard disks and the fact that mechanical
components are used, it is impossible to guarantee the reliability of even the highest quality disks
for more than a few years. The failure rate of hard disks follows the so-called bathtub curve model of
failures (see Figure 1): they have a relatively high rate of “premature failure” (or early failure), a period
of very low failures for several years, and then a gradual reduction in reliability as they reach the end of
their useful life
4 © ISO 2014 – All rights reserved
---------------------- Page: 10 ----------------------
ISO/TR 17797:2014(E)
Premature
Wearout
failure
Useful Life
Life
End
Cumulative operating time
of
Life
1 year 5-7 years
Figure 1 — Failure evolution: the bathtub curve
Most of the time, these are statistics based on systems in operation. However, these results do not give
any indication about the new generations because technical similarities do not allow extrapolations.
The rapid evolution of hardware provides backward compatibility but cannot predict their behaviour
(although we have a good idea of the stability of the supports when they are replaced by the next
generation).
6.3.2 Reliability terms
6.3.2.1 General
The disparity of units and values in the specifications provided by the manufacturers concerning the
characteristics of reliability should be noted. Examples are:
— MTBF (Mean time before failure);
— MTTF (Mean time to failure);
— AFR (Annualized failure rate);
— MTBDL (Mean time between data loss);
— MTTR (Mean time to repair);
— Useful/Service life.
In addition, reliability data are rarely accompanied by a statement of conditions used for the development
of the data.
6.3.2.2 Mean time before failure (MTBF) or Mean time to failure (MTTF)
MTBF is a statistical calculation that projects the average life expectancy of a typical disk in a large
population of drives. MTBF does not indicate how long a disk drive will run before it fails, just the
probability of failure.
To be interpreted properly, the MTBF figure is intended to be used in conjunction with the useful service
life of the drive, the typical amount of time before the drive enters the period where failures due to
component wear-out increase. MTBF only applies to the aggregate analysis of large numbers of drives;
it says nothing about a particular unit.
If MTBF of a model is 500 000 hours and the service life is five years, this means that a drive of that type
is supposed to last for five years, and that of a large group of drives operating within this timeframe, on
© ISO 2014 – All rights reserved 5
Failure rate
---------------------- Page: 11 ----------------------
ISO/TR 17797:2014(E)
average they will accumulate 500 000 hours of total run time (amongst all the drives) before the first
failure of any drive.
There are in fact two different types of MTBF figures:
— Theoretical MTBF figure for a new drive based primarily upon analysis of historical data of other
drives similar to the new one;
— Operational MTBF derived by analysing field return and comparing them to the installed base.
6.3.2.3 Annualized failure rate (AFR)
Annualized failure rate (AFR) gives the failure probability for a device or component during a full year
of use. It is in relation with MTBF.
AFR is calculated from the device failure rate over time observed. Disk resellers are particularly sensitive
to this issue since this statistic influences their spare parts strategy.
6.3.2.4 Mean time between data loss (MTBDL)
MTBDL is a statistical figure that attempts to predict how long an array group will operate before
suffering a catastrophic failure and data loss. For example data loss occurs when information is written
to the failed disk array subsequent to its last backup. RAID technology allows some disk array groups
to survive the failure of one or more disks making MTBF less significant. MTBDL is a more meaningful
measure of reliability than MTBF or AFR since it considers the performance of the array, not just a sub-
component.
6.3.2.5 Mean time to repair (MTTR)
MTTR is the time it takes to repair a failed part. MTTR figures assume that no time elapses between the
fai
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.