Роль в жизненном цикле данных
поиск внешних, открытых и исследовательских наборов
Сильные стороны
широкий охват и быстрый доступ к описаниям и файлам
| Категория | Каталоги датасетов |
|---|---|
| Тип | Research data repository |
| Вендор / стандарт | Digital Science |
| Лицензия | Per-item licenses |
| Развёртывание | Самостоятельно развёрнутая система (self-hosted) / managed cloud / file format / public service — зависит от продукта |
| Надёжность | Надёжность оценивается на больших и грязных данных, повторном запуске, эволюция схемы (schema evolution), частичных сбоях и восстановлении результата. |
| Эксплуатация | для рабочей среды (production) нужны карточка данных (Data Card), владелец (owner), immutable version, контрольные барьеры качества (quality gates), observability, access controls, резервное копирование (backup) и проверенная миграция. |
Типовые сценарии
поиск внешних, открытых и исследовательских наборов; каталоги датасетов; задачи research data repository, наборы данных (datasets), качество данных (data quality), метаданные (metadata) и управление данными (governance).
Ограничения
лицензия, provenance, актуальность и качество проверяются для каждого набора
Проверка перед внедрением
- Сверьте актуальную лицензию, версию и ограничения официального источника.
- Возьмите репрезентативный набор с грязными и пограничными записями.
- Проверьте эволюцию схемы (schema evolution), повторный запуск и частичный сбой.
- Измерьте качество, скорость, память, хранение и стоимость поддержки.
- Проверьте экспорт, миграцию, резервное копирование, восстановление и откат (rollback).
Официальный источник: figshare.com ↗