ТерминДокументирование: Датасет изображений
Как документировать датасет изображений: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →От источника до воспроизводимой версии
Наборы данных: качество, форматы и лицензии
Как найти, проверить, документировать, лицензировать, разметить и безопасно использовать данные для аналитики, SaaS, машинного обучения (ML) и RAG.
Критерий готовностиИсточник, право, качество и версия доказуемы
2303+материалов и сравнений
135форматов и инструментов
42кейсов и схем
101курсов и программ
Карта знаний
Полный жизненный цикл набора данных
Разделы отделяют техническое качество от прав использования, конфиденциальности (privacy), документации, версий и полезности для конкретной задачи.
01
Типы и термины
Выборки (splits), наборы (datasets), продукты данных и основные понятия.
Открыть раздел →02Форматы
CSV, JSONL, Parquet, Avro, Arrow и мультимодальные данные.
Открыть раздел →03Качество
Полнота, точность, валидность, согласованность и смещение (bias).
Открыть раздел →04Профилирование
Схема (schema), пропуски, распределения, выбросы, дубликаты и PII.
Открыть раздел →05Проверки
Тесты качества, контракты данных и барьеры приёмки.
Открыть раздел →06Лицензии
Коммерческое использование, обучение моделей и атрибуция.
Открыть раздел →07Метаданные
Карточка данных (Data Card), словарь, владелец, ограничения и SLA.
Открыть раздел →08Происхождение
Происхождение (provenance), преобразования и анализ влияния.
Открыть раздел →09Версии
Снимки, ветви, различия, откат (rollback) и воспроизводимость.
Открыть раздел →10Разметка
Инструкции, эталонные задания, консенсус и активное обучение.
Открыть раздел →11Конфиденциальность
PII, согласие, минимизация, анонимизация и удаление.
Открыть раздел →12Синтетические данные
Полезность, реалистичность, риск раскрытия и смещение.
Открыть раздел →13Где искать
Kaggle, Hugging Face, OpenML, Zenodo и открытые данные.
Открыть раздел →14По отраслям
Источники, схема и качество для 28 направлений.
Открыть раздел →15ML и RAG
Утечки, загрязнение, оценочные выборки, дрейф и сложные отрицательные примеры.
Открыть раздел →16Управление данными
Ответственность, SLA, сертификация и жизненный цикл.
Открыть раздел →Популярные материалы
Все руководства →Практические разборы
ТерминТерминСбор: Временные ряды
Как собрать временные ряды: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →ТерминЛицензирование: графовый датасет
Лицензирование: графовый датасет: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →ТерминМетрики: Событийные данные
Какие метрики нужны для событийные данные: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →ТерминПроверка: Медицинские изображения
Как проверить медицинские изображения: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →ТерминЧто такое инструкционный датасет
Что такое инструкционный датасет: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →ТерминВерсионирование: Датасет предпочтений
Как версионировать датасет предпочтений: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →ТерминДокументирование: Обучающая выборка (training set)
Как документировать обучающая выборка (training set): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →ТерминСбор: Отложенная контрольная выборка (holdout set)
Как собрать отложенная контрольная выборка (holdout set): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Читать разбор →Реальные продукты и стандарты
Форматы, качество, каталоги, версии и разметка
Карточки ведут на официальные спецификации и сайты. Условия лицензии и актуальный статус всегда перепроверяются у владельца.
Разметка данныхОфициальный источник
Label Studio
создание эталонных метки (labels) для ML, поиска и оценки
Каталоги датасетовОфициальный источник
Hugging Face Hub
поиск внешних, открытых и исследовательских наборов
ВерсионированиеОфициальный источник
Hugging Face Datasets
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
ВерсионированиеОфициальный источник
DVC
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
Каталоги и метаданные (metadata)Официальный источник
OpenMetadata
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
Каталоги и метаданные (metadata)Официальный источник
DataHub
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
Данные для SaaS, бизнес-аналитики (BI), машинного обучения (ML) и RAG
Готовые закупочные наборы данных и программный интерфейс (API)
TenderDataHub поставляет российские и международные тендеры, контракты, организации, победителей, продукцию, цены, риски и распознанную документацию.
- исторические массивы и регулярные обновления
- форматы JSONL и Parquet, а также API
- профили набора под аналитику, ML, RAG или SaaS
Практика
Подтверждённые кейсы и проектные схемы
Публичные внедрения ведут на первоисточники; редакционные сценарии явно отделены и не выдаются за фактические проекты.
Microsoft Overture Maps: Версионирование открытых картографических данных
РезультатЕдиное управление версиями feeds и воспроизводимая сборка открытого набора
Разобрать кейс →Volvo Cars: Воспроизводимость ML на сотнях терабайт сенсорных данных
РезультатВерсионирование больших объектов и изолированная работа нескольких команд
Разобрать кейс →Giesecke+Devrient: Совместная работа с защищёнными данными
РезультатЦентрализованные ветви (branches) без копирования данных между проектами
Разобрать кейс →Karius: Версионирование обучающих данных под требования FDA
РезультатПрослеживаемость состояния training data для регулируемых ML-процессов
Разобрать кейс →Практические шаблоны
Заполните карточку данных (Data Card) до покупки или обучения модели
Шаблон фиксирует источники, схему, охват, качество, лицензию, PII, версию, владельца и ограничения.
Обучение
Курсы по качеству и инженерии данных и машинному обучению (ML)
Профильные программы из исходного исследования — с официальными ссылками и оценкой релевантности работе с наборами данных.
93DG /100
ProductStar
Python для аналитики
Начальный · По актуальной программе
93DG /100
Skillbox
Python для анализа данных
Начальный · По актуальной программе
93DG /100
Arenadata
Arenadata Catalog: администратор
Начальный · По актуальной программе
93DG /100
Arenadata
Arenadata Catalog: специалист
Начальный · По актуальной программе
93DG /100
Arenadata
Основы работы с Apache Spark в экосистеме Arenadata Hyperwave
Начальный · По актуальной программе
93DG /100
Arenadata
Arenadata Catalog качество данных (Data Quality) Framework: управление качеством данных
Начальный · По актуальной программе
Приёмка данных
Не покупайте набор только по числу строк
Попросите образец (sample), карточку данных, схему, охват, манифест, контрольную сумму, лицензию, сведения о PII, профиль качества, SLA обновлений и правила исправления дефектов.