Временная утечка данных (Temporal leakage)
Временная утечка данных (Temporal leakage): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Раздел базы знаний · 77 материалов
Диагностика проблем с данными
Форматы, качество, лицензии, конфиденциальность, метки, дрейф и воспроизводимость.
Невозможно воспроизвести обучающая выборка (train set)
Невозможно воспроизвести обучающая выборка (train set): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Часовой пояс (Time zone) потерян
Часовой пояс (Time zone) потерян: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →В датасете слишком много пропусков
В датасете слишком много пропусков: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →В датасете дубли строк
В датасете дубли строк: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →В датасете повторяются объекты с разными ID
В датасете повторяются объекты с разными ID: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Сломалась кодировка CSV
Сломалась кодировка CSV: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Разделитель CSV определяется неправильно
Разделитель CSV определяется неправильно: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Даты смешаны в нескольких форматах
Даты смешаны в нескольких форматах: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Десятичная запятая ломает импорт
Десятичная запятая ломает импорт: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Типы колонок меняются между файлами
Типы колонок меняются между файлами: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →JSONL содержит битую строку
JSONL содержит битую строку: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Parquet схема (schema) не совпадает между partitions
Parquet схема (schema) не совпадает между partitions: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Avro эволюция схемы (schema evolution) нарушена
Avro эволюция схемы (schema evolution) нарушена: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Часть partitions отсутствует
Часть partitions отсутствует: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Контрольная сумма (Checksum) файла не совпадает
Контрольная сумма (Checksum) файла не совпадает: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Train и test содержат дубликаты
Train и test содержат дубликаты: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Утечка данных (Data leakage) завысила метрику
Утечка данных (Data leakage) завысила метрику: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Утечка целевого признака (Target leakage)
Утечка целевого признака (Target leakage): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Sampling систематическое смещение (bias)
Sampling систематическое смещение (bias): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Undercoverage редкого класса
Undercoverage редкого класса: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Дисбаланс классов (Class imbalance)
Дисбаланс классов (Class imbalance): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Шум в разметке (Label noise)
Шум в разметке (Label noise): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Systematic разметка (labeling) систематическое смещение (bias)
Systematic разметка (labeling) систематическое смещение (bias): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Низкий согласованность разметчиков (inter-annotator agreement)
Низкий согласованность разметчиков (inter-annotator agreement): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →У разметки нет инструкции
У разметки нет инструкции: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Синтетические данные (Synthetic data) не похожи на реальные
Синтетические данные (Synthetic data) не похожи на реальные: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Синтетические данные (Synthetic data) раскрывают исходные записи
Синтетические данные (Synthetic data) раскрывают исходные записи: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Нет лицензии у датасета
Нет лицензии у датасета: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Лицензия запрещает коммерческое использование
Лицензия запрещает коммерческое использование: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Неясна атрибуция данных
Неясна атрибуция данных: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Условия разных источников несовместимы
Условия разных источников несовместимы: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →В датасете есть персональные данные (PII)
В датасете есть персональные данные (PII): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Нельзя подтвердить согласие (consent)
Нельзя подтвердить согласие (consent): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Нельзя удалить запись из производных наборов
Нельзя удалить запись из производных наборов: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Нет происхождение данных (data provenance)
Нет происхождение данных (data provenance): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Нет идентификатор версии (version identifier)
Нет идентификатор версии (version identifier): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Непонятно, какая версия ушла клиенту
Непонятно, какая версия ушла клиенту: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Метаданные (Metadata) устарели
Метаданные (Metadata) устарели: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Карточка данных (Data Card) не заполнена
Карточка данных (Data Card) не заполнена: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Цепочка происхождения (Lineage) оборван
Цепочка происхождения (Lineage) оборван: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Схема (Schema) дрейф данных (drift) ломает pipeline
Схема (Schema) дрейф данных (drift) ломает pipeline: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Data дрейф данных (drift) ухудшает модель
Data дрейф данных (drift) ухудшает модель: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Concept дрейф данных (drift) не отслеживается
Concept дрейф данных (drift) не отслеживается: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Набор данных (Dataset) слишком большой для RAM
Набор данных (Dataset) слишком большой для RAM: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →CSV слишком медленно читается
CSV слишком медленно читается: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Слишком много маленьких файлов
Слишком много маленьких файлов: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Группа строк Parquet (Parquet row group) выбран неверно
Группа строк Parquet (Parquet row group) выбран неверно: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Сжатие замедляет чтение
Сжатие замедляет чтение: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →JSON занимает слишком много места
JSON занимает слишком много места: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →При объединении схем теряются поля
При объединении схем теряются поля: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →При join множатся строки
При join множатся строки: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Одинаковые сущности не матчятся
Одинаковые сущности не матчятся: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Нет стабильного первичный ключ (primary key)
Нет стабильного первичный ключ (primary key): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →ID переиспользуются
ID переиспользуются: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Единицы измерения перепутаны
Единицы измерения перепутаны: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Категории записаны по-разному
Категории записаны по-разному: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Текст содержит HTML и служебный код
Текст содержит HTML и служебный код: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →OCR даёт мусор
OCR даёт мусор: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Документы не связаны с источником
Документы не связаны с источником: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Изображения повреждены
Изображения повреждены: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Аудио разной частоты дискретизации
Аудио разной частоты дискретизации: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Внешний датасет перестал обновляться
Внешний датасет перестал обновляться: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →API источника изменился
API источника изменился: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Каталог удалил файл
Каталог удалил файл: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Ссылка на источник протухла
Ссылка на источник протухла: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Публичный сравнительный тест (benchmark) нерепрезентативен
Публичный сравнительный тест (benchmark) нерепрезентативен: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Качество измеряется только средним
Качество измеряется только средним: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Нет порога приемки
Нет порога приемки: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Нет владелец (owner) для инцидента
Нет владелец (owner) для инцидента: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Плохая версия данных уже ушла потребителям
Плохая версия данных уже ушла потребителям: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Как обнаружить утечка данных (data leakage): диагностика и пошаговое решение
Как обнаружить утечка данных (data leakage): диагностика и пошаговое решение: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Проверка: Лицензию датасета: диагностика и пошаговое решение
Как проверить лицензию датасета: диагностика и пошаговое решение: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Как удалить персональные данные: диагностика и пошаговое решение
Как удалить персональные данные: диагностика и пошаговое решение: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Как измерить полноту и точность данных: диагностика и пошаговое решение
Как измерить полноту и точность данных: диагностика и пошаговое решение: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Как объединить датасеты с разными схемами: диагностика и пошаговое решение
Как объединить датасеты с разными схемами: диагностика и пошаговое решение: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Как обновлять датасет без потери воспроизводимости: диагностика и пошаговое решение
Как обновлять датасет без потери воспроизводимости: диагностика и пошаговое решение: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →