Cross-field валидация (validation)
Cross-field валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Раздел базы знаний · 36 материалов
Валидация и тесты данных
Проверки схемы, бизнес-правила, контракты данных, барьеры качества и карантин записей.
Сверка источника и результата (Reconciliation source-to-target)
Сверка источника и результата (Reconciliation source-to-target): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Схема (Schema) валидация (validation)
Схема (Schema) валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Число строк (Row count) валидация (validation)
Число строк (Row count) валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Проверка числа столбцов (Column count validation)
Проверка числа столбцов (Column count validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Первичный ключ (Primary key) валидация (validation)
Первичный ключ (Primary key) валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Внешний ключ (Foreign key) валидация (validation)
Внешний ключ (Foreign key) валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Ссылочная целостность (Referential integrity)
Ссылочная целостность (Referential integrity): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Range валидация (validation)
Range валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Regex валидация (validation)
Regex валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Допустимые значения (Allowed values) валидация (validation)
Допустимые значения (Allowed values) валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Актуальность (Freshness) check
Актуальность (Freshness) check: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Проверка объёма (Volume check)
Проверка объёма (Volume check): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Проверка распределения (Distribution check)
Проверка распределения (Distribution check): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Дрейф данных (Drift) check
Дрейф данных (Drift) check: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Проверка дубликатов (Duplicate check)
Проверка дубликатов (Duplicate check): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Пропуск (Null) check
Пропуск (Null) check: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Проверка кодировки (Encoding check)
Проверка кодировки (Encoding check): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →File контрольная сумма (checksum)
File контрольная сумма (checksum): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Манифест (Manifest) валидация (validation)
Манифест (Manifest) валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Полнота разделов (Partition completeness)
Полнота разделов (Partition completeness): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Запаздывающие данные (Late arriving data)
Запаздывающие данные (Late arriving data): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Карантин некорректных строк (Quarantine invalid rows)
Карантин некорректных строк (Quarantine invalid rows): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Контроль соблюдения контракта данных (Data contract enforcement)
Контроль соблюдения контракта данных (Data contract enforcement): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Контрольный барьер качества (Quality gate) в CI
Контрольный барьер качества (Quality gate) в CI: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Контрольный барьер качества (Quality gate) перед обучение моделей машинного обучения (ML training)
Контрольный барьер качества (Quality gate) перед обучение моделей машинного обучения (ML training): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Контрольный барьер качества (Quality gate) перед загрузка данных в RAG (RAG ingestion)
Контрольный барьер качества (Quality gate) перед загрузка данных в RAG (RAG ingestion): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Sampling для проверки качества
Sampling для проверки качества: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Эталонные записи (Golden records)
Эталонные записи (Golden records): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Бизнес-правило (Business rule) валидация (validation)
Бизнес-правило (Business rule) валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Statistical process control для данных
Statistical process control для данных: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Набор проверок Great Expectations (Great Expectations suite)
Great Expectations suite: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Тесты dbt (dbt tests)
Dbt tests: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Pandera схема (schema)
Pandera схема (schema): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →JSON схема (Schema) валидация (validation)
JSON схема (Schema) валидация (validation): определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →Frictionless Data Package
Frictionless Data Package: определение, практический пример, порядок проверки, метрики приемки и типичные ошибки при работе с датасетами.
Открыть материал →