Форматы данныхApache 2.0
Apache Parquet
выбор структуры поставки, обмена и долговременного хранения данных
- Колоночный бинарный формат
- Apache Software Foundation
Официальные спецификации и продукты
Форматы и инструменты для наборов данных
Форматы, инструменты качества данных, каталоги метаданных, версии, разметка, конфиденциальность и платформы синтетических данных.
Все 135Форматы данных 29Каталоги и метаданные (metadata) 21Качество и тестирование 20Каталоги датасетов 14Разметка данных 14Конфиденциальность (Privacy) и synthetic 12Версионирование 11Профилирование 10Лицензии и право 4
Форматы данныхОткрытый стандарт / RFC 4180
CSV
выбор структуры поставки, обмена и долговременного хранения данных
- Табличный текстовый формат
- IETF
Каталоги и метаданные (metadata)Apache 2.0 / Cloud
DataHub
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Метаданные (metadata) platform and catalog
- DataHub
ВерсионированиеApache 2.0 / Studio
DVC
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Version control for data and models
- Iterative
Качество и тестированиеApache 2.0 / Cloud
Great Expectations
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Валидация данных (data validation) framework
- Great Expectations
ВерсионированиеApache 2.0
Hugging Face Datasets
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Набор данных (dataset) library and Hub integration
- Hugging Face
Каталоги датасетовусловия платформы (Platform terms) / per-item licenses
Hugging Face Hub
поиск внешних, открытых и исследовательских наборов
- Набор данных (dataset) and model repository
- Hugging Face
Форматы данныхОткрытый стандарт / RFC 8259
JSON
выбор структуры поставки, обмена и долговременного хранения данных
- Текстовый формат обмена
- IETF
Разметка данныхApache 2.0 / Enterprise
Label Studio
создание эталонных метки (labels) для ML, поиска и оценки
- Multi-modal annotation platform
- HumanSignal
Каталоги и метаданные (metadata)Apache 2.0 / Cloud
OpenMetadata
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Метаданные (metadata), цепочка происхождения (lineage) and quality
- OpenMetadata
ПрофилированиеBSD 3-Clause
pandas
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Python dataframe analysis
- pandas
ВерсионированиеApache 2.0
Apache Iceberg
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Open table format
- Apache Software Foundation
ПрофилированиеApache 2.0
Apache Spark
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Distributed data processing
- Apache Software Foundation
Лицензии и правоCreative Commons
Creative Commons License Chooser
проверка прав использования, модификации и распространения данных
- License selection reference
- Creative Commons
Разметка данныхMIT / commercial cloud
CVAT
создание эталонных метки (labels) для ML, поиска и оценки
- Computer vision annotation
- CVAT.ai
Качество и тестированиеApache 2.0 / commercial
dbt data tests
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- SQL-тесты моделей данных
- dbt Labs
ПрофилированиеMIT
DuckDB
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Embedded analytical SQL
- DuckDB Foundation
Форматы данныхОткрытая спецификация
JSON Lines
выбор структуры поставки, обмена и долговременного хранения данных
- Потоковый построчный JSON
- JSON Lines
Каталоги датасетовусловия платформы (Platform terms)
Kaggle Datasets
поиск внешних, открытых и исследовательских наборов
- Public набор данных (dataset) catalog
- Google Kaggle
ВерсионированиеApache 2.0 / commercial
lakeFS
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Git-like озеро данных (data lake) версионирование (versioning)
- lakeFS
Конфиденциальность (Privacy) и syntheticMIT
Microsoft Presidio
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Персональные данные (PII) detection and анонимизация (anonymization)
- Microsoft
Лицензии и правоODC terms
Open Data Commons
проверка прав использования, модификации и распространения данных
- Database and data licenses
- Open Knowledge Foundation
ПрофилированиеMIT
Polars
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Fast dataframe engine
- Polars
Форматы данныхApache 2.0
Apache Arrow IPC
выбор структуры поставки, обмена и долговременного хранения данных
- Колоночное представление и IPC
- Apache Software Foundation
Форматы данныхApache 2.0
Apache Avro
выбор структуры поставки, обмена и долговременного хранения данных
- Строковый формат со схемой
- Apache Software Foundation
ВерсионированиеApache 2.0
Delta Lake
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Transactional озёрное хранилище (lakehouse) tables
- Linux Foundation
Каталоги датасетовусловия платформы (Platform terms)
Google Dataset Search
поиск внешних, открытых и исследовательских наборов
- Набор данных (dataset) search engine
Каталоги и метаданные (metadata)Apache 2.0
OpenLineage
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Цепочка происхождения (lineage) open standard
- OpenLineage
Лицензии и правоCC0 / community
SPDX License List
проверка прав использования, модификации и распространения данных
- Machine-readable license identifiers
- Linux Foundation
Конфиденциальность (Privacy) и syntheticBSL / commercial
Synthetic Data Vault
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Tabular синтетические данные (synthetic data)
- DataCebo
Каталоги и метаданные (metadata)Commercial
Atlan
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Active метаданные (metadata) platform
- Atlan
Разметка данныхAGPL / commercial
Cleanlab
создание эталонных метки (labels) для ML, поиска и оценки
- Label issue detection
- Cleanlab
Разметка данныхMIT
Doccano
создание эталонных метки (labels) для ML, поиска и оценки
- Text annotation
- Doccano
Качество и тестированиеApache 2.0 / commercial
Evidently
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- ML and качество данных (data quality) evaluation
- Evidently AI
Конфиденциальность (Privacy) и syntheticMIT
Faker
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Fake data generator
- Faker
Качество и тестированиеOpen specification
JSON Schema
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- JSON валидация (validation) specification
- JSON Schema
Форматы данныхBSD 3-Clause
Protocol Buffers
выбор структуры поставки, обмена и долговременного хранения данных
- Схемная бинарная сериализация
Разметка данныхApache 2.0 / commercial
Snorkel
создание эталонных метки (labels) для ML, поиска и оценки
- Programmatic разметка (labeling) and слабое обучение с учителем (weak supervision)
- Snorkel AI
Качество и тестированиеApache 2.0 / commercial
Soda Core / Soda Cloud
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Data проверки качества (quality checks) and observability
- Soda
Форматы данныхPublic domain
SQLite
выбор структуры поставки, обмена и долговременного хранения данных
- Переносимая файловая база
- SQLite
Каталоги датасетовPer-набор данных (dataset) terms
UCI Machine Learning Repository
поиск внешних, открытых и исследовательских наборов
- Academic ML набор данных (dataset) catalog
- UC Irvine
ПрофилированиеMIT
ydata-profiling
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Automated dataframe профилирование (profiling)
- YData
Каталоги датасетовPer-item licenses
Zenodo
поиск внешних, открытых и исследовательских наборов
- Research repository with DOI
- CERN / OpenAIRE
ВерсионированиеApache 2.0
Apache Hudi
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Transactional озеро данных (data lake) framework
- Apache Software Foundation
Форматы данныхApache 2.0
Apache ORC
выбор структуры поставки, обмена и долговременного хранения данных
- Колоночный формат для аналитики
- Apache Software Foundation
Разметка данныхApache 2.0 / Cloud
Argilla
создание эталонных метки (labels) для ML, поиска и оценки
- LLM and NLP подготовка и отбор данных (data curation)
- Argilla
Каталоги и метаданные (metadata)Commercial cloud
AWS Glue Data Catalog
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Managed technical catalog
- AWS
Каталоги и метаданные (metadata)Commercial
Collibra
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Enterprise data intelligence
- Collibra
Каталоги датасетовPer-набор данных (dataset) terms
data.europa.eu
поиск внешних, открытых и исследовательских наборов
- European открытые данные (open data) portal
- European Union
Каталоги датасетовPer-набор данных (dataset) terms
Data.gov
поиск внешних, открытых и исследовательских наборов
- Government open каталог данных (data catalog)
- US Government
Каталоги и метаданные (metadata)Commercial cloud
Microsoft Purview
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Cloud data управление данными (governance)
- Microsoft
Качество и тестированиеMIT
Pandera
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Dataframe валидация (validation)
- Pandera
Качество и тестированиеApache 2.0
TensorFlow Data Validation
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- ML data analysis and валидация (validation)
- TensorFlow
Разметка данныхCommercial
Toloka
создание эталонных метки (labels) для ML, поиска и оценки
- Crowdsourcing and data разметка (labeling)
- Toloka
Каталоги и метаданные (metadata)Commercial
Alation
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Enterprise каталог данных (data catalog)
- Alation
Качество и тестированиеApache 2.0
Amazon Deequ
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Spark качество данных (data quality) library
- AWS Labs
Каталоги датасетовPer-набор данных (dataset) terms
BigQuery Public Datasets
поиск внешних, открытых и исследовательских наборов
- Cloud queryable открытые данные (public data)
- Google Cloud
ПрофилированиеBSD 3-Clause
Dask
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Parallel Python dataframes
- Dask
Форматы данныхDICOM Standard
DICOM
выбор структуры поставки, обмена и долговременного хранения данных
- Медицинские изображения и метаданные
- DICOM Standards Committee
Форматы данныхRFC 7946
GeoJSON
выбор структуры поставки, обмена и долговременного хранения данных
- Геопространственный JSON
- IETF
Конфиденциальность (Privacy) и syntheticCommercial
Gretel
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Синтетические данные (synthetic data) platform
- Gretel
Форматы данныхBSD-like
HDF5
выбор структуры поставки, обмена и долговременного хранения данных
- Иерархический научный формат
- The HDF Group
Разметка данныхCommercial
Labelbox
создание эталонных метки (labels) для ML, поиска и оценки
- Enterprise data разметка (labeling)
- Labelbox
Качество и тестированиеCommercial
Monte Carlo
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Data observability
- Monte Carlo
Конфиденциальность (Privacy) и syntheticBSD 3-Clause
OpenDP
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Differential конфиденциальность (privacy) toolkit
- Harvard OpenDP
Качество и тестированиеMIT
Pydantic
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Python валидация данных (data validation)
- Pydantic
Каталоги датасетовPer-набор данных (dataset) terms
Registry of Open Data on AWS
поиск внешних, открытых и исследовательских наборов
- Cloud-hosted open наборы данных (datasets)
- AWS
Разметка данныхCommercial / free tier
Roboflow Annotate
создание эталонных метки (labels) для ML, поиска и оценки
- Computer vision разметка (labeling)
- Roboflow
Разметка данныхCommercial
Scale AI Data Engine
создание эталонных метки (labels) для ML, поиска и оценки
- Managed data разметка (labeling)
- Scale AI
Конфиденциальность (Privacy) и syntheticApache 2.0
Synthea
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Synthetic health records
- MITRE
Форматы данныхMIT
Zarr
выбор структуры поставки, обмена и долговременного хранения данных
- Chunked N-dimensional arrays
- Zarr
Каталоги и метаданные (metadata)Apache 2.0
Apache Atlas
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Управление данными (governance) and метаданные (metadata)
- Apache Software Foundation
Лицензии и правоCC BY 3.0
Choose a License
проверка прав использования, модификации и распространения данных
- License comparison reference
- GitHub
Качество и тестированиеMIT
Frictionless Data
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Data package валидация (validation)
- Open Knowledge Foundation
ВерсионированиеMIT
Git LFS
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Large files in Git
- GitHub
Каталоги и метаданные (metadata)Commercial cloud
Google Dataplex Universal Catalog
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Managed data управление данными (governance)
- Google Cloud
Каталоги датасетовPer-item terms
Harvard Dataverse
поиск внешних, открытых и исследовательских наборов
- Research data repository
- Harvard University
Каталоги и метаданные (metadata)Commercial
Informatica IDMC
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Enterprise catalog and управление данными (governance)
- Informatica
Конфиденциальность (Privacy) и syntheticCommercial
MOSTLY AI
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Enterprise синтетические данные (synthetic data)
- MOSTLY AI
Каталоги датасетовBSD 3-Clause / per-item licenses
OpenML
поиск внешних, открытых и исследовательских наборов
- Open ML наборы данных (datasets) and experiments
- OpenML
Форматы данныхОткрытый стандарт W3C
XML
выбор структуры поставки, обмена и долговременного хранения данных
- Размеченный текстовый формат
- W3C
Конфиденциальность (Privacy) и syntheticApache 2.0
ARX Data Anonymization Tool
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Конфиденциальность (privacy)-preserving анонимизация (anonymization)
- ARX
Качество и тестированиеCommercial
Datafold
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Сравнение данных (data diff) and observability
- Datafold
ВерсионированиеApache 2.0
Dolt
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Git-like SQL database
- DoltHub
Каталоги датасетовPer-item licenses
Figshare
поиск внешних, открытых и исследовательских наборов
- Research data repository
- Digital Science
Форматы данныхCommunity specification
GeoParquet
выбор структуры поставки, обмена и долговременного хранения данных
- Геопространственный Parquet
- GeoParquet
Каталоги и метаданные (metadata)Apache 2.0
Marquez
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Цепочка происхождения (lineage) метаданные (metadata) service
- OpenLineage
Форматы данныхBSD-like
NetCDF
выбор структуры поставки, обмена и долговременного хранения данных
- Массивы научных данных
- Unidata
Разметка данныхCommercial
Prodigy
создание эталонных метки (labels) для ML, поиска и оценки
- Scriptable annotation
- Explosion
Форматы данныхW3C Recommendation
RDF
выбор структуры поставки, обмена и долговременного хранения данных
- Графовая модель данных
- W3C
Разметка данныхCommercial
SuperAnnotate
создание эталонных метки (labels) для ML, поиска и оценки
- Multi-modal annotation
- SuperAnnotate
Конфиденциальность (Privacy) и syntheticApache 2.0
synthcity
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Синтетические данные (synthetic data) library
- van der Schaar Lab
Конфиденциальность (Privacy) и syntheticCommercial
Tonic.ai
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Test data generation and masking
- Tonic.ai
Форматы данныхОткрытый формат
TSV
выбор структуры поставки, обмена и долговременного хранения данных
- Табличный текстовый формат
- IANA
Форматы данныхISO/IEC 29500
XLSX
выбор структуры поставки, обмена и долговременного хранения данных
- Табличный офисный формат
- ECMA International
Каталоги и метаданные (metadata)Apache 2.0
Amundsen
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Data discovery catalog
- LF AI & Data
Каталоги и метаданные (metadata)Commercial
Ataccama ONE
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Качество данных (data quality) and управление данными (governance)
- Ataccama
ПрофилированиеApache 2.0
DataProfiler
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Column профилирование (profiling) and персональные данные (PII) detection
- Capital One
Качество и тестированиеAGPL / commercial
Deepchecks
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- ML валидация (validation) and monitoring
- Deepchecks
Каталоги датасетовCC0 by default
Dryad
поиск внешних, открытых и исследовательских наборов
- Curated research data
- Dryad
Качество и тестированиеApache 2.0 / commercial
Elementary
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Dbt-native observability
- Elementary
Форматы данныхApache 2.0
Feather
выбор структуры поставки, обмена и долговременного хранения данных
- Файловый формат Arrow
- Apache Arrow
Форматы данныхW3C Recommendation
JSON-LD
выбор структуры поставки, обмена и долговременного хранения данных
- Linked data в JSON
- W3C
Конфиденциальность (Privacy) и syntheticMIT
SmartNoise
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Differential конфиденциальность (privacy) tools
- OpenDP / Microsoft
Форматы данныхApache 2.0
TFRecord
выбор структуры поставки, обмена и долговременного хранения данных
- Record-oriented ML формат
- TensorFlow
Разметка данныхCommercial
V7 Darwin
создание эталонных метки (labels) для ML, поиска и оценки
- Image and video annotation
- V7
Качество и тестированиеApache 2.0
whylogs
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Statistical data профилирование (profiling)
- WhyLabs
Форматы данныхYAML specification
YAML
выбор структуры поставки, обмена и долговременного хранения данных
- Человекочитаемый формат сериализации
- YAML
Качество и тестированиеCommercial
Anomalo
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Automated качество данных (data quality) monitoring
- Anomalo
Каталоги и метаданные (metadata)Commercial
IBM Knowledge Catalog
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Enterprise catalog and управление данными (governance)
- IBM
Форматы данныхBSL 1.0
MessagePack
выбор структуры поставки, обмена и долговременного хранения данных
- Компактная бинарная сериализация
- MessagePack
Каталоги датасетовPer-набор данных (dataset) terms
Microsoft Research Open Data
поиск внешних, открытых и исследовательских наборов
- Research data repository
- Microsoft Research
Конфиденциальность (Privacy) и syntheticMIT
Mimesis
обезличивание, конфиденциальность (privacy)-тесты и создание безопасных тестовых данных
- Fast fake data generator
- Mimesis
Каталоги и метаданные (metadata)Commercial
Secoda
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Data search and documentation
- Secoda
Каталоги и метаданные (metadata)Commercial
Select Star
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Automated data discovery
- Select Star
Форматы данныхBSD 3-Clause
WebDataset
выбор структуры поставки, обмена и долговременного хранения данных
- Sharded tar для ML
- WebDataset
Качество и тестированиеApache 2.0
data-diff
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Cross-database row comparison
- Datafold
ВерсионированиеApache 2.0 / commercial
Quilt
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Data packages and catalog
- Quilt
Форматы данныхBSD / спецификация
BSON
выбор структуры поставки, обмена и долговременного хранения данных
- Бинарное представление документов
- BSON
Каталоги и метаданные (metadata)Apache 2.0
Egeria
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Open метаданные (metadata) and управление данными (governance)
- LF AI & Data
Форматы данныхOpenLDAP Public License
LMDB
выбор структуры поставки, обмена и долговременного хранения данных
- Memory-mapped ключ–значение (key-value) storage
- Symas
ВерсионированиеApache 2.0 / commercial
Pachyderm
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Data pipelines and цепочка происхождения (lineage)
- Hewlett Packard Enterprise
Форматы данныхW3C Recommendation
RDF Turtle
выбор структуры поставки, обмена и долговременного хранения данных
- Текстовая сериализация RDF
- W3C
ПрофилированиеMIT
Sweetviz
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Exploratory data analysis
- Sweetviz
Каталоги и метаданные (metadata)Commercial
CastorDoc
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Каталог данных (data catalog) and цепочка происхождения (lineage)
- CastorDoc
ПрофилированиеApache 2.0
DataPrep
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Data preparation and EDA
- SFU DB
Форматы данныхOpen specification
NIfTI
выбор структуры поставки, обмена и долговременного хранения данных
- Нейровизуализационные массивы
- NIfTI
Каталоги и метаданные (metadata)Apache 2.0
Spline
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Spark цепочка происхождения (lineage) platform
- Absa OSS
Разметка данныхCommercial
UBIAI
создание эталонных метки (labels) для ML, поиска и оценки
- NLP and document annotation
- UBIAI
ВерсионированиеGPL 3.0
git-annex
воспроизводимые срезы данных, откат (rollback), branching и связь с кодом/моделью
- Large-file content management
- git-annex
ПрофилированиеCommercial cloud
Google Cloud Dataprep
первичная оценка структуры, распределений, пропусков, выбросов и персональные данные (PII)
- Managed data preparation
- Google Cloud
Каталоги и метаданные (metadata)Commercial
OvalEdge
поиск наборов, ответственность за данные (ownership), glossary, цепочка происхождения (lineage), документация и анализ влияния (impact analysis)
- Каталог данных (data catalog) and управление данными (governance)
- OvalEdge
Качество и тестированиеISC
Cerberus
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Python схема (schema) валидация (validation)
- Cerberus
Качество и тестированиеApache 2.0
re_data
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- SQL data reliability
- re_data
Качество и тестированиеBSD 3-Clause
Voluptuous
автоматические проверки полноты, схемы, допустимости, свежести и согласованности
- Python валидация данных (data validation)
- Voluptuous