data-pipeline-engineer

★ 6.8 · general

data-pipeline-engineer — это скилл для Claude Code, который специализируется на проектировании и реализации ETL/ELT-пайплайнов, потоковой обработки и хранилищ данных. Скилл охватывает полный стек: Spark, Kafka, Flink, Airflow, Dagster, dbt — с поддержкой Medallion-архитектуры (Bronze/Silver/Gold), инкрементальных моделей, Delta Lake и Iceberg. Контроль качества данных строится на Great Expectations и dbt-тестах на каждом слое, оркестрация — на Airflow DAG с сенсорами, ретраями и группами задач. В комплекте идут эталонные примеры: структура dbt-проекта, production-DAG, Kafka-to-Delta стриминг и набор ожиданий Great Expectations, а также скрипт validate-pipeline.sh. Подходит инженерам данных, которые строят пакетные и стриминговые пайплайны, моделируют по Kimball или Data Vault и хотят избежать типичных антипаттернов — от полных перезагрузок таблиц до отсутствия линиджа.