SQLFlow — потоковая обработка данных на SQL

★ 785

SQLFlow — это высокопроизводительный движок потоковой обработки данных, в котором конвейеры описываются просто на SQL («DuckDB для стриминга», лёгкая современная альтернатива Flink). Берут, когда нужно обрабатывать поток событий на лету, не поднимая тяжёлый стек: читать из Kafka, WebSockets и других источников, преобразовывать данные SQL-запросом и писать результат в PostgreSQL, топики Kafka или облачное хранилище (S3) в форматах вроде parquet и iceberg. Построен на DuckDB и Apache Arrow ради скорости, запускается из Docker. Направление — потоковая обработка (stream processing) на SQL с высокой скоростью и малой сложностью, а не пакетная BI-аналитика и не хранилище: ценность — описывать стриминговые пайплайны декларативно, без кода на Java/Scala. Полезно инженерам данных, которым нужен лёгкий стриминговый ETL без развёртывания и эксплуатации полноценного Flink-кластера.