В сфере работы с данными экосистема Rust развивается семимильными шагами! В этом мы убедимся на практике, реализовав пайплайн по подготовке/агрегации данных для ML.
На воркшопе познакомимся с Apache Datafusion - расширяемым фреймворком выполнения запросов на Rust:
- разберем его устройство, Logical Plan/Physical Plan, как исполняется запрос и как подключить свой источник данных
- как хранятся данные в формате Apache Arrow, и как они передаются по протоколу Apache Flight
- зачем сколько технологий, и как собрать из этих кубиков свой распределенный data-pipeline
- сравним со зрелыми альтернативами (Apache Spark/Flink)
- и оценим перспективы Rust
Вокршоп будет полезен разработчикам, работающим с данными для решения бизнес-задач, те практически всем! После воркшопа - вы захотите работать с данными!
Для участия необходим ноутбук, установленный docker & docker-compose, компилятор Rust, и доступ в интернет (github).