Для вашего комфорта и улучшения работы сайта мы используем cookie
Принимаю
Вокршоп: Пайплайны обработки данных на Rust
Тезисы
В сфере работы с данными экосистема Rust развивается семимильными шагами! В этом мы убедимся на практике, реализовав пайплайн по подготовке/агрегации данных для ML.

На воркшопе познакомимся с Apache Datafusion - расширяемым фреймворком выполнения запросов на Rust:
- разберем его устройство, Logical Plan/Physical Plan, как исполняется запрос и как подключить свой источник данных
- как хранятся данные в формате Apache Arrow, и как они передаются по протоколу Apache Flight
- зачем сколько технологий, и как собрать из этих кубиков свой распределенный data-pipeline
- сравним со зрелыми альтернативами (Apache Spark/Flink)
- и оценим перспективы Rust

Вокршоп будет полезен разработчикам, работающим с данными для решения бизнес-задач, те практически всем! После воркшопа - вы захотите работать с данными!

Для участия необходим ноутбук, установленный docker & docker-compose, компилятор Rust, и доступ в интернет (github).
В сфере работы с данными экосистема Rust развивается семимильными шагами! В этом мы убедимся на практике, реализовав пайплайн по подготовке/агрегации данных для ML.

На воркшопе познакомимся с Apache Datafusion - расширяемым фреймворком выполнения запросов на Rust:
- разберем его устройство, Logical Plan/Physical Plan, как исполняется запрос и как подключить свой источник данных
- как хранятся данные в формате Apache Arrow, и как они передаются по протоколу Apache Flight
- зачем сколько технологий, и как собрать из этих кубиков свой распределенный data-pipeline
- сравним со зрелыми альтернативами (Apache Spark/Flink)
- и оценим перспективы Rust

Вокршоп будет полезен разработчикам, работающим с данными для решения бизнес-задач, те практически всем! После воркшопа - вы захотите работать с данными!

Для участия необходим ноутбук, установленный docker & docker-compose, компилятор Rust, и доступ в интернет (github).
Информация о спикере
Дмитрий Салахутдинов
Ведущий разработчик, стафф-инженер, RWB
О себе
  • Дмитрий Салахутдинов
    Ведущий разработчик, стафф-инженер, RWB
    О себе
Все доклады