Lance

Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и наткнулась на новый для меня термин - формат данных Lance

Lance - это колоночный формат хранения данных, созданный для AI/ML задач в лейкхаусе

⏰ Он появился еще в 2022 году, а первая стабильная версия вышла в декабре 2025. Примерно с того же времени нашла дискуссии в де сообществе. Разрабатывают ребята, которые создали LanceDB

Главные особенности:
🤩оптимизация под AI и векторный поиск
🤩доступ к данным за О(1)
🤩в одной таблице можно хранить обычные данные + медиа + векторы
🤩ядро написано на Rust
🤩построен поверх Apache Arrow
🤩time travel
🤩acid
🤩update/delete так же поддерживается

Lance позиционирует себя как замена Parquet, но к данным можно достучаться в 100 раз быстрее

Поддерживается много интеграций: DuckDB, Polars, Data Fusion, Spark, Doris, Trino, PyTorch, Flink. Но, например, Lance-Trino интеграция вышла из беты только 31 марта этого года, а Spark появился еще позднее, поэтому многие компоненты еще достаточно свежие

А помимо Lance, еще есть Nimble, Vortex, BtrBlocks, FastLanes😯

@data_engineerette