Quickwit — поисковый движок для логов и трейсов с хранением индексов в S3
Quickwit ориентирован на observability-данные. Можно рассматривать, когда нужно хранить и искать большие объёмы логов и трейсов, не размещая весь индекс на дорогих локальных SSD.
Главная особенность Quickwit — разделение вычислений и хранения. Индексаторы формируют независимые части индекса — splits — и сохраняют их в S3, MinIO, Google Cloud Storage или Azure Blob Storage. Search-ноды остаются stateless и загружают из объектного хранилища только необходимые части индекса. Метаданные в распределённой конфигурации обычно хранятся в PostgreSQL.
Это выглядит интересно для длительного хранения логов и нагрузок, где интенсивность поиска меняется со временем.
Что поддерживает Quickwit:
🚀 полнотекстовый поиск, фильтрацию и агрегации;
🚀 строгую схему и schemaless-индексацию;
🚀 приём логов и трейсов через OpenTelemetry;
🚀 интеграцию с Jaeger и Grafana;
🚀 совместимый REST API с Elasticsearch/OpenSearch API;
🚀 загрузку данных из Kafka, Pulsar, Kinesis, S3 и через Ingest API;
🚀 распределённое развёртывание в Kubernetes.
Основной фокус Quickwitн сделан на логах и трейсах, пока что в продукте нет полноценной поддержки метрик.
Репыч на GitHub
Архитектура Quickwit
Интеграция с Grafana
📱 Telegram | 📲 MAX
Quickwit ориентирован на observability-данные. Можно рассматривать, когда нужно хранить и искать большие объёмы логов и трейсов, не размещая весь индекс на дорогих локальных SSD.
Главная особенность Quickwit — разделение вычислений и хранения. Индексаторы формируют независимые части индекса — splits — и сохраняют их в S3, MinIO, Google Cloud Storage или Azure Blob Storage. Search-ноды остаются stateless и загружают из объектного хранилища только необходимые части индекса. Метаданные в распределённой конфигурации обычно хранятся в PostgreSQL.
Это выглядит интересно для длительного хранения логов и нагрузок, где интенсивность поиска меняется со временем.
Что поддерживает Quickwit:
🚀 полнотекстовый поиск, фильтрацию и агрегации;
🚀 строгую схему и schemaless-индексацию;
🚀 приём логов и трейсов через OpenTelemetry;
🚀 интеграцию с Jaeger и Grafana;
🚀 совместимый REST API с Elasticsearch/OpenSearch API;
🚀 загрузку данных из Kafka, Pulsar, Kinesis, S3 и через Ingest API;
🚀 распределённое развёртывание в Kubernetes.
Основной фокус Quickwitн сделан на логах и трейсах, пока что в продукте нет полноценной поддержки метрик.
Репыч на GitHub
Архитектура Quickwit
Интеграция с Grafana
📱 Telegram | 📲 MAX