Elastic Stack recipes

OpenSearch для тех, кому уже мало базовой настройки

С 19 по 21 октября проведём трёхдневный практический тренинг «OpenSearch Продвинутый».

Он рассчитан на инженеров, администраторов, DevOps/SRE-специалистов и архитекторов, которые уже работали с OpenSearch или Elastic Stack и хотят разобраться в сложных промышленных сценариях.

За три дня разберём и отработаем на лабораторных стендах:

🚀 отказоустойчивую и распределённую архитектуру OpenSearch;

🚀 кросс-кластерный поиск и репликацию;

🚀 подокументную и сегментную репликацию;

🚀 ролевую модель, DLS/FLS, аудит и интеграцию с LDAP;

🚀 ISM, снапшоты, восстановление и searchable snapshots в S3;

🚀 оптимизацию индексов, маппинга и хранения данных;

🚀 загрузку данных через Vector, Logstash, Data Prepper, OpenTelemetry Collector и Kafka;

🚀 поиск с помощью PPL, DQL, SQL и DSL;

🚀 мониторинг, Observability, визуализации и оповещения.

Отдельно в программу добавили актуальный блок по работе OpenSearch с ИИ-моделями и чат-ботом. Рассмотрим, как подключить модель с OpenAI-совместимым API через ML Commons и OpenSearch Assistant, создавать агентов, преобразовывать вопросы на обычном языке в PPL-запросы, сохранять контекст диалога и объяснять отдельные события с помощью LLM.

Формат обучения:

📅 19–21 октября

⏰ с 10:00 до 18:00

💻 Онлайн, через Zoom

🧪 Собственные лабораторные стенды

📚 Методические материалы и записи занятий

🏅 Именной сертификат

💬 Учебный чат и поддержка после тренинга

Если хотите не просто администрировать OpenSearch, а уверенно проектировать, оптимизировать и развивать его в production — присоединяйтесь.

👉 Программа тренинга и заявка на участие

@elasticsearch_ru

OpenSearch Kubernetes Operator 3.0 is now generally available

OpenSearch Kubernetes Operator 3.0 вышел в GA. В новой версии переработали управление обновлениями, масштабированием и ротацией TLS-сертификатов — операциями, от которых зависит стабильность кластера после первого запуска.

Ветка 2.x больше не поддерживается. Переход на 3.0 выполняется без пересоздания кластера, но включает rolling restart, поэтому миграцию стоит сначала проверить на тестовом окружении.

Что изменилось и как подготовиться к обновлению — в статье команды OpenSearch.

@elasticsearch_ru

Wazuh без ограничений дашборда: работаем напрямую с индексами

Wazuh хорош ровно до тех пор, пока вам хватает того, что умеют его штатные дашборды. А потом внезапно выясняется, что все нужные данные уже давно лежат в обычном OpenSearch.

В статье — как работать с Wazuh Indexer напрямую: читать алерты и состояния, строить агрегации, выгружать большие объёмы данных, делать свои отчёты, алертинг и обогащение.

Отдельно полезен разбор того, чем отличается Server API от Indexer, как не положить кластер тяжёлыми запросами и к чему готовиться в Wazuh 5.0, где схему индексов заметно поменяли.

Ссылка на статью

@elasticsearch_ru

Проведем аудит систем логирования Elasticsearch / OpenSearch

Системы централизованного логирования редко ломаются в один день. Обычно проблемы накапливаются постепенно: растут индексы, увеличивается нагрузка на CPU и диски, ingestion начинает отставать, очереди переполняются, а часть логов незаметно теряется. В итоге компания платит больше за инфраструктуру, а в момент инцидента может оказаться, что нужных данных либо нет, либо система логирования сама недоступна.

Мы предлагаем услугу комплексного аудита систем логирования на базе Elasticsearch и OpenSearch.

В рамках аудита мы анализируем не только сам кластер, но и весь путь данных — от источника до индекса:
— архитектуру и конфигурацию Elasticsearch / OpenSearch;

— распределение ролей, shards и replicas;
— sizing CPU, RAM, heap и дисковой подсистемы;
— политики ILM / ISM, rollover и retention;
— mappings, templates и структуру индексов;
— использование compression и эффективность хранения;
— скорость indexing и search workloads;
— риски отказа отдельных узлов и потерю доступности кластера;
— snapshot / backup strategy и возможность восстановления;
— конфигурации Filebeat, Vector и OpenTelemetry Collector;
— pipelines Logstash и Vector;
— batching, buffering, retry, backpressure и очереди;
— ситуации, при которых данные могут быть потеряны между источником и Elasticsearch / OpenSearch.

Что это даёт вам?

Во-первых — возможность снизить стоимость инфраструктуры. Очень часто кластер потребляет больше CPU, RAM и дисков не потому, что данных действительно много, а из-за неэффективной структуры индексов, слишком большого количества shards, неправильного rollover или избыточной обработки событий.

Во-вторых — понимание реальной надёжности pipeline. Например:

Vector/Filebeat → Kafka → Vector/Logstash → ElasticSearch/OpenSearch

может выглядеть надёжно на схеме, но достаточно неправильно настроенного memory buffer, отсутствия persistent queue или некорректного retry — и при кратковременной недоступности OpenSearch или ElasticSearch часть логов просто исчезнет.

В-третьих — снижение риска ситуации, когда во время аварии система логирования становится недоступна именно тогда, когда она нужна больше всего.

По итогам аудита вы, как заказчик, получите в удобном формате PDF список найденных проблем, оценку рисков и конкретные рекомендации по оптимизации архитектуры и конфигурации — с приоритетами, что нужно исправлять в первую очередь.

Наша цель — ответить на три простых вопроса:

Не переплачиваете ли вы за хранение и обработку логов?

Не теряются ли ваши данные по дороге?

Переживёт ли система логирования реальный отказ?

Если у вас Elasticsearch или OpenSearch уже давно работает в production и никто системно не пересматривал его архитектуру — аудит обычно быстро показывает, где находятся самые дорогие и самые рискованные места.

Вопросы можно задать @galssoftware или на почту hello@gals.software.

ES|QL Workshop

Регистрируйтесь на воркшоп от Elastic, который состоится 23 июня в 11 часов по московскому времени.

ES|QL вскоре будет основным языком запросов для Elasticsearch. Он разработан таким образом, чтобы его было легко освоить и использовать конечным пользователям, командам SRE, аналитикам безопасности, разработчикам приложений и администраторам. Используя ES|QL, вы сможете находить конкретные события, проводить статистический анализ и создавать визуализации.

@elasticstack_ru

Спасибо за ваши голоса🙏

На этой неделе анонсируем вебинар по оптимизации хранения. Следите за анонсами 🔥

8-10 июня тренинг OpenSearch Advanced

Приходите на 3-дневный интенсив по продвинутой работе с OpenSearch для тех, кто уже с ним знаком. На интенсиве вас ждет погружение в расширенный функционал системы, у вас будет возможность поработать в лабораторном окружении с функциями, которые вы, возможно, раньше не использовали.

🚀 Безопасность в OpenSearch (ролевая модель и уровни доступа).

🚀 Распределенная архитектура (кросс-кластерный поиск и репликация).

🚀 Продвинутая репликация (распределение нагрузки, удаленное хранилище и поиск по снапшотам).

🚀 Оптимизация хранения данных (продвинутый маппинг и другие настройки индексов).

🚀 Работа с Vector, DataPrepper, Ingest Pipeline и Kafka (загрузка и обработка данных).

🚀 Работа с PPL, DQL и SQL (эффективный поиск по данным).

🚀 Мониторинг кластера (методы и инструменты).

🚀 OpenSearch Dashboards (ролевая модель, Workspaces, Tenants, отчеты, Data Sources и визуализации).

В лабораторном окружении мы развернем два кластера OpenSearch, Prometheus, Vector, Kafka и много чего другого, чтобы вы смогли поработать с перечисленным выше функционалом. Приходите и познакомьтесь с OpenSearch поближе!

Программа тренинга OpenSearch Advanced

Дополнительные вопросы можно задать через hello@gals.software или @galssoftware.