Elastic Stack recipes

13 February 2026 07:21

Вышел OpenSearch 3.5

Не успели мы толком развернуть и насладиться 3.4, как вышла версия 3.5.

Что нового:

🚀 Расширена поддержка Prometheus для более глубокого анализа метрик (интерфейс Prometheus внутри OSD)

🚀 Улучшенная оптимизация поиска с помощью Search Relevance Workbench

🚀 Поддержка памяти агента для самообучающихся приложений (добавили ИИ-агентам постоянную структурированную память непосредственно в OpenSearch)

🚀 Повышен контроль над производительностью и эффективностью запросов (улучшен Query insights)

Подробности в блоге OpenSearch

@elasticstack_ru

Elastic Stack recipes

02 February 2026 13:18

Запись нашего сегодняшнего вебинара уже на нашем канале на Youtube! Подписка на канал горячо приветствуется👍

Все зарегистрированные участники дополнительно получат ссылку на презентации.

Elastic Stack recipes

28 January 2026 08:15

Совет дня (JVM)

ElasticSearch как и OpenSearch используют JVM для своей работы, и лучшие практики рекомендуют выделять около 50% доступной на узле памяти для JVM. JVM использует память для обеспечения быстрого доступа процесса Lucene к значениям индексов. Остальные 50% остаются для кэша файловой системы, который хранит в памяти данные, к которым часто обращаются. И еще одна рекомендация — не более 30 Гб на JVM Heap, это пороговое значение на использование сжатых указателей (ordinary object pointers (oops)). В противном случае JVM будет работать неоптимально.

Ниже мы собрали несколько статей, в которых есть полезные советы по настройке и мониторингу JVM.

Elasticsearch memory usage guide

High JVM memory pressure

JVM settings

Elasticsearch Circuit Breaker Exceptions: How to Handle Circuit Breakers

@elasticstack_ru

Elastic Stack recipes

26 January 2026 10:46

Decrease your storage costs with Amazon OpenSearch Service index rollups

В этой статье в блоге AWS рассмотрен механизм rollup в OpenSearch, который позволяет выполнять агрегацию данных в индексах для снижения объема хранимых данных. Это один из способов оптимизации.

@elasticstack_ru

Elastic Stack recipes

25 December 2025 15:04

Data Prepper 2.13 brings native OpenSearch data streams and Prometheus integration

Вышел Data Prepper 2.13

Elastic Stack recipes

23 December 2025 07:06

Introducing resource sharing: A new access control model for OpenSearch

Начиная с OpenSearch 3.3, плагин Security дополнился системой совместного использования ресурсов и контроля доступа , которая позволяет пользователям обмениваться ресурсами с другими пользователями или ролями. Эта модель переносит авторизацию на уровне ресурсов на объекты более высокого уровня, определенные плагинами, и создает согласованный опыт совместной работы в OpenSearch.

При помощи нового механизма можно выдавать пользователям права на модели машинного обучения, отчеты или, например, детекторы аномалий. Подробности в блоге OpenSearch.

Ссылка на документацию

Elastic Stack recipes

26 November 2025 14:00

Better observability, deeper insights: OpenSearch’s new Piped Processing Language capabilities

Начиная с OpenSearch 3.3, язык конвейерной обработки (Piped Processing Language, PPL) включает новые и улучшенные возможности, упрощающие анализ логов и процессы наблюдения.

В этой статье рассмотрены новые команды и функции PPL на практических примерах распространённых сценариев использования аналитики логов. Вы узнаете, как эти улучшения помогают объединять несколько источников данных, обрабатывать неструктурированные данные логов и выполнять анализ временных рядов.

Elastic Stack recipes

14 November 2025 11:34

Пошаговая настройка вывода логов из .NET-автотестов в ELK (Filebeat → Logstash → Elasticsearch → Kibana)

В этой статье разобран процесс вывода логов из приложения c автотестами на .NET в ELK с последующей визуализаций в Kibana.

ELK представляет из себя достаточно массивный инструмент для сбора, хранения, обработки и анализа логов, организации мониторингов. С наскоку разобраться с ним вряд ли получится, поэтому подготовили небольшую инструкцию с примерами - на базе простого теста прокинуть результаты до Kibana.

Elastic Stack recipes

10 November 2025 14:56

Дополнительный тренинг OpenSearch

Приходите на дополнительный тренинг по OpenSearch в этом году 22-24 декабря. Мы обновили программу до версии 3.3 и добавили новые блоки:

🚀 сегментная репликация
🚀 мониторинг (Performance Analyzer)
🚀 отправка оповещений
🚀 работа с Vector
🚀 работа с Ingest pipelines

❗️ Вы получите опыт работы с самой последней версией OpenSearch.

Программа тренинга

Подробную информацию вы можете запросить, написав @galssoftware или через почту hello@gals.software.

Elastic Stack recipes

20 October 2025 13:00

Приглашаем вас на осеннюю серию тренингов-интенсивов по Elasticsearch и OpenSearch.

📅 ElasticSearch База 22-24 октября 2025

📅 OpenSearch База 29-31 октября 2025

Интенсивы, в отличие от многомесячных тренингов, позволяют максимально быстро погрузиться в тему и начинать работу с соответствующей системой сразу после прохождения тренинга.

Мы опросили участников предыдущих потоков и сформулировали основные преимущества от прохождения тренингов:

📖 устранить пробелы. Часто знания по соответствующей системе ограничиваются эпизодическим изучением документации и фрагментарны. Интенсивы помогут систематизировать знания и откроют для вас новые возможности уже знакомой системы.

📖 делать своими силами. Участие подрядчиков в проектах внедрения подразумевает предоставление доступа в ваше окружение. Прохождение официальных тренингов позволит вам выполнять работы силами штатных сотрудников.

📖 распространять знания. Сотрудники, прошедшие тренинг, не просто совершенствуют свои собственные технические навыки — они привносят полученные знания в коллектив и делятся ими со своими коллегами.

❗️Полное расписание тренингов.

Подробную информацию вы можете запросить, написав @galssoftware или через почту hello@gals.software.

Elastic Stack recipes

30 September 2025 14:53

Совет дня: как рассчитать сайзинг кластера

Расчет состоит из 3 формул (ниже). В первой формуле мы рассчитываем сколько нам нужно места для хранения, во второй накидываем 20% на дополнительные нужды, а в 3 формуле уже считаем количество нод, которое нужно предусмотреть для размещения такого количества данных. Этими формулами поделился Elastic на одном из вебинаров.

Формулы

1. Общее количество данных (Гб) = Сырые данные в день * Количество дней хранения * фактор трансформации данных * (количество реплик +1)

2. Общее хранилище данных (Гб) = Общее количество данных (Гб) *(1 + 0,15 запаса + 0,05 дополнительные нужды)

3. Общее количество нод = ОКРВВЕРХ (Общее хранилище данных (Гб) / Объём памяти на ноду / соотношение памяти к данных)

Пояснения по формулам:

Фактор трансформации данных по умолчанию равен 1. Он зависит от типов данных, которые вы будете размещать в кластере: текст, кейворд, числа, даты и т.д.

ОКРВВЕРХ — округление вверх до ближайшего целого числа

Объем памяти на ноду берем стандартный 64 Гб (можно меньше). По CPU рекомендация использовать серверы с 16 ядрами.

Соотношение памяти к данным. В зависимости от фазы хранения (относительно политики управления жизненным циклом индексов, ILM), мы берем его равным 1/30 для горячей фазы, 1/100 для теплой и 1/500 для холодной.

Пример расчета

Допустим, к нам приходит 100 Гб/день и нам нужно хранить эти данные 30 дней с использованием 1 реплики. В итоге поучаем, что при таком раскладе нам нужно 4 ноды.

Общее количество данных (Гб) = 100 Гб* 30 * 1 * 2 = 6000 Гб
Общее хранилище данных (Гб) = 6000 Гб * 1,2 = 7200 Гб
Общее количество нод = ОКРВВЕРХ (7200 Гб / 64 / 30) = 4

@elasticstack_ru

Elastic Stack recipes

15 September 2025 13:22

Векторный поиск в Elasticsearch: dense_vector, HNSW и фильтрация по атрибутам

В Elasticsearch поддержка векторного поиска реализована через поле dense_vector и алгоритм HNSW (Hierarchical Navigable Small World) для быстрого приближённого поиска ближайших соседей. В этой статье разобрано, как настроить индекс с векторным полем, добавить документы с векторами и выполнять запросы kNN с возможностью фильтрации по дополнительным атрибутам.

Elastic Stack recipes

27 August 2025 13:31

Diving deep into distributed microservices with OpenSearch and OpenTelemetry

В этой статье из блога OpenSearch рассказывают про новые функции, представленные в плагине Trace Analytics в версии 3.1: улучшенная визуализация карты сервисов, расширенная группировка интервалов и диаграммы распределения задержек. Также вы узнаете как использовать OpenTelemetry (OTel) Collector с OpenSearch Data Prepper для инструментирования, сбора и загрузки данных телеметрии в OpenSearch и как использовать OpenSearch Dashboards для изучения, визуализации и анализа процесса наблюдаемости.

Elastic Stack recipes

25 August 2025 08:35

Вдогонку к предыдущему посту:

Tutorial: Threat hunting with ES|QL

Это уже ссылка на документацию.

Elastic Stack recipes

08 August 2025 14:53

VRL — просто, подробно и понятно

Vector является очень гибким агрегатором сообщений и поддерживает собственный язык для обработки событий - VRL. В статье разобраны примеры конфигурации Vector.

Elastic Stack recipes

05 February 2026 14:20

How to Collect, Process, and Ship Log Data with Vector

Vector — это мощный агрегатор логов с открытым исходным кодом, разработанный компанией Datadog. Он позволяет создавать конвейеры мониторинга, легко получая логи из множества источников, преобразуя данные по мере необходимости и направляя их в нужное место назначения. Vector выделяется своей легковесностью, исключительной скоростью и эффективностью использования памяти, в основном благодаря реализации на языке Rust, известном своими возможностями управления памятью.

Elastic Stack recipes

02 February 2026 07:23

Вебинар по OpenSearch уже сегодня в 10 часов по московскому времени

Уже меньше, чем через час будет наш совместный вебинар с Яндекс Облаком, где мы поговорим о возможностях управляемого сервиса OpenSearch и расскажем как снизить затраты на хранение данных. Приходите!

Регистрация

Elastic Stack recipes

26 January 2026 12:47

Приглашаем вас на совместный вебинар Yandex Cloud и Галс Софтвэр, посвящённый возможностям и практическим аспектам работы с сервисом Managed OpenSearch.

📅 Дата: 2 февраля 2026 года
🕒 Формат: онлайн
🎙 Участие: бесплатное, по предварительной регистрации

👉 Зарегистрируйтесь на вебинар заранее, чтобы получить ссылку на трансляцию и материалы участников.

⚡️Спикеры вебинара:

🗣 Владислав Таболин, руководитель группы разработки Yandex Cloud, расскажет:

🚀 об архитектуре и особенностях сервиса Managed OpenSearch;
🚀 ключевых преимуществах управляемого сервиса;
🚀 сценариях использования OpenSearch в корпоративных и высоконагруженных системах;
🚀 вопросах надёжности, масштабирования и эксплуатации.

🗣Антон Касимов, основатель компании Галс Софтвэр, поделится:

🚀 методами оптимизации хранения данных в OpenSearch;
🚀 подходами к снижению затрат на хранение;
🚀 подробностями хранения данных в OpenSearch;
🚀 типичными ошибками и best practices из реальных проектов.

Кому будет полезен вебинар:

🚀 инженерам и архитекторам;
🚀 DevOps и SRE-специалистам;
🚀 руководителям ИТ-подразделений;
🚀 всем, кто использует или планирует использовать OpenSearch в продуктивных системах.

В завершение вебинара вас ждёт сессия вопросов и ответов, где спикеры разберут реальные кейсы и практические ситуации.

👉 Зарегистрируйтесь на вебинар, чтобы:

🚀 получить доступ к трансляции;
🚀 задать вопросы экспертам Yandex Cloud и Галс Софтвэр;
🚀 получить материалы и запись после мероприятия.

❗️ Будем рады видеть вас на вебинаре!

Elastic Stack recipes

26 December 2025 11:30

Создание системы мониторинга Logstash с использованием Prometheus и Grafana (пошаговое руководство)

Мониторинг Logstash — это суровая необходимость. Есть множество вариантов, когда что-то может пойти не так. monitorim_it/logstash-monitoring-within-prometheus">В этой статье пошаговая инструкция по настройке мониторинга Logstash при помощи Prometheus, Prometheus-logstash-exporter и Grafana.

🎓 Приходите на наш тренинг OpenSearch Advanced, где мы будем в том числе ставить на мониторинг Logstash и изучать его ключевые метрики.

@elasticstack_ru

Elastic Stack recipes

25 December 2025 08:59

Новый Продвинутый курс по OpenSearch

📅 Когда: 18-20 марта 2026 года

👨‍💻 Для кого: для тех, кто уже имеет опыт работы с OpenSearch и хочет углубить знания, а также улучшить кругозор в продукте.

📖 Что ждет на курсе:

🔎 День 1

🚀 Безопасность в OpenSearch. Работа с ролевой моделью. Ограничения для пользователей: настройка безопасности на уровне документов и полей документов. Аудит-лог. Интеграция с LDAP.

🚀 Распределенная архитектура OpenSearch. Кросс-кластерная репликация. Кросс-кластерный поиск. Отказоустойчивая архитектура OpenSearch. Кворум мастер-нод. Split-brain.

🚀 Продвинутые технологии репликации данных: подокументная и сегментная репликации. Разделение шардов по назначениям: индексация и поиск. Контроль рабочей нагрузки.

🚀 Доступность и восстановление. Продвинутая настройка политики ISM. Создание снапшотов и восстановление из них. Работа с searchable snapshots в хранилище S3.

🔎 День 2

🚀 Эффективная работа с данными. Оптимизация хранения данных. Типы полей. Продвинутый маппинг полей. Настройки индексов для оптимального хранения.

🚀 Загрузка данных. Работа с Vector, Logstash, DataPrepper, OpenTelemetry Collector, Ingest Pipeline. Настраиваем эффективные пайплайны и портируем пайлайны из одного ETL-инструмента в другой.

🚀 Работа с PPL, DQL и DSL. Эффективный поиск по данным.
Мониторинг кластера. Сбор ключевых метрик. Prometheus, Zabbix, Performance Analyzer.

🔎 День 3

🚀 Работа в OpenSearch Dashboards. Ролевая модель. Мультитенантность. Продвинутые визуализации. Создание PNG и PDF-отчетов.

🚀 Работа с Observability. Создание визуализаций для данных наблюдаемости (логи, трейсы, метрики). Работа с Notebooks.

🚀 Оповещения. Настройка уведомлений из OpenSearch и OpenSearch Dashboards.

Подробнее о курсе на специальной странице. Там же можно оставить заявку на обучение и узнать другие подробности. Вопросы по курсу вы можете задать по почте hello@gals.software или в телеграм @galssoftware.

Elastic Stack recipes

17 December 2025 08:56

Вышел OpenSearch 3.4

Не успели мы опомниться от 3.3 как уже выходит новая версия.

🚀 Новый пользовательский интерфейс для агентного поиска.

🚀 Множество новых инструментов для повышения релевантности результатов поиска.

🚀 Расширенный набор  команд языка конвейерной обработки (PPL) для аналитических задач и задач мониторинга.

🚀 Значительное повышение производительности для задач агрегирования.

Подробности в блоге OpenSearch

@elasticsearch_ru

Elastic Stack recipes

16 November 2025 06:30

Интеграция OpenSearch: от функционального тестирования до проверки интеллекта поиска

В этой статье автор на реальном примере интеграции OpenSearch в LMS iSpring Learn рассказывает, как протестировать полнотекстовый поиск, сохранив баланс между качеством и трудозатратами. Будут разобраны не только базовые проверки, но и тестирование стемминга, релевантности, работы в распределённой системе и отказоустойчивости. Материал будет полезен тестировщикам и разработчикам, которые хотят понять, что скрывается за фразой «протестировать поиск». Читать дальше.

Elastic Stack recipes

12 November 2025 12:44

Делаем поиск более интеллектуальным с помощью системно генерируемых поисковых конвейеров

Новая статья в блоге OpenSearch. В OpenSearch 3.3 появились системно генерируемые поисковые конвейеры — новая возможность, разработанная для разработчиков плагинов. Она позволяет OpenSearch автоматически обрабатывать поисковые запросы, генерируя и подключая системные поисковые процессоры во время выполнения на основе контекста и параметров запроса.

Elastic Stack recipes

29 October 2025 13:04

Когда база устала искать: архитектура OpenSearch для больших данных

Реляционная СУБД - это ядро консистентности, но не оптимальный инструмент для полнотекстового и фасетного поиска. Логично разграничить роли: Postgres отвечает за транзакции и связи, а специализированный поисковый слой - за быстрый отклик и фильтрацию по множеству полей. 7 терабайт перестали быть проблемой: система масштабируется, а пользователи получают ответ мгновенно. OpenSearch стал не надстройкой, а естественной частью системы. Читать дальше на Хабре.

Elastic Stack recipes

20 October 2025 12:25

Вышел OpenSearch 3.3

Заметки к выпуску

Песочница

В этом релизе представлена ​​предварительная версия полностью переработанного интерфейса OpenSearch Dashboards. На изображении, прикрепленном к этому посту, вы как раз можете видеть переработанный раздел Discover.

На другом изображении вы видите раздел Service Map — карту сервисов, построенную на основе трейсов.

О других улучшениях читайте по ссылке выше.

Elastic Stack recipes

26 September 2025 08:09

Какие улучшения сделал Яндекс в OpenSearch

Яндекс значительно улучшил OpenSearch, который они предоставляют в своем облаке.

Посмотрели всем коллективом доклад про OpenSearch с конференции Yandex NeuroScale 2025. Коллеги улучшили OpenSearch собственным алгоритмом балансировки, ускоренной индексацией, расширенным сжатием данных и поддержкой морфологии. Причем последнее они взяли из своего яндексового поиска.

Запись доклада по ссылке (смотреть с 4:27:00), там все подробности.

Пользуясь случаем приглашаем вас на наш интенсив по OpenSearch, который состоится уже

📅 29-31 октября. Программа тренинга.

На нем мы также поговорим о разных интересных фичах OpenSearch и вы на практике освоите это решение за максимально сжатый срок. Заявки на обучение присылайте на hello@gals.software или в @gals_education_bot.

Elastic Stack recipes

05 September 2025 08:11

Совет дня

В OpenSearch для индекса вы можете создать два типа шардов: основные шарды и шарды-реплики. Основные шарды отвечают за индексацию и поиск, а шарды-реплики хранят копию данных основных шардов для обеспечения избыточности и обслуживания поисковых запросов. Количество основных шардов настраивается при создании индекса, и его нельзя изменить позже без переиндексации.

С появлением сегментной репликации и удалённого хранилища в OpenSearch эта модель получила изменения. При репликации сегментов только основной узел сегмента выполняет операции индексации и записывает файлы сегментов в удалённое хранилище объектов, например, S3-совместимое хранилище, Google Cloud Storage или Azure Blob Storage. Затем сегменты-реплики параллельно загружают файлы сегментов из хранилища объектов, устраняя необходимость повторного выполнения операций индексации на каждой реплике. Удивительно, что в ElasticSearch так и не добавили этот функционал.

С версии OpenSearch 3.0 появились новые типы шардов: реплики для записи и реплики для поиска:

Реплики записи: резервные копии основного шарда. В случае сбоя основного шарда реплика записи может быть повышена до основного для сохранения доступности записи.

Реплики поиска: обслуживают исключительно поисковые запросы и не могут быть повышены до основных.

Читайте подробности о том как это устроено в блоге OpenSearch.

Описание в документации.

Elastic Stack recipes

26 August 2025 08:03

5 Essential considerations for an Elasticsearch to OpenSearch migration

В этой статье опытный автор рассказывает о пяти моментах, которые, на его взгляд, являются либо наиболее важными, либо наиболее упускаемыми из виду. Таким образом, вы сможете извлечь уроки из этого опыта и исследований и использовать их при миграции с Elasticsearch на OpenSearch.

Поставьте ⚡️, если вы когда-либо выполняли такую миграцию или собираетесь ее делать.

Elastic Stack recipes

25 August 2025 08:29

Introducing a more powerful, resilient, and observable ES|QL in Elasticsearch 8.19 & 9.1

Уже пробовали использовать ES|QL в Elasticsearch/Kibana? Штука упрощает написание запросов, когда от json уже рябит в глазах. В этой статье в блоге Elastic рассказывают об улучшениях этого языка в последний версиях продукта.

Elastic Stack recipes

06 August 2025 08:02

Elasticsearch plugin for UBI: Analyze user behavior from search queries

UBI (User Behavioral Insights) — это стандарт, помогающий собирать и отслеживать статистику использования поисковых приложений. В этой статье рассматривается стандарт UBI и объясняется, как собирать аналитику с помощью плагина Elasticsearch.