Elastic Stack recipes

05 August 2025 16:33

Пошаговое руководство по миграции из одного кластера в другой

В статье в блоге Elastic разобраны 3 способа миграции данных:

🚀 Переиндексация из удаленного кластера

🚀 Передача данных с использованием снимков

🚀 Перенос данных с помощью Logstash

Elastic Stack recipes

23 July 2025 11:17

Making ingestion smarter: System ingest pipelines in OpenSearch

В OpenSearch 3.1 представлен системный ingest pipepline — новая возможность, сделанная специально для разработчиков плагинов. Она позволяет автоматически обрабатывать документы во время заливки данных, определяя системные процессоры, которые запускаются на основе полей или параметров при сопоставлении индекса. Это позволяет встраивать логику обработки непосредственно в плагин, не требуя от пользователей ручной настройки ingest pipeline. Читать в блоге OpenSearch.

Elastic Stack recipes

30 June 2025 06:27

Get started with OpenSearch 3.1

Не успели мы опомнится от версии 3.0, как OpenSearch анонсировал 3.1. Лихо, что тут скажешь.

Статья в блоге OpenSearch

Загрузка

Заметки к выпуску

Elastic Stack recipes

09 May 2025 09:00

Star-tree индексы — технология, которая предварительно вычисляет агрегации в OpenSearch. Функционал появился начиная с версии 2.18 и пока находится в экспериментальном формате. Если вы активно используете агрегации в работе, рекомендуем обратить внимание на эту технологию. Можно использовать только для неизменяемых индексов (подойдет для логов). Однако, есть и другие ограничения.

На приложенном изображении сравнение времени на выполнение агрегаций при традиционном способе и при помощи star-tree. Преимущество налицо.

Статья в блоге OpenSearch

Подробности в документации

Elastic Stack recipes

08 May 2025 09:00

Это просто праздник какой-то! Вслед за Elastic и его релизом версии 9.0, OpenSearch также объявил о релизе версии 3.0.

Пишут, что работает в 9,5 раз быстрее, чем OpenSearch 1.3 при поиске по ключевым типам запросов. Под капотом 3.0 работает Lucene 10, что привносит дополнительную производительность в частности для векторного поиска. А еще OpenSearch научили работать по модели pull. Это означает, что он теперь может сам затягивать данные, например, из Kafka.

Статья в блоге с описанием нововведений

Песочница

Заметки к выпуску

Скачать OpenSearch

Elastic Stack recipes

23 April 2025 08:57

Прочитайте как в МТС управляют кластером OpenSearch на 400 Тб и из чего он состоит.

Elastic Stack recipes

09 April 2025 09:00

OpenSearch as a SIEM Solution

Может вы знали, а может и нет, но в OpenSearch есть встроенный пакет аналитики безопасности (Security Analytics), который предоставляет возможности SIEM для расследования, обнаружения, анализа и устранения угроз безопасности в режиме реального времени.

В блоге OpenSearch есть небольшое overview по возможностям решения в области беопасности.

Elastic Stack recipes

21 March 2025 12:39

Приглашаем на тренинги 🔍OpenSearch в марте и апреле.

❗️ Ближайший уже на будущей неделе!

Развивайте внутреннюю экспертизу по OpenSearch. Если вашей команде требуется экспертиза по поддержке и нет времени на изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации или прохождение многомесячных тренингов. Здесь только концентрированные знания, которые можно применять уже на следующий день после окончания тренинга.

За время курса вы:

🔎 разберетесь в принципах работы OpenSearch
🔎 установите и настроите отказоустойчивый кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации

Ближайшие курсы в марте-апреле:

▶️ Программа OpenSearch 26--28 марта

▶️ Программа OpenSearch 21--23 апреля

Оставить заявку, узнать стоимость и другие условия вы можете через бот @gals_education_bot или обратившись по адресу welcome@gals.software.

Elastic Stack recipes

28 February 2025 07:38

​Прочитайте интересную статью на Хабре о том, как устроена архитектура Elastic в Контур Диадок (это сервис для ЭДО). Рассказывают как они оптимизировали поиск.

Elastic Stack recipes

23 December 2024 07:30

Opensearch, Logstash и dynamic mapping

В этой статье рассказано о том, как в Домклик настроен маппинг в индексах Opensearch и какие «фишки» они используют, чтобы минимизировать работы по настройке маппинга.

Elastic Stack recipes

11 December 2024 14:34

Тренинги 🔍ElasticSearch и 🔍OpenSearch c нуля до администратора в декабре — отличный способ прокачать скиллы под конец года

Приходите на наши авторские курсы по ElasticSearch или OpenSearch и развивайте внутреннюю экспертизу по этим решениям. Если вашей команде требуется экспертиза по поддержке этих систем и нет времени на их изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию ElasticSearch/OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации.

За время курса вы:

🔎 разберетесь в принципах работы ElasticSearch/OpenSearch
🔎 установите и настроите кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации

Ближайшие курсы в декабре:

▶️ Программа OpenSearch 16-18 декабря

▶️ Программа ElasticSearch 23-25 декабря

Заявку можно оставить через форму обратной связи на соответствующей странице либо написать @galssoftware.

Elastic Stack recipes

18 November 2024 16:20

​Переезд с Elasticsearch на OpenSearch: рассказываем про нюансы и архитектуру нашей системы логирования

В этой статье на Хабре рассказано почему в cloud.ru решили выполнить миграцию, какие ключевые отличия между системами они нашли и подробно описана архитектура обработки логов.

Elastic Stack recipes

08 November 2024 15:56

Get started with OpenSearch 2.18

Вышел OpenSearch 2.18

Заметки к выпуску

Песочница

Elastic Stack recipes

30 September 2024 12:50

Две полезных статьи Хабре по поиску в Elastic

Алгоритмы ранжирования в Elasticsearch: настройка и кастомизация scoring модели

Многоязычный поиск в Elasticsearch: от Hello до Donaudampfschifffahrtsgesellschaftskapitän

Elastic Stack recipes

03 September 2024 13:43

23-25 сентября проведем курс по OpenSearch🔎

Приглашаем присоединиться к 3-дневному онлайн-интенсиву по OpenSearch. Программа курса.

Чем полезен курс:

🚀 за 3 дня вы получите структурированную информацию, которую при самостоятельном изучении нужно собирать по документации и по разным статьям в интернете.

🚀 вашему руководителю не придется привлекать субподряд для внедрения или поддержки OpenSearch, вы сможете работать с ним самостоятельно.

🚀 в курсе множество практических заданий, после выполнения которых вы получите бесценный опыт работы с OpenSearch, OpenSearch Dashboards, DataPrepper, Fluentbit, Logstash и другими компонентами.

Запрос на участие в курсе вы можете отправить в телеграм @galssoftware, на почту welcome@gals.software, либо через форму обратной связи на странице с программой курса.

Elastic Stack recipes

03 August 2025 07:36

Вышли Elastic 9.1/8.19

Интересный подход получается с релизами двух мажорных версий. Похоже, что в Elastic не хотят расстраивать пользователей, который уже основательно сжились с 8 версией. Но, как пишут, это в последний раз. Дальнейшего развития версии 8.х не будет. Подробности в блоге Elastic.

Elastic Stack recipes

30 June 2025 08:09

Redline-тестирование теперь доступно в OpenSearch Benchmark

Тестирование Redline содержит в себе:

🚀 Модуль управления для мониторинга пропускной способности запросов и сбоев в режиме реального времени.

🚀Саморегулирующийся механизм нагрузки, позволяющий приостанавливать и возобновлять работу клиентов на основе поведения кластера.

Читать в блоге OpenSearch

Elastic Stack recipes

30 May 2025 12:56

Курс по поиску в ElasticSearch/OpenSearch

Мы готовим курс по поиску и подготовили программу тренинга. Тренинг будет длится два дня и охватит максимально подробно тематику поиска, агрегаций, создание оптимального индекса для поиска, формирование релевантности и многого другого.

Хотелось бы у вас узнать, есть ли интерес к такому курсу и, возможно, вы сможете предложить свои темы, которые хотели бы рассмотреть в курсе. Мы уже подготовили предварительную структуру:

Описание курса ElasticSearch/OpenSearch Поиск

Если вы или ваши коллеги хотели бы принять участие в курсе или хотели бы предложить свои темы в курс, напишите, пожалуйста, нам в @galssoftware.

Планируем проведение этого тренинга в июле-августе.

Заранее большое спасибо за обратную связь!

Elastic Stack recipes

08 May 2025 12:48

Вышел Data Prepper 2.11

Улучшения в основном консулись импорта данных из OTel. Как нам кажется, возможности Data Prepper многие недооценивают. А ведь там есть много интересного, в частности, агрегация собираемых данных.

Elastic Stack recipes

06 May 2025 09:35

Тренинги 🔍ElasticSearch и 🔍OpenSearch c нуля до администратора в июне — отличный способ прокачать скиллы в начале лета!

Приходите на наши авторские курсы по ElasticSearch или OpenSearch и развивайте внутреннюю экспертизу по этим решениям. Если вашей команде требуется экспертиза по поддержке этих систем и нет времени на их изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию ElasticSearch/OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации. А еще интенсивы лучше многомесячных тренингов, когда к середине курса улетучивается желание учиться.

За время курса вы:

🔎 разберетесь в принципах работы ElasticSearch/OpenSearch
🔎 установите и настроите кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации

Ближайшие курсы в июне:

▶️ Программа ElasticSearch 2-4 июня

▶️ Программа OpenSearch 9-11 июня

Тренинг состоит из теоретической и практической части. Для практической части мы предоставляем лабораторные стенды. Оставить заявку, узнать стоимость обучения и другие детали можно через бот @gals_education_bot. Также заявку можно оставить через форму обратной связи на соответствующей странице тренинга (выше) либо написать на почту welcome@gals.software.

Elastic Stack recipes

16 April 2025 08:05

С чем вас и поздравляем!

Elastic 9.0 под капотом имеет Lucene 10.0, что знаменует собой действительно крупное обновление Elasticsearch, платформы Elastic Search AI и основных решений — Elastic Observability и Elastic Security. Этот релиз более производителен и эффективен благодаря встроенным улучшениям Lucene 10.0, таким как улучшенный параллелизм, более умное индексирование и аппаратная оптимизация.

Для тех, кто (пока) не готов расстаться 8 релизом, у Elastic есть новости: они перенесли многие (но не все) новые функции из 9.0 в версию 8.18.

Подробнее о новинках в версиях

Elastic Stack recipes

08 April 2025 10:06

​В это сложно поверить, но ElasticSearch в этом году 15 лет (а библиотеке Lucene 25 лет)

Более 1,45 млрд загрузок, 83000 коммитов от 2400 уникальных контрибьюторов.

Пост с ключевыми вехами в блоге Elastic

Elastic Stack recipes

10 March 2025 12:41

​В этой статье рассмотрено, как на базовом уровне интегрировать Elasticsearch в Laravel, используя Docker и PHP-библиотеку elasticsearch/elasticsearch. Весьма себе прикладное использование Elastic.

Elastic Stack recipes

12 February 2025 17:06

Get started with OpenSearch 2.19

Вышел OpenSearch 2.19

Заметки к выпуску

Песочница

Elastic Stack recipes

18 December 2024 12:42

​Сравнение Битрикс-Sphinx vs Elasticsearch для поисковых задач

Статья хоть и написана в основном во славу Elasticsearch, но позволяет проанализировать некоторые интересные особенности работы Битрикс на базе встроенного Sphinx.

Elastic Stack recipes

02 December 2024 07:30

​BM25, или Best Match 25 — это широко используемый алгоритм полнотекстового поиска, который по умолчанию применяется в Lucene/Elasticsearch. В последнее время в рамках «гибридного поиска» часто начали комбинировать полнотекстовый поиск и поиск по схожести векторов. В этой статье разобрано как устроен тот самый полнотекстовый поиск в Elasticsearch/Opensearch.

Как все устроено

Elastic Stack recipes

11 November 2024 13:16

​Gain deeper insights with OpenSearch Query Insights

Инструмент OpenSearch Query Insights предназначен для того, чтобы дать представление об эффективности поисковых запросов, помогая выявлять узкие места и оптимизировать производительность. Query Insights собирает и анализирует данные о производительности каждого запроса. В этой статье в блоге OpenSearch разбирают работу этого инструмента.

Elastic Stack recipes

01 October 2024 10:00

Некоторое время назад вышел OpenSearch 2.17 (пост в блоге OpenSearch от 17 сентября)

Заметки к выпуску

Загрузка

OpenSearch Playground

Elastic Stack recipes

11 September 2024 07:48

Статья из блога Домклик на Хабре про преимущества фильтра Dissect над Grok при обработке данных в Logstash.

Dissect — хорошая альтернатива Grok. Он в разы производительнее за счёт того, что фильтрация происходит не на основе регулярных выражений. Особенно хорошо фильтр подходит для повторяющихся данных, но даже если они различаются, можно написать большую, страшную конфигурацию, которая будет выполнять обработку.

Grok — сильно гибче, удобнее, проще, но, к сожалению, за эти плюсы приходится расплачиваться огромными вычислительными ресурсами. Безусловно, при маленькой нагрузке (или если вы очень богаты), можно и нужно пользоваться Grok.

Elastic Stack recipes

12 August 2024 16:44

Вышел OpenSearch 2.16

Улучшения по части поиска, машинного обучения, аналитике безопасности и производительности.

Заметки к выпуску

Загрузка

OpenSearch Playground