36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
🦾 Что надо знать про работу LLM перед внедрением
После открытого урока у вас сложится ясная картина того, как устроены языковые модели. Вы будете понимать, почему модель ведет себя именно так, и что важно учесть, прежде чем встраивать ее в свой проект.
Урок пройдет 12.11 в 20:00 и подойдет тем, кто пользуется LLM, но не знает, как они устроены внутри, и хочет разобраться в основах до того, как внедрять их в проект.
На уроке:
- базовые принципы устройства LLM;
- токены, контекст и ограничения моделей;
- что проверить перед внедрением LLM.
Запишитесь на урок.
➡ Запись: https://otus.pw/DkVv/?erid=2W5zFGnMUNe
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
SQL-задача с подвохом: найдите пользователей, которые вернулись после 30 дней молчания
Представьте, что вы анализируете активность пользователей сервиса. Нужно найти тех, кто вернулся после длительного перерыва.
Есть таблица PostgreSQL:
CREATE TABLE events (
user_id INT,
event_time TIMESTAMP
);
INSERT INTO events VALUES
(1, '2026-10-01 10:00'),
(1, '2026-10-01 12:00'),
(1, '2026-11-01 09:00'),
(1, '2026-11-02 14:00'),
(2, '2026-10-01 10:00'),
(2, '2026-10-31 10:00'),
(3, '2026-09-01 10:00'),
(3, '2026-11-05 10:00'),
(3, '2026-11-05 11:00');
LAG(), но если не учесть дубли событий и границы календарных дней, результат окажется неправильным.
🖥️ Черная пятница на Stepik на один из лучших курсов по контейнеризации!
Если давно хотел разобраться в теме, но постоянно откладывал или терялся среди десятков материалов, этот курс на Stepik поможет выстроить обучение последовательно.
Что получишь:
- Понятные объяснения без лишней воды.
- Практические задания для закрепления знаний.
- Возможность учиться в удобном темпе.
- Структурированный подход вместо хаотичного поиска информации.
Подойдёт тем, кто начинает с нуля или хочет систематизировать знания.
Начни прокачивать навыки уже сейчас:
https://stepik.org/course/303477/
SQL-ловушка: этот UPDATE может незаметно испортить данные в продакшене
Код корректный, PostgreSQL не выдаст ошибку. Но результат не так очевиден.
Есть таблица товаров:
CREATE TABLE products (
id INT PRIMARY KEY,
price INT
);
INSERT INTO products VALUES (1, 100);
WITH discounts(id, amount) AS (
VALUES (1, 10), (1, 20)
)
UPDATE products p
SET price = p.price - d.amount
FROM discounts d
WHERE p.id = d.id;
SELECT price FROM products;
90 80 70 80 или 90, результат не гарантированUPDATE ... FROM, о котором легко забыть даже при работе с реальными базами.
Читать полностью…
💼 Войти в ИБ можно начать сегодня вечером, с телефона
Не обязательно бросать работу и покупать курс за сотни тысяч, чтобы понять, твоё ли это. Начать можно с бесплатного мини-курса!
➡️ Начать в Telegram
За пару часов разберёшься, чем вообще занимаются в кибербезопасности: что защищают, как работают атаки, как устроена защита и какие есть профессии с их зарплатами. Открывается в мессенджере, проходится по дороге с работы, без сайтов и долгих регистраций.
Microsoft предложит до 60 тысячам сотрудников добровольно уйти с компенсацией.
Программа охватит подходящих под условия сотрудников в США, Великобритании, Канаде и Индии, сообщает The Verge.
Среди участвующих направлений – Copilot, CoreAI, Windows + Devices, Xbox, финансы и HR. Некоторые подразделения участвуют частично, а маркетинг, коммерческий бизнес и безопасность исключены.
Компания предлагает финансовую поддержку и помощь в планировании карьеры. В отличие от прежней программы добровольного выхода на пенсию, новая не привязана к возрасту, стажу или результатам работы.
60 тысяч – число сотрудников, которым доступно предложение, а не объявленное количество увольнений. Сколько человек его примут, пока неизвестно.
Программа появилась спустя несколько месяцев после сокращения 4800 рабочих мест.
https://www.theverge.com/tech/1018666/microsoft-expands-buyouts-60000-employees-eligible
Алгоритм знает, где вы будете 7-го ноября 😎
RecSys-митап в Москве для тех, кто уже строит рекомендательные системы и хочет делать это еще лучше.
В программе — доклады от топовых экспертов Сбера с разбором кейсов, свежих подходов и неочевидных решений.
После официальной части — нетворкинг. Время в узком кругу профессионалов и сообщества Зеленый RecSys.
Участие бесплатное, но количество мест ограничено.
Москва. Суббота. 7 ноября. RecSys!
➡️ регистрируйтесь
🐘 ИИ нашёл столько багов в PostgreSQL 19, что разработчики не успевают их исправить
Релиз теперь ожидается примерно 19 ноября. Во время беты из него убрали около 8–10 крупных функций.
По словам коммиттера PostgreSQL Питера Айзентраута, ревью с помощью LLM выявляет редкие ошибки, которые раньше могли всплывать годами. Теперь десятки отчётов приходят сразу. Каждый нужно разобрать, подготовить исправление и проверить, даже если патч занимает три строки.
При этом ИИ лишь часть причин: у некоторых функций обнаружились архитектурные проблемы, а опытные разработчики были заняты исправлением уязвимостей. Айзентраут также отмечает, что большая часть затронутого кода появилась ещё до распространения вайбкодинга.
Поиск ошибок ускорился. На их исправление по-прежнему нужно время людей.
https://peter.eisentraut.org/blog/2026/10/09/the-reverts-will-continue-until-morale-improves
🖥 Tencent выкатила Hy Memory 2.0: открытая модель, фреймворк и MemHub для долгой памяти ИИ-агентов
Hunyuan выпустили сразу три вещи в одном релизе. Модель Hy-Memory-30B-A3B, SDK-фреймворк и приложение MemHub. По заявлению Tencent, это №1 среди открытых решений на четырёх бенчмарках памяти, а сама модель обходит Opus 5 в ряде популярных фреймворков.
Фреймворк работает с тремя типами памяти: из обычных чатов, из рабочих задач и из кода. То есть агент помнит не только то, о чём вы болтали, но и что делали в проекте.
MemHub, у него есть CLI и версия для Mac, синхронизирует память между более чем десятью ИИ-инструментами. Один раз рассказал контекст, и он доступен везде, без повторных объяснений каждому ассистенту.
Модель на 30B параметров с 3B активными (MoE), так что гонять её локально реалистичнее, чем кажется по цифре. Пока это цифры от самих авторов, независимые замеры стоит дождаться.
Код и MemHub: https://github.com/Tencent-Hunyuan/Hy-Memory
Модель: https://huggingface.co/tencent/Hy-Memory-30B-A3B
Github: https://github.com/Tencent-Hunyuan/Hy-Memory
@ai_machinelearning_big_data
🐍 Когда стандартного `sqlite3` в Python становится мало, есть APSW.
Another Python SQLite Wrapper даёт доступ к полному C API SQLite из Python.
Что можно использовать:
• Виртуальные таблицы для подключения собственных источников данных.
• VFS для управления тем, как SQLite работает с файлами.
• Session API для записи и применения наборов изменений.
• Полнотекстовый поиск, JSON и передачу массивов через CArray.
• Синхронный код и поддержку асинхронных фреймворков.
Для обычных SQL-запросов встроенного sqlite3 часто достаточно. APSW полезен, когда нужны расширенные возможности SQLite и более глубокий контроль над движком.
Установка: pip install apsw
https://github.com/rogerbinns/apsw
🔍 Microsoft выпустила модель, которая только принимает решения. В 35 раз быстрее GPT-6 Sol, выходные токены бесплатно
Microsoft-Decision-1 получает запрос и фиксированный набор вариантов и за один проход выдаёт откалиброванную вероятность для каждого. Да/нет, выбор из списка, рейтинг, оценка ответа ИИ или действия агента по рубрике. Внутри Qwen3.5-9B после пост-трейна.
На 36 закрытых бенчмарках, почти 150 тысяч вопросов, модель показала лучшую точность среди LLM и других decision-моделей. По задержке она в 4,5 раза быстрее ближайшего конкурента и в 35 раз быстрее GPT-6 Sol. На перефразированных и перемешанных вариантах решение меняется лишь в 1,3% случаев.
Внутри Microsoft её уже используют. Xbox Research разметили 10 тысяч отзывов с качеством уровня GPT-6 Sol, но в 14 раз быстрее и в 200 раз дешевле. В Copilot модель оценивает ответы агентов в 100 раз быстрее GPT-5.6 Luna.
Цена $0,042 за миллион входных токенов. Уже в Microsoft Foundry, скоро на OpenRouter.
https://commandline.microsoft.com/microsoft-decision-1-model-foundry/
@ai_machinelearning_big_data
#Microsoft
🧮 Математика для ИИ на русском: от школьной базы до трансформеров и диффузии
Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи.
Внутри:
• Линейная алгебра, производные, вероятности и статистика.
• Backpropagation, оптимизаторы, функции потерь и attention.
• Генеративные модели, обучение с подкреплением, RAG и рекомендации.
Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN.
Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц.
https://github.com/justxor/math-for-ai-2026
ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WMPsm
Реклама: ООО «ГЛОУБАЙТ АНАЛИТИЧЕСКИЕ РЕШЕНИЯ» ИНН: 9729274905
ERid: 2VtzqvJYWyT
ИИ-агент, который только отвечает на вопросы, — это уже прошлый этап. Следующий шаг — научить его работать с реальными системами. Чтобы ИИ-решения приносили пользу бизнесу, агентам нужно получать данные из корпоративных систем, обращаться к базам данных и выполнять действия через внешние инструменты. Но такие интеграции требуют продуманной архитектуры и контроля безопасности.
На открытом уроке 20 октября в 20:00 МСК разберем, как связать ИИ-агентов с корпоративной инфраструктурой с помощью Tool Calling и MCP. Вы узнаете, как агенты взаимодействуют с API, базами данных и внутренними сервисами, а также какие подходы помогают безопасно управлять их действиями.
Урок пройдет в преддверие старта курса «ИИ-архитектор».
Научитесь проектировать ИИ-агентов, которые не просто генерируют ответы, а решают реальные задачи: https://otus.pw/cid2/?erid=2W5zFJRGV85
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
DOOM запустили внутри SQL-базы. Каждый кадр теперь результат запроса 🤯
Лукас Фогель собрал SQLDoom: игровая логика и рендеринг оригинального DOOM работают внутри CedarDB.
Карты, монстры, оружие и состояние игры хранятся в таблицах. SQL рассчитывает движение, атаки и столкновения, а затем собирает картинку:
• около 1300 строк SQL и 89 CTE отвечают за рендеринг;
• ещё 5900 строк SQL реализуют игровую логику;
• кадры 320×200 генерируются примерно с 60 FPS на ноутбуке с Ryzen 7 PRO 7840U. В тяжёлых сценах частота падает до 35 FPS.
Python обрабатывает ввод, задаёт тайминг и выводит готовые кадры. Работает даже мультиплеер.
Теперь оптимизировать SQL нужно ещё и для того, чтобы монстры не лагали ☕️
Код:
https://github.com/cedardb/sqldoom
Онлайн-демка:
https://demo.cedardb.cloud/projects/38c0ee59-327d-495e-ad40-735521bba941
RAG без векторной базы: PageIndex набрал 40 тысяч звёзд на GitHub
PageIndex предлагает другой подход к поиску информации в документах. Вместо embeddings, разбиения текста на чанки и векторного поиска используется иерархический индекс и рассуждения LLM.
Система строит дерево разделов документа, а затем модель последовательно выбирает нужные ветки и находит ответ с указанием источника.
Такой подход особенно полезен для больших PDF, финансовых отчётов, юридических документов и технической документации, где одного семантического сходства недостаточно.
Результаты разработчиков:
98,7% точности на FinanceBench.
До 97% экономии токенов при ответах на вопросы по документам с использованием Page Search API.
В 16,6 раза дешевле, чем передавать модели целый PDF на 420 страниц при каждом запросе, в одном из сравнительных тестов.
Это результаты собственных бенчмарков проекта, поэтому для конкретной RAG-системы их стоит перепроверять.
Есть Python SDK, локальная индексация PDF и интеграции с ИИ-агентами. Лицензия MIT.
pip install -U pageindex
🖥️ SQL-задача с подвохом: почему COUNT(*) считает неправильно?
Даже опытные разработчики иногда ошибаются с оконными функциями PostgreSQL.
Есть таблица событий:
CREATE TABLE events (
id INT PRIMARY KEY,
user_id INT,
ts TIMESTAMP
);
INSERT INTO events VALUES
(1, 10, '2026-01-01 10:00'),
(2, 10, '2026-01-01 10:05'),
(3, 10, '2026-01-01 10:05'),
(4, 10, '2026-01-01 10:20');
SELECT
id,
COUNT(*) OVER (
PARTITION BY user_id
ORDER BY ts
) AS cnt
FROM events
ORDER BY id;
1, 2, 3, 41, 3, 3, 44, 4, 4, 41, 2, 2, 4RANGE строки с одинаковым значением ts считаются одной группой (peers). Поэтому обе строки с 10:05 получают cnt = 3.ROWS и обеспечить однозначную сортировку:1, 2, 3, 4.COUNT(*) OVER (ORDER BY ...) не всегда считает строки по одной. Всё зависит от оконной рамки и повторяющихся значений сортировки.
Читать полностью…
ORM превратила один SQL-запрос в 51. Разработчик даже не заметил
Знакомая ситуация: код выглядит чисто, никаких SQL-запросов вручную, всё через ORM.
Например, в Django:
posts = Post.objects.all()[:50]
for post in posts:
print(post.author.name)
posts = Post.objects.select_related("author")[:50]
JOIN и получает посты вместе с авторами одним запросом.
✔️ RTX 5080 пропал из официального магазина NVIDIA
Вслед за флагманской RTX 5090 из каталога маркетплейса NVIDIA в США пропала видеокарта RTX 5080.
Оригинальная модель с 16 ГБ больше не отображается в фильтрах поиска, хотя на сайте по-прежнему указана ее стартовая цена в $999.
Фактически же купить ускоритель за эти деньги было крайне сложно - у крупных ритейлеров минимальный прайс давно зафиксировался на уровне $2000.
Сама NVIDIA пока не дает официальных комментариев относительно доступности видеокарт и завышения цен на всю пятидесятую серию.
Один CVE - три уязвимости: раскрыты детали взлома Oracle PeopleSoft, которым пользовалась ShinyHunters.
Исследователи ZDI выяснили, что за CVE-2026-35273 с оценкой CVSS 9.8 скрываются три ошибки в двух компонентах PeopleSoft.
Начало цепочки – SSRF: атакующий заставляет сервер отправить запрос к собственному внутреннему интерфейсу управления.
Этот интерфейс по умолчанию доверяет обращениям с 127.0.0.1. Поэтому внешний запрос, перенаправленный самим сервером, проходит проверку как локальный.
Полученный доступ открывает два пути к выполнению кода без авторизации: через произвольную запись файлов или небезопасную обработку XML.
Oracle закрыла все три проблемы 10 июня, объединив их под одним CVE. ShinyHunters эксплуатировала цепочку ещё до выхода исправления, первоначально атакуя преимущественно университеты.
Затронуты PeopleTools 8.61 и 8.62. Блокировка отдельных URL на WAF не заменяет патч. Если сервер уже взломан, обновления также недостаточно – нужны проверка компрометации и смена доступных ему учётных данных.
https://thehackernews.com/2026/10/shinyhunters-exploited-oracle.html
Пишешь «научи меня SQL»: Claude собирает персональный аудиокурс со ссылками на источники.
Claudemy - open-source навык для Claude Code, который превращает выбранную тему примерно в 12 двухминутных уроков в формате разговора двух ведущих.
Как это работает:
- Изучает 20–40 страниц: документацию, практические материалы и альтернативные мнения.
- Сопоставляет источники и отмечает, где они расходятся.
- Создаёт пробный урок и ждёт вашей реакции.
- Затем готовит остальной курс.
К каждому уроку прилагаются краткая выжимка, небольшое практическое задание и ссылки. Основные правила собираются в отдельный файл.
Есть проверка цитирования: урок не принимается, если ссылается на страницу, которую система не читала. Это проверка происхождения ссылок, а не гарантия истинности всех выводов.
Можно заказать курс по материалам конкретного автора — например, его блогу.
Лицензия MIT. Для работы нужен Claude Code с веб-поиском. Озвучка — через ElevenLabs либо бесплатные встроенные голоса macOS; использование Claude и ElevenLabs оплачивается отдельно.
https://github.com/assafkip/claudemy
One Day Offer: стань щитом для миллионов клиентов! 🔥
В департамент противодействия мошенничеству Сбера нужен аналитик данных в антифрод — чтобы разбирать тренды мошенничества, находить скрытые паттерны и превращать их в правила защиты.
Готов к таким задачам — добро пожаловать на One Day Offer: отбор за один день, разбор реальных кейсов, быстрая обратная связь.
24 октября, онлайн, регистрация и подробности — здесь!
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: /channel/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: /channel/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка Frontend: /channel/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: /channel/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Oracle показала архитектуру агентной системы для генерации и проверки контрактов на Kubernetes
Команда Oracle AI & Data Science описала, как построить на OKE (Oracle Kubernetes Engine) платформу, которая автоматически собирает договоры и сверяет их версии. Ключевая мысль инженеров: LLM здесь не источник истины для юридических формулировок и цен. Модель работает внутри структурированных входных данных и заданных админом бизнес-правил.
Как это устроено. На вход идёт PDF-коммерческое предложение из CPQ, его разбирают в JSON, раскладывают по шаблону договора и применяют правила. Второй сценарий сравнивает изменённый договор с оригиналом и сохраняет структурированный diff. На выходе пользователь может поправить результат и скачать DOCX.
Под капотом пять агентов: разбор CPQ, разбор контракта, маппинг, дополнение контракта и ревью. Оркестрирует всё LangGraph с чекпойнтами и прерываниями. Агенты общаются с оркестратором по A2A, а инструменты находят и вызывают через MCP. Длинные шаги ставятся на паузу и возобновляются по вебхуку, состояние лежит в Redis. Задачи идут через очереди OCI Queue, после трёх неудачных попыток сообщение попадает в DLQ, а пользователю не надо загружать файл заново.
Мне показались интересными три инженерные детали. Перед любым рассуждением агента воркер прогоняет guardrails: проверка на prompt injection, вредоносный контент и маскирование PII. Есть реестр агентов как плоскость управления: админ меняет связки агентов с инструментами и бизнес-правила без передеплоя. И есть фреймворк оценки, который сверяет извлечённый JSON с эталоном до того, как изменения в промптах, модели или правилах попадут в прод.
Честные оговорки: конкретные LLM в статье не названы, цифр по скорости и стоимости нет, а кода и репозитория не приложено. Это референс-архитектура, а не готовый открытый проект.
Источник: https://blogs.oracle.com/ai-and-datascience/agentic-contract-generation-review-on-oke-enterprise-ai
🍃 Добавить реплику MongoDB, не копируя всю базу: что меняет Atlas Infinite
В привычной архитектуре каждый узел replica set хранит полную копию данных. Добавление реплики или изменение размера узла требует перемещения больших объёмов данных.
Atlas Infinite разделяет вычисления и хранение. Узлы выполняют запросы, а общий слой хранения, написанный на Rust, отвечает за журнал, страницы данных и долговечность. Вычислительные ресурсы и хранилище масштабируются независимо.
Самая интересная деталь: два журнала с разными задачами.
• oplog фиксирует логические операции. Запись подтверждается после устойчивого сохранения большинством реплик журнала.
• phylog передаёт физические изменения страниц при checkpoint, сохраняя пакетную обработку WiredTiger.
То есть подтверждение записи отделено от подготовки страниц для чтения.
Новая read replica подключается к общим страницам и догоняет хвост журнала. Ей не нужно сначала копировать всю базу. А данные шифруются на вычислительном узле: общий storage-слой работает с зашифрованным содержимым.
Для приложения сохраняются протокол, драйверы и семантика операций. Меняется инфраструктура под базой. Atlas Infinite пока в public preview.
Хороший разбор для тех, кому интересны внутренности СУБД:
https://muratbuffalo.blogspot.com/2026/10/atlas-infinite-mongodbs-disaggregated.html
@sqlhub
Как мы перешли от CatBoost к нейросетям в рекомендациях Авито
Рекомендации на главной дают Авито половину просмотров объявлений и около 30% контактов покупателей с продавцами. С 2020 года их ранжировал CatBoost, но со временем он упёрся в потолок: даже кратно больше данных уже не давало прироста качества.
Мы перешли на нейросетевое ранжирование, и вот что получилось:
🚀 +4,3% пользователей с контактами из рекомендаций
🤝 +0,8% пользователей, совершивших сделку, по всему Авито
Техлид команды рекомендаций Ярослав Хныков рассказал на Хабре, какие решения сработали.
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
🧩 SQL-задача: почему `LAG()` здесь подведёт?
Есть интервалы работы сервера. Время указано в минутах:id | start_at | end_at
---+----------+-------
1 | 1 | 10
2 | 2 | 3
3 | 9 | 12
4 | 15 | 16
5 | 16 | 20
Объедините пересекающиеся и соприкасающиеся интервалы. Вложенные интервалы тоже учитываются.
Ожидаемый результат:
start_at | end_at
---------+-------
1 | 12
15 | 20
WITH bounds AS (
SELECT *,
MAX(end_at) OVER (
ORDER BY start_at, end_at, id
ROWS BETWEEN UNBOUNDED PRECEDING
AND 1 PRECEDING
) AS prev_max
FROM intervals
),
marked AS (
SELECT *,
CASE WHEN prev_max IS NULL
OR start_at > prev_max
THEN 1 ELSE 0 END AS new_group
FROM bounds
),
grouped AS (
SELECT *,
SUM(new_group) OVER (
ORDER BY start_at, end_at, id
ROWS UNBOUNDED PRECEDING
) AS grp
FROM marked
)
SELECT MIN(start_at) AS start_at,
MAX(end_at) AS end_at
FROM grouped
GROUP BY grp
ORDER BY start_at;
LAG(end_at) для интервала [9,12] вернёт 3 и ошибочно начнёт новую группу. Но более ранний интервал [1,10] всё ещё перекрывает его.
🌍 SQL-задача: ближайшие точки на замкнутой карте
Карта 100 × 100: противоположные края соединены. Между координатами 1 и 99 через границу всего 2 единицы.
Для каждой точки найдите всех ближайших соседей, исключая саму точку.
WITH points(id, x, y) AS (
VALUES (1, 1, 1), (2, 99, 99), (3, 3, 99)
),
distances AS (
SELECT a.id, b.id AS neighbor,
POWER(LEAST(ABS(a.x-b.x), 100-ABS(a.x-b.x)), 2)
+ POWER(LEAST(ABS(a.y-b.y), 100-ABS(a.y-b.y)), 2) AS d2
FROM points a
JOIN points b ON a.id <> b.id
),
ranked AS (
SELECT *,
DENSE_RANK() OVER (
PARTITION BY id ORDER BY d2
) AS r
FROM distances
)
SELECT id, neighbor, SQRT(d2) AS distance
FROM ranked
WHERE r = 1
ORDER BY id, neighbor;
1 → 2, 3; 2 → 1; 3 → 1. Расстояние во всех случаях √8 ≈ 2,828.DENSE_RANK() сохраняет все равные минимумы, а ранжирование по квадрату расстояния позволяет вычислить корень только при выводе.
Читать полностью…
⚡️ SQL с подвохом: NULL в пустом списке
Что выведет PostgreSQL?
SELECT
NULL IN (SELECT 1 WHERE FALSE) AS a,
NULL NOT IN (SELECT 1 WHERE FALSE) AS b;
NULL.NULL. Пустой набор меняет результат.
Читать полностью…
Из аналитика в дата-инженеры: переход реален? 🤔
В последнее время все чаще дата-инженерия для аналитиков становится более привлекательной, но в то же время страшной.
С одной стороны, хочется понимать не только то, что происходит с данными, но и как эти данные вообще доезжают до нас. Откуда берутся, где хранятся, как обновляются, почему сегодня в витрине 10 млн строк, а завтра 8 млн и кто опять сломал загрузку🥲
И получается ситуация, когда хочется попробовать, но непонятно, с чего начинать и сколько лет на это закладывать.
Поэтому мне понравилось, как Симулейтив пересобрали свой буткемп «Инженер данных».
Курс разделен на 2 этапа: за первые 10 недель вы осваиваете базу и доходите до уровня junior-специалиста. А на втором этапе — углубленное изучение ключевых инструментов, где вы дорастаете до мидла.
Что вас ждет на курсе:
➖SQL, Python, пайплайны сбора и обновления данных, хранение и обработка, DWH;
➖Живые занятия с ментором каждую неделю — не записи, а разборы вживую;
➖Подготовка к собеседованиям с первых недель, а не в самом конце;
➖ИИ-инструменты как часть программы — учите работать с ними, а не избегать;
➖Гостевые лекции от практикующих дата-инженеров из Яндекса, Т-Банка, Авито, Сбера, OZON;
➖Официальный диплом о профессиональной переподготовке.
Кому подойдёт:
1. Тем, кто хочет войти в дата-инженерию с нуля или перейти из аналитики;
2. Тем, кто пробовал учиться самостоятельно, но теряет темп без структуры;
3. Тем, кому интереснее не просто считать метрики, а выстраивать систему, на которой держатся данные.
Почему сейчас: специалистов, которые управляют данными как системой, на рынке меньше, чем нужно, — а спрос растёт, потому что без инженерии любые данные быстро превращаются в хаос.
🔥ВАЖНО: Симулейтив дают возможность получить грант обучение и гарантируют трудоустройство своих студентов. Количество грантов ограничено!
Оставляйте заявку до завтра включительно, чтобы занять одно из 5 оставшихся мест нового потока!
🔗 ЗАБРОНИРОВАТЬ МЕСТО