36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
Как продакт-менеджеру выжить и вырасти в эпоху AI
Нейросети уже меняют продукты, процессы и требования к продактам. Вопрос не в том, заменит ли AI продакт-менеджеров, а в том, кто научится использовать его быстрее и глубже других.
Центральный университет запускает бесплатные открытые онлайн-уроки «Продуктовый менеджмент в эпоху AI».
Кто будет говорить:
— Ваня Замесин — автор AURA и Advanced JTBD, основатель курса «Как делать продукт»
— Глеб Кудрявцев — ex CPO Skyeng и автор курса «Вайб-кодинг на максималках»
— Илья Красинский — основатель & CEO Rick. ai и продуктового курса Product Heroes.
О чем пойдет речь:
— Какие навыки остаются базовыми для продакта в эпоху нейросетей.
— Что уже сегодня можно делать в 10 раз быстрее с AI.
— Как писать промпты, которые дают качественный результат.
— Почему понимание юнит-экономики остается важным навыком в любую эпоху.
— Зачем продакту вайб-кодинг и как меняется профессия.
Когда: уроки с 28 января по 2 февраля, в 19:00 мск.
Участие полностью бесплатное.
После уроков сможете попасть на интенсив для продакт-менеджеров с возможностью получить грант до 75% на обучение в магистратуре Центрального университета.
Регистрируйтесь уже сейчас!
Переход в ML часто выглядит как шаг в неизвестность, даже если вы давно в данных.
Вроде бы уже умеешь работать с данными, строить модели, делать выводы, но при этом не совсем понятно, что именно отличает ML-инженера от аналитика на практике. Какие навыки усиливать, как перестроить свой профиль, чтобы он выглядел не как “человек из data”, а как специалист, способный доводить модели до прода.
На мастер-классе по машинному обучению karpovꓸcourses подробно разбирают, как выглядит реальная роль ML-инженера в компании, какие задачи он решает, как обычно строится карьерный путь и какие шаги помогают быстрее и осознаннее перейти в эту роль, не теряя годы на хаотичное обучение.
Узнайте, какие навыки нужны и на примере реальной задачи по обучению модели посмотрите, как работает ML-инженер: https://clc.to/erid_2W5zFG1guAp
Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFG1guAp
👻 gh-ost - инструмент для миграций схемы MySQL без даунтайма.
Если тебе надо сделать ALTER TABLE на большой продовой таблице и не положить сервис - gh-ost это прям must-have.
Большинство online-schema-change тулов используют триггеры и создают лишнюю нагрузку.
А gh-ost идёт по другому пути:
✅ Triggerless - вообще без триггеров
✅ Читает изменения через binlog stream и асинхронно применяет их к “ghost table”
✅ Даёт полный контроль над процессом миграции:
- пауза/резюм
- throttle (снижение нагрузки)
- аудит и статус
- безопасный cut-over
Как это работает (по-простому):
1) создаётся “ghost table” с новой схемой
2) данные копируются постепенно
3) параллельно изменения ловятся из binlog
4) в конце таблицы меняются местами почти мгновенно
Идеально для:
🔥 таблиц на десятки миллионов строк
🔥 production-систем
🔥 миграций без блокировок
📌 Репо: github.com/github/gh-ost
🛠️ Легкий TUI для работы с SQL базами данных
sqlit - это удобный инструмент для быстрого выполнения запросов к различным SQL базам данных, включая PostgreSQL, MySQL, SQLite и другие. Он предлагает интуитивно понятный интерфейс, позволяя легко управлять соединениями и историей запросов без необходимости в сложных настройках.
🚀Основные моменты:
- Поддержка множества баз данных без дополнительных адаптеров
- Удобный интерфейс для управления соединениями
- Встроенная история запросов с возможностью поиска
- Поддержка SSH туннелей для безопасного подключения
- Редактирование в стиле Vim для терминальных пользователей
📌 GitHub: https://github.com/Maxteabag/sqlit
#python
🎨 TailwindSQL: SQL Queries with Tailwind-style Syntax
TailwindSQL позволяет писать SQL-запросы, используя синтаксис, похожий на классы Tailwind. Просто укажите className в React Server Components, чтобы получать данные из базы данных без лишнего кода на клиенте.
🚀 Основные моменты:
- 🎨 Синтаксис в стиле Tailwind для SQL-запросов
- ⚡ Поддержка React Server Components без клиентского JavaScript
- 🔒 Использует SQLite для быстрого доступа к локальным базам данных
- 🎯 Запросы обрабатываются на этапе сборки/рендеринга
- 🎭 Разнообразные режимы отображения: текст, списки, таблицы или JSON
📌 GitHub: https://github.com/mmarinovic/tailwindsql
#javascript
SQL отработал, но цифры не сходятся?
SQL Логи бизнеса — канал про реальные рабочие задачи аналитика
Здесь:
🔸ловушки с собеседований
🔸разборы запросов, которые «работают, но не так как надо»
🔸кейсы из банковской аналитики
🔸тесты
Канал ведёт действующий банковский аналитик с опытом работы в Сбере и Т-Банке и с дипломом ВШЭ
Если вам нужен SQL для работы и собеседований — добро пожаловать в SQL Логи бизнеса
Вот некоторые посты с канала:
• Самая частая ошибка джунов
• Когда запрос работает, но выдает не то, что вы ожидаете
• Когда действительно нужен self-join
🎄 Новый год - идеальный момент перезапустить себя.
Не “с понедельника”.
Не “когда будет время”.
А сейчас.
⚡️ VictoriaLogs - быстрый и экономичный лог-движок от VictoriaMetrics
VictoriaLogs - это специализированная open-source база данных для логов, заточенная под высокую скорость, низкое потребление ресурсов и простоту эксплуатации.
Проект создан той же командой, что и VictoriaMetrics, и следует той же философии: максимум производительности без лишней сложности.
Что важно:
- Высокая скорость записи и поиска логов даже при терабайтах данных
- Очень низкое потребление RAM и диска по сравнению с классическими лог-стеками
- Отлично справляется с высокой кардинальностью (trace_id, user_id, ip и т.д.)
- Нет сложной настройки индексов - система оптимизируется автоматически
- Поддержка полнотекстового поиска и мощного LogsQL
- Live-tail логов (аналог tail -f)
- Можно масштабировать просто добавляя CPU, RAM и диск
- Работает как на маленьких серверах, так и под серьёзную нагрузку
- Написан на Go, с упором на cache-friendly структуры и минимальные аллокации
Особенно хорошо подходит для:
- high-load backend-сервисов
- observability и troubleshooting
- замены тяжёлых ELK/Loki-подобных решений
- долгого хранения логов с быстрым поиском
Философия простая: логи должны писаться и читаться быстро, а не требовать кластера из десятков нод.
https://github.com/VictoriaMetrics/VictoriaLogs/
🔥 Хочешь прокачаться в аналитике, но не просто читать теорию, а решать реальные задачи?
Мы запустили полностью бесплатный телеграм-тренажёр 👇
Тебя ждут сценарии, с которыми сталкиваются аналитики каждый день: от простых запросов до задач уровня собеседований.
Что внутри:
✔ живые кейсы из реальной практики
✔ удобный симулятор - как работа в компании, только бесплатно
✔ разбор ошибок — понимаешь не только «как», но и «почему»
✔ добавляем задачи с интервью и улучшаем бот вместе с сообществом
Начни тренироваться сегодня — и почувствуй уверенность в работе с данными.
t.me/Analitics_databot
🖥 На Stepik вышел курс, который учит работать с Docker на реальных проектах.
Владение Docker - навык, который отличает новичка от профи,
Сегодня почти всё разворачивается в контейнерах.
Если ты не умеешь работать с Docker, ты медленнее, зависим от чужих настроек и постоянно ловишь баги «у меня локально работает».
• как упаковывать проекты в контейнеры
• как поднимать целые системы за минуты
• как избегать типичных ошибок в продакшене
• как делать стабильные и повторяемые окружения
•в нем разобраны все возможные ошибки
Только практика и реальные кейсы от авторов Docker Академии- с нуля до уверенного уровня.
🎁 Скидка 40 процентов действует 48 часов
👉 Записывайся и сделай Docker своим настоящим рабочим инструментом.
🔐 Postgresus 2.0 - новая версия self-hosted инструмента для резервного копирования и мониторинга PostgreSQL баз данных, написанный на Go
🔥 Возможности:
- создание бекапов по расписанию для PostgreSQL 12-18;
- хранение бекапов локально, в S3, CloudFlare R2, NAS или Google Drive;
- health check базы данных раз в минуту;
- уведомления в Telegram, Slack, MS Teams, Discord, по почте и в кастомизируемый вебхук, если бекап сломался или база недоступна;
- разделение баз на проекты с контролем доступа и аудит логами (для DBA и DevOps команд);
- улучшенная защита: шифрование резервных копий и read-only пользователь для их создания;
- запуск через скрипт, Docker, Docker Compose и Kubernetes Helm
Запуск через Docker:
docker run -d \
--name postgresus \
-p 4005:4005 \
-v ./postgresus-data:/postgresus-data \
--restart unless-stopped \
rostislavdugin/postgresus:latest
✔️ Tencent представила диффузионную языковую модель: в 6 раз быстрее классических LLM
WeDLM-8B Instruct использует не авторегрессию, как обычные LLM,
а диффузионный способ генерации текста.
Что это даёт?
🚀 В задачах математического рассуждения модель работает в 3–6 раз быстрее,
чем Qwen3-8B даже с оптимизациями vLLM - при сохранении качества.
Этот релиз ломает старый миф, что «диффузионные модели не подходят для точных текстовых задач».
На практике WeDLM показывает, что такой подход может конкурировать
и даже обходить трансформеры по скорости инференса.
Модель открыта и доступна под лицензией Apache 2.0:
🔗 https://wedlm.github.io
🔗 https://huggingface.co/tencent/WeDLM-8B-Instruct
🚀 Новый продвинутый планировщик заданий для PostgreSQL - лучше, чем cron
Если устал от cron и временных триггеров, обрати внимание на pg_timetable:
✅ Сильный: гибкий, надёжный, с богатым функционалом
✅ Легко настраивается, понятен и прозрачен
✅ Позволяет:
• запускать SQL-задачи по расписанию
• отслеживать их статус и history
• обеспечивать graceful restart и защиту от сбоев
Идеален для рабочих баз, сложной логики задач и критичных приложений.
📦 Репозиторий: https://github.com/cybertec-postgresql/pg_timetable
#golang #postgresql #devops #golang
Вы играли в детстве в «Героев меча и магии»? А что, если в них добавить немного дата-аналитики и технологий работы с данными?
Yandex Cloud вместе с Forbes запустили мини-игру, отчасти вдохновленную «Героями».
⚔️ В этой игре ты становишься «Героем данных и киберпанка», а привычные инструменты — PostgreSQL, ClickHouse, Trino, DataLens и другие — превращаются в артефакты с уникальными свойствами. Их можно получить у хранителей или создать в кибер-кузнице.
🐉 В проекте можно найти отсылки к классической игре, например, «Аналитики объявили месяц Чистых Логов. Время поиска багов уменьшилось втрое».
🎯 Игроки выбирают героя и помогают ему решить задачи из финтеха, ритейла или промышленности. Для победы нужно собрать нужный набор артефактов и справиться с «дата-хаосом».
🖥 Игра доступна на десктопе и мобильных устройствах.
📊 В дополнение к игровому опыту на лендинге есть реальные примеры, как компании используют решения Yandex Cloud для аналитики и обработки данных в бизнесе.
👉 Подробнее и поиграть можно здесь.
Развернуть PostgreSQL в MWS Cloud Platform ⬜️ — быстрее, чем вспомнить пароль от pgAdmin. И точно быстрее, чем объяснить DevOps'у, зачем ещё одна база.
Всего несколько минут и у вас:
⏺️готовая база на сетевых или локальных дисках
⏺️постоянный primary endpoint
⏺️безопасное подключение через Private Link
⏺️автоматические бэкапы и обслуживания по твоему расписанию
🧱 Миграции без боли: как обновлять БД безопасно и без простоя
Сохраняй себе: в реальных проектах миграции - это не “ALTER TABLE и поехали”, а зона риска.
Один неверный шаг = даунтайм, блокировки и откат вручную.
Правильный принцип:
делай миграции так, чтобы приложение могло пережить оба состояния схемы - до и после изменения.
Рабочая стратегия (2 шага)
1) Сначала добавляй новое, не ломая старое
- добавляй новые колонки/таблицы
- не удаляй и не переименовывай сразу
- не делай NOT NULL без дефолта
2) Потом переключай код
- сначала раскатываешь схему
- потом деплоишь код, который пишет/читает новое
- и только после этого убираешь старое
Это называется “expand → migrate → contract” и это стандарт продакшн-миграций.
Фишки, которые спасают на проде
- всегда делай миграцию идемпотентной (IF EXISTS / IF NOT EXISTS)
- не держи транзакцию долго
- избегай тяжёлых ALTER на больших таблицах
- проверяй количество строк, прежде чем апдейтить
- делай бэкап/дамп перед большим изменением
Читать полностью…
-- safe-migration.sql
-- 1) EXPAND: добавляем новое, не ломая старое
ALTER TABLE users
ADD COLUMN IF NOT EXISTS email_verified BOOLEAN DEFAULT FALSE;
CREATE INDEX IF NOT EXISTS idx_users_email
ON users(email);
-- 2) MIGRATE: переносим данные маленькими шагами (пример)
-- (в реальности делается батчами на больших таблицах)
UPDATE users
SET email_verified = TRUE
WHERE email IS NOT NULL AND email <> '';
-- 3) CONTRACT: удаляем старое только после деплоя кода
-- (делать отдельной миграцией!)
-- ALTER TABLE users DROP COLUMN old_email_flag;
🖥 SQL-квест: фэнтезийное приключение для аналитиков данных
Представь фэнтези-мир, где заклинания - это SQL-запросы, а древние артефакты спрятаны в таблицах и JSON-документах.
🧙Ты - боевой дата-аналитик, который с помощью SQL, Python, ETL и визуализаций охотится за харизматичным злодеем Архивариусом Пакостусом, что ломает индексы, крадёт данные и готовит “шторм данных” на столицу.🔮
В каждом эпизоде тебя ждут: выборы с последствиями, хитрые задачи от простых SELECT до рекурсивных CTE и BigQuery, юмор, эпик и неожиданные повороты.
Хочешь проверить, сможешь ли ты спасти королевство не мечом, а запросами? Тогда добро пожаловать в SQL-квест.
🪄 Начать квест: https://uproger.com/sql-kvest-fentezijnoe-priklyuchenie-dlya-analitikov-dannyh/
Stereo Data Ёлка от VK: сведение итогов года в идеальный микс 🎧
Команда VK приглашает специалистов по данным, ML-инженеров и всех, кто следит за трендами, на заключительное событие года — Stereo Data Ёлку, которая пройдёт 24 января в Москве и Санкт-Петербурге.
Мероприятие построено вокруг уникальной концепции «стереозвука» для вашего профессионального восприятия:
Левый канал (аналитика): глубокий разбор итогов по основным направлениям в ML/DS
Правый канал (инсайты): саундчек лучших решений VK RecSys Challenge, который будет доступен только офлайн.
Участвуйте офлайн! Stereo Data Ёлка – это атмосферное пространство с идеальным звуком для общения с коллегами. Вас ждёт афтепати с фирменными угощениями, подарки за активность и нетворкинг с лучшими специалистами индустрии.
Формат: гибридный (онлайн-трансляция будет здесь), но полное стереопогружение — только на офлайн-площадках.
Регистрация открыта до 22 января.
Регистрация для Москвы: https://bit.ly/49O6QSm?erid=2VtzqvwvzEX
Для Санкт-Петербурга: https://bit.ly/3Zg6FtX?erid=2VtzqvwvzEX
PostgreSQL: архитектура и тюнинг SQL-запросов
Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL.
🌐 В программе курса:
🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных
🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов: без индексов, с индексами, index only, нормализованные и документ-ориентированные данные и json-поля, изменение параметров сессии/конфигурации для ускорения запросов
🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД
🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – предоставляется БЕСПЛАТНО на время обучения + готовый e-commerce датасет TPC-H (миллион пользователей, несколько миллионов заказов на десятки гигабайт)
🗓 Старт курса: 22 января. 5 недель обучения.
Изучить программу и записаться можно здесь.
🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак. Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО.
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqvfphVC
⚡️ Vector search: Кидать историю чата в векторную БД - это не «память».
Это просто поиск по смыслу. RAG хорошо достаёт документы,
но не держит состояние пользователя.
Здесь может помочь Mem0 - open-source слой памяти между человеком и LLM.
Он учится на диалогах и сохраняет то, что важно.
Что даёт:
- 🧠 помнит предпочтения (не только факты)
- ✂️ сжимает историю — меньше токенов и быстрее ответы
- 🤝 делится знаниями между несколькими агентами
Если система не помнит опыт - это не агент, а поисковик.
Mem0 делает память - живой и адаптивной.
https://github.com/mem0ai/mem0
🖥 Продвинутый SQL-совет по оптимизации: делай запросы "питающимися индексом" (index-only scan) с правильным составным индексом.
Идея: не просто добавить индекс на один столбец, а так подобрать порядок полей, чтобы запрос вообще не ходил в таблицу, а читал всё из индекса. Это даёт огромный буст на "горячих" таблицах.
Допустим, у тебя часто есть такой запрос:
SELECT
id,
created_at,
total_amount
FROM orders
WHERE user_id = 123
AND status = 'paid'
ORDER BY created_at DESC
LIMIT 20;
CREATE INDEX idx_orders_user ON orders (user_id);
CREATE INDEX idx_orders_status ON orders (status);
CREATE INDEX idx_orders_created ON orders (created_at);
CREATE INDEX idx_orders_user_status_created_at
ON orders (user_id, status, created_at DESC)
INCLUDE (total_amount);
user_id, status - фильтруют строки
created_at DESC - сразу даёт нужный порядок для ORDER BY ... DESC
INCLUDE (total_amount) - позволяет взять сумму прямо из индекса
🛠️ Легкий TUI для работы с SQL базами данных
sqlit - это удобный инструмент для быстрого выполнения запросов к различным SQL базам данных, включая PostgreSQL, MySQL, SQLite и другие. Он предлагает интуитивно понятный интерфейс, позволяя легко управлять соединениями и историей запросов без необходимости в сложных настройках.
🚀Основные моменты:
- Поддержка множества баз данных без дополнительных адаптеров
- Удобный интерфейс для управления соединениями
- Встроенная история запросов с возможностью поиска
- Поддержка SSH туннелей для безопасного подключения
- Редактирование в стиле Vim для терминальных пользователей
📌 GitHub: https://github.com/Maxteabag/sqlit
#python
🖥 Гайд по продвинутому профессиональному использованию SQL
В этом руководстве мы рассмотрим ключевые аспекты работы с SQL на практике. Начнём с сравнения популярных СУБД, затем перейдём к продвинутым приёмам аналитического SQL, оптимизации запросов, администрированию баз данных, и закончится всё интеграцией SQL с Python (SQLAlchemy, pandas и т.д.).
Для каждого раздела приведены примеры на реальных сценариях (интернет-магазин, CRM, аналитика продаж), код и полезные советы.
👉 Читать гайд
🎉 PostgreSQL playground прямо в браузере через WASM!
Открыл для себя интересный проект: полностью работающий PostgreSQL в браузере с помощью WebAssembly!
Теперь можно запускать и экспериментировать с PostgreSQL прямо в браузере — без установки, настроек и локальных серверов. Отлично подходит для:
- обучения SQL
- быстрых прототипов
- демонстраций
- тестирования запросов
🚀 PostgreSQL everywhere — даже в браузере!
🔗 https://github.com/datawan-labs/pg/
🖥 XiYan-SQL - инструмент для интерактивной работы с SQL, основанный на LLM
XiYan-SQL - это open-source решение, позволяющее генерировать, анализировать и выполнять SQL-запросы с использованием больших языковых моделей. Инструмент ориентирован на ускорение исследования данных и автоматизацию рутинных операций, связанных с запросами к базе.
Ключевые возможности:
- Генерация SQL из естественного языка -пользователь формулирует задачу обычными словами, а система преобразует её в корректный SQL-запрос.
- Интерактивная работа с базой данных - запросы можно оперативно уточнять, редактировать и выполнять, получая быстрый цикл обратной связи.
- Поддержка нескольких СУБД - PostgreSQL, MySQL, SQLite и другие.
- 🛠️ Минимальная конфигурация - подходит для анализа данных, прототипирования и облегчения доступа к базе без сложной инфраструктуры.
Преимущества использования:
- Существенно снижает трудоёмкость написания сложных SQL-запросов.
- Упрощает работу аналитикам и разработчикам, которым важно быстро получать корректные результаты.
- Может выступать в роли интерактивного помощника для изучения структуры базы и построения отчётов.
🔗 Репозиторий: github.com/XGenerationLab/XiYan-SQL
@ai_machinelearning_big_data
#sql #llm #ai #opensource #database #datatools #postgresql
🖥 GophrQL - GraphQL toolkit for Go
Что это:
GophrQL — это простая и мощная библиотека на Go, которая помогает строить GraphQL API быстро и с минимальной болью. Она стремится быть легковесной, понятной и удобной для разработчиков, работающих с Go + GraphQL.
Основные фишки:
- Чистый Go-фэйс для описания схемы и резолверов
- Минимум магии и зависимостей
- Явная интеграция с Go-типами
- Хорошо подходит для микросервисов и сервисов с высокими требованиями к производительности
Почему это полезно:
Если вы пишете API на Go и хотите GraphQL без тяжеловесных фреймворков, GophrQL даёт:
✔️ строгую типизацию
✔️ контроль над схемой
✔️ простую и понятную структуру кода
✔️ меньше boilerplate-кода по сравнению с другими Go GraphQL решениями
Кому подойдёт:
- Go-разработчикам, которым нужен GraphQL API
- Командам, ищущим лёгкую альтернативу тяжёлым GraphQL-фреймворкам
- Проектам, где важна производительность и явное управление схемой
🔗 Репозиторий: github.com/maxpert/gophrql
⚙️ Context-async-sqlalchemy: простой способ подружить ASGI и async SQLAlchemy
Эта библиотека упрощает интеграцию асинхронного SQLAlchemy в любые ASGI-приложения.
Что она делает:
• управляет жизненным циклом engine и сессий
• даёт удобные утилиты для работы с БД
• ускоряет разработку — без лишней магии и ограничений
Идея простая: меньше шаблонного кода, больше внимания логике приложения.
https://github.com/krylosov-aa/context-async-sqlalchemy
Полезная шпаргалка по консольным командам Git 👍
В Git полно команд, и если ты часто их забываешь, эта шпаргалка специально для тебя. В репозитории можно быстро почитать об основных командах и концепциях, а затем одним вальяжным нажатием на Ctrl+C скопировать их.
Приятный бонус — всё написано на русском. Так что сохраняем!
#git #шпаргалка
📦 Распределенная база данных FoundationDB 🚀
FoundationDB — это распределенная база данных, оптимизированная для обработки больших объемов структурированных данных. Она использует упорядоченное хранилище ключ-значение и поддерживает ACID-транзакции, обеспечивая высокую производительность как для чтения, так и для записи.
🚀Основные моменты:
- Поддержка ACID-транзакций для надежности данных.
- Высокая производительность для рабочих нагрузок с частыми записями.
- Гибкая архитектура для масштабирования на кластерах серверов.
- API для взаимодействия на различных языках программирования.
📌 GitHub: https://github.com/apple/foundationdb
@sqlhub