Data Science. SQL hub

14 March 2025 13:30

Как изменился рынок аналитики за 2024 год?

Агентство NEWHR опубликовало новое исследование, опросив 1293 аналитиков разных уровней — от Junior-специалистов до руководителей. Главные тейки:

🟠Авито стал лучшим работодателем для аналитиков — его выбрали более 35% опрошенных.
🟠Хотя бы один раз за последние 2 года место работы меняли 60% респондентов.
🟠На текущем месте работы аналитиков чаще всего удерживают интересные задачи (52,6), хорошая зарплата (51,5%) и перспективы профессионального роста (49,4%).
🟠51,5% респондентов работают на удаленке.
🟠Более 70% в 2024 году стали получать больше.

@sqlhub

Data Science. SQL hub

12 March 2025 15:03

🖥 Pumpfun-Smart-Contract-SOL — это реализация смарт-контракта для блокчейна Solana, размещённая на GitHub.

Он может быть полезен разработчикам по следующим направлениям:

⚫ Обучение и практика: Проект демонстрирует, как писать, тестировать и разворачивать смарт-контракты в экосистеме Solana.
⚫ Пример архитектуры: Разработчики могут изучить структуру кода, способы взаимодействия с блокчейном и методы обеспечения безопасности смарт-контрактов.
⚫ Инструменты и библиотеки: В репозитории могут быть использованы современные инструменты разработки, что помогает быстрее освоить лучшие практики создания децентрализованных приложений.
⚫ Расширяемость: Исходный код можно адаптировать под конкретные задачи, что делает его отличным шаблоном для создания собственных проектов на Solana.

📌 GitHub

@sqlhub

Data Science. SQL hub

12 March 2025 11:04

🖥 ingestr — инструмент командной строки, предназначенный для копирования данных между различными базами данных с помощью одной команды!

🌟 Он поддерживает множество источников и пунктов назначения, включая Postgres, BigQuery, Snowflake, Redshift, Databricks, DuckDB, Microsoft SQL Server и другие. ingestr позволяет выполнять как полное обновление данных, так и инкрементальную загрузку с использованием стратегий append, merge или delete+insert. Установка инструмента осуществляется через пакетный менеджер pip, а использование не требует написания кода — достаточно указать необходимые параметры в командной строке.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

11 March 2025 08:05

Как работает автоматическое переключение на резервный сервер в случае сбоя основного? 

Разберем концепцию высокой доступности баз данных и автоматического failover на практике

Приглашаем на открытый практический урок «Отказоустойчивый кластер Patroni» в рамках курса PostgreSQL для администраторов баз данных и разработчиков

✅ Практика: настройка кластер Patroni, включая конфигурацию DCS, настройку PostgreSQL и HAProxy. 

Освойте основные команды Patroni для управления кластером, такие как переключение ролей, перезагрузка, реинициализация и настройка синхронной репликации. 

Навыки полученные на уроке позволят создать отказоустойчивые решения для своих баз данных и эффективно администрировать отказоустойчивые кластеры PostgreSQL.

👉  Регистрация и подробности: 
https://otus.pw/v5QN/?erid=2W5zFJ4NUvU

#реклама
О рекламодателе

Data Science. SQL hub

10 March 2025 09:04

⚡️Как эффективно мигрировать данные в ClickHouse: Денормализация и оптимизация

11 марта в 20:00 мск — присоединяйтесь к вебинару с Константином Трофимовым и узнайте, как ускорить аналитику с помощью правильной миграции данных! 

На вебинаре вы:
> Изучите методы импорта данных из других систем в ClickHouse.
> Научитесь денормализовать данные для ускорения запросов.
> Узнаете, как обогатить данные с помощью словарей и других функций ClickHouse.

🔥После вебинара вы будете уверенно работать с миграцией данных в ClickHouse, улучшать производительность и избегать распространенных ошибок при переходе на новую систему.

Запишитесь на вебинар и улучшите свои навыки уже сегодня!

👉 Регистрация: https://otus.pw/glzWi/?erid=2W5zFJJ3rKA

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Data Science. SQL hub

06 March 2025 11:02

🖥 Полезнейший сборник из 800+ вопросов по SQL, которые часто задают на собеседованиях.

Он также включает задачи для самостоятельной работы и множество примеров.

Сборник отлично подходит для тех, кто хочет прокачать свои навыки работы с SQL, освежить знания и проверить свои знания.

▪ GitHub

@sqlhub

Data Science. SQL hub

04 March 2025 16:40

Хотите научиться автоматизировать процессы обработки данных как в Бигтехе?

Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow.

Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных.

Что мы будем делать на вебинаре:
🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность;
🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных;
🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике;
🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов.

🕗Встречаемся 4 марта в 19:30 по мск

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

04 March 2025 13:03

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах!

🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность.

🖥 Github

@sqlhub

Data Science. SQL hub

03 March 2025 11:03

🔥 Smallpond — это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS!

🌟 Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

28 February 2025 14:40

🔥 MetaGPT — это фреймворк, который преобразует простое текстовое описание задачи в полный пакет проектной документации и кода!

🌟 Он моделирует работу IT-компании, назначая различные роли, такие как менеджер продукта, менеджер проекта, инженер и другие, каждому из которых соответствует агент на основе большой языковой модели. Эти агенты взаимодействуют друг с другом, следуя стандартизированным операционным процедурам (SOP), что позволяет эффективно разрабатывать сложные программные продукты.

🔐 Лицензия: MIT

🖥 Github

Data Science. SQL hub

28 February 2025 03:02

🖥 ​SuperMassive — это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти! Она предназначена для обработки больших объемов критически важных данных с низкой задержкой.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@sqlhub

Data Science. SQL hub

26 February 2025 09:03

❓ Как построить конвейер ETL (Extract, Transform and Load) из SQL Server в Postgres?

💡 Узнайте, как создать конвейер ETL с PySpark для извлечения данных из SQL Server, их преобразования и загрузки в базу данных Postgres. Используйте распределенную мощь Spark для бесперебойной обработки больших наборов данных!

🕞 Продолжительность: 8:32

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

24 February 2025 16:06

Как стать аналитиком и не сдаться на пути

Я часто вижу сообщения от тех, кто только планирует войти в мир аналитики или делает первые шаги. Звучат они они примерно так:
😶 Я гуманитарий, и мне кажется, аналитика — это не для меня…
😶 Смотрю на программу обучения, и всё кажется таким сложным, боюсь, что ничего не пойму.
😶 Мне уже за 30, смогу ли я переучиться и, главное, найти работу после этого?
😶 Не знаю, с чего начать: SQL, Python, метрики?
😶 Столкнулся со сложной темой, потерял мотивацию и веру в свои силы 🙁

Все эти сообщения объединяет одно — растерянность и сомнения в своих силах. Знакомо?

О том, как отправляться в путь к новой профессии поговорим на вебинаре
25 февраля в 19:00 по мск на тему «Как стать аналитиком и не сдаться на пути».

Спикер — Владимир Камчаткин, тимлид продуктовой аналитики образовательной платформы Т-Банка, более 3 лет работы в образовании, автор тг-канала Data New Gold

На вебинаре обсудим:
🟠Какие сложности возникали у Владимира и как он их преодолевал;
🟠Как ставить цели, планировать обучение и выбирать качественные ресурсы;
🟠Как совмещать обучение с работой;
🟠Применение нейронауки и психологии для повышения эффективности запоминания;
🟠Ответы на вопросы участников вебинара.

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

24 February 2025 13:02

Бесплатный вебинар по аналитике данных от karpov courses.

Данные — универсальная валюта 21 века. А их анализ необходим для принятия обоснованных и эффективных решений. Поэтому спрос на специалистов, умеющих работать с данными стабильно растёт, как и их зарплаты — компании готовы платить компетентным специалистам.

Если вы стремитесь не просто работать с данными, а понимать их суть, то обязательно посетите бесплатный вебинар от karpov courses — «Аналитик данных: все, что нужно знать для старта в профессии».

Получить эти навыки вы можете на бесплатном практическом вебинаре от karpov courses.
Там вам расскажут про Python, SQL, статистику, метрики, Airflow, BI, кто такие аналитики и как вы сталкиваетесь с результатами их работы каждый день, а также найдете ответ на вопрос “а зачем вообще любой компании нужен аналитик”?

Вебинар пройдет 27 февраля в 19:00 по мск, зарегистрироваться можно по ссылке: https://clc.to/erid_2W5zFHLk76Y
Регистрируйтесь и перестаньте бояться быстрорастущего мира IT!

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627

Data Science. SQL hub

23 February 2025 12:03

🖥 Outerbase Studio — это браузерный графический интерфейс для управления SQL-базами данных, разработанный для простоты и универсальности! Изначально созданный для LibSQL и SQLite, он теперь поддерживает широкий спектр баз данных, включая PostgreSQL и MySQL.

Основные возможности:

🌟 Редактор запросов: удобный интерфейс с автодополнением и подсказками функций, позволяющий выполнять несколько запросов одновременно и эффективно просматривать результаты.

🌟 Редактор данных: позволяет вносить изменения в данные с возможностью предварительного просмотра перед сохранением; оптимизирован для работы с большими объемами данных.

🌟 Редактор схемы: обеспечивает быстрое создание, изменение и удаление столбцов таблиц без необходимости писать SQL-код.

🌟 Менеджер подключений: гибко управляет подключениями, позволяя сохранять их локально в браузере или на сервере для совместного использования на разных устройствах.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

13 March 2025 10:02

⚡️ R1-Omni — это исследовательский проект, направленный на создание объяснимой омни-мультимодальной системы распознавания эмоций с использованием обучения с подкреплением с верифицируемой наградой (RLVR).

Основные особенности:

⚫ Объяснимость и мультимодальность: Проект объединяет визуальные, аудио и текстовые данные для распознавания эмоций, что позволяет глубже анализировать эмоциональные состояния.
⚫ RLVR: Применение обучения с подкреплением с верифицируемой наградой значительно улучшает способность модели к рассуждению и пониманию влияния разных модальностей.
⚫ Улучшенная обобщаемость: Модель демонстрирует высокие результаты не только на обучающих данных, но и в условиях, когда данные отличаются от тех, на которых модель обучалась (out-of-distribution).
⚫ Инновационный подход: Это первая в отрасли система, использующая RLVR для омни-мультимодального анализа, что открывает новые возможности в области эмоционального распознавания.

Польза для разработчиков:

⚫ Исследования и разработки: Проект предоставляет открытый код, подробные инструкции и примеры, что делает его ценным ресурсом для экспериментов и дальнейших исследований в области мультимодальных ИИ-систем.
⚫ Практическое применение: Возможность интеграции системы в приложения для мониторинга эмоций, интеллектуальных ассистентов и других сервисов, где важна эмоциональная оценка.
⚫ Обучение и вдохновение: R1-Omni демонстрирует современные методы работы с данными из разных источников, что может стать основой для создания новых решений в области обработки естественного языка, компьютерного зрения и аудиоанализа.

Таким образом, R1-Omni интересен разработчикам и исследователям, стремящимся создавать интеллектуальные системы с глубоким пониманием эмоций и мультиканальными данными.

📌 GitHub

@sqlhub

Data Science. SQL hub

12 March 2025 13:31

Хотите получить много практики на рельных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?

CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где в течение 3 недель вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе

На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)

Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива

❗️Знать Python и SQL не обязательно — все будем разбирать с нуля

🕗Встречаемся на новом эфире уже завтра, 13 марта в 19:00 по мск

Участвовать в бесплатном интенсиве

Data Science. SQL hub

11 March 2025 09:03

🖥 Простыми словами: Как хранятся пароли в базах данных

В современном мире защиты данных крайне важно, чтобы пароли не хранились в виде обычного текста. Вместо этого используются их «закодированные отпечатки» – хеши, полученные в результате специального процесса хеширования. Это гарантирует, что даже при компрометации базы данных злоумышленник не сможет восстановить исходный пароль.

📌 Как это работает:
  • При регистрации пароль проходит хеширование с применением современных алгоритмов (например, bcrypt, scrypt или Argon2), часто с добавлением уникальной соли для каждого пользователя.
  • При авторизации введённый пароль снова хешируется, и полученный хеш сравнивается с тем, что хранится в базе. Совпадение означает, что введённый пароль верный.

📌 Почему так делают:
  • Безопасность: Даже если база будет взломана, злоумышленник увидит лишь набор случайных символов, из которых восстановить оригинальный пароль практически невозможно.
  • Секретность: Администраторы системы не имеют доступа к исходным паролям – хеши необратимы.
  • Надёжность: Использование соли и, при необходимости, перца, значительно усложняет атаки с помощью радужных таблиц и повышает общую стойкость системы.

В итоге, пароли в базах данных – это не сами пароли, а их «отпечатки», которые можно сравнивать, но никак не восстановить. Этот подход напоминает замок, который открывается лишь при наличии правильного ключа, при этом сам ключ нигде не хранится.

#базыданных #безопасность #хеширование #пароли

@sqlhub

Data Science. SQL hub

10 March 2025 10:04

🖥 Эта статья посвящена инструменту pg-index-health, созданному для статического анализа индексов PostgreSQL баз данных!

🌟 Автор описывает эволюцию инструмента, который помогает находить проблемы в структуре базы данных, такие как дублирующиеся или избыточные индексы, неиспользуемые индексы, а также потенциальные ошибки проектирования.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

08 March 2025 12:37

SQL реально спасает жизни 😂

@sqlhub

Data Science. SQL hub

04 March 2025 19:02

Defog Introspect

Defog Introspect позиционируется как сервис для глубокого исследования ваших данных. Он позволяет:

- Анализировать структурированные данные: Поддерживаются популярные СУБД (PostgreSQL, MySQL, SQLite, BigQuery, Redshift, Snowflake, Databricks) и файлы форматов CSV/Excel.
- Работать с неструктурированными данными: Интеграция PDF-документов, что позволяет получать дополнительные сведения из документации или отчетов.
- Выполнять поиск в интернете: Инструмент способен обращаться к веб-источникам для получения дополнительного контекста, что расширяет возможности анализа данных.
Источник:

Как это работает?
Инструмент использует "умного" AI-агента, который может:

- Преобразовывать текстовые запросы в SQL-запросы (инструмент text_to_sql), что упрощает работу с базами данных.
- Использовать веб-поиск (инструмент web_search) для поиска дополнительной информации и контекста.
- Анализировать PDF-файлы (инструмент pdf_with_citations) с возможностью цитирования источников.
Для реализации этих функций используются передовые модели, такие как:

o3-mini для преобразования текста в SQL.
gemini-2.0-flash для веб-поиска.
claude-3-7-sonnet для работы с PDF и общей оркестрации запросов.
Источник:

https://github.com/defog-ai/introspect

@sqlhub

Data Science. SQL hub

04 March 2025 13:03

🔥 Meta Learning: Deep Learning Guide — практическое руководство по освоению машинного и глубокого обучения!

🌟 Автор делится своим опытом, начиная с изучения программирования в 29 лет и достигая успехов в соревнованиях Kaggle. Основные темы включают эффективные стратегии обучения, улучшение навыков разработки, выбор инструментов, работу с сообществом, поиск наставников и построение карьеры без формального образования.

🔗 Ссылка: *клик*

#machinelearning #deeplearning

Data Science. SQL hub

04 March 2025 11:03

AI меняет мир, а вы остаетесь в стороне?

На Data Fusion 2025 есть все, что нужно знать об AI сегодня и завтра. 5-я международная конференция в сфере искусственного интеллекта и больших данных состоится уже 16-17 апреля в Москве!

Вас ждут:
🔥 Острые дискуссии: сможет ли AI заменить человека? Где грань между ошибкой ИИ и прорывом?
🔍 70+ сессий: тренды и передовые исследования в области больших данных и технологий AI
💡Классный нетворкинг: живое неформальное общение с бизнес-лидерами, учеными, представителями государства.

Расписание, спикеры и темы — уже на сайте.

Регистрируйтесь бесплатно по ссылке — https://data-fusion.ru
📍 Москва, технопарк «Ломоносов»

Мы заботимся о вашей безопасности и просим заполнить развернутую форму — это займет всего пару минут. Спасибо за понимание! 🙌

—
*AI — искусственный интеллект
*нетворкинг — полезные связи

Data Science. SQL hub

01 March 2025 11:00

🖥 ​SQL Noir — это интерактивная игра с открытым исходным кодом, в которой вы выступаете в роли детектива, решающего преступления с помощью SQL-запросов!

🌟 Каждое дело представляет уникальный сценарий преступления и базу данных с уликами, где ваша задача — выявлять подозрительные закономерности, отслеживать отсутствующие записи, связывать подозреваемых и раскрывать мошеннические операции, используя SQL.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

28 February 2025 12:31

Разработчикам стала доступна российская облачная среда для разработки — GigaIDE Cloud со встроенным AI-ассистентом

GigaIDE Cloud позволяет разработчику начать работу над проектом всего за несколько секунд без необходимости настройки рабочего окружения и с привычных устройств.

Облачная среда обеспечивает редактирование, отладку, проверку и совместную работу с кодом, а также постоянный и безопасный доступ к предварительно настроенным рабочим пространствам.

В GigaIDE Cloud интегрирован AI-ассистент разработчика GigaCode. Он автоматизирует рутинные процессы, дает советы и подсказки в реальном времени — пользуйтесь автодополнением кода, оптимизируйте код и исправляйте ошибки с поддержкой AI

Начать пользоваться GigaIDE Cloud — по ссылке

Data Science. SQL hub

26 February 2025 12:14

🐼 Pandas умирает медленной и мучительной смертью.

Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.

Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.

Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.

Я уже давно работаю с FireDucks 🦆

Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.

Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :

import fireducks.pandas as pd

python 
$ python -mfireducks.imhook yourfile[.]py

Data Science. SQL hub

24 February 2025 18:02

🖥 Шпаргалка по последовательности выполнения SQL запроса!

@sqlhub

Data Science. SQL hub

24 February 2025 13:25

🔥 ERD Lab — это бесплатный онлайн-инструмент, предназначенный для профессионального проектирования и визуализации баз данных с использованием диаграмм "сущность-связь" (ERD)! Он позволяет импортировать существующие SQL-скрипты или создавать новые базы данных без необходимости писать код, что упрощает процесс разработки и документирования структур данных.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

23 February 2025 16:47

Классный сайт для тренировки навыков SQL.

На сайте размещены задачи, которые решаются через базу данных больницы.

Уровни сложности разные — от простых запросов с SELECT до по-настоящему сложных.
Берём на вооружение для практики!

https://www.sql-practice.com/

@sqlhub

Data Science. SQL hub

21 February 2025 10:01

⚡️ RushDB — это мгновенная база данных, построенная на базе Neo4j, не требующая моделирования, конфигураций, нормализаций данных и идеально подходит для разработки приложений, DS/ML Ops и быстрого прототипирования.

🌟 Принимает любые данные формате JSON, JSONB и CSV, и самостоятельно нормализует данные, создавая связи между данными, расставляет типы данных и лэйблы на основе передаваемых данных.

☁️ Доступна в облаке и селф-хостед.
🛠 API-first и удобные SDK для разработчиков: Python и TypeScript
🚀 Отлично подходит для стартапов, AI-команд и всех, кто работает с графами

🔐 Лицензия: Apache-2.0

🟢 GitHub
🟢Website
📖Docs