36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
🐘 Tarantool — необычная платформа, сочетающая in-memory базу данных с полноценным сервером приложений на Lua. Проект имеет два движка хранения: in-memory с WAL и LSM-дерево, поддерживает ANSI SQL и асинхронную репликацию.
Инструмент имеет встроенный JIT-компилятор LuaJIT, позволяющий исполнять бизнес-логику прямо рядом с данными. При этом сохраняется совместимость с внешними СУБД вроде PostgreSQL через коннекторы. Проект полезен для высоконагруженных веб-сервисов, кэширующих слоёв и систем обработки очередей сообщений.
🤖 GitHub
@sqlhub
Разбираем тестовое задание в Яндекс на позицию Junior аналитика данных
Тестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике и получить оффер мечты.
Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет тестовое задание в Яндекс на позицию Junior аналитика данных.
⚡️На вебинаре вы:
🟠узнаете, какие навыки и знания необходимы для успешного выполнения заданий;
🟠поймёте, что хочет увидеть работодатель;
🟠получите советы и лайфхаки;
🟠вместе с Андроном разберете в прямом эфире реальный пример тестового 🔥
🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла;
🟠Найдем закономерности и отличия использования сервиса на мобильных устройствах и компьютерах;
🟠Разберем фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.
Вебинар: Как защитить ИТ-инфраструктуру от кибератак. Комплексный подход
📅 Дата: 19 августа 2025г
🕙 Время: 11:00
Можно ли на 100% защитить бизнес от киберугроз? Как минимизировать потери бизнеса, если атака уже произошла?
Две из трех российских компаний можно взломать менее чем за сутки, при этом наиболее уязвимы предприятия из сферы торговли, обрабатывающей промышленности, а также, как ни странно, информации и связи. Атаки способны нанести серьезный урон бизнесу вплоть до его закрытия. Неготовность компании, инфраструктуры и сотрудников к встрече с киберугрозами значительно упрощает работу хакеров.
Приглашаем руководителей и специалистов ИТ и ИБ подразделений поговорить о том, как подготовить ИТ-инфраструктуру компании и сотрудников к кибератакам.
📋 Программа:
⚡️ Самые актуальные киберугрозы сегодня и риски для бизнеса
⚡️ Организация защиты – чек-лист для руководителя
⚡️ Обеспечение устойчивости ИТ-инфраструктуры
⚡️ Бэкап данных и приложений: сценарии применения
ЗАРЕГИСТРИРОВАТЬСЯ
Приглашаем на ежегодный хакатон от The Experts: School of Analytics!
Зарегистрированные участники уже получили задание и приступили к работе — но у вас всё ещё есть шанс присоединиться и побороться за место в финале!
👉 Задание хакатона
Участникам хакатона предстоит проанализировать данные A/B-теста нового рекомендательного алгоритма в музыкальном стриминговом сервисе, рассчитать ключевые метрики, проверить гипотезу о его эффективности и подготовить рекомендации о внедрении.
Почему стоит участвовать?
- Преимущества при поступлении в School of Analytics
- Возможность попасть на годовую программу на трек Top Talents 2025/26 со скидкой до 94%
- Доступ к fast track на позиции в компаниях
- Скидки на экспресс-курсы и специальные условия на дополнительные программы
Если хотите проверить свои силы — регистрируйтесь по ссылке, времени осталось немного!
А если вам интересны количественные финансы, статистический анализ, машинное обучение и риск-менеджмент открыта регистрация на хакатон School of Quants. Все подробности и форма регистрации доступны по ссылке.
Летняя школа по аналитике, Data Science и Data Engineering
Центр непрерывного образования ФКН НИУ ВШЭ открывает регистрацию на летнюю школу «IT-сеанс: погружение в мир данных». Вас ждут выступления спикеров из таких компаний, как: Яндекс, Т-Банк, Ozon Tech, МТС Web Services, Альфа-Банк, X5 Tech, Magnit Tech, Авито и Вкусно — и точка.
Приглашаем всех, кто хочет разобраться:
〰️〰️〰️〰️〰️〰️
Зачем переходить в IT:
🟣Как данные меняют бизнес-процессы и какие роли в этом играют аналитики, дата-сайентисты и инженеры данных?
🟣Какие тренды в Al и Big Data формируют будущее технологий и компаний?
Как построить карьеру в аналитике, в Data Science и в Data Engineering:
🟣Какие навыки являются востребованными для каждого из трех карьерных путей и где их прокачать?
🟣Можно ли перейти в сферу данных с непрофильным образованием?
🟣На что смотрят HR и технические интервьюеры?
Как аналитика, Data Science и Data Engineering применяются в разных индустриях:
🟣Какие задачи решают аналитики, дата-сайентисты и инженеры данных в банковской, телеком- и ритейл-отраслях?
🟣Какие инструменты и технологии входят в рабочий стек специалистов в ритейле, банках и digital-сервисах?
Школа подойдет как тем, кто только решил освоить новую профессию, так и начинающим специалистам.
Когда: 21 августа в онлайн-формате, 23 августа — очно.
Где: Центр Культур НИУ ВШЭ, г. Москва, Покровский бульвар, 11.
📁Участие бесплатное для всех желающих, требуется регистрация: по ссылке 📍
Data Scientist — одна из самых перспективных профессий 2025 года, по данным Мирового экономического форума 📊
Освоить эту профессию можно на курсе Нетологии — с погружением в практику, сопровождением ментора, поддержкой профессионального комьюнити и экспертов из Яндекса, Сбера, VK и Amazon.
В результате обучения вы:
- изучите Apache Spark, pandas, PostgreSQL и другие инструменты для обработки больших данных;
- научитесь применять технологии машинного обучения для решения бизнес-задач;
- отработаете навыки на реальных проектах компаний-партнёров: «Северстали», «Гринатома», Neoflex.
Чтобы ещё больше расширить скиллсет, сможете пройти бонусные модули по английскому языку, рекомендательным системам, нейросетям и deep learning.
Сейчас на курс действует скидка 40% — записывайтесь
Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5wDk42d
🔥VK зовет всех поглитчевать и обсудить RecSys. 27 августа на встрече AI VK & Pro спецы обсудят реальные тренды и рекомендательные системы.
Нетворкингу быть
@sqlhub
🔮 CozoDB — графовая база данных с поддержкой Datalog-запросов, временными срезами и векторным поиском через HNSW-индексы.
Инструмент имеет встроенные алгоритмы для работы с графами и кроссплатформенность: работает как embedded-решение на Python, Node.js, Android и даже в браузере через WASM. Поддерживает SQLite, RocksDB и распределённое хранилище TiKV.
🤖 GitHub
@sqlhub
🗄️ Вышел первый стабильный релиз ветки MariaDB 12.0 — версия 12.0.2
MariaDB 12.0 относится к промежуточным (rolling) выпускам и пришла на смену ветке 11.8. Поддержка этой ветки продлится до выхода MariaDB 12.1.2.
Параллельно представлен релиз-кандидат MariaDB 12.1.1.
📌 Напомним:
MariaDB — форк MySQL, совместимый по API/CLI, но с дополнительными движками хранения и расширенными функциями. Развивается MariaDB Foundation с открытым процессом разработки.
MariaDB уже заменяет MySQL во многих Linux-дистрибутивах (RHEL, Fedora, Debian, Arch и др.) и используется в крупных проектах вроде Wikipedia и Google Cloud SQL.
✨ Главное в MariaDB 12.0:
- 🔐 Поддержка SSL-ключей с паролем (`ssl_passphrase` или ввод вручную при запуске).
- 👤 Команда SET SESSION AUTHORIZATION — выполнение под другим пользователем (аналог sudo в БД).
- 🗝️ Плагин file_key_management.so — поддержка SHA-2.
- 🔄 Weak cursor variables (`SYS_REFCURSOR`) для возврата курсора из процедур и функций + настройка max_open_cursors.
- 📅 TO_CHAR — режим FM (Fill Mode) без лишних пробелов.
- 🛠 mariadb-check / CHECK TABLE теперь работают с таблицами SEQUENCE.
- ⚡ Оптимизатор — поддержка MySQL-совместимых *hints*: QB_NAME, BKA, NO_BKA, MAX_EXECUTION_TIME и др.
- 🌍 GIS-функции: ST_Validate, ST_GeoHash, ST_IsValid и др.
- 🔔 Триггеры для нескольких событий в одном CREATE TRIGGER.
- 📝 Audit-плагин пишет в лог и сетевой порт подключения.
- 📂 mariadb — новая опция --script-dir для кастомного каталога скриптов.
- 🗑️ Удалены устаревшие переменные: big_tables, large_page_size, storage_engine.
https://github.com/MariaDB/server/releases/tag/mariadb-12.0.2
#MariaDB #Database #SQL #Opensource
@sqlhub
🔥SQL ТРЮК: Как выбрать первые N строк в каждой группе
Вот полезный трюк: используем функцию роз намбер с патришн бай чтобы нумеровать строки внутри каждой группы, а потом фильтруем по номеру.
Ты получишь первые два события для каждого пользователя. Можно легко адаптировать под «топ‑пять товаров в каждой категории.
Этот трюк работает в большинстве современных СУБД, поддерживающих оконные функци
sql
WITH ranked AS (
SELECT
user_id,
event_time,
event_type,
ROW_NUMBER() OVER (
PARTITION BY user_id
ORDER BY event_time ASC
) AS rn
FROM user_events
)
SELECT *
FROM ranked
WHERE rn <= 2;
🖥 SQL-задача с подвохом: почему COUNT(*) считает не так, как ты думаешь?
🧠 Условие:
У тебя есть две таблицы:
users
---------
id | name
---|-----
1 | Alice
2 | Bob
3 | Charlie
orders
----------
id | user_id | total
----|---------|-------
1 | 1 | 100
2 | 1 | 200
3 | 2 | 300
SELECT u.id, u.name, COUNT(o.id) AS order_count
FROM users u
JOIN orders o ON u.id = o.user_id
GROUP BY u.id, u.name;
1 | Alice | 2
2 | Bob | 1
А где Charlie? 😡
SELECT u.id, u.name, COUNT(o.id) AS order_count
FROM users u
LEFT JOIN orders o ON u.id = o.user_id
GROUP BY u.id, u.name;
1 | Alice | 2
2 | Bob | 1
3 | Charlie | 0
🧪 uQLM — движок для SQL‑запросов к LLM, разработанный в CVS Health
Что если к языковой модели можно обращаться как к обычной базе данных?
💡 uQLM (Universal Query Language for Models) позволяет писать SQL‑подобные запросы, чтобы:
✅ Обращаться к LLM как к таблице
✅ Фильтровать, агрегировать и комбинировать ответы
✅ Подключать собственные модели и источники данных
✅ Использовать привычный синтаксис SQL без prompt-инженерии
📌 Пример запроса:
SELECT generate_response(prompt)
FROM gpt4
WHERE prompt LIKE '%explain%'
LIMIT 5;
Продвинутый SQL-трюк: Как одним запросом вытащить только самую последнюю запись по каждой группе — и при этом сохранить все остальные поля
Если ты хочешь, например, получить последний заказ по каждому клиенту, но у тебя нет оконных функций или ты хочешь максимально производительный запрос — вот чистый, понятный способ.
-- Найдём последнюю покупку по каждому customer_id
SELECT o.*
FROM orders o
JOIN (
SELECT customer_id, MAX(order_date) AS max_date
FROM orders
GROUP BY customer_id
) latest
ON o.customer_id = latest.customer_id
AND o.order_date = latest.max_date;
-- Работает даже если в таблице десятки миллионов строк, индекс на order_date и customer_id ускорит запрос
📊 GridDB — гибридная СУБД для IoT с поддержкой SQL и NoSQL. Этот проект предлагает необычное сочетание: ключ-значение хранилище с возможностью SQL-запросов, что делает его удобным для промышленного IoT.
Инструмент имеет встроенную поддержка временных рядов и распределённую архитектуру, оптимизированную под высокую нагрузку сенсорных данных. Система работает на Linux и предоставляет клиентские библиотеки для Java, Python, Go и других языков. Установка возможна через RPM/DEB-пакеты или сборку из исходников. Для управления есть CLI и WebAPI.
🤖 GitHub
@sqlhub
⚡️ Почему лучшие разработчики всегда на шаг впереди?
Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.
ИИ: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Devops: t.me/DevOPSitsec
Базы данных: t.me/sqlhub
Мл собес t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
МЛ: t.me/machinelearning_ru
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Физика: t.me/fizmat
SQL: t.me/databases_tg
Базы данных: t.me/sql_lib
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🖥 Chatgpt для кода в тг: @Chatgpturbobot -
📕Ит-книги: /channel/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi
Подпишись, чтобы всегда знать, куда двигаться дальше!
💡 Полезный хинт для Oracle SQL — использование TRUNC с датами для фильтрации и агрегации
В Oracle функция `TRUNC(date, 'fmt')` обрезает дату до заданного формата, обнуляя менее значимые части (часы, минуты, секунды и т.д.). Это помогает:
- фильтровать данные по дням, месяцам, годам, неделям, кварталам,
- делать группировки без сложных выражений,
- избавляться от ошибок, когда время мешает сравнению дат.
📌 Форматы:
- 'DD' — начало дня (по умолчанию)
- 'MM' — первый день месяца
- 'YYYY' — первый день года
- 'IW' — начало ISO-недели
- 'Q' — первый день квартала
📍 Примеры:
- Все сделки за сегодня
select *
from trades
where trunc(ts) = trunc(sysdate);
select trunc(ts, 'MM') as month_start, sum(price) as total
from trades
group by trunc(ts, 'MM')
order by month_start;
-- Данные за текущий квартал
select *
from trades
where trunc(ts, 'Q') = trunc(sysdate, 'Q');
🧩 Продвинутая задача по SQL (Oracle): найти «бычьи серии» продаж и момент разворота
Задача
Есть таблица продаж по дням:
sales(day_date DATE, customer_id NUMBER, amount NUMBER)
Нужно для каждого клиента найти интервалы из не меньше 3 подряд идущих дней, где сумма amount строго возрастает каждый день, а на следующий день после интервала происходит разворот вниз (т.е. amount меньше, чем в последний день серии). Для каждого такого интервала вернуть:
- customer_id
- start_date, end_date серии
- length (длина серии в днях)
- last_amount (сумма в последний день серии)
- drop_amount (сумма в день разворота)
- drop_pct (процент падения относительно last_amount)
Решение (Oracle 12c+): используем MATCH_RECOGNIZE
SELECT *
FROM sales
MATCH_RECOGNIZE (
PARTITION BY customer_id
ORDER BY day_date
MEASURES
FIRST(day_date) AS start_date,
LAST(day_date) AS end_date,
COUNT(A.*) AS length,
LAST(amount) AS last_amount,
NEXT(amount) AS drop_amount,
ROUND( (LAST(amount) - NEXT(amount)) / NULLIF(LAST(amount),0) * 100, 2 ) AS drop_pct
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,} D)
DEFINE
A AS ( PREV(amount) IS NULL OR amount > PREV(amount) ),
D AS amount < PREV(amount)
);
DEFINE
A AS ( (PREV(amount) IS NULL OR amount > PREV(amount))
AND (PREV(day_date) IS NULL OR day_date = PREV(day_date) + 1) ),
D AS ( amount < PREV(amount) AND day_date = PREV(day_date) + 1 )
🔌 pREST (PostgreSQL REST) — проект, предлагающий готовое решение для создания RESTful API поверх PostgreSQL. Этот инструмент написан на Go и позволяет быстро развернуть высокопроизводительный API-сервер без сложной настройки. Поддержка начинается с PostgreSQL 9.5, что делает его совместимым с большинством существующих баз данных.
Проект особенно удобен для разработчиков, которым нужно быстро создать API с минимальными затратами. Он поддерживает SQL-запросы через REST-эндпоинты, аутентификацию и кастомные маршруты. Развернуть pREST можно даже в один клик, например, на Heroku.
🤖 GitHub
@sqlhub
🚀 RisingLight — образовательная OLAP-база данных. Этот проект разрабатывается как учебная реализация OLAP-системы с поддержкой SQL-запросов, включая выполнение TPC-H тестов.
Для тех, кто хочет заглянуть под капот аналитических баз данных, RisingLight предлагает отличную возможность изучить их устройство на практике. Хотя проект пока не готов для production, он уже даёт представление о ключевых компонентах СУБД: от парсера запросов до исполнителя. Сообщество активно развивается: есть Discord, Telegram и даже WeChat-чат для обсуждения. Авторы приветствуют вклад новичков и предлагают список "good first issues" для первых PR.
🤖 GitHub
@sqlhub
⚡️ Open-source инструмент для просмотра CSV, JSON, Excel и других таблиц прямо в терминале — без потери форматирования, аккуратно и читабельно.
🔥 Что умеет:
— Встроенный SQL-движок: фильтры, джойны и анализ прямо в терминале;
— Vim-подобные хоткеи (для фанатов, да 😁);
— Быстрый поиск, работа с несколькими таблицами, поддержка тем (Monokai, Nord и др.).
https://github.com/shshemi/tabiew
☕ Starbucks Korea ввела жёсткий запрет на «офис в кофейне»
Теперь по всей стране нельзя приносить в залы стационарные компьютеры, принтеры, сетевые фильтры и сооружать перегородки.
Причина — вирусное фото, на котором посетитель развернул полноценный офисный сетап, ушёл на три часа и оставил всё без присмотра.
Ранее отдельные точки пытались ограничивать время за столом, отключать розетки и мягко намекать клиентам, что пора уходить. Теперь это закреплено официальным национальным правилом.
📌 Подробнее
@sqlhub
🚀 sebastien/multiplex — Command‑Line Process Multiplexer
Что это: простой CLI и Python API для запуска нескольких процессов параллельно, с гибким управлением зависимостями, задержками и завершением.
Фичи:
- Параллельный или последовательный запуск процессов
- Задержки: +2s, +500ms
- Зависимости: :A, :A&
- Именование процессов и цветной вывод
- Управление через Python API
🔧 Примеры:
- Запуск двух серверов:
multiplex "python -m http.server -p 8000" "python -m http.server -p 8001"
multiplex "SERVER=python -m http.server" "+2s=ab -n1000 http://localhost:8000/"
DB → API → тесты:
multiplex "DB=mongod" "API:DB&+2=node server.js" ":API&|end=npm test"
pip install multiplex-sh multiplex.py напрямую с GitHub
E-CUP возвращается. Реальные данные. Масштабные проекты. Большие призы
E-CUP 2025 — соревнование, где Everything as code. Решай ML-задачи в стиле Ozon Tech. Призовой фонд — 7 200 000 рублей 🔥
🗓 Регистрация: https://cnrlink.com/ecup25dshub
💻 Формат участия: онлайн
👥 Команда: от 1 до 5 человек
🎯 Для кого: Data Scientists, ML-специалисты, аналитики данных, дата-инженеры, специалисты Big Data и разработчики, которые интересуются ML/DS.
Что вас ждёт:
🔹 Работа над проектом для миллионов пользователей на основе данных от ведущего e-com в России.
🔹 Призовой фонд — 7 200 000 рублей для девяти сильнейших команд.
🔹 Обмен опытом с экспертами Ozon Tech.
🔹 Эксклюзивный мерч и подарки.
🔹 Питчинг — онлайн или очно на конференции E-CODE. Финалистам Ozon Tech предоставит билеты и оплатит поездку.
Регистрация открыта до 17 августа включительно
📊 Mathesar — необычный веб-интерфейс для PostgreSQL, который превращает работу с базами данных в процесс, напоминающий таблицы Excel. Проект разработан некоммерческой организацией и позволяет даже не-техническим специалистам редактировать данные, строить запросы через визуальный конструктор и управлять правами доступа через стандартные роли Postgres.
Вместо создания промежуточного слоя Mathesar работает напрямую с вашей БД, сохраняя все возможности PostgreSQL — от внешних ключей до сложных ограничений. Можно подключить как новую, так и существующую базу данных, а развертывание через Docker занимает минуты.
🤖 GitHub
@sqlhub
🖥 MongoDB выпускает MCP Server — теперь любой может стать дата-инженером
MongoDB представили открытый MCP сервер, который позволяет AI-инструментам вроде Claude, Cursor и GitHub Copilot напрямую общаться с вашей MongoDB-базой.
Теперь даже без знаний запросов можно просто написать:
• «Покажи самых активных пользователей»
• «Создай нового пользователя с правами только на чтение»
• «Как устроена коллекция orders?»
⚙️ MCP Server поддерживает:
• MongoDB Atlas
• Community Edition
• Enterprise Advanced
📌 Главное — не нужен SQL, не нужно знать синтаксис. Достаточно обычного языка.
💡 Под капотом: AI превращает ваши фразы в рабочие Mongo-запросы.
Открытый исходный код. Готово к продакшену.
📌 GitHub
#MongoDB #AItools #OpenSource #MCP
@sqlhub
120 ключевых вопросов по SQL за 2025 год
Статья содержит 120 ключевых вопросов по SQL для собеседований, разделённых по темам и уровням сложности, с краткими пояснениями.
Основываясь на актуальных требованиях 2025 года, вопросы охватывают базу данных, оптимизацию, практические задачи и нюансы СУБД (MySQL, PostgreSQL, SQL Server).
🔜 Подробности
🔥 DbCls — мощный интерактивный клиент баз данных, который объединяет SQL-редактор с продвинутой визуализацией данных.
Поддерживает MySQL, PostgreSQL, ClickHouse и SQLite. Встроенный редактор с подсветкой синтаксиса, автодополнением и горячими клавишами для мгновенного выполнения запросов.
Результаты отображаются в интерактивных таблицах с возможностью форматирования и анализа. Идеальное решение для разработчиков и аналитиков данных, которым нужен быстрый и удобный доступ к базам данных
⚡️ Github
@sqlhub
💡 Полезный SQL-трюк: как получить первую строку в каждой группе — без подзапросов и оконных функций (если они недоступны)
Иногда нужно из каждой группы выбрать одну запись, например, самую раннюю по дате. Если у вас нет оконных функций (например, в старом MySQL), используйте трюк с GROUP BY и JOIN:
SELECT t1.*
FROM orders t1
JOIN (
SELECT customer_id, MIN(order_date) AS min_date
FROM orders
GROUP BY customer_id
) t2 ON t1.customer_id = t2.customer_id AND t1.order_date = t2.min_date;
⚡️ Replibyte — реалистичные данные для разработки без рисков. Инструмент для безопасного копирования продакшен-данных в тестовые окружения. Поддерживает PostgreSQL, MySQL и MongoDB, автоматически заменяя конфиденциальную информацию на правдоподобные фейковые значения.
Инструмент умеет работать с большими БД (10+ ГБ), сжимать и шифровать данные на лету, а также масштабировать данные до разумного размера. Всё в одном бинарном файле без серверных компонентов.
🤖 GitHub
@sqlhub
🦆 DuckDB vs 🐼 pandas: кто быстрее разберётся с «капризным» CSV?
📊 Сценарий
1. pandas read_csv("flight_data.csv") → весь файл свалился в одну колонку
2. DuckDB SELECT * FROM read_csv('flight_data.csv') → автоматически подхватил разделитель и выдал аккуратные столбцы
💡 Вывод
Если работаете с CSV с нестандартным delimiter’ом, попробуйте прочитать его через DuckDB: детектирует разделители сам и экономит ваше время на ручной настройке.
@sqlhub