30088
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
PondPilot: как мы сделали локальный SQL-редактор в браузере на DuckDB и WASM
Любой, кто хоть раз пытался «по-быстрому» проанализировать CSV-файл или прототип БД, сталкивался с выбором из неудобств: открывать в Excel, запускать Jupyter, возиться с pandas, или поднимать Postgres/ClickHouse ради пары запросов. Автору показалось странным, что до сих пор нет удобной zero-setup SQL-песочницы для локальных данных.
Базы данных
NoSQL простым языком: что это и зачем нужно?
NoSQL — тип баз данных, которые хранят данные в отличном от реляционных таблиц формате. Они узкоспециализированны для конкретных задач и нужны для улучшения производительности, масштабируемости и удобства в работе. В этом ролике автор подробно и наглядно разберёт данный тип БД.
Смотреть это видео на youtube: youtu.be/IBzTDkYNB7I
После ухода зарубежных вендоров рынок СУБД в России стал меняться быстро и по всем фронтам. В интервью «Коду» Леонид Савченков из Yandex Cloud рассказывает, как в компании выстраивают платформу данных под эти реалии.
Ключевые фокусы — стабильность, масштабируемость и опора на open source. После закрытия Greenplum Яндекс поддерживает его последнюю открытую версию (v6) и параллельно развивает Cloudberry — активный форк в составе Apache Software Foundation.
Яндекс активно коммитит в Postgres и Clickhouse. Первым внедрил кворумную репликацию — ту самую, которую позже адаптировали AWS и Azure. Сейчас в разработке облачный сервис для шардированных инстансов Postgres.
На замену Greenplum приходит Cloudberry: проект развивается под крылом Apache, и Яндекс активно его коммитит.
Из свежего — BI-платформа DataLens получила редактор для визуализаций на JS и публичную галерею дашбордов. А YTsaurus теперь доступен как управляемый сервис — для тех, кто работает с эксабайтами.
Как оптимизировать PostgreSQL и не лишиться сна
В работе автор часто сталкивается с вопросами производительности PostgreSQL, поэтому собрал практические советы для разработчиков, инженеров и архитекторов облачной инфраструктуры. В статье вы рассмотрите, как правильно использовать индексы, анализировать планы выполнения запросов и избегать типичных ошибок при проектировании схемы.
Базы данных
СУБД ClickHouse: настоящее и будущее
В этом видео автор поделится основными принципами и целями развития ClickHouse, отличительными чертами и преимуществами системы, которые планируют развивать. Также автор рассмотрит недостатки и неудобства системы.
Помимо этого вы познакомитесь с некоторыми новыми возможностями ClickHouse, которые раньше сложно было даже представить.
Смотреть это видео на youtube: youtu.be/qeZOT8B8QiA
🤸🏻Вкатились в работу с данными и Data-инжиниринг. А что дальше?
- Управление знаниями: персональная Data-инженерная вики.
- Где и как рисовать диаграммы и схемы?
- Чат-боты и ChatOps: персональный помощник Data-инженера.
- Какие софт скиллы нужны Data-инженеру?
- Нужны ли Data-инженеру пет-проекты и участие в хакатонах?
- Как влиться в DE-комьюнити?
🌝Отвечаем на эти вопросы в видеоуроке от
Data Platform Lead и Data-разработчика.
Смотрите урок, чтобы упорядочить знания в голове и в данных проекта👉🏻 видеоурок
Соединение SortMergeJoin в Apache Spark
Рассмотрим, как реализован SortMergeJoin в Apache Spark, и заодно заглянем в исходный код на GitHub. Spark написан на языке Scala, и вся логика работы оператора доступна в открытом репозитории проекта.
Базы данных
Функции SQL для даты и времени
В этом видеоуроке автор подробно разбирает функции SQL, необходимые для работы с датой и временем.
00:00 Вступление
00:27 Получение системной даты и времени (SYSDATE)
01:05 Преобразовать строку в дату (TO_DATE)
01:59 Получить последний день месяца (LAST_DAY)
02:28 Добавить N-ое количество месяцев (ADD_MONTHS)
02:57 Извлечь год, квартал, месяц (EXTRACT)
03:14 Получить первый день года, квартала, месяца или недели (TRUNC)
Смотреть это видео на youtube: youtu.be/_6XWUJ2zf8Y
Использование миграций баз данных в Go
В этом материале автор расскажет о том, как можно использовать миграции базы данных в ваших сервисах, написанных на Golang.
Базы данных
Как дисциплина управления мастер-данными влияет на продажи
В этой статье автор поделится, чем грамотно построенные процессы управления мастер-данными могут помочь продажам.
Базы данных
Базовые SELECT запросы в SQL
В этом видеокурсе автор разбирает основы SQL: вы узнаете что такое SQL, научитесь писать SQL-запросы различной сложности. Все эти знания будут легко применимы не только к PostgreSQL, но и к другим СУБД: MySQL, Microsoft SQL Server, Oracle.
0:00:00 Полная выборка данных с SELECT
0:07:06 Выборка и простая арифметика в SQL
0:10:30 Использование DISTINCT
0:15:29 Использование COUNT
0:25:17 Использование WHERE
0:36:17 AND и OR
0:46:56 BETWEEN
0:52:27 IN, NOT IN
0:57:24 Сортировка с ORDER BY
1:02:37 MIN, MAX, AVG
1:16:14 LIKE для поиска строк
1:22:21 LIMIT
1:24:36 Проверка на NULL: IS NULL, IS NOT NULL
1:27:38 Группировка с GROUP BY
1:37:06 UNION, INTERSECT, EXCEPT
Смотреть это видео на youtube: youtu.be/QlTKtC0_Wgk
Нормализация и денормализация базы данных
Понимание нормализации и денормализации - это основа основ SQL. Если кратко, нормализованное состояние БД удобно для хранения и редактирования данных, а денормализованное - для отображения.
SQL имеет большое количество инструментов, как из нормального состояния преобразовать таблицы в денормализованные, одна из таких возможностей - это объединение таблиц через FROM и перечисление нескольких таблиц.
Умение склеивать таблицы разными способами поможет вам на собеседовании, а также облегчит понимание темы JOIN в SQL.
00:00 Введение
00:25 Нормализованная структура БД
00:40 Денормализовання структура БД
01:28 Анализ БД
02:25 Первичный и внешний ключ SQL
05:16 Склейка через FROM и псевдонимы
09:19 SELECT с указанием таблицы
11:37 Целостность баз данных
Смотреть это видео на youtube: youtu.be/oOJgHQ5Yuto
Восхитительная теория якорных баз данных
Transitional Modeling призвано отразить происходящие в реальной жизни события в простом, но эффективном формате, минимизируя при этом потерю информации в процессе записи таких событий. По своей сути оно сообщает об объектах и разнообразных, многогранных ситуациях, в которых эти объекты оказываются.
Базы данных
Как мы переносили базу Clickhouse между географически удаленными дата-центрами
В этой статье автор рассказывает, как в его компании переносили данные, не имея возможности отключить сервис или воспользоваться автоматической репликацией.
Базы данных
Схема базы данных
В этом ролике автор подробно и наглядно рассматривает процесс построения схем баз данных.
00:00 Схема базы данных
00:48 Таблицы на схеме
01:20 Столбцы и типы данных
02:26 Связи между таблицами
02:49 Типы связей между таблицами
04:42 Примеры таблиц базы данных
06:11 Пример SQL запроса с JOIN для извлечения данных
08:07 Пример использования для объединения трех таблиц
10:38 Итоги
12:05 Инструмент для создания схем DrawSQL
Смотреть это видео на youtube: youtu.be/d67ZjgY12G8
⚡Открытая трансляция главного зала Saint HighLoad++ 2025!🖐️
Подключайтесь и слушайте доклады от спикеров Garage Eight, Яндекса, Сбера, Ozon и других компаний.
Saint HighLoad++ 2025 — это конференция, которая определяет будущее высоконагруженных систем. 23 и 24 июня все желающие могут бесплатно посмотреть онлайн-трансляцию главного зала. Открытую трансляцию организовали совместно с генеральным партнером конференции — Garage Eight. Garage Eight — международная продуктовая IT-компания. С 2011 года развивает экосистему высоконагруженных инвестиционных продуктов, у которых сотни тысяч пользователей в 183 странах. Продукты отмечены наградами от Global Banking and Finance Review, Global Business Magazine и World Business Stars.
Как всегда, в главном зале — топовые эксперты и самые актуальные темы.
✅ Подключайтесь!
Как пройти… к третьей нормальной форме?
В литературе описывается шесть или даже больше нормальных форм, однако в большинстве случаев достаточно доведения базы данных до третьей нормальной формы. Более того, в ряде случаев, если это даёт прирост производительности, допускается отступление и от этих требований — выполняется так называемая денормализация таблиц.
Базы данных
Оптимизация запросов в ClickHouse с помощью создания цепочки материализованных представлений
Материализованное представление - это специальный тип таблицы, содержащей результат выполнения запроса к исходным данным. Этот результат фактически представляет собой кэшированное представление данных из исходных таблиц.
Базы данных
Хочешь разбираться в 1С?
Для тебя уже всё сделали.
⚙️ Канал 1С Hacks рассказывает обо всех возможностях, приёмах и лайфхаках по работе в 1С.
Подписывайтесь и прокачивайте свои навыки: @secrets_1C
Почему граф в RAG работает лучше, чем вы думаете… но не так, как вам рассказали
В RAG-решениях все чаще обращаются к графовым базам данных. В этой статье автор опишет своё мнение относительно того, в каких ситуациях графовые базы данных действительно оправданы в RAG, а в каких стоит остаться на традиционном векторном подходе.
Базы данных
Базы данных: SQL уроки для начинающих
В этом видеоуроке автор кратко проходится по теории реляционных баз данных и рассматривает язык запросов SQL на примере СУБД MySQL. Вы разберете основные конструкции языка и научитесь создавать и изменять таблицы и получать с них данные.
00:00 Введение
02:53 О реляционных БД
03:15 1 и 2 нормальные формы
04:50 Связи между таблицами
06:12 Начало работы с MySQL
06:47 SHOW, CREATE, DROP DATABASE
07:40 SHOW, CREATE TABLES
10:10 INSERT INTO
10:45 SELECT
11:40 DISTINCT
12:10 WHERE
13:07 AS
13:30 ORDER BY
14:40 UPDATE, SET
15:30 LIKE
18:10 Multiple INSERT
19:10 Объединение таблиц (JOINS)
22:04 Агрегатные функции
23:10 GROUP BY
Смотреть это видео на youtube: youtu.be/IK6e1SFCdow
Делаем резервное копирование кластера ClickHouse: простая инструкция
Документация ClickHouse по резервному копированию довольно небольшая и содержит инструкции по созданию резервных копий отдельной инсталляции СУБД. К сожалению, информации о том, как создавать резервные копии кластера, практически нет. Как и нет промышленного решения для управления бэкапом.
Базы данных
Как Figma удалось открыть себе путь к почти бесконечному масштабированию баз данных
С 2020 года стек баз данных Figma вырос почти в сотню раз. Это хорошая проблема, ведь она означает, что бизнес расширяется. Но в то же время она стала причиной технических сложностей. В течение последних четырёх лет они усиленно старались не отставать от прогресса и избегать потенциальных проблем, связанных с ростом.
Базы данных
Основы SQL: Подзапросы
В этом видео автор подробно и наглядно разбирает работу с подзапросам в SQL.
00:00 Подзапросы в SQL (subqueries)
00:52 Запуск подзапросов в SELECT
02:01 Подзапрос, возвращающий список значений
04:25 Подзапросы в UPDATE
05:57 Итоги
Смотреть это видео на youtube: youtu.be/Df6tQlWhn3Q
Ликбез по методологиям проектирования хранилищ данных
Хранилище данных — это информационная система, в которой хранятся исторические и коммутативные данные из одного или нескольких источников. Он предназначен для анализа, составления отчетов и интеграции данных транзакций из разных источников. В этой статье автор рассмотрит сильные и слабые стороны самых популярных методологий.
Базы данных
Что такое Data Service и почему он может быть вам полезен
Сегодня компании собирают огромное количество данных разных типов и качества. Естественно, эти данные нужно хранить, обрабатывать и находить им применение. В данной статье автор расскажет, как это происходит в его компании.
Базы данных
Трассировка запросов в Postgres с расширением pg_trace
В этой статье автор расскажет о расширении pg_trace, предназначенном для сбора трассировок запросов в PostgreSQL, соберет трассировку на реальном примере работы приложения, оценит влияние сбора трассировки на производительность и агрегирует данные трассировки.
Базы данных
Big Data
В этом ролике авторы обсуждают следующие вопросы: что такое большие данные, кто такие data scientist специалисты, как управлять data специалистами, зачем каждой компании нужно задуматься о больших данных и др.
00:00 Вступление
00:50 Почему большие данные — это важно
03:25 Магия и Big data
06:42 Как сейчас большие данные помогают в ритейле
13:20 Про историю взаимодействия с клиентом
14:49 Кто такие data scientist специалисты
18:20 Как управлять data специалистами
22:55 Про эффективного руководителя
32:01 Развитие сотрудников, ответственность и гордыня
36:48 Что нужно молодым программистам
42:30 Про проведение изменений в большой компании
Смотреть это видео на youtube: youtu.be/eGWYKmX7PoI
Вся мощь открытого исходного кода в PostgreSQL
В этом материале автор разбирает мощь и преимущества использования открытого исходного кода в PostgreSQL, а также его влияние на развитие технологий и сообщества.
Базы данных
Зачем нужен fillfactor в PostgreSQL
Один параметр PostgreSQL может похоронить вашу производительность, если вы о нём забудете — это fillfactor. Почему однократная настройка числа приводит к неожиданным page split, bloat и мучительному откату запросов? Давайте разбираться.
Базы данных