databases_secrets | Unsorted

Telegram-канал databases_secrets - Базы данных | Access, SQL, Big Data

29992

Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h

Subscribe to a channel

Базы данных | Access, SQL, Big Data

SQL vs NoSQL: блеск и нищета реляционных СУБД

В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.

00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги

Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY

Читать полностью…

Базы данных | Access, SQL, Big Data

Рекомендации по ведению SQL-кода

В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как выбирать технологии для базы данных?

В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.

В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.

01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты

Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg

Читать полностью…

Базы данных | Access, SQL, Big Data

Оптимизация запроса и запрос оптимизации

В этой статье: как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL HowTo: TOP-N на субинтервалах

Автор периодически сталкивался с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода", поэтому в этой статье он решил описать создание эффективного, но компактного запроса для PostgreSQL, который решает такую задачу.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Организуем High Availability PostgreSQL

Чтобы система долго работала без сбоев и перерывов, нужно поработать над отказоустойчивостью. В этой статье автор даст несколько способов её построить и покажет готовое решение.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Введение в SQL-инъекции

В этом ролике разберемся что такое базы данных и изучим основы SQL. Это видео первое из серии, посвященной изучению SQL-инъекций.

Смотреть это видео на youtube: youtu.be/4t16wXJXM-A

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Организация хранения исторических данных в Oracle

В этой статье автор разберет разные способы организации хранения исторических данных в Oracle. Под историческими данными будем понимать историю (лог) изменения данных в таблице.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Современные типы архитектуры данных: погружение в различные подходы к построению хранилищ данных

Архитектура данных — это скелет любой информационной системы. Она определяет, как данные собираются, хранятся, обрабатываются и передаются. История архитектур данных начинается с простых файловых систем и доходит до современных облачных и распределенных решений. Этот эволюционный путь привел к появлению различных подходов к архитектуре хранилищ данных, каждый из которых обладает своими уникальными особенностями и преимуществами.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Что такое GraphQL с примерами

00:59 Что такое GraphQL и откуда он взялся
01:55 Чем GraphQL лучше, чем REST API
04:03 Графовая структура
04:45 Типы запросов
07:00 Основные концепции в GraphQL
12:07 Схема
14:09 Преимущества

Смотреть это видео на youtube: youtu.be/Xkx5wroOt7o

Читать полностью…

Базы данных | Access, SQL, Big Data

Сортировка в SQL

В этом видеоуроке автор подробно разбирает процесс сортировки данных в SQL с использованием оператора ORDER BY.

00:00 Сортировка в SQL
01:50 Порядок сортировки: ASC, DESC
03:19 Совместное использование сортировки и фильтрации
04:21 Ограничение количества выбираемых строк
05:36 Сортировка по нескольким столбцам
06:46 SQL как английский
08:34 Итоги

Смотреть это видео на youtube: youtu.be/bYdjR6QexJY

Читать полностью…

Базы данных | Access, SQL, Big Data

Что такое CLICKHOUSE и колоночные СУБД

В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое Clickhouse
• Что такое колоночные СУБД
• Чем отличаются от обычных строковых
• Почему Clickhouse работает так быстро
• Преимущества использования
• Трудности при работе
• Для каких проектов используется
• В каких сферах используется
• Где не нужен
• Советы по работе с Clickhouse

Смотреть это видео на youtube: youtu.be/2b4heaO3U8k

Читать полностью…

Базы данных | Access, SQL, Big Data

Как мы продукт на PostgreSQL переводили

В этой статье автор поделится своими наработками как научить приложение работать с СУБД PostgreSQL и провести первую миграцию боевой системы.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Деревья ltree в PostgreSQL – простым языком

В этой статье автор подробно разберет иерархические деревья ltree в PostgreSQL и расскажет о базовых приёмах извлечения данных из таких деревьев.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Группировка и фильтрация в SQL

В этом видеоуроке автор подробно разбирает процесс фильтрации результатов группировки в SQL с помощью ключевого слова HAVING.

00:00 Фильтрация результатов группировки
00:59 Почему не работает фильтрация в WHERE
01:41 Порядок выполнения запроса SQL
02:29 Ключевое слово HAVING
04:00 Итоги

Смотреть это видео на youtube: youtu.be/ytfXUvCsNuo

Читать полностью…

Базы данных | Access, SQL, Big Data

Как распараллелить тесты с базой данных

Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector

В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

⚡Российские разработчики создали бесплатную версию нейросети ChatGPT-5, которая работает прямо в Телеграм

Она рассчитана специально на бытовые задачи и умеет:

➤ Писать курсовые, сочинения
➤ Переводить, редактировать и рерайтить большие массивы текста
➤ Решать задачи любой сложности
➤ Автоматически заполнять отчёты и таблицы
➤ Переводить тексты
➤ Составлять предложения на другом языке
➤ Писать коды
➤ И многое другое


А по промокоду PROMOCODE50 премиум-версию бота можно забрать бесплатно. Пользуйся: ChatGPT Бот

Читать полностью…

Базы данных | Access, SQL, Big Data

Хочешь разбираться в Project Management?

Для тебя уже всё сделали.
📌 Канал @product_and_project делится полезными секретами и лайфхаками управления проектами и продуктами в IT.

Подписывайтесь и прокачивайте свои навыки: @product_and_project

Читать полностью…

Базы данных | Access, SQL, Big Data

Просто взяли нейросетку Stable Diffusion и превратили голливудских звёзд в советских пионеров!

Хотите также? Вот тут ребята проводят интенсив, на котором собирают свои нейросетки при помощи ChatGPT и Stable Diffusion.

На интенсиве вы узнаете, как работают технологии вроде ChatGPT, Stable Diffusion, а также разберетесь в генерации и распознавании речи с помощью нейронок — этот интенсив для тех, кто хочет быстро залететь в востребованную  сферу в ИТ!

Всего за 2 дня вы создадите сразу 12 крутых нейросетей.

Зарегистрироваться на интенсив можно по ссылке.

Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395.

Читать полностью…

Базы данных | Access, SQL, Big Data

ЕДИНЫЙ ЦУПИС, RETN и Qrator Labs проводят совместный митап «Современные сетевые технологии для высокой нагрузки: путешествие с Севера на Юг».

В основе любой ИТ-инфраструктуры лежит сеть передачи данных. Мы расскажем о том, как выстроить надежные внешние и внутренние каналы связи, которые обеспечат потребности современного высоконагруженного продакшена. Расскажем о собственном опыте решения сложных и неочевидных технических задач и о выборе надежных технологических партнеров.

Наши спикеры:
- Александр фон Розен, технический директор, ЕДИНЫЙ ЦУПИС,
- Николай Едомский, руководитель группы сетевых инженеров, ЕДИНЫЙ ЦУПИС,
- Никита Тимофеев, старший менеджер по продажам проектных решений, RETN,
- Эдгар Микаелян, руководитель отдела Presale, Qrator Labs.

Мероприятие бесплатное, регистрация на сайте обязательна:
https://1cupisintelligence.ru/

📍 Санкт-Петербург, ул. Льва Толстого, д. 1-3 (коворкинг «Ясная Поляна»), также будет доступна трансляция
📅 13 декабря 2023, 18:30

Читать полностью…

Базы данных | Access, SQL, Big Data

Если вам всегда нравилось находить какие-то мелкие ошибки на картинках, в тексте, у колллег (шутка!)... То сейчас вы узнаете, как на таком можно заработать!

Секрета нет – нужно просто пройти обучение на тестировщика.

Инженер по тестированию программного обеспечения (он же тестировщик или QA engineer) проверяет IT-продукты на прочность. Он продумывает, что и где может сломаться, прогнозирует сбои и находит ошибки в приложениях, сайтах и программах, чтобы продукт вышел работоспособным.

Компании готовы достойно платить специалистам, которые помогут избежать финансовых потерь и обеспечат бесперебойную работу их сервисов.

🚨Не теряйте время, записывайтесь на обучение в databases_secrets">SkillBox – место осталось совсем немного, но вы успеете!

Читать полностью…

Базы данных | Access, SQL, Big Data

Российский сервис отразил рекордную по длительности и мощности DDoS-атаку
Система защиты компании EdgeЦентр успешно заблокировала DDoS-атаку мощностью более 1,1 Тбит/с. Атака велась на серверы нескольких игровых компаний с помощью нового ботнета и продолжалась более 8 дней. На пике её мощность превысила 400 млн пакетов в секунду. Суммарно система защиты приняла более 80 петабайтов трафика. Для сравнения, в 2022 году ComNews назвал самой мощной атаку в 760 Гбит/с, что почти вдвое меньше.

Читать полностью…

Базы данных | Access, SQL, Big Data

Хотите работать с данными, но еще не слышали про телеграм-канал LEFT JOIN?
Это вы зря! Быть в курсе трендов сферы, лучших инструментов для анализа, познавательных докладов и лекций по архитектуре данных, и даже быть в контексте аналитических мемов — значительный буст для входа в профессию.

Итак, LEFT JOIN —
это канал о технологиях и данных, в котором простым языком рассказывают про:
🔵 всемогущий язык SQL и работу с базами данных,
🔵 статистику, без которой, как говорится, «не жизнь»,
🔵 полезные инструменты, которые заслуживают не меньшее внимание чем ChatGPT,
🔵 то, как нейросети могут облегчить работу аналитика данных.

А еще у авторов сейчас выходит отдельная рубрика «Основы статистики» — серия полезных карточек с теорией и понятными примерами, например, про p-value. Если вы еще не видели первые пять выпусков — наверстывайте упущенное и...

🔜 Подписывайтесь на @leftjoin!

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL упростит вашу рутинную работу, если вы
— по несколько дней ждёте, пока аналитики выгрузят вам данные;
— работаете с таблицами от 100 000 строк, и Excel всё время тормозит;
— не хотите тратить время на долгие поиски, формирование отчётов и графиков.

Например, чтобы узнать средний чек за февраль, вам понадобится SQL-запрос из 10 слов. Если хотите научиться этому — приходите на бесплатный курс.

За 5-7 часов учёбы вы освоите все основные операторы SQL, научитесь писать простые запросы и проводить базовые операции с данными: фильтровать, группировать и агрегировать. На курсе не будет вебинаров, только текстовые лекции в свободном темпе и 70 заданий с автопроверкой в тренажёре.

→ Записаться на курс

Читать полностью…

Базы данных | Access, SQL, Big Data

Как работать с данными в 2024 году? Узнайте на VK Data Meetup!

VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях.

Митап 14 декабря посвящен Databases & Storage. Обсудим тренды наступающего 2024 года, разберем особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных.

⏰ 14.12.2023, 14:30 МСК
⚡️ Регистрация: https://bit.ly/47LeIl9

В программе

🔹 Тренды хранения данных, актуальные в 2024 году.
🔹 Миграция хранилища на Greenplum с сохранением уровня SLA.
🔹 Разделение слоев Compute & Storage в Hadoop.
🔹 Перенос большого Hadoop-кластера с bare metal на самописную оркестрацию One-cloud.

Приглашаем дата-инженеров, специалистов по DWH, администраторов, архитекторов и разработчиков.

Регистрация: https://bit.ly/47LeIl9

Читать полностью…

Базы данных | Access, SQL, Big Data

✔️ ChatGPT пришел в телеграм!

Эта нейросеть сдает экзамены в Гарвард и знает в миллион раз больше анекдотов, чем твой батя. Теперь у нее есть свой канал, там интересно:

@chatgpt

Читать полностью…

Базы данных | Access, SQL, Big Data

Как стать SQL-разработчиком или Data-инженером

В этом вебинаре вы рассмотрите, чем занимается специалист, работающий с базами данных, в том числе с их анализом. Кому эта область может быть интересна и какая востребованность специалистов на рынке.

План вебинара:
1. Основные направления развития в IT
2. Кто такие SQL-разработчик и дата-инженер
3. Что такое база данных и язык SQL?
4. Применение языка SQL и баз данных
5. Сферы применения баз данных
6. Какие СУБД бывают?
7. Чем занимается SQL-разработчик?
8. Для кого может быть интересно направление дата-инженера
9. Востребованность на рынке
10. Должности и направления для развития

Смотреть это видео на youtube: youtu.be/kcvslLoWDEQ

Читать полностью…

Базы данных | Access, SQL, Big Data

🔮 Больших данных не нужно бояться — с их помощью можно менять мир

Как аналитики превращают массивы информации в пользу для людей и компаний
— расскажут специалисты из сферы на бесплатном митапе Нетологии «Аналитика сегодня: как данные помогают прогрессу».

Вы познакомитесь с кейсами из бизнеса, узнаете, как аналитики помогают в создании новых лекарств и развитии промышленности, и поймёте, интересно ли вам дальше разбираться в теме.

Участники эфира получат пошаговый гайд для входа в сферу и смогут принять участие в розыгрыше курса по Excel.

Присоединяйтесь, чтобы аналитика стала для вас понятнее и ближе

Реклама ООО Нетология LatgBaxvj

Читать полностью…

Базы данных | Access, SQL, Big Data

Приглашаем на главное BI-событие декабря — Yandex DataLens Festival!

В этом году будет ещё интереснее! Вас ждут 2 недели полезного контента от экспертов:

⭐️ Yandex Cloud. Как построить аналитику в облаке
⭐️ MAXIMUM Education. Как переезд с Power BI расширил число пользователей аналитики
⭐️ Ренессанс Страхование. Как построить систему знаний и обучения BI
⭐️ CARCADE. Как организовать работу 1000 пользователей BI в финсекторе
⭐️ YCLIENTS. Как анализировать работу команды разработки
⭐️ Reveal the Data aka Роман Бунин. Сколько живёт дашборд и как увеличить время его жизни

Помимо этого, ведущие разработчики DataLens и YTsaurus поделятся рецептами, как готовить опенсорс, а именно:
🛠 как развернуть у себя
🛠 как кастомизировать UI
🛠 как настроить базовую аутентификацию
🛠 как интегрировать с YTsaurus

Будет много нетворкинга — разберём вопросы на Q&A-сессии и пообщаемся вживую на афтерпати. Ну и какой фестиваль без конкурсов и сюрпризов 🎁

Участие бесплатное, нужно только ➡️ зарегистрироваться

Читать полностью…
Subscribe to a channel