2844
По всем вопросам- @haarrp @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚
всем привет, есть ли возможность сделать полный бэкап всех юзеров с их настройками и maintenance plan с расписанием бекапов баз данных MS SQL Server?
Читать полностью…
🖥 Z Order в #DeltaLake организует данные в хранилище для повышения производительности запросов.
В данном примере запрос должен просканировать 8 отдельных файлов, чтобы найти строки, в которых id = 5. Однако при оптимизации Z Order запрос должен просканировать только один файл, чтобы найти нужные строки.
• Delta Lake Z Order
• Что такое Delta Lake
@sqlhub
Это какая-то репликация получается. Такое реплицирование нужно делать постоянно или однократный скрипт? Если однократно, то получается что вам нужно сравнить ваши sysobjects c xtype 'U', 'TR' и найти различия. Если таблицы удалить, то нужно уметь смотреть связи, скажем если у вас форин ключи и обрабатывать исключительные ситуации . С тригерами проще - восстановите их текст DDL через helptext, что то типа === declare @sql varchar(8000)
select @sql = object_definition(object_id)
from sys.triggers
where name = 'dEmployee'
EXEC @sql. ========== На постоянной основе я бы такие задачи не шедулил, так как в автоматическом режиме точно что-то пойдет не так и вы не отловите. Посмотрите еще вот этот скрипт для ознакомления, может наведет на мысли http://www.stormrage.com/SQLStuff/sp_GetDDL_Latest.txt
Очень крутой материал. Давайте больше материалам по актуальным технологиям по типу Greenplum/CH/Airflow
Читать полностью…
Всем привет, ребят подскажите пожалуйста , почему вылетает ошибка базы данных: SQLSTATE[HY000]: General error: 26 file is not a database, вроде бы всё подключено правильно.
mashenka2020/sql" rel="nofollow">https://replit.com/@mashenka2020/sql
Привет, тебе нужно получить список из чёрной таблицы, а далее провести сравнения и удалить ненуженое
Читать полностью…
🐍Как Snowflake повышает эффективность dbt-моделей на Python
dbt — это инструмент, помогающий управлять всеми трансформациями данных, которые выполняются в базах данных с использованием SQL.
Допустим, у вас есть таблица с общим числом клиентских заказов, и нужно подсчитать, сколько из них пришлось на праздничные дни. Выполнить эту задачу можно с помощью двух SQL-запросов.
1. Добавить столбец is_holiday в таблицу sf100_orders, объединив ее с all_holidays. Назвать полученную таблицу sf100_orders_annotated.
2. Подсчитать строки, для которых is_holiday=true в таблице sf100_orders_annotated.
Эти два шага объединяют исходные данные, визуализированные с помощью dbt: в изображении.
Производный граф: из двух исходных таблиц составляется таблица count_holidays
Используя dbt, можно записать эти две трансформации в виде “dbt-моделей”, которые представляют собой файлы, содержащие SQL и некоторую конфигурацию dbt (при необходимости):-- sf100_orders_annotated.sql
{{ config(materialized='table') }}
select a.*, b.date is not null is_holiday
from {{ref('sf100_orders')}} a
left join {{ref('all_holidays')}} b
on a.o_orderdate = b.date
-- count_holidays.sql
{{config(materialized='table')}}
select count(*) total_days
, count_if(is_holiday) holiday_count
, holiday_count/total_days ratio
from {{ref('sf100_orders_annotated')}}
Эти два файла выглядят как типичный SQL, но с некоторым отличием. Вместо ссылок на таблицы dbt позволяет ссылаться на другие “модели” с помощью аннотаций {{ref(‘sf100_orders_annotated’)}}. Таким образом, dbt определяет связь и зависимости между всеми трансформациями, через которые проходят данные.
📌 Продолжение
@sqlhub
За копейки пахать в этой шараге с шизанутыми собеседованиями никто не хочет
Читать полностью…
https://youtube.com/playlist?list=PLPNYkZcYUF4uBTjKk4cJQLiFtZrz0KUuU&si=2E8KO6zpq6L7Kyw6
Читать полностью…
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— Небольшой тест нескольких БД при работе с многими таблицами
— Визуализация распределений вероятностей в Python.
— 15 лучших бесплатных курсов по Linux
— Погружаемся в базы данных и SQL: полезные материалы и инструменты от сотрудников Selectel
— Optimizing SQL Performance with Execution Plans
— Data Analysis with SQL
— Dominando la Preparación de Datos para Análisis: Funciones y Técnicas Esenciales
— Autoscout24 SQL Analysis
— SQL Pro tips : Oracle SQL CROSS JOIN with UNPIVOT
— SQL Pro tips : Oracle XE Quick Start
— Leveraging Apache Age for Advanced Data Analytics
— Choosing an OLAP Engine for Financial Risk Management: What to Consider?
— SQL Window Functions
— Parallels and MSSQL Server
Посмотреть:
🌐 Django начало работы. (⏱ 08:18)
🌐 Go - SQL Databases in Golang with the database/sql package
🌐 Популярная задача с собеседования в Яндекс #python #задача #программирование #собеседование (⏱ 01:00)
🌐 Новые функции в IOS 17 (⏱ 00:29)
🌐 TokenFlow редактирование видео с помощью текстового описания (⏱ 00:22)
🌐 Парсер телеграм каналов на Python. Гайд по написанию мощного бота. (⏱ 11:58)
🌐 Задача из Собеседования в Яндекс с зарплатой 85000 рублей #python #собеседование #задача #yandex (⏱ 00:59)
🌐 Асинхронный парсинг сайтов на Python (⏱ 22:06)
Хорошего дня!
@sqlhub
🖥 Pipelined Relational Query Language (PRQL)
PRQL - это современный язык для преобразования данных, который меняет обращение к базе данных на логически выстроенный пайплайн (конвейер).
Как и SQL, он легко читается, является явным и декларативным. Но в отличие от SQL, он формирует логический пайплайн преобразований и поддерживает такие абстракции, как переменные и функции. Он может использоваться с любой базой данных, использующей SQL.from tracks
filter artist == "Bob Marley" # Each line transforms the previous result
aggregate { # `aggregate` reduces each column to a value
plays = sum plays,
longest = max length,
shortest = min length, # Trailing commas are allowed
}
• Github
@sqlhub
привет чат, вопрос про такую вещь как distributed sql query engine . перевод "скл движок", т.е это не бд а просто штука которая сверху ставится на любой sql совместимый базу данных?
Читать полностью…
перед from напиши select
это будут два запроса - первый меняет значения по условию, второй проверяет их (должен выдать пустой результат)
🖥 Оптимизация хранения данных в СУБД Greenplum
Greenplum — это open source MPP СУБД, основанная на PostgreSQL.
Архитектура СУБД укрупненно представляет собой систему, состоящую из n-го количества Segment Host — процессов/серверов, на которых производится хранение и обработка данных, и одного Master Host – процесса/сервера, являющегося точкой входа клиента, который также хранит внутри себя метаданные таблиц и распределяет обработку данных между сегментами.
Вопрос выбора способа хранения данных для меня встал достаточно остро из-за относительно большого объема анализируемых данных. Кратко опишу набор таблиц витрины и примерное количество строк в них на данный момент:
1. Таблица с пользователями маркетплейса (более 4 млн.);
2. Корзина товаров (более 150 млн.);
3. Покупки пользователей в маркетплейсе (более 40 млн.);
4. Таблица с начислениями бонусов за покупки (более 20 млн.)
5. И т.д. (суммарно еще около 5-10 млн. строк уходят на перечень продаваемых товаров, различные справочники и другую сопутствующую информацию)
Аналитические запросы, в особенности с объединением этих таблиц, занимают достаточно большое количество времени и ресурсов, что негативно складывается на работе СУБД, коллег и меня в частности.
В связи с этим, оптимизация хранения таблиц является одним из основных вариантов оптимизации запросов (вкупе с объяснением того, как эти оптимальные запросы строить, но это уже совсем другая история).
Рассмотрим задачу выбора оптимального способа хранения данных подробнее. 👇
Читать
@sqlhub
чтобы сравнить и создать триггеры, тебе нужно сначала получить информацию о существующих триггерах в верной базе данных и создать их в других базах данных.
Читать полностью…
Всем привет, кто поможет, у меня есть много разних бд и одна верная, нада как то найти сравнить, и удалить лишнее таблиці з разних бд каторих нет в верной бд?
И нада сравнить тригери з верной, если в других бд нет тригера то нада создай тригер з точно такими же связями как и в верной бд
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшее мероприятие:
• 7-8 октября — Fast Track для дата-аналитиков, офер за 2 дня в команду Фудтеха.
Зарегистрироваться
Реклама. ООО "Яндекс". erid:2VtzqwaYy5b
Всем привет. Подскажите пожалуйста, возможно ли настроить использование readable secondary в always on без внесения изменений в connection string со стороны приклада? Иными словами, через read-only routing балансируются только коннекты к серверу, или SQL Server умеет сам балансировать между нодами конкретные query на чтение, расщепляя сессию? Хотелось бы вывести на отдельную ноду нагрузку чтения, но в connection string приклада внести изменения невозможно, и у него нет отдельных модулей чисто на чтение из базы, так что работает приклад чисто через листенер. Может кто объяснить?
Читать полностью…
Всем привет, можете посоветовать ютуб-каналы, книги по MS SQL с нуля до профи?
Читать полностью…
Здравствуйте,кто знает,где можно взять исходник примера схемы таблиц сайта?
Читать полностью…
В новости явно сказано что сбер расширяет географию ивентов, наверное хотят привлечь к себе внимание в других странах
Читать полностью…