36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
💻 ChatGPT для вашей базы данных
Загрузите любой файл — ваш чат-бот обучится на нём. После этого можно тестировать нейронку и задавать любые вопросы по документу. Работает лучше аналогов.
🔗 Ссылка
@sqlhub
🔥 Hugging Face выпустила версию 0.30.0 библиотеки huggingface_hub - это самое крупное обновление за два года!
Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.
✔️ Основные нововведения:
Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS.
В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами.
Для интеграции с Python используется пакет xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.
Чтобы начать использовать Xet, установите дополнительную зависимость:pip install -U huggingface_hub[hf_xet]
После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.
Доплнительно:
😶 Расширен InferenceClient:
😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere.
😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы.
😶 Улучшен CLI
😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include).
😶 Команда huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size).
✔️ Полный список обновлений
✔️Блог
✔️Документация по Xet
@ai_machinelearning_big_data
#huggingface #release #xet
🖥 Огромный обучающий плейлист для специалиста по аналитике данных!
🔗 Ссылка: *клик*
@sqlhub
Ваши SQL-запросы работают медленно, а базы данных грузятся дольше, чем хотелось бы? Исправим это на нашем бесплатном уроке 31 марта в 20:00 мск: https://otus.pw/38hM/
Индексы — один из ключевых инструментов ускорения работы с БД. Но как выбрать нужный тип, правильно его создать и избежать ошибок?
После занятия вы сможете уверенно работать с индексами в PostgreSQL и MS SQL Server, оптимизировать запросы и делать базы данных быстрее.
Регистрируйтесь прямо сейчас и получите скидку на большое обучение «SQL для разработчиков и аналитиков»: https://otus.pw/38hM/
erid: 2W5zFHQJ1ua
Как ИИ помогает компаниям принимать умные решения и развивать разные индустрии?
15-16 апреля пройдет Весенний онлайн-лекторий, посвященный влиянию ИИ на индустрии. Разберемся в технологиях вместе с ФКН НИУ ВШЭ, Яндекс, Сбер, Авито, МТС и другими лидерами рынка.
Программа Лектория обширна:
— Вебинары про ИИ и ML в банках, бигтехе и e-com
— Мастер-классы и кейсы по Data Science, Data Analytics и Data Engineering
— Круглый стол по разработке и применению ИИ-агентов
— Прожарка резюме и карьерная лекция
Вы сможете разобраться в ключевых трендах и возможностях в IT, а также погрузиться в Data Science, Data Analytics и Data Engineering, изучение инструментов и реальных задач каждого направления.
Лекторий организуют эксперты факультета компьютерных наук НИУ ВШЭ, онлайн-магистратур ФКН и Центра непрерывного образования, а также ведущие компании индустрии. Поэтому вас ждут глубокие инсайты из мира IT.
Когда:15-16 апреля в 16:00
Где:онлайн
🔗 Зарегистрироваться
Реклама: НИУ ВШЭ
ИНН: 7714030726
Erid: 2SDnjeZbJvp
Найти: решение на базе ИИ, которое автоматизирует процесс создания JSON-схем для описания бизнес-логики и интеграций.
Если знаешь, как выполнить эту задачу, значит, этот пост для тебя. Приглашаем на хакатон МТС True Tech Hack 2025. Участникам в команде из 2–5 человек нужно выбрать один из пяти представленных треков и создать новое решение на базе DataOps Platform, Integration Platform, True Tabs, Product Factory или MWS GPT.
Если хочешь внести вклад в продукты, которые приносят пользу разработчикам по всей России, и побороться за призовой фонд в 1 500 000 рублей — регистрируйся до 16 апреля.
Подробная информация и регистрация — по ссылке.
@sqlhub
Данные и облака — наше все 🧠
На конференции GoCloud ты найдешь новые знания об инструментах обработки данных.
Обсудим интеграцию AI в аналитические процессы и тренды облачных технологий. А еще:
😶🌫️покажем инструменты для упрощения процесса обработки данных
😶🌫️поговорим с компаниями, которые уже работают с данными в облаке
😶🌫️возможные риски потери данных и способы их предотвращения
😶🌫️покажем архитектуру DBaaS поверх K8s
30+ докладов, нетворкинг, live-демо сервисов и afterparty ждут тебя 10 апреля.
Регистрация по ссылке 👈
🔥 Self-Hosted AI Starter Kit — это готовый набор инструментов для развертывания собственных AI-решений с использованием n8n, платформы для автоматизации рабочих процессов!
🌟 Он включает преднастроенные потоки для интеграции моделей ИИ, таких как OpenAI, Ollama и другие, позволяя управлять данными и автоматизировать процессы без необходимости использования облачных сервисов. Решение идеально подходит для бизнеса и индивидуальных разработчиков.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
🖥 Эта статья объясняет различия между использованием операторов IN и EXISTS в SQL-запросах, включая их применение в зависимых и независимых подзапросах!
🌟 Автор демонстрирует, как они влияют на производительность запросов, и предлагает сценарии, когда переход от одного подхода к другому может улучшить производительность.
🔗 Ссылка: *клик*
@sqlhub
💪 Качаем скиллы PostgreSQL!
10 апреля 2025 года пройдет бесплатное комьюнити-мероприятие из серии PG BootCamp Russia — конференция, направленная на приобретение практических навыков при работе с СУБД PostgreSQL.
🔵Программа рассчитана как на начинающих специалистов, так и на более опытных разработчиков, желающих углубить знания в части ядра и экосистемы продукта
🔵 Ведущие эксперты в области СУБД проведут мастер-классы и лекции по наиболее востребованным и интересным темам
🔵Для тех, кто не сможет присутствовать очно, предусмотрена онлайн-трансляция
🧑🎓 Все участники получат электронные сертификаты, подтверждающие приобретение новых знаний и навыков.
📌 Дата и время: 10 апреля, в 10:00 (по ЕКБ)
Формат: офлайн/онлайн
Место проведения: конгресс-отель «Екатеринбург»
✅ Зарегистрируйтесь сейчас и приготовьтесь к захватывающему путешествию в мир СУБД!
Реклама. ООО "ТАНТОР ЛАБС" ИНН 9701183207 Erid: 2W5zFJHvTwv
Хотите получить много практики на реальных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?
CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе
На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)
Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива
❗️Знать Python и SQL не обязательно — все будем разбирать с нуля
🕗 Встречаемся на новом эфире уже сегодня, 20 марта в 19:00 по мск
😶Участвовать в бесплатном интенсиве
Как эффективно управлять доступом пользователей к базе данных, используя роли?
Разберем основные механизмы безопасности PostgreSQL на практике: шифрование соединений (SSL/TLS), контроль доступа (pg_hba.conf, роли, RLS), аудит (pg_audit).
Приглашаем на открытый практический урок «Безопасность в PostgreSQL: защита данных, управление доступом и аудит» в рамках курса PostgreSQL для администраторов баз данных и разработчиков
✅ Практика: настройка SSL/TLS шифрование для защиты данных при передаче, обеспечивая конфиденциальность обмена информацией между клиентом и сервером PostgreSQL.
Покажем, как защититься от распространенных угроз:SQL-инъекции, DDoS-атаки.
👉 Регистрация и подробности:
https://otus.pw/DAoa/?erid=2W5zFGdBSKz
#реклама
О рекламодателе
Большие данные — для большого будущего. Navio расширяется и приглашает в команду сильных Дата инженеров, а также Data
Science: ML, CV, NLP специалистов.
Вы будете участвовать в разработке уникальных решений, которые меняют транспортную отрасль. Мы создаём:
· универсальную технологию автономного вождения, совместимую с разными видами транспорта;
· платформу для управления беспилотным флотом автомобилей;
· проекты новой городской мобильности.
Navio объединяет культуру автопроизводителей и IT-компаний. Более 700 специалистов работают над тем, чтобы доставка грузов стала быстрее и эффективнее, а городской транспорт — безопаснее и комфортнее.
Найдите интересную вакансию и отправьте отклик.
🌟 YOLOE — это усовершенствованная версия алгоритма обнаружения объектов, вдохновлённая классической архитектурой YOLO и разработанная командой THU-MIG.
Архитектура YOLO (You Only Look Once) получила своё название благодаря подходу, при котором нейронная сеть анализирует всё изображение целиком за один проход, чтобы определить присутствие и расположение объектов. Это отличается от других методов, которые сначала выделяют потенциальные области с объектами, а затем отдельно классифицируют их, что требует нескольких обработок одного изображения
YOLOE сохраняет принцип однократного взгляда на изображение для детекции объектов, но вносит архитектурные улучшения, направленные на повышение точности и эффективности модели.
▪ Ключевые отличия от классического YOLO:
- Оптимизированная архитектура: В YOLOE внедрены новые подходы для более эффективной обработки признаков, что позволяет улучшить качество детекции без значительного увеличения вычислительных затрат.
- Повышенная точность: Улучшенные модули и методы, такие как ре-параметризация отдельных блоков, способствуют более точному обнаружению объектов, включая мелкие и сложно различимые элементы.
- Скорость и эффективность: YOLOE сохраняет высокую скорость инференса, делая его пригодным для задач в реальном времени, при этом обеспечивая конкурентоспособное соотношение производительности и точности.
▶️YOLOE требует в 3 раза меньших затрат на обучение по сравнению с YOLO-Worldv2, что делает процесс обучения более экономичным
YOLOE представляет собой современное и улучшенное решение для задач детекции объектов, совмещающее лучшие стороны классического YOLO с новыми архитектурными подходами.
🖥Github
🟡Статья
🟡HF
🟡Colab
#yoloe #opensource #ml #ai #yolo #objectdetection
🖥 PgDog — это инструмент для горизонтального масштабирования PostgreSQL, объединяющий функции шардирования, пула соединений и балансировщика нагрузки.
Разработанный на языке Rust, он обеспечивает высокую производительность и надёжность, позволяя масштабировать базы данных без необходимости изменения кода приложений.
Основные особенности PgDog:
Шардирование: PgDog способен автоматически распределять данные между несколькими шардами, обеспечивая эффективное управление большими объёмами информации.
Пул соединений: Поддерживает транзакционное и сессионное пуллинг, позволяя тысячам клиентов использовать ограниченное количество соединений с сервером PostgreSQL, что оптимизирует использование ресурсов.
Балансировка нагрузки: Распределяет запросы между основными и реплицированными базами данных, обеспечивая равномерную загрузку и повышая отказоустойчивость системы.
Благодаря этим возможностям, PgDog может управлять сотнями баз данных и обрабатывать сотни тысяч соединений, что делает его мощным инструментом для масштабирования и оптимизации производительности PostgreSQL-систем.
🖥 GitHub
@sqlhub
Авито активно инвестирует в технологии генеративного искусственного интеллекта (GenAI). Новая стратегия компании предусматривает инвестиции в размере 12 млрд рублей до 2028 года — к тому же сроку в планах заработать на новой технологии 21 млрд. Кроме того, в 2025 году Авито планирует внедрить 20 новых сценариев использования GenAI, что обещает принести более 1 млрд рублей.
Компания уже разработала свои новые генеративные модели — A-Vibe и A-Vision, обученные на базе нейросети Qwen2.5 с 7 миллиардами параметров. Они способны анализировать текст и изображения, что поможет улучшить качества контента и автоматизировать процессы на платформе.
✔️A-Vibe поможет продавцам создавать привлекательные описания товаров, отвечать на вопросы покупателей, анализировать многочисленные отзывы.
✔️A-Vision может анализовать фотографии, распознавать текст на изображениях и помогать в модерации.
Авито также наращивает сотрудничество с ведущими вузами, создавая образовательные программы для подготовки специалистов в области искусственного интеллекта. В 2024 году компания запустила магистратуру по Data Science в МФТИ, а в 2025 стартуют программы по разработке в ИТМО, Data Science и продуктовому менеджменту в НИУ ВШЭ.
@sqlhub
Не знаешь на кого пойти учиться ?💡
1️⃣Пройди бесплатные онлайн-курсы
2️⃣Узнай о самых востребованных профессиях
3️⃣Получи уникальную возможность поступить в «Алабуга Политех» после 9 или 11 класса
ПРОЙДИ КУРС ПРЯМО СЕЙЧАС!
Реклама: ООО "ЭрТоп Диджитал", ИНН:5263112923
erid:2Vtzqub2dz8
IT Hero — интерактивная платформа для тренировки навыков SQL и подготовки к собеседованиям в игровом формате.
Решайте задачи на скорость, соревнуясь с соперником — побеждает быстрейший.
Выбирайте уровень сложности, тип задач и приглашайте друга на поединок, чтобы выяснить, кто лучше знает SQL.
🔗 Ссылка на тренажёр
@sqlhub
💫 LLM AutoEval — это проект, предлагающий простой способ бенчмаркинга LLM через Colab-блокнот, избавляя разработчиков от рутинной настройки тестовых сред. Достаточно указать название модели, выбрать benchmark и GPU — система сама развернёт инфраструктуру через RunPod и запустит оценку.
🌐 Система автоматически публикует результаты в формате GitHub Gist с возможностью сравнения с популярными моделями через интеграцию с YALL — альтернативным рейтингом языковых моделей. Для работы потребуются только API-токены RunPod и GitHub.
🔗 GitHub
@sqlhub
Пять GitHub проектов, которые помогут вам стать лучшим инженером DevOps
1. How they SRE
Подборка общедоступных ресурсов о том, как технологические и технически подкованные организации по всему миру практикуют Site Reliability Engineering (SRE).
https://github.com/upgundecha/howtheysre
2. Awesome Scalability
Паттерны масштабируемых, надежных и производительных крупномасштабных систем
https://github.com/binhnguyennus/awesome-scalability
3. DevOps Exercises
Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. Вопросы для интервью по DevOps
https://github.com/bregman-arie/devops-exercises
4. Test your sysadmin skills
Сборник тестовых вопросов и ответов по Linux Sysadmin. Проверьте свои знания и навыки в различных областях с помощью этих вопросов и ответов.
https://github.com/trimstray/test-your-sysadmin-skills
5. Awesome Site Reliability Engineering
Составленный список ресурсов по надежности сайта и производственному инжинирингу.
https://github.com/dastergon/awesome-sre
@sqlhub
📂 PlantUML - это утилита для создания диаграмм с помощью минималистичного синтаксиса. Поддерживает классы, последовательности, потоки данных и многое другое.
Полезна для архитектурного проектирования, документирования и визуализации процессов без графических редакторов.
Посмотреть на GitHub
🖥 GitHub
@sqlhub
🖥 WrenAI — это open-source AI-ассистент для анализа данных и генерации SQL-запросов (Text-to-SQL)!
🌟 Он позволяет пользователям взаимодействовать с данными с помощью естественного языка и автоматически формировать SQL-запросы, строить диаграммы, отчеты и таблицы.
🔐 Лицензия: AGPL-3.0
🖥 Github
@sqlhub
🖥 Starskey — это высокоскоростная встраиваемая база данных с парой "ключ-значение" для Go, вдохновленная LevelDB и WiscKey!
🌟 Она использует многоуровневое слияние данных, поддерживает атомарные транзакции, журналирование (WAL) для восстановления и фильтры Bloom для оптимизации чтения. Starskey предлагает простое API с операциями Put, Get, Delete и обеспечивает высокую производительность до 400k+ операций в секунду.
🔐 Лицензия: MPL-2.0
🖥 Github
@sqlhub
📖 Эта статья объясняет, как интерпретировать значения NULL в операциях OUTER JOIN в SQL!
🌟 Она рассматривает разницу между отсутствующими записями (когда строки не существуют) и NULL-значениями (когда данные существуют, но неизвестны). Автор объясняет, как правильное нормализованное моделирование данных помогает различать эти ситуации.
🔗 Ссылка: *клик*
@sqlhub
🔥 PrunaAI — это инструмент для оптимизации и сжатия нейросетевых моделей, ориентированный на уменьшение их размера и ускорение работы без значительной потери точности.
Название связано с техникой «pruning» (обрезка нейронных сетей), которая удаляет избыточные параметры модели.
Проект предназначен для разработчиков, стремящихся развертывать эффективные AI-модели на устройствах с ограниченными ресурсами (телефоны, IoT, edge-устройства).
🔍 Основные функции (предположительно)
▪ Автоматическая обрезка моделей — удаление менее значимых нейронов/слоев.
▪ Квантование — сокращение битности весов (например, с 32-бит до 8-бит).
▪ Сравнение производительности — метрики скорости и точности до/после оптимизации.
▪ Поддержка фреймворков — интеграция с PyTorch, TensorFlow, ONNX.
🔥 Чем полезен?
▪ Для инженеров ML:
— Уменьшает размер модели в 2–4 раза, упрощая её развертывание.
— Сохраняет >90% исходной точности после оптимизации.
▪ Для бизнеса:
— Снижает затраты на инфраструктуру для обработки AI-запросов.
— Ускоряет инференс на edge-устройствах.
🎯 Преимущества перед аналогами
▪ Простота: API для быстрого применения pruning без глубоких знаний в оптимизации.
▪ Гибкость: Настройка степени сжатия под конкретные задачи.
▪ Совместимость: Работает с популярными форматами моделей (TFLite, CoreML).pip install pruna
📌 Github
@sqlhub
🖥 tbls
Мощный инструмент для документирования баз данных. Он анализирует структуру базы данных и автоматически генерирует красивую документацию в формате Markdown, HTML, JSON и других.
🔹 Основные возможности:
- Автоматический разбор схемы базы данных.
- Поддержка множества СУБД (PostgreSQL, MySQL, SQLite, MSSQL и др.).
- Генерация наглядных диаграмм и связей между таблицами.
- Возможность кастомизации документации.
- Интеграция с CI/CD для автоматического обновления документации.
📌 Github
🔥 SQL за полтора часа в одном видео! Полный базовый курс по SQL. Базы данных курс для начинающих!
00:00:00 Введение
00:02:43 Платные курсы и что изучать дальше
00:04:55 Коротко об онлайн редакторе
00:07:11 Что такое база данных
00:08:10 Что такое CRUD
00:10:05 Запрос на создание первой таблицы
00:11:57 Типы данных у атрибутов(колонок) (DATA TYPES)
00:17:26 Прописываем атрибуты(колонки) первой таблицы
00:21:07 Создаем первую таблицу (CREATE TABLE)
00:21:38 Проверка на наличие таблицы при создании (IF NOT EXISTS)
00:22:18 Запрос на удаление таблицы(DROP TABLE)
00:22:33 Проверка на наличие таблицы при удалении(IF EXISTS)
00:22:57 Запрос на добавление объекта в таблицу (INSER INTO table)
00:23:35 Запрос на чтение(получение) объектов из таблицы(SELECT * FROM table)
00:24:18 Модификаторы для атрибутов(колонок) таблицы(NOT NULL, DEFAULT, UNIQUE)
00:29:26 Изменение уже существующей таблицы(ALTER TABLE, ADD, DROP, RENAME, MODIFY COLUMN)
00:36:08 Удаление объектов из таблицы(DELETE FROM table)
00:37:06 Редактирование объекта в таблице(UPDATE table)
00:39:03 Первичный ключ(PRIMARY KEY)
00:45:37 Композиция в бд
00:50:38 "Иностранный" ключ(FOREIGN KEY)
00:57:26 Индексы в бд(INDEX)
00:59:24 Готовим данные для темы алиас, юнион и слияние таблиц
01:03:30 Слияние таблиц(INNER JOIN)
01:06:02 Слияние таблиц(LEFT JOIN)
01:06:53 Слияние таблиц(RIGHT JOIN)
01:07:26 Слияние таблиц(FULL JOIN/OUTER JOIN) и Union
01:09:04 Алиас(table AS alias)
01:12:18 Select Distinct в SQL
01:13:42 AND OR NOT в SQL
01:16:18 ORDER BY и LIMIT в SQL
01:17:35 MIN и MAX в SQL
01:18:25 COUNT SUM AVG в SQL
01:19:29 LIKE в SQL
01:21:31 IN и BETWEEN в SQL
01:22:50 GROUP BY в SQL
01:25:17 EXISTS в SQL
01:27:37 ANY и SOME в SQL
01:29:00 INSERT INTO в SQL
01:30:40 Отношения в базе данных
01:32:11 Отношения один к одному
01:33:09 Отношения один ко многим
01:34:09 Отношения многие ко многим
01:37:10 Отношения один к одному и один ко многим "через"
01:39:10 SQL инъекции
📌 источник
#sql #lectures #junior
@sqlhub
Бесплатный онлайн-вебинар от karpov courses — «Погружаемся в мир А/В-тестирования: от гипотез до принятия решений»
В бизнесе каждая ошибка может стоить не только нервов, но и денег. Однако многие из этих ошибок можно избежать, если грамотно использовать A/B-тестирование. Именно поэтому специалисты в этой области востребованы, а их зарплаты продолжают расти.
Если вы хотите освоить A/B-тестирование с нуля или прокачать уже имеющиеся навыки, присоединяйтесь к бесплатному онлайн-вебинару «Погружаемся в мир А/В-тестирования: от гипотез до принятия решений». Спикер — Вера Багрова, продуктовый аналитик онлайн-кинотеатра Okko.
A/B-тестирование — это ключевой инструмент для маркетологов, продакт-менеджеров и аналитиков данных. На бесплатном вебинаре вы узнаете, в каких случаях стоит применять A/B-тесты, как они помогают улучшить бизнес-результаты, а также разберете полезные лайфхаки и типичные ошибки при проведении тестов.
Вера Багрова, продуктовый аналитик из Okko, поделится реальными кейсами из своей практики и расскажет, какие навыки необходимы для успешной работы в продуктовой аналитике.
Бесплатный онлайн-вебинар пройдет 20 марта в 18:00 по мск, зарегистрироваться можно по ссылке: https://clc.to/erid_2W5zFJvf1YU
Регистрируйтесь, даже если не сможете быть на эфире — вам отправят запись!
Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627
Быстрый путь к увольнению — просто покажите env-файл компании в прямом эфире 😁
@sqlhub