2844
По всем вопросам- @haarrp @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚
Какой путь к работе мечты самый короткий? Конечно, One Day Offer от Сбера! 😉
Если ты Data Analyst или Data Engineer, мы ждём тебя 27 июля. Получи возможность пройти fast-интервью, познакомиться с командой и забрать долгожданный оффер всего за один день.
Наша команда разрабатывает и внедряет DS-решения в точки касания клиента со Сбером: отделения, мобильное приложение, банкоматную сеть и т.д. Мы работаем с технологиями Python, Spark, SQL, Hadoop, GreenPlum и за год внедряем более 200 моделей.
Тебя ждут интересные и разноплановые задачи 👇
▪️ Обучение всех типов моделей искусственного интеллекта: от классического ML до глубоких нейронных сетей.
▪️ Создание высокотехнологичных сервисов: от систем принятия решений до компьютерного зрения и обработки естественного языка.
▪️ Развитие хранилища на Teradata и DataLake на Hadoop.
Отправляй заявку уже сейчас и присоединяйся к команде!💚
Получите до 76 000 руб. на обучение в сфере ИИ
Выберите подходящее обучение от Университета Иннополис с господдержкой.
Профессия «Архитектор в области ИИ» 👉 Забронировать место
Аналитика данных и машинное обучение 👉 Забронировать место
Профессия «Руководитель проектов в области ИИ» 👉 Забронировать место
+ Удостоверение о повышении квалификации
erid: LjN8JwHT3
💻Patroni — создание high availability решений PostgreSQL
— pip install patroni[dependencies]
Patroni — это шаблон для создания high availability решений PostgreSQL с использованием Python.
Для максимальной доступности Patroni поддерживает различные распределенные хранилища конфигурации, такие как ZooKeeper, etcd, Consul или Kubernetes.
Patroni особенно актуален для инженеров баз данных, DBA, DevOps и SRE, которые хотят быстро развернуть HA PostgreSQL в центрах обработки данных.
Поддерживает версии PostgreSQL от 9.3 до 16
🖥 GitHub
🟡 Доки
@sqlhub
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшие Fast Track мероприятия:
• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.
• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.
Зарегистрироваться
💻SQLCheck — поиск антипаттернов в запросе
Инструмент на C++ для выявления антипаттернов в SQL
SQLCheck имеет такие зависимости:
• g++ 4.9+
• cmake (установка)
🖥 GitHub
@sqlhub
🖥 SQLGlot — парсер, оптимизатор и движок SQL на Python
— pip3 install "sqlglot[rs]"
SQLGlot может использоваться для форматирования SQL или перевода между 21 различными диалектами, в том числе DuckDB, Presto / Trino, Spark / Databricks, Snowflake и BigQuery. Он предназначен для чтения широкого спектра входных данных SQL и вывода синтаксически и семантически корректного SQL на целевых диалектах.
SQLGlot — это очень полный общий парсер SQL с надежным набором тестов. Он также достаточно производителен (за счёт токенизатора на Rust) и при этом написан исключительно на Python.
Вы можете легко настраивать парсер, анализировать запросы, обходить деревья выражений и программно создавать SQL.
Синтаксические ошибки подсвечиваются, несовместимость диалектов отображается, однако SQLGlot не стремится быть валидатором SQL, поэтому он может не обнаружить некоторые синтаксические ошибки.
🖥 GitHub
@sqlhub
💻Psycopg 3 — адаптер PostgreSQL для Python
— pip install "psycopg[binary,pool]"
Psycopg 3 — это реализация самого используемого, надежного и многофункционального адаптера PostgreSQL для Python.
🖥 GitHub
🟡 Доки
@sqlhub
💻PostgREST — REST API для любой Postgres БД
PostgREST обеспечивает полностью RESTful API из любой существующей базы данных PostgreSQL.
Он предоставляет более чистый, соответствующий стандартам и быстрый API, чем тот, который вы можете написать с нуля.
🖥 GitHub
🟡 Доки
@sqlhub
Ну как мне известно из практики создания таблиц, тут единственный вариант это создание смежной таблицы под названием на подобие user_contacts где будут 3 поля:
1) id
2) owner_user_id
3) user_id
Ну и далее если хочешь их подгружать, то смотришь в смежную таблицу и оттуда тянешь нужных пользователей в отдельном кастомном поле. Аналогично другие манипуляции с контактами.
Python разбор резюме CV от рекрутера из Яндекса
Заходите на нашу трансляцию, задавайте свои вопросы
https://www.youtube.com/watch?v=bXj4Mo0LDX0
💻 Supabase вышел из беты
Совсем недавно вышел из беты Supabase — open-source инструмент на базе PostgreSQL, альтернатива Firebase.
Инструмент предоставляет разработчикам различные сервисы и утилиты, которые упрощают процесс создания и запуска приложений.
Примечательно то, что больше трети проектов из последнего батча YC используют именно Supabase. Кажется, это яркое подтверждение тезиса об упрощении разработки (ну или маркетологи компании хорошо постарались). Так что, если делаете стартап, и не используете Supabase, то можно задать вопросы CTO, почему он не делает как «лучшие» стартапы, которых отобрал YC.
🖥 GitHub
@sqlhub
🧠 Прокачай свои знания о Data Science! X5 Tech запускает хакатон X5 Tech AI Hack – узнай на практике больше об алгоритмах маскирования данных и избавлении нейросетей от галлюцинаций. Призовой фонд – 2 000 000 рублей.
🔔 Старт ML-соревнования – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас: https://cnrlink.com/x5techaihackdshub
Приглашаем на хакатон Python-разработчиков и специалистов по машинному обучению вне зависимости от их опыта. На выбор – один из двух треков:
1️⃣ Маскирование. Предстоит разработать алгоритм, который будет заменять чувствительные данные в датасете без потери смысла. Ты научишься решать задачу Named Entity Recognition и обучать модели обработки естественного языка.
2️⃣ Детекция галлюцинаций. Задача конкурсантов – создать систему, которая сможет эффективно выявлять аномалии в тексте, сгенерированном нейросетью. Решение поможет лучше понять, как работают языковые модели, разобраться, как анализировать и классифицировать большие данные.
Хакатон продлится 10 дней. У тебя будет шанс получить советы от крутых ML-экспертов и специалистов по Data Science, обсудить задачи соревнования с единомышленниками, узнать больше о проектах X5 Tech.
28-29 мая 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет 30 мая на X5 Future Night, где ты сможешь вживую пообщаться с представителями компании и коллегами по Data Science.
🔥 Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий: https://cnrlink.com/x5techaihackdshub
Реклама. ООО «ИТ ИКС 5 Технологии». ИНН 1615014289. erid: LjN8K9Qqi
🖥 SQL генератор
Выпущена Sqlcode 8b на базе Llama-3!
Вероятно, это лучшая на данный момент модель размером <10B для преобразования текста в SQL.
Работает лучше, чем gpt-4-turbo и claude opus для генерации SQL запросов.
▪Github: https://github.com/defog-ai/sql-eval
▪Weights: https://huggingface.co/defog/llama-3-sqlcoder-8b/
▪Demo (optimized for postgres): https://defog.ai/sqlcoder-demo/
@sqlhub
💻 DbGate — open-source менеджер SQL и NoSQL БД
DbGate — это кроссплатформенный менеджер баз данных. Разработан, чтобы быть простым в использовании и эффективным при работе с несколькими БД одновременно.
Также имеет множество дополнительных функций, таких как сравнение схем, визуальный конструктор запросов, визуализация графиков или пакетный экспорт и импорт.
Поддерживает MySQL, PostgreSQL, SQL Server, MongoDB, SQLite и других.
Работает под Windows, Linux, Mac и как веб-приложение.
🖥 GitHub
🟡 Запустить онлайн
@sqlhub
Для безопасности надо не хранить пароли. А хеши и соль прятать смысла нету
Читать полностью…
Ищем технических писателей и системных аналитиков в команду Riverstart. Компания в IT с 2012 года, аккредитована Минцифры.
Наши преимущества:
● не требуем присутствия в офисе, многие наши сотрудники работают удаленно из разных городов России
● сможете выбирать проекты в тех отраслях, которые любите
● платим по рынку, даем премии и составляем план развития на каждые полгода
Требования для Системного аналитика:
● опыт работы от 3-х лет
● опыт сбора требований и их формализации (Use Cases, User Story, CJM, User Story Map и т. п)
● анализ данных с использованием SQL
● практический опыт работы с описанием API и процессов
Требования для Технического писателя:
● опыт работы от 2-х лет
● хорошее знание ГОСТов (19 и 34)
● опыт написания ТЗ, ПМИ, спецификации, руководства, пояснительная записка, внутренней и другой проектной документации
Узнайте больше о вакансиях и оставьте отклик на сайте!
🔘 «Мне нравится смотреть за роботом и понимать, почему он так себя ведёт».
Недавно мы начали тестировать на складе Маркета Роборуку, которая помогает разбирать партии товаров и складывать их на палеты. Есть и другое направление — мы учим Роборуки работать с маленькими предметами, чтобы в будущем они могли собирать заказы покупателей.
Обучением этой Роборуки занимается Андрей Маношин. Говорим с ним о том, как устроена работа ML-инженера и как объяснить роботу устройство нашего мира.
↗️ Если хотите тоже делать роботов, смотрите наши вакансии.
Подписывайтесь ✨ @yandex
Чет вот тоже сложно представить как она будет создавать схему на основании текстовых запросов.
Шаблонно? Текстовые запросы от кого? Архитектора или юзер который не знает что такое БД?
Представляю как оно будет работать.
level up вашей карьеры инженера данных
У вас уже есть опыт работы, но вы хотите выделиться на фоне «джунов» и охватить всю архитектуру DWH целиком — тогда присоединяйтесь к курсу «Инженер данных» от karpov.courses и экспертов из Яндекса, Ozon, Vk и Сбера.
За 5 месяцев вы освоите все актуальные технологии. А для большего погружения в работу, вы поработаете с ETL-процессами крупной двухуровневой платформы данных, закрепите понимание инструментов Airflow, Spark + S3 и Greenplum и поймёте, как использовать их в связке друг с другом.
А чтобы вы могли ещё больше вырасти, до конца мая karpov.courses даёт возможность по выгодной цене приобрести комбо «курс Инженер данных + Симулятор Data Science». Кроме прокачки навыков, вы будете решать реальные задачи бизнеса и выполните свой уникальный пет-проект, под руководством опытных менторов.
Купить комбо можно до 31 мая, а если усиленная практика пока не нужна - записывайтесь только на курс Инженер данных со скидкой 7% по промокоду SQLHUBB: https://clc.to/erid_LjN8KWtuB
Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627
Ищем технических писателей и системных аналитиков в команду Riverstart. Компания в IT с 2012 года, аккредитована Минцифры.
Наши преимущества:
● не требуем присутствия в офисе, многие наши сотрудники работают удаленно из разных городов России
● сможете выбирать проекты в тех отраслях, которые любите
● платим по рынку, даем премии и составляем план развития на каждые полгода
Требования для Системного аналитика:
● опыт работы от 3-х лет
● опыт сбора требований и их формализации (Use Cases, User Story, CJM, User Story Map и т. п)
● анализ данных с использованием SQL
● практический опыт работы с описанием API и процессов
Требования для Технического писателя:
● опыт работы от 2-х лет
● хорошее знание ГОСТов (19 и 34)
● опыт написания ТЗ, ПМИ, спецификации, руководства, пояснительная записка, внутренней и другой проектной документации
Узнайте больше о вакансиях и оставьте отклик на сайте!
Как можно реорганизовать хранение данных в бд? например у меня есть юзер, у него есть контакт (другой юзер)
как мне сделать оптимизировано и логично хранение этих данных, чтобы каждый из юзеров мог достучаться до другого, а также сделать неограниченным количество контактов?
Друзья - кто разбирается в Redis / Postgresql / Mongodb свяжитесь пожалуйста - хочу задать пару вопросов, делаю пет проект
Читать полностью…
Всем привет, такой вопрос, знаю что не в тот чат, но больше не знаю куда написать, может кто знает телеграмм канал где по разработке на коробочной версии битрикс24. Заранее спасибо)
Читать полностью…
💻 Kysely — типобезопасный скриптовый конструктор SQL-запросов
Kysely — это безопасный для типов и удобный для автозаполнения построитель SQL-запросов на TypeScript. Создан под вдохновением от Knex. В основном разработан для node.js, но также работает во всех других JavaScript-окружениях, таких как deno и bun.
🖥 GitHub
🟡 Доки
@sqlhub
💻 Настройка производительности PostgreSQL: max и group by
Анализ временных рядов в PostgreSQL может предоставить ценную информацию, помочь в принятии обоснованных решений и более глубоком понимании данных. Используя мощные возможности PostgreSQL, мы можем эффективно запрашивать все типы данных измерений для отслеживания тенденций, закономерностей и аномалий во времени.
▶️ Но есть одно требование
@sqlhub
👣 goqu — go-библиотека для построения и выполнения SQL-запросов
— go get -u github.com/doug-martin/goqu/v9
Без проблем поддерживает Postgres, MySQL, SQLite3, SQLServer и кастомные диалекты
🖥 GitHub
@sqlhub