Machinelearning

12 марта 2023 09:32

Data Engineer (lead)

Формат: классный офис в Москве/гибрид/удаленно;
Доход: 300-400К+ руб.;
Форма оформления: по ТК/ИП;

О нас: Мы занимаемся разработкой data-платформы, в рамках которой развиваются различные data-продукты:
• рекомендательные системы;
• сервисы аналитики и визуализации данных;
• ML-модели;
• иные решения для решения бизнес-задач.
Наша команда это 25 инженеров с сильнейшими компетенциями в ML, аналитике и работе с данными, и сейчас мы ищем классных ребят для дальнейшего роста.
У нас нет долгих согласований и бюрократии. Мы стремимся к быстрому внедрению в production, с последующей работой над улучшениями.

Что нужно будет делать:
• Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
• Обеспечивать SLA и качество данных;
• Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой; • Работать в команде и развивать отдел DE.

Будет классно, если у тебя:
• Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
• Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
• Опыт продуктовой разработки в технологических компаниях;
• Опыт постановки задач;
• Опыт наставничества;
• Отличные коммуникативные навыки.

Ты покоришь наши сердца и разум, если у тебя:
• Опыт работы с облаками, особенно, с Яндекс.Облаком;
• Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
• Опыт работы с моделями машинного обучения в продакшене;
• Опыт работы с базами данных для аналитики, особенно, с ClickHouse.

Мы предлагаем:
• Работу в аккредитованной IT компании с сильнейшей командой в разных масштабных проектах;
• Гибридный график работы 5/2, с 10:00 - 19:00;
• ДМС со стоматологией;
• В современном офисе в стиле Лофт с капсулой медитации, спортзалом, большой современной библиотекой и кабинетом для записи подкастов и треков;
• Комфортную кухню с холодильником, кофемашиной, тостером, микроволновкой и Magic Bullet;
• Холодильник с напитками (соки, энергетики, вода и т.д.) и едой (сыры, колбасы, сырки и м.ч.);
• Каждую пятницу совместные обеды с разными кухнями мира за счет компании.


За подробностями пиши: tg @naikava

@datascienceml_jobs - вакансии Data Science, Devops

Machinelearning

10 марта 2023 09:33

🖥 MIT Introduction to Deep Learning 2023

Lecture 1 *New 2023 Edition* Foundations of Deep Learning

Премьера новых лекции курса Introduction to Deep Learning от MiT

🎞 Video: https://www.youtube.com/watch?v=N4AcIfaROEQ
📝 Lectures: http://introtodeeplearning.com/

ai_machinelearning_big_data

Machinelearning

09 марта 2023 09:46

Яндекс Практикум ищет ревьюеров на курс «Продуктовый аналитик»

Ревьюеры помогают студентам создавать работы для портфолио продуктового аналитика. Проект можно совмещать с основной работой: он будет занимать от 8 до 12 часов в неделю, удалённо.   

Какие задачи нужно будет решать?
— проверять проекты студентов и оценивать в формате «зачёт/ не зачёт»,
— простыми словами объяснять их ошибки,
— давать корректирующую обратную связь. 

Кого мы ждём?
Действующих продуктовых аналитиков с опытом от года, которые проводили продуктовые исследования и разбираются в метриках. Важно владеть математической статистикой, SQL и Tableau или Apache Superset. 

Что мы предлагаем?
◾️ Удалённое сотрудничество из любой точки мира.
◾️ Ежемесячный доход.
◾️ Сертификат в портфолио.
◾️ Развитие софт-скиллов: тайм-менеджмент, обратная связь, объяснение материала.
◾️ Профессиональное коммьюнити: нетворкинг, возможность писать статьи и участвовать в мероприятиях Яндекса и Яндекс Практикума.

🖇Откликнуться

Machinelearning

07 марта 2023 09:01

Знаешь, что можно сделать с петабайтами данных о товарах, чтобы помочь бизнесу?

Разработай продукт на основе данных из национальной системы цифровой маркировки «Честный знак» на хакатоне Marking Hack 24—26 марта.

Собери команду и и поборись за призовой фонд - 900 тысяч рублей!

Заявки принимают до 14 марта. Подробности о хакатоне — на сайте.

Организатор: «Честный знак» (ЦРПТ)

Machinelearning

06 марта 2023 08:32

🧬 Примите участие в международной конференции Data Fusion 2023 от ВТБ, которая пройдёт 13-14 апреля.

Конференция будет полезна разработчикам и специалистам в области Data Science, CDO, бизнес-заказчикам DS-продуктов и сервисов, представителям государства и науки.

Первый день конференции будет посвящен аспектам управления данными, практикам перехода на доверенные технологии, доступности дата-сетов для ИИ и другим темам, актуальным для CDO и руководителей бизнес-подразделений.

Программа 14 апреля адресована data science специалистам и исследователям. Темы докладов и сессий распределены по трем стримам: «ML+», «AI Classic», «ML Environment».

На конференции представят новейшие технологии и инструменты, а также будут проведены практические сессии и выступления ведущих предприятий. Не пропустите возможность улучшить свои навыки и расширить свои знания в области Data Science.

Участие в конференции бесплатное. Успейте зарегистрироваться по ссылке: https://cnrlink.com/datafusion1

Machinelearning

03 марта 2023 09:07

⭐️ Dropout Reduces Underfitting from Meta

Early dropout helps underfitting models fit the data better and achieve lower training loss. Late dropout helps improve the generalization performance of overfitting models.

Early dropout (ранний отсев) помогает подгонять недообученные модели и достигать меньших потерь при обучении. Late dropout (поздний отсев) помогает улучшить производительность моделей и решает проблему переобучения.

🖥 Github: https://github.com/facebookresearch/dropout

⏩ Paper: https://arxiv.org/abs/2303.01500v1

⭐️ Dataset: https://paperswithcode.com/dataset/oxford-102-flower

ai_machinelearning_big_data

Machinelearning

02 марта 2023 13:38

🔥 Приглашаем на открытый урок углубленного курса «Machine Learning. Professional» в OTUS 9 марта в 18:00 мск — Рекомендательные системы на основе SVD алгоритма

✅ На занятии мы обсудим один из самых мощных алгоритмов классического ML для построения рекомендательных систем, основанный на сингулярном разложении матрицы. А после короткой теоретической части, вы примените его на практике.

Познакомитесь с задачей рекомендательных систем. Изучите подход на основе SVD разложения матрицы для построения рекомендательной системы. Примените его на практике.

🧑‍💻Кому подходит этот урок:
- IT-специалистам которые хотят освоить продвинутые методы ML и перейти в Data Science
- Дата-сайентистам, желающим углубиться в профессию
- Тем кто самостоятельно изучает Data Science и уже изучил основы ML

👉 Пройдите вступительный тест для участия в вебинаре
https://otus.pw/8LTCX/

Machinelearning

01 марта 2023 10:19

👁 Deep Contextual Video Compression

A group-based offset diversity where the cross-group interaction is proposed for better context mining.

Официальная реализация Pytorch для нейронного сжатия видео и изображений.

🖥 Github: https://github.com/microsoft/dcvc

⭐️Paper: https://arxiv.org/abs/2302.14402v1

💻 Dataset : https://paperswithcode.com/dataset/vimeo90k-1

ai_machinelearning_big_data

Machinelearning

28 февраля 2023 08:38

📃OccDepth: A Depth-aware Method for 3D Semantic Occupancy Network

Maybe the first academic open work on stereo 3D SSC method with vision-only input.

Первый метод SSC под названием OccDepth, который использует неявную информацию из стереоизображений для восстановления трехмерных геометрических структур.

🖥 Github: https://github.com/megvii-research/occdepth

⭐️Paper: https://arxiv.org/abs/2302.13540v1

💻 Dataset : https://paperswithcode.com/dataset/nyuv2

ai_machinelearning_big_data

Machinelearning

27 февраля 2023 10:35

🌐 Как наладить технологии автоматического перевода в своём проекте?

В статье на Хабре Андрей Соколов из команды прикладных исследований ВКонтакте подробно и доступным языком рассказал о том, как они сделали свой переводчик для постов и сообщений в мессенджере. Материал будет полезен для тех, кто тоже хочет попробовать использовать и развернуть переводы у себя в проекте.

Для чтения статьи не потребуется специальный уровень знаний: в ней нет излишних технических подробностей. При этом в ней вы найдёте ссылки на полезные ресурсы и выдержки из интересных источников.

ai_machinelearning_big_data

Machinelearning

25 февраля 2023 08:12

📡 Learning Visual Representations via Language-Guided Sampling

New approach deviates from image-text contrastive learning by relying on pre-trained language models to guide the learning rather than minimize a cross-modal similarity.

Новый альтернативный подход к визуальному обучению: с использованием языкового сходства для выборки семантически схожих пар изображений.

🖥 Github: https://github.com/mbanani/lgssl

⭐️Paper: https://arxiv.org/abs/2302.12248v1

⏩Pre-trained Checkpoints: https://www.dropbox.com/sh/me6nyiewlux1yh8/AAAPrD2G0_q_ZwExsVOS_jHQa?dl=0

💻 Dataset : https://paperswithcode.com/dataset/redcaps

ai_machinelearning_big_data

Machinelearning

24 февраля 2023 08:01

🔥 Загляните вглубь алгоритма k Nearest Neighbours и попробуйте его на практике! 1 марта в 18:00 мск пройдет вебинар в рамках онлайн-курса «Machine Learning. Professional» в OTUS.

Тема урока: «Мы похожи на свое окружение: алгоритм k Nearest Neighbours для задачи классификации» — https://otus.pw/wyLh/

✅ На занятии мы поговорим о задаче классификации, крайне востребованном классе задач в области ML сегодня. Мы изучим алгоритм kNN для ее решения, а затем применим его на практике.

В результате урока мы:
- Познакомимся с популярным алгоритмом машинного обучения kNN
- Узнаем, как устроен алгоритм kNN
- Освоим принципы решения задачи классификации с помощью kNN

⚠️ Урок будет полезен IT-специалистам, которые хотят освоить продвинутые методы ML и перейти в Data Science. Продолжить обучение на курсе возможно в рассрочку.

👉 Пройдите вступительный тест для участия в вебинаре
https://otus.pw/wyLh/

Machinelearning

23 февраля 2023 09:01

27 марта NewProLab запускает 12-й обновленный поток интенсивной онлайн-программы Data Engineer для быстрого старта в дата-инжиниринге и погружения в новые практики и инструменты

📌Кому подойдет программа:
дата-инженеры, аналитики данных, бэкенд-разработчики, техлиды и менеджеры

📌Длительность 8 недель (27 марта – 26 мая):
- 20 занятий с преподавателями в зуме
- 6 лабораторных работ - задач с реальными данными
- общий чат с участниками и поддержка координатора

📌Что дает программа:
1) научитесь решать типичные задачи DE и сможете работать дата-инженером
2) структурируете ваши знания и познакомитесь с новыми инструментами
3) поработаете с облачным кластером для решения лаб с реальными данными
4) видеозаписи и другие материалы программы останутся у вас навсегда

📌Лабы, которые предстоит выполнить:
1) Подготовка инфраструктуры
2) Batch-обработка
3) Потоковая обработка данных
4) Data-сервис
5) Сервис персонализации
6) Хранилище для BI-дашборда

📌Преподаватели – практики из ведущих компаний России и мира, рассказывают о сложном простым языком и ответят на все ваши вопросы

Оставляйте заявки по ссылке: https://clck.ru/33cDTa

📌По промокоду birthday23 вы получите скидку 23% при покупке программы

Machinelearning

20 февраля 2023 15:33

🔍 Planar Object Tracking via Weighted Optical Flow

Method for planar object 8 degrees-of-freedom pose.

WOFT - новый невероятно точный метод отслеживания объектов.

⭐️ Project: https://cmp.felk.cvut.cz/~serycjon/WOFT/

🖥 Github: https://github.com/serycjon/WOFT

⭐️Paper: arxiv.org/pdf/2301.10057.pdf

💻 Dataset : https://www3.cs.stonybrook.edu/~hling/data/POT-210/planar_benchmark.html

ai_machinelearning_big_data

Machinelearning

20 февраля 2023 09:07

💠 MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation

MultiDiffusion - модель, позволяющая создавать любые изображения, используя предварительно обученную модель диффузии текста в изображение, без дополнительного обучения и настройки.

⭐️ Project: https://multidiffusion.github.io/

🖥 Github: https://github.com/omerbt/MultiDiffusion

⭐️Paper: https://arxiv.org/abs/2302.08113v1

💻 Dataset: https://paperswithcode.com/dataset/coco

ai_machinelearning_big_data

Machinelearning

11 марта 2023 09:26

Multivariate Probabilistic Time Series Forecasting with Informer

Efficient transformer-based model for LSTF.

Применение модели Informer от Hugging Face для задач многомерного вероятностного прогнозирования.

🤗Hugging face: https://huggingface.co/blog/informer

⏩ Paper: https://huggingface.co/docs/transformers/main/en/model_doc/informer

⭐️ Colab: https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/multivariate_informer.ipynb

💨 Dataset: https://huggingface.co/docs/datasets/v2.7.0/en/package_reference/main_classes#datasets.Dataset.set_transform

ai_machinelearning_big_data

Machinelearning

09 марта 2023 11:10

Openicl

New open-source toolkit for ICL and LLM evaluation.

OpenICL - новый фреймворк для исследования, разработки и созданию прототипов для задач in-context learning.

pip install openicl

🖥 Github: https://github.com/shark-nlp/openicl

⏩ Paper: https://arxiv.org/abs/2303.02913

⭐️ Dataset: https://paperswithcode.com/dataset/gsm8k

💨 Docs: https://github.com/shark-nlp/openicl#docs

⏩ Examples: https://github.com/Shark-NLP/OpenICL/tree/main/examples

ai_machinelearning_big_data

Machinelearning

07 марта 2023 10:58

🧩 Building LEGO for 3D Reconstruction on Mobile Devices

A novel data capturing and 3D annotation pipeline in MobileBrick without relying on expensive 3D scanners.

MobileBrick - это первый многоракурсный набор данных RGBD, снятый на мобильное устройство, с точными 3D-аннотациями для детальной реконструкции 3D-объектов.

🖥 Github:https://github.com/ActiveVisionLab/MobileBrick

⏩ Paper: https://arxiv.org/abs/2303.01932

⭐️ Dataset: http://www.robots.ox.ac.uk/~victor/data/MobileBrick/MobileBrick_Mar23.zip

💨 Project: https://code.active.vision/MobileBrick/

ai_machinelearning_big_data

Machinelearning

06 марта 2023 10:32

Ultra fast ControlNet with 🧨 Diffusers

ControlNet provides a minimal interface allowing users to customize the generation process up to a great extent.

Новый пайплайн StableDiffusionControlNetPipeline, в статье показано, как его можно применять для различных задач. Давайте контролировать!

🤗 Hugging face blog: https://huggingface.co/blog/controlnet

🖥 Colab: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/controlnet.ipynb

🖥 Github: https://github.com/lllyasviel/ControlNet

⏩ Paprer: https://arxiv.org/abs/2302.05543

@ai_machinelearning_big_data

Machinelearning

04 марта 2023 10:52

⭐️ SplineCam: Exact Visualization and Characterization of Deep Network Geometry and Decision Boundaries, CVPR 2023

Exact method for computing partitions of a Deep Neural Network

🖥 Github: http://github.com/AhmedImtiazPrio/SplineCAM

🖥 Colab: https://bit.ly/splinecam-demo

⏩ Paper: http://arxiv.org/pdf/2302.12828.pdf

⭐️ Project: http://imtiazhumayun.github.io/splinecam

ai_machinelearning_big_data

Machinelearning

02 марта 2023 15:38

🖥 pyribs: A Bare-Bones Python Library for Quality Diversity Optimization

A bare-bones Python library for quality diversity optimization.

🖥 Github: https://github.com/wjn1996/hugnlp

⏩ Paper: https://arxiv.org/abs/2303.00191v1

⭐️ Dataset: https://paperswithcode.com/dataset/quality-diversity-benchmark-suite

@ai_machinelearning_big_data

Machinelearning

02 марта 2023 09:15

😊 HugNLP

HugNLP is a unified and comprehensive NLP library based on HuggingFace Transformer.

HugNLP — это новая универсальная NLP библиотека основанная на Hugging Face, для повышения удобства и эффективности работы c текстами.

🖥 Github: https://github.com/wjn1996/hugnlp

⏩ Paprer: https://arxiv.org/abs/2302.14286v1

⭐️ Dataset: https://paperswithcode.com/dataset/clue

⏩ HF for complex text classification: https://huggingface.co/blog/classification-use-cases

@ai_machinelearning_big_data

Machinelearning

01 марта 2023 08:19

В @Selectel появились новые конфигурации выделенных серверов с GPU для Machine Learning, инференса и других задач, связанных с обработкой больших данных. Вы можете арендовать одну из готовых конфигураций или собрать собственную: например, с NVMe-дисками, большим объемом памяти, несколькими видеокартами или сетевой картой 10 Гбит/с — под любые требования вашего проекта.

На все проекты в аккаунте вы получаете бесплатный безлимитный канал 1 Гбит/c. Серверы по умолчанию соответствуют стандартам 152-ФЗ — российского закона о персональных данных.

Вы можете арендовать сервер даже на день, чтобы протестировать все возможности GPU, но при долгосрочной аренде на 3, 6 и 12 месяцев действуют скидки до 15%. Чтобы заказать сервер, достаточно сделать пару кликов в удобной панели — и никакого установочного платежа.

Регистрируйтесь по ссылке и заказывайте выделенный сервер c GPU: https://slc.tl/vhka6

Реклама ООО Селектел Pb3XmBtzsznTqpXrcbeF5CSCByyCeyTAiAcCx6U

Machinelearning

27 февраля 2023 12:35

💡 The ChatGPT Cheat Sheet

Подробная шпаргалка по работе с ChatGpt.

💨 Cheat Sheet

ai_machinelearning_big_data

Machinelearning

27 февраля 2023 08:34

Какими навыками должен обладать IT-архитектор — специалист, отвечающий за проектирование функциональных частей продукта? Расскажет Владимир Григорьев, Архитектор стрима «Розничный Миддл», на ближайшей лекции Digital Лектория Газпромбанка.

Когда: 2 марта, 18:00 (по МСК)

О чем: об истории и причинах появления специальности ИТ-архитектора, разных видах специалистов и требованиях к ним, рабочих задачах и организации работы, а также роли ИТ-архитекторов в Газпромбанке.

Присоединяйся к лекции, чтобы узнать больше о профессии IT-архитектора. Регистрация открыта: https://www.gpbspace.ru/digital-lectory-hall-form/

Machinelearning

24 февраля 2023 10:21

Video Localized Narratives

Video Localized Narratives, a new form of multimodal video annotations connecting vision and language.

Новая модель от Google позволяет генерировать аннотации к видео, фиксируя даже сложные события.

Авторы уже аннотировали 20 тыс. видео из датасетов OVIS, UVO и Oops, в общей сложности 1,7 млн. слов.

🖥 Github: https://github.com/google/video-localized-narratives

⭐️Paper: https://arxiv.org/abs/2302.11217v1

⏩ Project: https://www.youtube.com/watch?v=0ORZvDDbDjA

💻 Dataset : https://paperswithcode.com/dataset/video-localized-narratives

ai_machinelearning_big_data

Machinelearning

23 февраля 2023 10:30

💨 3D Object Tracking

Multi-modality tracker that fuses information from visual appearance and geometry to estimate object poses.

Список алгоритмов по отслеживанию 3D-объектов.

🖥 Github: https://github.com/dlr-rm/3dobjecttracking

⭐️Paper: https://arxiv.org/abs/2302.11458v1

⏩ Video: https://www.youtube.com/watch?v=0ORZvDDbDjA

💻 Dataset : https://paperswithcode.com/dataset/ycb-video

ai_machinelearning_big_data

Machinelearning

21 февраля 2023 08:00

🔍 A meta-dataset for few-shot image classification

Meta Album is a meta-dataset created for few-shot learning, meta-learning, continual learning and so on.

Meta-datase — это набор метаданных, созданный , состоящий из 40 датасетов разбитых на 10 уникальных категорий. Это постоянно пополняемый набор метаданных.

⭐️ Meta-dataset: https://meta-album.github.io/

🖥 Github: https://github.com/ihsaan-ullah/meta-album

⭐️Paper: https://arxiv.org/abs/2302.08909v1

ai_machinelearning_big_data

Machinelearning

20 февраля 2023 13:33

Работать там, где живешь, а не жить там, где работаешь?

Да, и мы в Тинькофф поддерживаем такой формат работы. Поэтому открыли свои центры разработки не только в Москве, но и еще в 24 городах России, Беларуси, Армении и Казахстана.

Для нашей команды эти распределенные IT-хабы — возможность выбирать комфортный город для работы. Не переезжать в столицу, чтобы делать флагманские продукты, а создавать их там, где удобно. Или не оставаться на одном месте, а свободно перемещаться между офисами — встречаться и работать с коллегами по всей стране!

Посмотреть открытые вакансии в наши центры разработки и оставить резюме можно на этой странице: https://l.tinkoff.ru/tcr-2023-tinkoff

Machinelearning

19 февраля 2023 09:34

🚀 Slapo: A Schedule Language for Large Model Training

Slapo is a schedule language for progressive optimization of large deep learning model training.

Slapo позволяет использовать набор примитивов на PyTorch, запуская их по расписанию, для оптимизации обучения без изменения самой модели.

🚀 Мощная оптимизация.

pip3 install slapo

🖥 Github: https://github.com/awslabs/slapo

⭐️Paper: https://arxiv.org/abs/2302.08005v1

💻 Docs: https://awslabs.github.io/slapo/

ai_machinelearning_big_data