18194
Все о машинном обучении админ - @workakkk @data_analysis_ml - анализ даннных @ai_machinelearning_big_data - Machine learning @itchannels_telegram -лучшие ит-каналы @pythonl - Python @pythonlbooks- python 📚 @datascienceiot - 📚 РКН: clck.ru/3FmrUw
🔥 OmniFusion 1.1 — первая мультимодальная ИИ-модель в России
🟡Встречайте OmniFusion — ИИ-модель от AIRI, Sber AI и Sber Devices.
OmniFusion 1.1 предлагает уникальные функции, которые отличают её от других моделей. Одной из самых заметных особенностей является способность модели отвечать на вопросы, связанные с изображениями, а также поддерживать беседу о содержимом картинок. Это включает описание того, что изображено, детализацию элементов и интерпретацию визуальной информации.
🟡Модель прекрасно поддерживает русский язык, что делает её особенно ценной для российских пользователей и разработчиков, желающих интегрировать продвинутые AI-решения в свои проекты.
🟡Создатели OmniFusion 1.1 уже планируют расширение функционала модели, включая поддержку аудио, 3D- и видеоконтента.
🖥 GitHub
@machinelearning_ru
📌CatBoost
CatBoost — это популярная open-source библиотека градиентного бустинга на решающих деревьях с поддержкой категориальных фичей из коробки, преемник алгоритма MatrixNet, разработанного Яндексом.
В плане простоты использования и легкости входа для новичков, пожалуй является топ-1 библиотекой для табличных данных и вот почему:
⏩Принимает категориальные фичи сразу без всякой предварительной обработки.
⏩Чтобы перенести обучение с CPU на GPU достаточно поменять значение 1 параметра, без установки доп.пакетов или специальных версий, как в других библиотеках
⏩Даже с дефолтными параметрами выдает хорошую точность модели. Основные параметры не константные, а подбираются самой библиотекой, в зависимости от размера входных данных.
⏩Может принимать текстовые признаки, эмбеддинги, временные признаки.
⏩Без дополнительных манипуляций и оберток встраивается в стандартные пайплайны (например, sklearn).
⏩Идет в комплекте с "батарейками": feature_selection, object_selection, cross_validation, grid_search и пр.
Если вы ещё не знакомы с CatBoost — самое время это исправить
📎 Вот полезный практический Google Colab с CatBoost
@machinelearning_ru
📉 Nvidia подешевела на 10% после выхода на рынок Llama-3.
Зачем покупать графические процессоры для обучения LLM, когда у нас уже есть несколько LLM мирового класса с открытым исходным кодом 🤷♀️ 🤷♀️
@machinelearning_ru
⚡️ Эксперты по ИИ Matt Turck, Aman Kabeer и FirstMark представили все нейросети мира на одной картинке
⏩Они собрали 2011 ИИ-стартапа и сервиса, разделённых на сферы применения.
⏩В отдельных разделах есть ИИ-ассистенты для кодинга, продаж, копирайтинга, генераторы картинок, аудио, анимаций и многое другое.
📎Полный ландшафт ИИ-мира доступен в PDF
@ai_machinelearning_big_data
⚡️ The RealHumanEval: Оценка возможностей больших языковых моделей для поддержки программистов
Новый веб-интерфейс для оценки способности Lms помогать программистам с помощью автозаполнения или поддержки в чате ▪репозиторий: https://github.com/clinicalml/realhumaneval
▪abs: https://arxiv.org/abs/2404.02806
@machinelearning_ru
Apple 3B LLM от Apple превосходит GPT-4 🤯
📌 ReALM значительно улучшает способность разговорных помощников, таких как Siri или Alexa, понимать естественную речь людей. Представьте, что вы просматриваете список ресторанов на своем смартфоне и говорите: "направьте меня к ресторану на улице Ленина" - ReALM сможет понять, о каком ресторане вы говорите, даже если вы не указали точное название.
📌 Это достигается за счет грамотного преобразования визуального оформления того, что находится на вашем экране, в текстовый формат, который может использовать мощная модель искусственного интеллекта, понимающая язык. Это позволяет ReALM понимать неоднозначные вопросы (например, "это", "тот самый", "второй элемент") аналогично тому, как люди интуитивно понимают контекст.
📌 ReALM превзошел предыдущие подходы к решению этой задачи и почти соответствовал модели GPT-4, будучи при этом намного более эффективным, что делает его практичным для использования на смартфонах.
📌 Таким образом, теперь помощники с искусственным интеллектом могут общаться более непринужденно, например, "забронировать столик в итальянском ресторане, который я только что осмотрел", без необходимости утомительно объяснять все по буквам.
https://arxiv.org/abs/2403.20329
@machinelearning_ru
⚡️ JailbreakBench: Открытый тест надежности для джейлбрейка больших языковых моделей
Представляет собой тест с таблицей лидеров, набор данных для джейлбрейка и промптов SotA.
proj: https://jailbreakbench.github.io
репозиторий: https://github.com/JailbreakBench/jailbreakbench
@machinelearning_ru
Хотите учиться у экспертов в области IT? Школа анализа данных Яндекса принимает заявки
до 12 мая, успейте зарегистрироваться.
ШАД для вас, если вы:
· интересуетесь Machine Learning
· имеете хорошую математическую подготовку
· уверенно владеете каким-либо языком программирования
Программа длится два года, обучение бесплатное. Можно выбрать одно из направлений: Data
Science, инфраструктура больших данных, разработка машинного обучения или анализ
данных и ИИ в прикладных науках.
Больше об учёбе в ШАД и возможностях для выпускников расскажем на днях открытых
дверей. Узнать даты и зарегистрироваться можно по ссылке.
🌟 Как проходит собеседование на продуктового аналитика в Авито?
Присоединяйтесь к трансляции на канале AvitoTech 4 апреля в 18:00. Вместе с Вовой Камчаткиным, продуктовым аналитиком в компании inDrive, увидите, какие вызовы и задачи ждут вас и как к ним лучше подготовиться. А ещё сможете отвечать на вопросы Егора Беседина, руководителя продуктовой аналитики в Авито, и задавать свои.
А 6 и 7 апреля используйте полученные знания на Weekend Offer для аналитиков. Оставляйте заявку, проходите собеседование и получайте оффер! 🔥
OpenAI Sora: Beauty And Horror!
https://www.youtube.com/watch?v=1YEX4t79e0Q
@machinelearning_ru
⚡️ Adobe представила GenStudio — ИИ-платформу для маркетинга
⏩Adobe анонсировала GenStudio — платформу с генеративными нейросетями, которая поможет ускорить процесс создания рекламных материалов и их продвижение. Компания показала сервис в рамках конференции Adobe Summit 2024.
⏩Платформа позволяет собрать в одном месте всё необходимое для работы с рекламой: бренд-кит, референсы и источники для вдохновения. Отдельно в сервисе есть нейросети для генерации изображений и текста. Это, по словам компании, поможет маркетологам быстрее разрабатывать кампании и проверять идеи.
⏩В GenStudio встроены инструменты аналитики. С их помощью можно следить за показателями кампаний и оценивать прибыльность. Система показывает, какие материалы оказались наиболее удачными и предлагает идеи на их основе. Кампанию можно будет отредактировать и запустить снова.
⏩Пока приложение GenStudio проходит альфа-тестирование. Общедоступный релиз планируется в конце 2024 года. Сервис будет платным, а цена будет зависеть от размеров компании. Более детальную информацию Adobe сообщит позже.
@machinelearning_ru
⚡️ AutoBNN: Probabilistic time series forecasting with compositional bayesian neural networks
Autobahn сочетает интерпретируемость традиционных вероятностных подходов с масштабируемостью и гибкостью нейронных сетей для построения сложных моделей прогнозирования временных рядов с использованием сложных данных.
Узнайте больше и попробуйте готовый код → https://blog.research.google/2024/03/autobnn-probabilistic-time-series.html
@machinelearning_ru
Постройте свою модель для прогнозирования цен на недвижимость, открыв двери в мир машинного обучения вместе с нами!
👉 Отус приглашает 2 апреля в 20:00 мск на бесплатный практический вебинар «Линейная регрессия — ваша первая модель»
Вебинар является частью полноценного онлайн-курса «Специализация Machine Learning»
➡️ Регистрация на вебинар: https://otus.pw/YElP/?erid=LjN8KXZUo
Спикером выступит: Игорь Стурейко — (к.ф.-м.н.) Teamlead, Data Scientist
В результате вебинара вы:
✅ познакомитесь с популярным алгоритмом машинного обучения — линейной регрессией;
✅ узнаете, как устроены алгоритм линейной регрессии и метод наименьших квадратов;
✅ освоите принципы решения задачи регрессии;
✅ построите свою первую модель предсказания цены на недвижимость.
Записывайтесь сейчас, а мы потом напомним. Участие бесплатно.
Есть ли мемы на Марсе? Как вытянуть репку с помощью кода? Попробуйте разгадать все тайны Гиперкуба на Tinkoff CTF.
20 и 21 апреля пройдет ИТ-соревнование с призами до 420 000 ₽.
Выберите лигу по скиллам и участвуйте даже без опыта в спортивном хакинге. Задания будут интересны сильным разработчикам, QA- и SRE-инженерам, аналитикам и другим ИТ-специалистам.
Играйте как вам удобно: онлайн из дома или офлайн — в одном 16 городов России, Беларуси и Казахстана. В офлайне вас ждет общение с другими игроками, квизы, мерч и другие развлечения.
Узнайте больше о соревновании и зарегистрируйтесь до 19 апреля
erid:2VtzquoJzoo
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673
OpenAI Sora Just Supercharged Filmmaking!
https://www.youtube.com/watch?v=IS0xphCc5rI
@machinelearning_ru
🦾 Dataset of 15 trillion tokens
Только что был опубликован датасет из 15 триллионов токенов (столько же, сколько было использовано для обучения Llama 3)!!!
Скачайте его, пока он не был удален из-за авторских прав.
https://huggingface.co/datasets/HuggingFaceFW/fineweb
@machinelearning_ru
🚀 Дайджест полезных находок, инструментов, статей и видео из мира машинного обучения за неделю
🔎 Дайджест
@machinelearning_ru
🦾 🦏 Power of matplotlib
Вот такую красоту можно сделать с помощью matplotlib. Это визуализация гравюры немецкого художника Альбрехта Дюрера, изображающая индийского носорога, каким его представлял художник по доступным ему описаниям и рисункам в 1515.
Хотите научиться та к же: вот крутая бесплатная книга: "Научная визуализация: Python + Matplotlib"
Исходники книги c примерами кода лежат здесь.
▪Постер
▪Книга
▪Код из книги
@ai_machinelearning_big_data
17 мая собираем всех на IT-конференцию МТС True Tech Day.
Наша работа строится на коде, который мы создали из синтеза науки и технологий. Это надёжная и универсальная платформа для разработки продуктов и сервисов.
Каждый участник конференции поучаствует в сессиях от лидеров индустрии, испытает технологии в true labs и получит новые впечатления и эмоции.
Что будет:
→ 5 тематических треков: Main, Development, AI/ML, Cloud, Science
→ 50 спикеров с докладами про архитектуру, облачные платформы, NLP4Code, вероятностное программирование, безопасность контейнеров и другое
→ 10 часов нетворкинга
→ цифровые зоны и digital-интеграции
→ а ещё вечеринка со звездой
Все спикеры и темы уже на сайте. Регистрируйся на True Tech Day. Участие бесплатное
Blender 4.1 - An Amazing Tool…For Free!
https://www.youtube.com/watch?v=_2bzwNyIjkY
@machinelearning_ru
Command R Plus ⚡
> Превосходит claude-3, mistral-large, gpt-4 turbo.
> 104 миллиарда параметров.
> Создан с использованием многоступенчатых инструментов и RAG.
> Поддерживает 10 языков.
> Длина контекста 128 Кб.
> Обучен основательным функциям генерации - цитаты и ответы на основе контекста.
> Оптимизирован для генерации и переписывания кода
> Доступен как в 4-разрядных, так и в 8-разрядных версиях.
> Доступен непосредственно в Transformers, чтобы с ним можно было поиграть. 🤗
https://huggingface.co/CohereForAI/c4ai-command-r-plus
@machinelearning_ru
🚀 Devika - Agentic AI Software Engineer 👩💻
Devika — бесплатная альтернатива для Devin, автономной нейронки-программиста
Нейросеть может всё то же самое что Devine. Проект поддерживает Claude 3, GPT-4, GPT-3.5, и локальные LLMы, запускающиеся через Ollama.
▪ Github
@machinelearning_ru
📌ИИ научился предупреждать потенциальные несчастные случаи на производстве
⏩Стартап из Стокгольма Buddywise представил набор моделей компьютерного зрения, способных сканировать рабочее пространство на предприятиях и заблаговременно предупреждать сотрудников о потенциально опасных ситуациях. Платформа на основе ИИ также отправляет экстренные оповещения в случае производственной травмы или гибели.
⏩Модель ИИ умеет анализировать изображения в реальном времени посредством камер, подключённых через Wi-Fi. Искусственный интеллект способен выявлять возможные риски, начиная от опасного вождения вилочного погрузчика и заканчивая поверхностями, где работники предприятия могут поскользнуться. Софт даже умеет определять плохую осанку у людей.
⏩В отличие от аналогичных систем мониторинга, использующих хранилища видео, разработка от Buddywise ведёт запись в режиме реального времени. Также программа не использует распознавание лиц. Это делает новую разработку более конфиденциальным решением.
⏩Проанализированная информация поступает на отдельную панель, где пользователи могут измерить показатели безопасности. Программа позволяет выставить индивидуальные настройки для ИИ, чтобы нейросеть могла сосредоточиться на конкретных рисках и отправлять оповещения только о конкретных типах инцидентов.
@machinelearning_ru
Факультет компьютерных наук НИУ ВШЭ расширяет сотрудничество с Яндексом для подготовки специалистов по ИИ и ML.
ФКН был основан ВШЭ совместно с Яндексом 10 лет назад. За время своего существования он стал одним из лидеров в подготовке разработчиков и специалистов по ИИ и ML, выпустив более 3 000 человек,
В следующие 10 лет Яндекс и ВШЭ:
- Увеличат количество выпускников факультета по программам Яндекса в 4 раза
- Откроют магистратуру по ИИ в маркетинге и продукте
- Создадут направления по генеративным технологиям на магистерской программе "Современные компьютерные науки"
- Запустят студенческий кемп по машинному обучению
Обратите внимание, если планируете стать студентом — ВШЭ занимает второе место среди российских университетов по количеству публикаций на конференциях A*.
▪Подробнее
@ai_machinelearning_big_data
⚡️ Microsoft запустила один из самых полных курсов по генеративному ИИ!
Этот курс состоит из 18 уроков, каждый из которых посвящен отдельной теме, так что начинайте с того, с чего захотите!
Уроки помеченные как "Изучающие" объясняют концепцию генеративного ИИ, "Развивающие" - уроки, которые по объясняют концепции ИИ и содержат примеры кода как на Python, так и на TypeScript.
Вот ссылка на курсы: https://github.com/microsoft/generative-ai-for-beginners
@machinelearning_ru
Ловите крутой ресурс для изучения внутреннего устройства нейронных сетей
Здесь вы найдёте простое и понятное объяснение работы современных нейронок, их ключевых компонентов и механизмов обучения. А также мельком познакомитесь с различными видами по типу RNN, CNN, GAN и не только.
На сайте есть и другие разборы, которые также сопровождаются приятной анимацией. Так что не стесняемся, переходим и обучаемся!
@neuro_channel #база
Типовые проблемы в архитектуре стартапов
За последний год провел 17 консультаций организаций малого бизнеса (размер организаций 15-100 человек). Обычно просят сделать анализ архитектуры на уровне кода, чтобы повысить скорость выхода на рынок и оптимизировать затраты на сопровождение.
Хочу рассказать о проблемах, которые есть почти у всех. Важно отметить, что улучшение архитектуры кода на таких размерах влияет в основном на вовлеченность разрабов, а чисто "технически" улучшения не так заметны. Обычно проблемы лежат в области процессов, мотивации и организации работы.
1. Проблема номер раз - технический долг. Обычно никто его не измеряет, в лучшем случае определяют "на глазок", а в худшем вообще не определяют. Предлагаю сделать простейший анализ, получаем цифры 60-70%. Для себя эмпирически установил, что при уровне техдолга 25-35% качество разработки становится заметно лучше.
2. Проблемы автоматизации и организации процессов. Например, в процессе разработки не используются фичи гита или не реализован CI/CD, нет автоматического тестирования, нет стат анализа, нет динамического анализа и т.д. Непонятно кто за что отвечает, кто что делает.
Обычно жалуются, что организовать процессы сложно и дорого. В качестве контраргумента я привожу в пример NarisApp, где процессы работают на голом энтузиазме и если бы не они, то проект давно закрылся.
3. Деньги не мотивируют. Я много раз убеждался, что в теории люди могут знать кучу всего хорошего, а на практике ничего не применять. Просто потому что "а зачем?". Я несколько раз проводил анкетирование, и оказывалось, что знания есть, а просишь показать примеры в коде, где эти знания применяются, показать не могут.
При этом если внедрить ревью кода, начать стимулировать разрабов писать код обдуманно, то увеличивается вовлечение в проект, и результат становится лучше.
4. Найм новых сотрудников не улучшает ситуацию, так как на рынке дефицит квалифицированных кадров. Эта прямо "проблема проблем". На рынке нет нужных кадров. Проще выращивать специалистов самим, чем нанимать.
Ситуация усугубляется тем, что как только человек получает опыт, он уходит на лучшие условия, как правило, в большую компанию, удаленка этому сильно способствует.
Получается, что маленькие компании, которые хотят удержать своих сотрудников, должны с одной стороны развивать их сами, с другой мотивировать остаться в компании.
У меня есть пример, когда решение кадровых вопросов, организация процессов и просто приведения "разработки" в порядок привело к увеличение производительности в 5 раз, при этом реорганизация заняла около года.
🌟 OpenAI показала, как Sora используют творческие профессионалы
Sora — нейросетевая модель компании OpenAI, общий релиз которой ещё не состоялся. Но это не значит, что OpenAI не показывает модель вообще никому. Вчера компания продемонстрировала, как художники и киноделы применяют Sora для воплощения идей в жизнь.
@machinelearning_ru
⭐️ Яндекс анонсировал третье поколение больших языковых моделей
Первая языковая модель линейки — YandexGPT 3 Pro — уже доступна на сайте Yandex Cloud. Пользователи могут дообучить модель на конкретных задачах своего бизнеса в сервисе ML-разработки Yandex DataSphere. А потом встроить технологию в свои продукты через API.
Чтобы запустить процесс дообучения, нужно загрузить в DataSphere файл с примерами запросов и эталонными ответами на них. Стоимость использования новой нейросети снизилась почти в два раза.
@machinelearning_ru
⭐️ VideoPrism: A foundational visual encoder for video understanding
Google представили Video Prism, новую модель для понимания видео, которая может выполнять широкий спектр задач, включая классификацию, локализацию, поиск контента, создание субтитров. Модель способна давать ответы по содержанию видео
Узнайте, как это работает: https://blog.research.google/2024/02/videoprism-foundational-visual-encoder.html