Machinelearning

22 мая 2024 18:33

⚡️ Your Guide to Generative AI Courses

Лучший способ изучить генеративный ИИ - это создать собственный проект. Новый ресурс, который поможет вам погрузится в эту тему!

Новое руководство от DeepLearningAI
по созданию RAG приложения, с пошаговой схемой создания RAG и список кратких уроков, подготовленных кураторами, которые содержат как теоретические знания, так и практические примеры с кодом.

https://deeplearning.ai/resources/generative-ai-courses-guide/

@ai_machinelearning_big_data

Machinelearning

22 мая 2024 16:04

⚡️ Cover-Agent — инструмент с открытым исходным кодом, включающий в себя реализацию TestGen-LLM от Meta для автоматического улучшения наборов тестов

— pip install git+https://github.com/Codium-ai/cover-agent.git

Cover-Agent использует генеративный искусственный интеллект для автоматизации и улучшения генерации тестов (сейчас в основном юнит-тестов).
Cover-Agent может запускаться через терминал, в будущем его планируется интегрировать в популярные CI-платформы.

🖥 GitHub
🟡 Связанная статья Arxiv

@ai_machinelearning_big_data

Machinelearning

22 мая 2024 12:03

⚡️ Большой прорыв в понимании работы LLM — Anthropic опубликовала исследование

Обычно модели AI воспринимаются как "черный ящик", где ввод данных приводит к выводу ответа, но неясно, почему модель выбрала именно этот ответ. Заглядывание внутрь "черного ящика" не всегда помогает, поскольку внутреннее состояние модели состоит из длинного списка чисел (активации нейронов), которые трудно интерпретировать.
Однако, благодаря применению техники "обучения словаря", сотрудники Anthropic смогли сопоставить паттерны активации нейронов с понятными человеческому человеку концепциями, позволяя представлять любой внутренний состояния модели через несколько активных признаков вместо множества активных нейронов.

В октябре 2023 года было успешно применено обучение словаря к небольшой "игрушечной" языковой модели. Эта работа была расширена до больших и сложных моделей, включая Claude Sonnet, что позволило выявить миллионы признаков, отражающих широкий спектр сущностей, таких как города, люди, элементы, научные области и синтаксис языков программирования программирования. Эти признаки могут быть мультимодальными и многоязычными, реагируя на изображения или названия сущности на многих языках.

Авторы также обнаружили возможность манипулировать этими признаками, усиливая их для изменения поведения модели. Например, усиление признака "Золотые ворота" привело к тому, что модель начала ассоциировать себя с этим мостом, приводя его в любую тему разговора.

Работа над улучшением безопасности моделей AI продолжается, и в Anthropic надеются использовать эти открытия для мониторинга систем AI на предмет нежелательного поведения, для направления их к желаемым результатам или удаления опасных тем.

📎 Научная статья от Anthropic

@ai_machinelearning_big_data

Machinelearning

21 мая 2024 21:12

⚡️Phi-3-medium-4k-instruct

Майкрософт выпустили новые модели Phi-3!

В том числе модели 7B и 14B.

Также добавлена мультимодальная модель phi!

- Phi-3-Vision: https://huggingface.co/microsoft/Phi-3-vision-128k-instruct
- Phi-3-Small:
~8k: https://huggingface.co/microsoft/Phi-3-small-8k-instruct
~128k: https://huggingface.co/microsoft/Phi-3-small-128k-instruct
- Phi-3-Medium:
~4k: https://huggingface.co/microsoft/Phi-3-medium-4k-instruct
~128k: https://huggingface.co/microsoft/Phi-3-medium-128k-instruct

@ai_machinelearning_big_data

Machinelearning

21 мая 2024 18:33

🔥🚀 MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

MoRA - новый метод использования высокоранговых обновлений весов для файнтюнига моделей при сохранении того же количества обучаемых параметров, как и при использовании матриц низкого ранга.

Превосходит LoRa в задачах с интенсивным использованием памяти, помимо этого, модель достигает сопоставимой производительности в других задачах. Подробности тут.

▪repo: https://github.com/kongds/MoRA
▪abs: https://arxiv.org/abs/2405.12130

@ai_machinelearning_big_data

Machinelearning

21 мая 2024 10:02

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшее Fast Track мероприятия:

• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.

Зарегистрироваться

Machinelearning

20 мая 2024 17:09

🔥 GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

Только что был выпущен код для генерации 3D объектов с помощью Гауссовских сплатов.

Новый фреймворк обеспечивает высокое качество генераций и рендеринга всего по четырем входными изображениями.

git clone https://github.com/GaussianObject/GaussianObject.git --recursive

Machinelearning

20 мая 2024 16:02

🦙 Llama3-from-scratch

Очень подробный гайд по созданию LLaMa-3 с нуля!

Крутой репозиторий, в котором реализована llama 3 с нуля - умножение матриц с помощью multiple heads, позиционное кодирование (способ кодирования позиции слова внутри эмбеддинга), реализация механизма внимания и все остальное, здесь тщательно описано и объяснено.

Отличный репо для обучения, 3 к звезд за сутки⭐️.

▪Github

@ai_machinelearning_big_data

Machinelearning

20 мая 2024 12:03

⚡️ PHUDGE3: Phi-3 как масштабируемая система оценивания LLM

В этой свежей статье Arxiv представляется PHUDGE — тонко настроенная модель Phi3, которая достигла результатов SOTA в 4 задачах: Feedback Test, Feedback OOD, MT Human, Preference Test, превзойдя все существующие модели по задержке и пропускной способности.
PHUDGE демонстрирует очень сильную корреляцию не только с GPT4, но и с человеческими аннотаторами на непросмотренных данных, а также в задачах абсолютного и относительного оценивания.

В этой статье Arxiv не только рассмотривается вопрос использования небольших LM для экономичных систем производственного уровня, но и показывается, что причинно-следственное моделирование не только медленно по своей природе, но иногда может препятствовать обучаемости моделей и должно быть заменено на более простые задачи, когда это возможно, чтобы сделать систему в целом быстрее и лучше.

📎 Arxiv

@ai_machinelearning_big_data

Machinelearning

20 мая 2024 08:55

⚡️ Farfalle — open-source поисковой AI-движок

Позволяет использовать локальные (llama3, gemma, mistral) или облачные (Groq/Llama3, OpenAI/gpt4-o) LLM.

🖥 GitHub
🟡 Запустить онлайн

@ai_machinelearning_big_data

Machinelearning

19 мая 2024 15:03

Machinelearning

🚀 Регистрация на хакатон «Ясная Система: сделай сложное понятным» от МТС стартовала! У тебя будет неделя, чтобы попрактиковаться в машинном обучении и сделать финтех инклюзивнее.

Призовой фонд – 375 000 рублей. Оставляй заявку до 24 мая и участвуй в соревновании онлайн из любого города России: https://cnrlink.com/mtshacktomskaimlbigdata

🤖 Задача – создать сервис, который сможет перевести сложные банковские тексты из датасета в ясные формулировки, подходящие для людей с ментальными особенностями, пожилых людей и иностранцев, плохо владеющих русским языком.

Церемония открытия соревнования пройдет 25 мая на фестивале «Система Fest» в Томском государственном университете. Посетители смогут поучаствовать в насыщенной программе мероприятия.

Для онлайн-участников МТС проведет два митапа с экспертами. 2 июня авторы 10 лучших проектов выступят с питчингами на церемонии награждения победителей.

➡️ Регистрируйся прямо сейчас, чтобы ничего не пропустить: https://cnrlink.com/mtshacktomskaimlbigdata

Machinelearning

19 мая 2024 10:03

Product Meetup: ML-продукты | 28 мая в 19:00 мск.

В программе 3 доклада с теорией и кейсами. Коллеги расскажут:
– как используют теорию игр и data science в монетизационных продуктах;
– про динамическое ценообразование: как решили проблему плохого качества вывоза;
– как разработать 25 скорингов и не утонуть в операционке.

Забирайте место в зале или получите ссылку на трансляцию.

Machinelearning

18 мая 2024 12:03

🔥 Встречайте CAT3D от Google

CAT3D позволяет создавать что угодно в 3D с помощью диффузионных моделей.

Достижения в области 3D-реконструкции позволили осуществить высококачественную 3D-съемку, однако для создания 3D-сцены пользователю приходилось собирать от сотен до тысяч изображений.
Теперь процесс 3D-реконструкции сильно упрощается.
CAT3D использует под капотом воссоздание реального мира с помощью многоракурсной диффузионной модели.
CAT3D может создавать целые 3D-сцены всего за одну минуту и превосходит существующие методы создания 3D-сцен.

▶️ Страничка CAT3D
🟡 Arxiv

@ai_machinelearning_big_data

Machinelearning

18 мая 2024 09:47

🌟 ChatGPT теперь поддерживает Google Drive и OneDrive

OpenAI расширила возможности анализа данных в ChatGPT с использованием Google Drive и OneDrive.

Теперь файлы в чат-бот можно будет загружать напрямую из Google Drive и Microsoft OneDrive.
ChatGPT получит доступ к сервисам Google, таким как таблицы, документы, презентации и платформам Microsoft, таким как Excel, Word и PowerPoint.

Кроме того, в чат-бот внедрят расширяемое представление для таблиц и диаграмм. Когда пользователи добавляют набор данных, ChatGPT создаст интерактивную таблицу, которую можно развернуть в полноэкранном режиме. Наконец, можно будет кликать на определённые области таблицы, чтобы задать дополнительные вопросы или выбрать подсказки.

Например, пользователи смогут попросить ChatGPT объединить несколько электронных таблиц, содержащих ежемесячные расходы, и создать сводную с классификацией по типам расходов. Чат-бот также предлагает настраиваемые и интерактивные диаграммы, включая гистограммы, линии, круговые и точечные диаграммы. Все их можно будет загружать для использования в презентациях или документах.

Улучшения будут доступны пользователям ChatGPT Plus, Team и Enterprise в ближайшие недели.

📎 Подробнее

@ai_machinelearning_big_data

Machinelearning

17 мая 2024 19:04

💥 Последний шанс попасть на международный хакатон «Лидеры цифровой трансформации». Тебя ждет 25 задач и призовой фонд – 50 000 000 рублей!

👨‍💻👨‍💻Старт разработки уже 3 июня! Не жди дедлайна, регистрируйся прямо сейчас

ЛЦТ-2024 – это не просто хакатон, а событие масштаба мирового уровня:
🔴10.000+ участников со всех уголков страны и мира
🔴5 международных партнеров, готовых поддержать твои идеи
🔴крупнейший ИТ-фестиваль 28-29 июня в Москве

Вместе с представителями столичных департаментов постановщиками задач стали: Сбербанк, Банк России, Госкорпорация «Росатом», Федеральная служба по интеллектуальной собственности (Роспатент), «Северсталь», Газпромбанк.Тех, национальный видеохостинг RUTUBE, приложение вертикальных видео Yappy, компания «Самолет», многопрофильная технологическая группа «Рексофт», Холдинг Т1, Sitronics Group, DDX TECH, компания «Автономные технологии». От регионов – Правительство Камчатского края и Администрация Волгоградской области.

🔴Подавай заявку прямо сейчас! Ищи команду в чате лидеров!

Machinelearning

22 мая 2024 17:33

Стартовал прием заявок для публикации статей по AI/ ML в научном журнале международной конференцию по искусственному интеллекту AI Journey. 

Авторы лучшей научной работы получат вознаграждение в 1 млн рублей, а также получат возможность представить свое исследование перед научным сообществом на площадке конференции AI Journey.

Исследования участников будут опубликованы в специальном выпуске журнала «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics. Статьи могут быть написаны на русском или английском языке и должны представлять только не опубликованные ранее сведения. Другие правила предоставления и оформления материалов читайте на сайте. Заявки принимаются до 20 августа.

Machinelearning

22 мая 2024 14:03

Приходите на High SQL — митап ЮMoney о работе с базами данных 😎

Встречаемся 28 мая в 19:00 (мск). Можно прийти в наш офис в Петербурге или подключиться к онлайн-трансляции.

На встрече эксперты ЮMoney и приглашённый спикер расскажут, как строят и развивают базы данных.

Темы докладов ⤵️

🟣SQL Agent Jobs As Code: подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server.
🟣Декомпозиция монолита в DWH: когда делить базу на множество компонент.
🟣Телеметрия в реальном времени и в экстремальных условиях: всё про архитектуру отправки данных.

Участие бесплатное. Чтобы попасть на митап, нужно зарегистрироваться. Все подробности — на сайте High SQL ❤️

Machinelearning

22 мая 2024 10:03

ТГУ и Skillfactory открывают набор на онлайн-магистратуру "Компьютерное зрение и нейронные сети"

На программе вы сможете:
- Освоить Computer Vision от классических методов до 3D-моделирования.
- Выбрать специализацию: AR, генеративный дизайн или робототехника.
- Стать востребованным специалистом в ведущих IT-компаниях.

Почему стоит выбрать программу?
⚪️Решение реальных задач бизнеса: кейсы по продуктовому матчингу, генеративному дизайну и AR-технологиям.
⚪️Преподаватели - ведущие специалисты в сфере Machine Learning и Computer Vision, а индустриальный партнер – разработчик IT-решений Rubius.
⚪️Стоимость первого года обучения - от 240 р/месяц благодаря господдержке.
⚪️Обучение очное, но в онлайн-формате. 
⚪️Сохраняются все студенческие льготы, а по окончании вы получите диплом очной формы ТГУ.

Необходим только диплом о высшем образовании. Навыки в Machine Learning, физике и оптике не требуются.

Оставьте заявку сейчас и получите доступ к бесплатным подготовительным курсам от ТГУ, которые помогут вам успешно пройти вступительные испытания.
Ссылка: https://go.skillfactory.ru/GCbpWw 

Не упустите шанс стать востребованным специалистом будущего!

Реклама. ООО «Скилфэктори», ИНН 9702009530
erid: LjN8KFsUq

Machinelearning

21 мая 2024 19:00

Блокчейн TON ищет талантливых разработчиков!

Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.

В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:

📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.

Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык

Что вас ждет:

— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON

— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов

Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.

Регистрируйся — https://society.ton.org/activities/open-league

Machinelearning

21 мая 2024 12:00

⚡️ Devon — open-source AI-программист

— curl -sSL https://raw.githubusercontent.com/entropy-research/Devon/main/install.sh | bash

Devon — AI-помощник, которого можно использовать для парного программирования;
open-source аналог Devin.
Использует API Anthropic, или OpenAI, или Groq

🖥 GitHub
🟡 Пример использования

@ai_machinelearning_big_data

Machinelearning

21 мая 2024 09:18

⚡️ SELF-DISCOVER — система для улучшения способности LLM рассуждать

Исследователи из Google DeepMind и Университета Южной Калифорнии представили революционный подход к повышению способности к рассуждению больших языковых моделей (LLM). Их новая система «SELF-DISCOVER», презентованная на этой неделе на arXiV и Hugging Face, обещает существенные улучшения в решении сложных задач рассуждениий, потенциально революционизируя производительность ведущих моделей, таких как GPT-4 от OpenAI и PaLM 2.

Система демонстрирует повышение производительности до 32% по сравнению с традиционными методами, такими как цепочка мыслей (CoT). Этот подход основан на том, что LLM самостоятельно раскрывают внутренние структуры рассуждений, присущие задачам, для решения сложных проблем, например таких, как критическое мышление или пошаговый анализ.

Имитируя человеческие стратегии решения проблем, эта система работает в два этапа. Первый этап включает в себя составление связной структуры рассуждений, свойственной задаче, с использованием набора атомарных модулей рассуждения и примеров задач. На втором этапе – во время декодирования, LLM следуют этой самообнаруженной структуре, чтобы прийти к окончательному решению.

В обширном тестировании различных задач на рассуждение, включая Big-Bench Hard, Thinking for Action и Math, предложенный подход неизменно превосходил традиционные методы. Примечательно, что с помощью GPT-4 он достиг точности 81%, 85% и 73% по трем задачам, превзойдя методы цепочки мыслей и планирования и решения.

@ai_machinelearning_big_data

Machinelearning

20 мая 2024 16:06

Открыта регистрация на Летнюю школу машинного обучения Сколтеха.

SMILES-2024 — 12-дневный интенсивный курс для молодых специалистов, посвящённый современным статистическим методам машинного обучения. Темы этого года: большие языковые модели, мультимодальные подходы, мультиагентные системы, генеративные подходы, методы самообучения. 

К участию приглашаются бакалавры, магистры и аспиранты вузов России, активно вовлечённые в сферу машинного обучения и планирующие связать свою карьеру с ИИ. 

Школа пройдёт с 1 по 13 августа на исторической площадке Царского села (г. Пушкин) и онлайн. Участие бесплатное, но на основе конкурсного отбора. Подробности и подача заявки — здесь.

Machinelearning

20 мая 2024 15:28

⚡️ Layer-Condensed KV Cache

Многослойный кэш-память KV для эффективного инференса больших языковых моделей.

Обеспечивает в 26 раз более высокую пропускную способность (throughput) по сравнению со стандартными трансформерами и помогает увеличить производительность больших языковых моделей.

pip install xformers --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt

Machinelearning

20 мая 2024 10:03

У команды AI-центра Тинькофф есть канал «Желтый AI». Там ребята делятся своими исследованиями, обсуждают тренды в индустрии, зовут на свои митапы и делятся выпусками подкаста «Желтый Club Talks» (про индустрию и исследования. Кастомные мемы и инсайды из поездок на топовые конференции типа NeurIPS точно заслуживают отдельной строчки!

Подписывайтесь💛

erid:2Vtzqw29DT8
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Machinelearning

19 мая 2024 16:03

🌟 Verba — open-source приложение для обеспечения сквозного, оптимизированного и удобного интерфейса для Retrieval-Augmented Generation

— pip install goldenverba

Verba — это полностью настраиваемый AI-помощник для запросов и взаимодействия с вашими данными, как локальными, так и развернутыми в облаке.
Отвечает на вопросы, связанные с вашими документами, получает информацию из существующих баз знаний. Verba сочетает в себе современные технологии RAG и контекстно-зависимую базу данных Weaviate. Выбирайте между различными фреймворками RAG, типами данных, методами разбивки и поиска и поставщиками LLM в зависимости от конкретного случая использования.

Позволяет использовать разные LLM: как от HuggingFace и Ollama, так и от OpenAI, Cohere и Google.

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

19 мая 2024 12:03

⚡️ Moondream WebGPU — небольшая VLM, поддерживающая обработку изображений, работает локально в браузере

Moondream WebGPU — это VLM (Vision-Language Model) с 1.86 миллиардами параметров.
После загрузки модель (1.8 ГБ) будет кэширована и повторно использована при повторном посещении страницы.

Все выполняется непосредственно в браузере с помощью Transformers.js и ONNX Runtime Web, то есть ваши разговоры не отправляются на сервер.

🤗 Hugging Face

@ai_machinelearning_big_data

Machinelearning

18 мая 2024 15:50

🧠 Awesome AGI Survey

Как Далеко Мы Находимся От AGI?

AGI (artificial general intelligence) – это область теоретических исследований искусственного интеллекта, которая стремится создать программное обеспечение с интеллектом, подобным человеческому, и способностью к самообучению.

AGI, отличается способностью выполнять разнообразные задачи в реальном мире с эффективностью, сравнимой с человеческим интеллектом, отражает важнейшую веху в развитии искусственного интеллекта.

Здесь представлен большой структурированный список обязательных к прочтению статей по AGI, на которые стоит обратить внимание.

▪Github

@ai_machinelearning_big_data

Machinelearning

18 мая 2024 11:02

⚡️ Как эффективно использовать явный и неявный фидбек в рекомендательных системах?

Расскажет опытный эксперт на открытом практическом уроке от OTUS, где вы:

— познакомитесь с двумя типами фидбека от пользователя: явным и неявным;
— обучите рекомендательные модели на разных типах фидбека;
— сравните их качество.

📌 Вебинар будет полезен дата-сайентистам и ML-спецам, которые хотят расширить область знаний и технологический стек. 

Встречаемся 23 мая в 20:00 мск в преддверии старта курса «Machine Learning. Professional». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджера OTUS! 

💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://otus.pw/gF2g/

Machinelearning

17 мая 2024 20:03

😐 Toon3D: Seeing Cartoons from a New Perspective

Новый инструмент для реконструкции сцен из мультфильмов и аниме.

Toon 3D может восстанавливать ракурсы камеры и плотную геометрию помещений.

Такие методы, как COLMAP, не могут реконструировать негеометрические изображения, нарисованные от руки, но Toon 3D справляется с этой задачей. Вы только посмотрите на примеры выше!

▪Github: https://github.com/ethanweber/toon3d
▪Paper: https://arxiv.org/abs/2405.10320
Dem
▪Proj: https://toon3d.studio

@ai_machinelearning_big_data

Machinelearning

17 мая 2024 16:03

⚡️ Grounding DINO 1.5: Most Capable Open-World Object Detection Model Series.

DINO 1.5: самая мощная серия моделей IDEA Research для обнаружения объектов.

Это наиболее эффективный опенсорс инструмент для запуска на edge девайсах, с хорошей оптимизацией и высокой скоростью работы.

Исходный код выпущен в версии Apache 2.0. 💙

▪Github
▪Paper
▪Demo

@ai_machinelearning_big_data