Machinelearning

15 ноября 2024 18:22

🌟 LLaMA-Mesh: метод генерации 3D-мешей с помощью LLM.

LLaMA-Mesh - метод, разработанный NVIDIA Labs, позволяющий генерировать 3D-модели с помощью текстовых инструкций, используя LLM. В отличие от других методов, LLaMA-Mesh представляет координаты вершин и определения граней 3D-сеток в виде простого текста, что позволяет напрямую интегрировать их с LLM без расширения словаря, минимизируя дополнительные затраты на обучение и позволяя использовать знания, которые уже имеют LLM.

Метод основан на файнтюне LLaMA-3.1-8B-Instruct на специальном наборе данных., который состоит из пар "текст-3D" и интерактивных диалогов, содержащих текст и 3D-модели.

В результате этого обучения, LLaMA-Mesh получает способность генерировать высококачественные 3D-сетки с различной топологией, сопоставимые по качеству с моделями, обученными с нуля, при этом сохраняя языковые способности, обеспечивая понимание сложных инструкций и ведения контекстуально-зависимых диалогов.

Оценка LLaMA-Mesh проводилась на качественных и количественных экспериментах.

Результаты качественных тестов демонстрируют высокую точность, качество и разнообразие сгенерированных 3D-моделей, а также сохраненные языковые возможности модели.

Количественные тесты в бенчмарках MMLU, PIQA, HellaSwag и GSM8K подтвердили сохранение языковых способностей, сравнимые с фундаментальными моделями LLaMA.

⚠️ Код и предварительно обученные веса обещают опубликовать в ближайшее время.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #3DGen #LlamaMesh #NVIDIA

Machinelearning

15 ноября 2024 07:15

✔️ Nous Research запустил бета-версию Forge Reasoning API.

Forge Reasoning API позволяет улучшить возможности популярных LLM, добавив интерпретатор кода и расширенные возможности рассуждений. API использует три архитектуры: поиск по древу Монте-Карло (MCTS), цепочка кода (CoC) и смесь агентов (MoA).

Forge совместим с Hermes 3, Claude Sonnet 3.5, Gemini и GPT 4 и может комбинировать несколько языковых моделей для повышения разнообразия выходных данных. Beta-тестирование API будет сосредоточено на тестировании архитектуры системы рассуждений.
nousresearch.com

✔️ Google устраняет уязвимости в Vertex AI, которые могли привести к утечке моделей ИИ.

Уязвимости, обнаруженные Palo Alto Networks Unit 42, позволяли злоумышленникам получать несанкционированный доступ к данным и извлекать корпоративные модели из системы.

Первая уязвимость, связанная с функцией "пользовательские задания", позволяла повышать привилегии и получать доступ ко всем сервисам данных в проекте. Вторая уязвимость, связанная с функцией "вредоносные модели", позволяла развертывать вредоносные модели и получать доступ ко всем другим настроенным моделям, что создавало серьезный риск утечки конфиденциальных данных.
Google уже установила исправления для устранения этих уязвимостей.
darkreading.com

✔️ JetBrains выпустила обновление 2024.3 для AI Assistant и IDEs.

AI Assistant 2024.3 теперь поддерживает модели Gemini, предоставляя пользователям возможность выбирать между моделями Gemini, OpenAI или локальными моделями. Ассистент также предлагает улучшенное автозавершение кода, расширенное управление контекстом и встроенную генерацию подсказок.

Обновления коснулись IDE JetBrains: PyCharm (добавлена функция AI-внутристроковых подсказок) , WebStorm (реализована улучшенная навигация по компонентам), GoLand (добавлены многострочное завершение, новая функция встроенной подсказки и новые языковые возможности из последних релизов Go), PhpStorm( новые проверки и быстрые исправления для обновления до PHP 8.4) и RubyMine(поддержка Rail 8, более быстрое завершение кода с учетом контекста и улучшенная интеграция модульных тестов).
sdtimes.com

✔️ Red Hat приобретает технологию для снижения стоимости машинного обучения.

Red Hat объявила о намерении приобрести Neural Magic, разработчика проекта vLLM с открытым исходным кодом. Цель приобретения в том, чтобы Red Hat и ее материнская компания IBM могли снизить барьер для входа организаций, желающих запускать рабочие нагрузки машинного обучения без необходимости развертывания серверов, оснащенных GPU.

Neural Magic разработала способ запуска алгоритмов машинного обучения без GPU. Вместо этого компания методы обрезки и квантования для оптимизации моделей, позволяя им работать на доступных процессорах без ущерба для производительности.
computerweekly.com

✔️ Франсуа Шолле покидает Google.

Французский разработчик Франсуа Шолле, создатель Keras, покидает Google после почти 10 лет работы. Keras лежит в основе ряда технологических продуктов: беспилотные автомобили Waymo, рекомендательные системы на YouTube, Netflix и Spotify.

В 2019 году Шолле опубликовал тест Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI), который измеряет способность систем ИИ решать новые задачи на рассуждение. Шолле неоднократно утверждал, что подход, принятый многими крупными лабораториями, разрабатывающими ИИ (внедрение все большего количества данных и вычислительных ресурсов в модели), не позволит достичь ИИ, который будет таким же «умным», как люди.

34-летний Франсуа сообщил в посте X, что он создает новую компанию вместе с «другом», но отказался раскрывать подробности.
techcrunch.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

14 ноября 2024 07:19

✔️ FrontierMath: набор тестов по математике, который ставит в тупик модели ИИ и кандидатов наук.

Epoch AI представила FrontierMath, математический тест, который содержит сотни задач экспертного уровня. Claude 3.5 Sonnet, GPT-4o, o1-preview и Gemini 1.5 Pro показали крайне низкие результаты - менее 2%, а для решения задач теста математикам-специалистам обычно требуются часы или дни.

Набор задач в FrontierMath остается закрытым и неопубликованным, чтобы предотвратить загрязнение данных. Задачи охватывают несколько математических дисциплин, от вычислительной теории чисел до абстрактной алгебраической геометрии.
Epoch AI планирует проводить регулярную оценку моделей ИИ с помощью теста, одновременно расширяя набор задач.
epoch.ai

✔️ Лаборатория искусственного интеллекта на защите людей искусства от генеративного ИИ.

Ученые из SAND Lab Чикагского университета разработали два инструмента, Glaze и Nightshade, которые защищают цифровое искусство от несанкционированного использования в обучении моделей.

Glaze изменяет изображения таким образом, чтобы алгоритмы ИИ не могли распознать стиль художника, а Nightshade добавляет в изображения «яд», нарушающий работу моделей ИИ. Оба инструмента были загружены миллионы раз и используются художниками для защиты своих работ от копирования и использования без их согласия.

Nightshade может нанести серьезный ущерб моделям ИИ, заставив их интерпретировать изображения неправильно, например, принимать собак за кошек. Разработчики инструментов надеются, что они заставят компании, занимающиеся ИИ, вести переговоры с художниками о лицензировании и справедливой компенсации.
technologyreview.com

✔️ OpenAI представит план развития инфраструктуры ИИ в США для конкуренции с Китаем.

OpenAI разработала план развития инфраструктуры ИИ в США, который включает создание специальных экономических зон для ИИ, использование опыта ВМС США в области ядерной энергетики и финансирование государственных проектов частными инвесторами. План также предусматривает создание североамериканского альянса по ИИ для конкуренции с китайскими инициативами.

Компания считает, что инвестиции в ИИ в США приведут к созданию десятков тысяч рабочих мест, росту ВВП, модернизации энергосистемы, появлению новых заводов по производству чипов и привлечению миллиардов долларов инвестиций из глобальных фондов.

В плане также прогнозируется принятие закона о национальной транспортной магистрали, который позволит расширить строительство линий электропередач, волоконно-оптических сетей и газопроводов.
cnbc.com

✔️ YouTube тестирует функцию ремиксов песен с помощью ИИ.

YouTube тестирует новую функцию в наборе инструментов Dream Track, которая позволяет авторам ремиксовать треки с помощью опции «Restyle a track» и описать текстом, как они хотят изменить стиль песни. Restyle a track сгенерирует 30-секундный фрагмент, который авторы смогут использовать в Shorts.

Ремикшированные фрагменты будут содержать информацию об оригинальной песне на странице Shorts audio pivot. Ремиксы также будут иметь соответствующую метку, указывающую на то, что трек был изменен с помощью ИИ.
techcrunch.com

✔️ Сверхчеловеческое зрение для роботов благодаря ИИ и радиоволнам.

Исследователи из Университета Пенсильвании разработали систему PanoRadar, которая использует радиоволны и ИИ, чтобы обеспечить роботов трехмерным зрением, подобным LiDAR, но по более низкой цене.

PanoRadar работает как маяк, вращаясь и излучая радиоволны, отражения которых обрабатываются ИИ для создания точного 3D-изображения окружающей среды. Эта технология позволяет роботам видеть сквозь препятствия, дым и туман. PanoRadar использует алгоритмы машинного обучения для интерпретации сложных сигналов радиоволн и достижения высокого разрешения, сравнимого с LiDAR.
interestingengineering.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

13 ноября 2024 15:30

Яндекс проведет «Ночь опенсорс библиотек» — ивент для тех, кто интересуется открытым кодом

На мероприятии вы понетворкаете с разработчиками крупных опенсорс проектов и узнаете, как коммитить так, чтобы ваш код всегда принимали мейнтейнеры. А еще познакомитесь с реальными кейсами оптимизации обучения с помощью CatBoost и YaFSD, поучаствуете в воркшопах, мини-хакатонах и лекциях.

Ночь опенсорса пройдет 14 декабря в московской Библиотеке иностранной литературы. Заявки на участие принимаются до 4 декабря.

Machinelearning

13 ноября 2024 07:09

✔️ Amazon разрабатывает собственные чипы для ИИ, чтобы снизить зависимость от NVIDIA.

Как сообщает Financial Times, Amazon уже разработала ряд собственных процессоров для ЦОД. Ожидается, что Amazon прольет больше света на свои новые разработки в следующем месяце в рамках анонса линейки чипов Trainium.

Эти чипы были разработаны компанией Annapurna Labs, принадлежащей Amazon, и используются компанией Anthropic.
wccftech.com

✔️ ИИ учит роботов паркуру в виртуальной реальности.

В MIT разработали систему LucidSim, которая использует генеративный ИИ для создания симуляций, обучающих роботов сложным задачам, таким как паркур.

LucidSim использует ChatGPT для создания описаний различных сред, которые затем преобразуются в трехмерную геометрию и физические данные с помощью модели, отображающей эти данные на изображения, сгенерированные ИИ. Робот, обученный с помощью LucidSim, успешно выполнил задачи поиска объекта, преодоление препятствий и подъем по лестнице, с более высокой точностью, чем робот, обученный с помощью традиционных методов.

Исследователи считают, что LucidSim может быть использован для обучения ИИ-агентов, взаимодействующих с реальным миром, от роботов и беспилотных автомобилей до управления экранами компьютеров и смартфонов.
technologyreview.com

✔️ Релиз Sentence Transformers v3.3.0 с улучшенной производительностью для задач NLP.

Sentence Transformers стал более доступным для развертывания в средах с ограниченными ресурсами. Новая версия предоставляет возможность интеграции статического квантования int8 в OpenVINO для 4-х кратного ускорения инференса на CPU со средним снижением производительности всего на 0,36%.

Также представлены: метод обучения с использованием подсказок, который улучшает производительность задач поиска, интеграция техники PEFT и возможность оценки с помощью NanoBEIR.
github.com

✔️ Cast AI представила AI Enabler и функцию динамической миграции без простоев для Kubernetes.

Cast AI, стартап, специализирующийся на управлении операциями Kubernetes анонсировал две новые функции для оптимизации расходов на облачную инфраструктуру и упрощение рабочих нагрузок.

AI Enabler - инструмент, который использует возможности Kubernetes для интеллектуальной маршрутизации запросов к наиболее эффективным LLM, как к открытым моделям, так и к коммерческим, без ущерба для качества.

Вторая новинка — Commercially Supported Container Live Migration, функция, обеспечивающая миграцию без простоев для работающих в состоянии workloads Kubernetes.
Live Migration должно решить проблемы, связанные с перемещением критически важных приложений: базы данных, задачи ИИ и машинного обучения без остановки кластеров.
siliconangle.com

✔️ Fastino анонсировала высокопроизводительные модели, оптимизированные для CPU.

Стартап Fastino вышел из скрытого режима и объявил о привлечении 7 млн. долларов pre-seed финансирования от фондов Microsoft M12 и Insight Partners.

Fastino разрабатывает семейство LLM для устройств с ограниченными ресурсами, которые могут быть развернуты на различных платформах, от периферийных устройств с обычными процессорами до виртуального частного облака.

Компания заявляет, что ее модели работают до 1000 раз быстрее, чем традиционные LLM, и могут запускаться на CPU или NPU.
С сегодняшнего дня открыта запись в waitlist для получения доступа к pre-alpha тестированию моделей.
fastino.ai

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

12 ноября 2024 15:01

Как большие данные помогают повысить операционную эффективность?

Работа с big data стала уже необходимостью для тех, кто стремится к эффективности и оптимизации бизнес-процессов. Однако на этом пути компании сталкиваются с множеством препятствий — от высоких операционных затрат до перехода на отечественные аналитические big data-платформы.

21 ноября в 16:00 на онлайн-митапе разберем, как большие данные решают конкретные задачи в бизнесе.

Темы митапа

🔹Оценка окупаемости проектов в big data и запуск пилотов для достижения конкретных бизнес-целей
🔹От Excel к корпоративному хранилищу данных: как мы переводим компании на платформу Greenplum и локализуем big data на отечественных продуктах
🔹Практический кейс из FMCG: задачи, решения и полезные лайфхаки для оптимизации процессов.

Спикеры

Александр Фикс
Менеджер продукта K2 Cloud

Руслан Султанов
Архитектор аналитических систем K2Тех

Регистрация по ссылке>>

Machinelearning

12 ноября 2024 10:00

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек:

▪️Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
▪️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие.
▪️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
▪️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.

Больше о вакансиях ML-разработчиков — здесь.

Устраивайтесь в Т-Банк на позицию ML-разработчика до 23 декабря 2024 года и получайте приветственный бонус в размере одного оклада.

Machinelearning

11 ноября 2024 19:01

🌟 AlphaFold 3: система моделирования структуры белков.

AlphaFold 3 — конвейер логического вывода системы ИИ, разработанной Google DeepMind, которая произвела революцию в области прогнозирования структуры белков.

Пакет AlphaFold 3 включает в себя все необходимое для теоретического моделирования структуры белка. Для запуска системы необходимо сконфигурировать входной файл JSON, содержащий информацию о белке, например, его идентификатор и аминокислотную последовательность.

Вместе с программным конвейером инференса доступна подробная документация по входным и выходным данным системы, решению известных проблем, настройкам производительности и установке с последующим запуском с помощью Docker.

Для локального использования понадобится ОС Linux (AlphaFold 3 не поддерживает другие операционные системы) примерно 1 ТB дискового пространства для хранения генетических баз данных (рекомендуется SSD), 64 GB RAM, GPU NVIDIA с Compute Capability 8.0 или выше.
Исходные данные, содержащие 5120 токенов, могут поместиться на одном NVIDIA A100 80 ГБ или одном NVIDIA H100 80 ГБ.

⚠️ Получение параметров модели возможно через подачу заявки в Google DeepMind, доступ предоставляется в течении 2-3 дней по итогам рассмотрения обращения.

⚠️ Любая публикация, основанная на результатах, полученных с использованием AlphaFold 3, должна ссылаться на статью «Accurate structure prediction of biomolecular interactions with AlphaFold 3».

⚠️ AlphaFold 3 не является официально поддерживаемым продуктом Google и ее результаты не предназначены, не проверены и не одобрены для клинического использования.


📌Лицензирование: CC-BY-NC-SA 4.0


🟡Техотчет
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #DeepMind #AlfaFold3

Machinelearning

11 ноября 2024 13:25

📎 ML в медицине: дайджест за 3 - 10 ноября 2024 г.

▶️Модели, бенчмарки и датасеты

🔘GSCo: совместное использование LLM общего назначения и экспертных моделей в медицинской визуализации.
GSCo (Generalist-Specialist Collaboration) - система, которая использует преимущества моделей общего назначения (GFM) и экспертных моделей для повышения точности анализа медицинских изображений.

🔘PASSION: датасет дерматологии южноафриканского населения.
Набор данных из 4901 фотографий заболеваний кожи 1653 пациентов, собранный в странах Африки к югу от Сахары.

🔘MediQ: бенчмарк клинического мышления.
Интерактивный бенчмарк для оценки способности LLM к сбору информации посредством дополнительных вопросов.

🔘BrainSegFounder: 3D-анализ изображений мозга.
Базовая модель для сегментации мультимодальных нейроизображений с двухэтапным подходом к предварительному обучению.

🔘Zebra-Llama: контекстно-зависимая LLM для редких заболеваний.
Модель фокусируется на синдроме Элерса-Данлоса (СЭД) в качестве основной специализации.

▶️Фреймворки и методологии

🔘AutoProteinEngine: платформа на основе LLMs для автоматизированного машинного обучения в инженерии белковю
LLM с AutoML для решения задач, связанных с выбором модели для последовательностей белков, графовых представлений, автоматической оптимизацией гиперпараметров и автоматическим поиском данных в базах данных белков.

🔘Label Critic: контроль качества разметки в медицинских датасетах с помощью LLM.
Метод, использующий VLM для автоматического выявления и сравнения ошибок в разметке органов на КТ-изображениях.

🔘MEG: Методика дополнения LLM медицинскими QA.
Параметрически эффективный метод для насыщения LLM дополнительными медицинскими знаниями.

🔘Medprompt: анализ эффективности OpenAI o1-preview в медицинских задачах.
Medprompt использует цепочки рассуждений и ансамблирование, чтобы улучшить результаты инференса GPT-4 в медицинских задачах.

▶️Медицинские LLM-приложения

🔘CataractBot: чат-бот для помощи пациентам, перенесшим операцию по удалению катаракты.
Чат-бот на базе WhatsApp, работающий по принципу «сопровождающий эксперт» с использованием LLM для поддержки пациентов, перенесших операцию по удалению катаракты.

🔘CheX-GPT: использование LLM для маркировки рентгенограмм грудной клетки.
Классификатор, предназначенный для автоматической маркировки рентгенограмм грудной клетки (CXR) с использованием LLM.

🔘CardioAI: мультимодальная система на основе ИИ для мониторинга кардиотоксичности, вызванной лечением рака.
Система, объединяющая носимые устройства и голосовые помощники на базе LLMs для мониторинга симптомов в амбулаторных условиях

🔘HealthQ: система для оценки способностей LLM к поддержанию диалога.
Система оценки навыков LLM в формулировке медицинских вопросов во время диалога с пациентом.

▶️Исследования и обзоры

*️⃣Использование LLMs в медицинской робототехнике: обзор и перспективы.
Возможности и проблемы, связанные с разработкой роботов для здравоохранения, оснащенных LLM. Спойлер - это перспективное направление

*️⃣Критический взгляд на доменно-адаптивное обучение LLM и VLM для медицины.
Ожидалось, что доменно-адаптивное дообучение (DAPT) на медицинских текстах и изображениях позволит улучшить эффективность моделей в решении задач медицинской QA. Но есть нюанс.

*️⃣Исследование применимости LLM для специализированной онкологической помощи.
Google Research исследовал эффективность системы ИИ для диалоговой диагностики в области лечения рака молочной железы без специальной тонкой настройки моделей.

🔜 Читать полный дайджест
🔜 Зеркало

@ai_machinelearning_big_data

Machinelearning

11 ноября 2024 07:59

📌Руководство по эффективному использованию промптов для LLM от разработчиков из GoogleDeepMind.

Туториал ориентируется на нетехническую аудиторию, которая имеет опыт взаимодействия с большими языковыми моделями.

В первой половине представлены ментальные конструкции природы посттренинга и промптов. Вторая половина содержит более конкретные предписания и высокоуровневую процедуру промпт-инжиниринга.

Авторы, Varun Godbole и Ellie Pavlick подчеркивают, что поиск «идеальной» подсказки — это итеративный процесс, аналогичный настройке модели, который в лучшем случае является эмпирическим, а в худшем - алхимическим.

▶️ Содержание:

🟢Для кого предназначен этот документ?
🟢Зачем нужно это руководство?
🟢Background трейна: предварительная и последующая подготовка
🟢Рекомендации по промптам
🟢Рудиментарное "руководство по стилю" для промптов
🟢Процедура итерации новых системных инструкций
🟢Некоторые мысли о том, когда полезна LLM
🟢Дополнительные ресурсы


📌Лицензирование: Creative Commons Attribution 4.0 International Public License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Prompt #Github #Tutorial

Machinelearning

09 ноября 2024 17:00

🌟 TIPO: Оптимизация текстовых промптов для text-2-image моделей.

TIPO (Text to Image with text presampling for Prompt Optimization) - метод, который улучшает качество и удобство использования моделей text-2-image.

TIPO использует LLM для предварительной обработки текстовых запросов, делая их более точными и информативными. Он воспринимает как промпты на естественном языке , так и формат Danbooru тегов.

Основная идея метода заключается в том, что более детальные и конкретные запросы приводят к более точной генерации изображений, тогда как неконкретные запросы приводят к более широкому спектру, но менее точным результатам.

TIPO генерирует несколько подробных вариантов запроса из одного простого, тем самым расширяя пространство возможных результатов и повышая вероятность получения желаемого изображения.

Представлены 2 модели TIPO, обе построены на базе LLaMA 400M, обученные на наборах Danbooru2023, GBC10M и Coyo-HD-11M с общим числом токенов 30 млррд.

🟢TIPO-200M;

🟢TIPO-500M.

▶️ Использование TIPO доступно в качестве расширения к stable-diffusion-webui, Forge UI и ComfyUI. Все подробности по установке расширений и использованию в ComfyUI можно найти в репозитории проектка Z-TIPO-extension.


📌Лицензирование : Kohaku License 1.0


🟡Коллекция моделей на HF
🟡KBlueLeaf/BJULOQBR0">Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #T2I #TIPO #LLM

Machinelearning

08 ноября 2024 10:01

🌟 AdaCache: ускорение DiT в генерации видео через необучаемое адаптивное кэширование.

AdaCache основан на наблюдении, что «не все видео одинаковы»: некоторым видео требуется меньше шагов денойза для достижения приемлемого качества, чем другим.

AdaCache использует кэширование остаточных вычислений в блоках трансформера (например, выходные данные механизмов внимания или MLP) на определенном шаге диффузии и повторного использования их на нескольких последующих шагах, количество которых зависит от генерируемого видео.

Решение о том, когда нужно выполнить следующее вычисление, принимается на основе метрики расстояния, которая измеряет скорость изменения между сохраненными и текущими представлениями.

Чтобы избежать артефактов для динамики используется регуляризация движения (MoReg).

MoReg оценивает движения в латентном пространстве на основе разности остаточных кадров, а чтобы эта оценка была эффективна на ранних шагах диффузии, MoReg вычисляет градиент движения, который выступает в качестве разумного раннего предиктора. И оценка движения, и градиент движения используются в качестве масштабирующего фактора метрики расстояния для регуляризации схемы кэширования AdaCache.

AdaCache был протестирован на Open-Sora-v1.2, Open-Sora-Plan-v1.1 и Latte. Результаты показали, что AdaCache обеспечивает ощутимое ускорение без ущерба для качества генерации. Фактически, он достигает ускорения в 4.49x, 3.53x и 2.46x соответственно на трех рассмотренных базовых видео.

Прикладной кейс использования AdaCache предлагается на бейслайне Open-Sora с вариантами запуска: Baseline, AdaCache и AdaCache+MoReg.

⚠️ Пример инференса рекомендуются на одном GPU A100 (80Gb)

▶️Инференс:

# Baseline
bash run_sample_video.sh configs/sample.py

# AdaCache
bash run_sample_video.sh configs/sample_adacache.py

# AdaCache+MoReg
bash run_sample_video.sh configs/sample_adacache_moreg.py

Machinelearning

08 ноября 2024 07:09

✔️ Mistral AI представила API для модерации контента.

Mistral AI выпустила новый API для модерации контента, который позволяет пользователям выявлять нежелательный текст по нескольким критериям. Этот API, используемый в сервисе Le Chat, классифицирует текст по 9 категориям и доступен в двух вариантах: для обычного текста и для диалогов.

Модель, лежащая в основе API, обучена на 11 языках, включая русский, и учитывает контекст беседы при классификации сообщений. Mistral AI стремится обеспечить безопасность использования ИИ и считает, что системные меры защиты имеют решающее значение для защиты пользователей.
mistral.ai

✔️ Локальная структура обучающих данных улучшает пошаговое рассуждение в языковых моделях.

В Университете Стэнфорда изучили эффективность пошаговых рассуждений в LLM, протестировав гипотезу о том, что рассуждения эффективны, когда обучающие данные состоят из локальных кластеров переменных, которые сильно влияют друг на друга. Эта кластерная структура позволяет моделировать связи между переменными, которые не встречались вместе в процессе обучения.

Для проверки этой гипотезы авторы обучали трнасформерные модели с нуля на синтетических данных с различной структурой. Данные были сгенерированы из байесовских сетей, но в каждой выборке присутствовала только часть переменных, создавая локальную структуру.

Результаты показали, что генерация промежуточных переменных (т.е. пошаговое рассуждение) значительно улучшает способность моделей правильно оценивать условные вероятности для пар переменных, которые не наблюдались вместе в процессе обучения.
arxiv.org

✔️ Nous Research запускает чат-бот с доступом к модели Hermes 3-70B.

Компания Nous Research, известная разработкой «персонализированных и неограниченных» моделей ИИ, представила свой первый чат-бот Nous Chat. Веб-сервис предоставляет доступ Hermes 3-70B, основанной на Llama 3.1. Чат-бот отличается высокой скоростью работы и способностью предоставлять ссылки на источники в интернете, хотя иногда он выдумывает эти ссылки.

Несмотря на заявленную цель создания моделей ИИ без ограничений, Nous Chat все же имеет некоторые ограничения этического характера. Хотя Nous Chat пока не обладает многими дополнительными функциями, он может стать альтернативой другим чат-ботам, особенно если ограничения контента будут сняты в соответствии с заявленными целями Nous.
venturebeat.com

✔️ Andreessen Horowitz отмечает снижение темпов развития моделей ИИ.

Andreessen Horowitz, несмотря на активное инвестирование в стартапы, работающие с ИИ, заметила снижение темпов улучшения возможностей моделей ИИ в последние годы.

Марк Андрессен, один из основателей фонда, отметил, что два года назад модель GPT-3.5 от OpenAI значительно опережала конкурентов. Однако сейчас существует 6 моделей с аналогичными возможностями, которые достигли потолка в развитии. Одним из основных препятствий для разработчиков ИИ является глобальная нехватка GPU.

Другой проблемой становится доступность обучающих данных, необходимых для обучения моделей ИИ. С апреля 2023 по апрель 2024 года доступ к 5% всех данных и 25% данных из самых качественных источников был ограничен из-за ужесточения правил использования текстов, изображений и видео для обучения ИИ. В результате крупные лаборатории ИИ нанимают тысячи специалистов для создания обучающих данных вручную.
observer.com

✔️ Windows Terminal получил поддержку ChatGPT и GitHub Copilot.

Microsoft добавила поддержку чат-ботов с ИИ в nightly-ветку Windows Terminal. Версия доступна для скачивания только на странице проекта на GitHub в разделе «Установка Windows Terminal Canary».

После установки Windows Terminal Canary необходимо включить поддержку «Terminal Chat» в меню, а затем добавить ключ API от OpenAI, GitHub или Azure.

Идея интеграции заключается в том, чтобы не покидая среды терминала использовать ChatGPT, например, как создать папку в PowerShell.
pcworld.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

07 ноября 2024 11:00

🌟 SmolLM2: второе поколение компактных LLM от HuggingFace.

Hugging Face представила SmolLM2, новую серию SLM, оптимизированных для работы на устройствах c ограниченными ресурсами и предназначенных для выполнения задач генерации и обобщения текста на английском языке и вызова функций.

Модели SmolLM2 были обучены на миксе из наборов данных FineWeb-Edu, DCLM и Stack. Тестирование после обучения показало превосходство старшей модели SmolLM2-1.7B над Meta Llama 3.2 1B и Qwen2.5-1.5B.

Модели доступны в трёх конфигурациях: 135М, 360М и 1.7B параметров, каждая модель имеет свою Instruct-версию, а 1.7B и 360М еще и официальные квантованные версии GGUF:

⏩SmolLM2-1.7B🟢SmolLM2-1.7B-Instruct🟢Instruct GGUF

⏩SmolLM2-360M🟠SmolLM2-360M-Instruct 🟠Instruct GGUF

⏩SmolLM2-135M 🟠SmolLM2-135M-Instruct 🟠Instruct GGUF от комьюнити


▶️Пример запуска модели SmolLM2-1.7B в полной точности на Transformers :

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-1.7B"
device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

Machinelearning

07 ноября 2024 07:14

✔️ Nvidia обогнала Apple и стала самой дорогой компанией в мире.

Акции Nvidia достигли отметки в $139,93, что привело к рыночной капитализации в $3,43 трлн, превысив показатель Apple в $3,38 трлн. Microsoft Corp., которую Nvidia обогнала в прошлом месяце, имеет рыночную капитализацию в $3,06 трлн. С конца 2022 года акции Nvidia выросли более чем на 850%.

Рост компании обусловлен ее доминирующим положением на рынке чипов, используемых для ИИ. Nvidia обеспечивает около четверти роста индекса S&P 500 в этом году, составляя 7% от его веса. Аналитики прогнозируют, что выручка Nvidia более чем удвоится в текущем финансовом году и вырастет еще на 44% в следующем.
bloomberg.com

✔️ ML помогает найти перспективные составы для натрий-ионных аккумуляторов.

Команда из Токийского университета науки (TUS) разработала ML-модель, которая проанализировала базу данных из 100 образцов катодов на основе оксидов переходных металлов (NaMeO2) с 68 различными составами.

Модель выявила Na [Mn0.36Ni0.44Ti0.15Fe0.05] O2 как оптимальный состав для достижения максимальной плотности энергии. Для проверки точности прогнозов модели были синтезированы образцы с этим составом, и тесты показали соответствие экспериментальных данных прогнозам. Этот метод может значительно ускорить разработку Na-ion аккумуляторов, перспективной альтернативой Li-ion благодаря доступности натрия и более низкой стоимости.
techexplorist.com

✔️ Китай выбыл из гонки за литографией с высокой числовой апертурой для производства чипов 1 нм.

Китай больше не может конкурировать в производстве высокотехнологичных микрочипов из-за санкций США, которые запрещают ему приобретать системы EUV-литографии, необходимые для создания чипов с технологическим процессом 5 нм и меньше.

TSMC (Тайвань) и Intel (США) устанавливают новейшие системы EUV-литографии с высокой числовой апертурой (High-NA EUV) от ASML для запуска производства чипов 1 нм к 2030 году, Китай ограничен системами ArF (Deep Ultra-Violet) предыдущего поколения, которые позволяют создавать чипы только до 5 нм.

Системы High-NA EUV, увеличивающие плотность транзисторов на кристалле в 2,9 раза, стоят не менее 350 млн. долл. за штуку. Хотя Китай пытается разработать собственное оборудование для литографии, этот процесс идет медленнее, чем планировалось.
asiatimes.com

✔️ Microsoft представила систему Magnetic-One для управления несколькими ИИ-агентами.

Magnetic-One - система с открытым исходным кодом, доступная разработчикам, в том числе для коммерческих целей, по специальной лицензии Microsoft.

Система основана на агенте-оркестраторе, который управляет 4 другими агентами: Websurfer, FileSurfer, Coder и ComputerTerminal. Websurfer может управлять веб-браузерами на основе Chromium, FileSurfer читает локальные файлы, Coder пишет код, а ComputerTerminal предоставляет консоль для выполнения программ Coder.

Оркестратор распределяет задачи между агентами, отслеживает их прогресс и может корректировать план действий при возникновении ошибок. Хотя Magnetic-One был разработан для использования с GPT-4o, он не зависит от конкретной языковой модели.
microsoft.com

✔️ NVIDIA представляет новые инструменты ИИ и среду для разработки роботов.

NVIDIA представила на конференции Conference for Robot Learning (CoRL) в Мюнхене ряд новинок, которые позволят разработчикам значительно ускорить свою работу над роботами с поддержкой ИИ.

Среди новинок - общедоступная среда обучения роботов NVIDIA Isaac Lab; 6 новых рабочих процессов обучения роботов-гуманоидов для Project GR00T, инициативы по ускорению разработки роботов-гуманоидов; а также новые инструменты для разработки моделей мира для обработки и курирования видеоданных - токенизатор NVIDIA Cosmos и NVIDIA NeMo Curator для обработки видео.

Токенизатор Cosmos обеспечивает визуальную токенизацию, разбивая изображения и видео на токены с высокой степенью сжатия. Cosmos работает до 12 раз быстрее, чем современные токенизаторы, а NeMo Curator обеспечивает обработку видео до 7 раз быстрее, чем неоптимизированные конвейеры.
blogs.nvidia.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

15 ноября 2024 11:38

🌟 Athene-V2: диалоговая и агентная модели от Nexusflow с 72 млрд. параметров.

Nexusflow представила семейство Athene-V2 из двух специализированных моделей: Athene-V2-Chat-72B, оптимизированную для чат-диалогов, и Athene-V2-Agent-72B, предназначенную для работы в качестве агента.

Обе модели построены на базе Qwen 2.5-72B-Instruct. Ключевая особенность Athene-V2 - концепция "границы Парето" в постобработке LLM.

По мере обучения модели с помощью RLHF на качественных данных достигается оптимальный баланс между метриками производительности, формируя "границу Парето". Дальнейшее улучшение отдельных характеристик становится возможным только за счет снижения других показателей.

Athene-V2-Chat-72B демонстрирует конкурентоспособные результаты по сравнению с GPT-4o в бенчмарках, превосходя его в задачах чата (Arena-Hard), завершения кода (bigcode-bench-hard) и математических задачах (MATH).

Athene-V2-Agent-72B превосходит GPT-4o в бенчмарках Nexus-V2, ориентированных на сложные сценарии вызова функций в корпоративной среде.

Athene-V2-Chat-72B использует шаблон чата Qwen2.5-72B-Instruct. Пример инференса с помощью библиотеки Transformers.

Athene-V2-Agent-72B можно использовать в любой совместимой с OpenAI API среде с помощью docker-образа VLLM. Примеры запуска погодного и RAG-агента.

⚠️ Athene-V2-Agent использует уникальный стиль промптов, который включен в docker-образ, поскольку исполняемые вызовы извлекаются из сгенерированного планирования модели.
Использование шаблона чата HuggingFace приведет к неоптимальным результатам в случае использования Athene-V2-Agent .

▶️На HF доступны неофициальные квантованные версии в формате GGUF c диапазоном разрядности от 3 до 8 bit:

🟠Athene-V2-Chat-72B

🟠Athene-V2-Agent-72B


📌Лицензирование: Nexusflow Research License


🟡Страница проекта
🟡Набор моделей
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #LLM #AtheneV2 #Nexusflow

Machinelearning

14 ноября 2024 13:02

⚡️ JanusFlow: унифицированная MMLM понимания и генерации изображений от DeepSeekAI.

JanusFlow - уникальная комбинация LLM с Rectified Flow и SDXL-VAE для задач понимания и генерации изображений.

Архитектура JanusFlow построена на улучшенной версии DeepSeek-LLM-1.3B, дополненной двумя специализированными энкодерами изображений: SigLIP для задач понимания и ConvNeXt для задач генерации. Разделение энкодеров предотвращает интерференцию задач и повышает эффективность модели.

JanusFlow обучалась в 3 этапа. На первом этапе адаптировались линейные слои, энкодер и декодер генерации.

На втором этапе - унифицированное предварительное обучение всей модели, за исключением визуального энкодера.

На третьем этапе - SFT с использованием инструкций, диалогов и примеров генерации изображений.

В тестах генерации изображений MJHQ FID-30k, GenEval и DPG-Bench, JanusFlow превосходит SD1.5 и SDXL. В тестах понимания MMBench, SeedBench и GQA, JanusFlow превосходит LLaVA-v1.5 и Qwen-VL-Chat.

Локальный запуск возможен в CLI на Transformers и с webUI на Gradio. Примеры CLI-инференса для задач понимания и генерации можно найти в репозитории проекта.

▶️Установка и запуск с GradioUI:

# install the necessary dependencies
pip install -e .
pip install diffusers[torch]

# run local gradio demo
pip install -e .[gradio]

python demo/app_janusflow.py

Machinelearning

13 ноября 2024 16:30

🌟 Moirai-MoE: фундаментальная модель временных рядов на основе разреженной смеси экспертов.

Фундаментальные модели временных рядов продемонстрировали впечатляющие результаты в задачах прогнозирования без предварительной настройки. Однако эффективное унифицированное обучение на временных рядах остается открытой проблемой. Существующие методы используют определенный уровень специализации модели, чтобы учесть высокую гетерогенность данных временных рядов.

Moirai-MoE - модель для прогнозирования временных рядов от Salesforce AI Research, использующая один входной/выходной проекционный слой, при этом задача моделирования различных паттернов временных рядов делегируется разреженной смеси экспертов (MoE) в трансформерах.

Moirai-MoE достигает специализации, управляемой данными, и работает на уровне токенов. Для повышения эффективности обучения Moirai-MoE использует целевую функцию только декодера, что позволяет параллельно обучать модель на различных контекстных длинах.

Moirai-MoE была оценена на 39 наборах данных в сценариях прогнозирования внутри и вне распределения. Результаты подтверждают превосходство Moirai-MoE над существующими фундаментальными моделями, включая TimesFM, Chronos и Moirai.

В частности, Moirai-MoE превосходит свою аналогичную модель Moirai на 17% при том же размере модели и превосходит другие фундаментальные модели временных рядов с до 65 раз меньшим количеством активных параметров.

В открытый доступ на HF опубликованы 2 модели:

🟢Moirai-MoE-1.0-R-Small, 11 млн. активных параметров, 117 млн. общих;

🟢Moirai-MoE-1.0-R-Base, 86 млн. активных параметров, 935 млн. общих.


▶️Пример использования Moirai-MoE для составления прогнозов:

import matplotlib.pyplot as plt
from gluonts.dataset.repository import dataset_recipes

from uni2ts.eval_util.data import get_gluonts_test_dataset
from uni2ts.eval_util.plot import plot_next_multi
from uni2ts.model.moirai import MoiraiForecast, MoiraiMoEModule

SIZE = "small"  # model size: choose from {'small', 'base'}
CTX = 1000  # context length: any positive integer
BSZ = 32  # batch size: any positive integer

# Load dataset
test_data, metadata = get_gluonts_test_dataset(
    "electricity", prediction_length=None, regenerate=False
)
# Uncomment the below line to find other datasets
# print(sorted(dataset_recipes.keys()))

# Prepare model
model = MoiraiForecast(
    module=MoiraiMoEModule.from_pretrained(
        f"Salesforce/moirai-moe-1.0-R-{SIZE}",
    ),
    mode="autoregressive",
    prediction_length=metadata.prediction_length,
    context_length=CTX,
    patch_size=16,
    num_samples=100,
    target_dim=metadata.target_dim,
    feat_dynamic_real_dim=metadata.feat_dynamic_real_dim,
    past_feat_dynamic_real_dim=metadata.past_feat_dynamic_real_dim,
)

predictor = model.create_predictor(batch_size=BSZ)
forecasts = predictor.predict(test_data.input)

input_it = iter(test_data.input)
label_it = iter(test_data.label)
forecast_it = iter(forecasts)

# Visualize forecasts
fig, axes = plt.subplots(nrows=2, ncols=3, figsize=(25, 10))
plot_next_multi(
    axes,
    input_it,
    label_it,
    forecast_it,
    context_length=200,
    intervals=(0.5, 0.9),
    dim=None,
    name="pred",
    show_label=True,
)

Machinelearning

13 ноября 2024 10:19

📌Исследование различных типов связей между датасетами для улучшения их поиска.

В исследовании, опубликованном к International Semantic Web Conference, Google Research проанализировал связи между датасетами, доступными в Интернет. Целью исследования заявлена стремление улучшить возможности поиска и использования данных, учитывая их сложные взаимоотношения.

Исследователи выделили 4 ключевые задачи, с которыми сталкиваются пользователи при работе с датасетами:

🟢Поиск. Огромное количество данных в сети затрудняет поиск нужных датасетов.

🟢Оценка достоверности. В отличие от научных публикаций, датасеты редко проходят рецензирование, поэтому пользователям приходится полагаться на метаданные для оценки их надежности.

🟢Цитирование. Корректное цитирование требует наличия постоянных идентификаторов, метаданных и точного описания происхождения данных.

🟢Курирование: Курирование включает сбор, организацию и поддержку датасетов из разных источников, а для этого кураторам необходимо понимать связи между ними.

Чтобы классифицировать отношения между датасетами были использованы 2 основных типа связей: основанные на происхождении (например, версии и подмножества) и не связанные с происхождением (например, тематически похожие).

Для автоматического определения отношений между датасетами применяли 4 метода:

🟠Извлечение отношений из schema.org.
Schema.org - это семантическая разметка метаданных для поисковых ботов на веб-страницах.

🟠Эвристический подход.
Набор правил, разработанных для каждого типа отношений.

🟠Градиентный бустинг деревьев решений (GBDT).
Метод машинного обучения, основанный на классификации.

🟠Модель T5.
Генеративная модель, также используемая для классификации.

Результаты исследования показали, что методы машинного обучения, GBDT и T5, превзошли эвристический подход в точности определения отношений. GBDT продемонстрировал наилучшие показатели F1 в различных категориях, T5 тоже молодец показал схожие результаты.

Однако, даже самые эффективные методы столкнулись с ограничениями из-за недостаточной полноты метаданных. Вывод - необходимость улучшения стандартов метаданных и более широкого использования schema.org для описания связей между датасетами.


🟡Статья в блоге
🟡Arxiv
🟡Поиск по датасетам


@ai_machinelearning_big_data

#AI #ML #Google #Datasets #Search

Machinelearning

12 ноября 2024 16:00

🌟 NeuroFly: платформа для реконструкции нейронов мозга.

NeuroFly - платформа для полуавтоматической реконструкции из 3D-изображений отдельных нейронов в масштабе всего мозга, использующая глубокое обучение для сегментации и деконволюции изображений.

NeuroFly работает в 3 этапа: сегментация, соединение и корректировка:

🟢На первом этапе выполняется автоматическая сегментация изображения, за которой следует скелетизация для создания чрезмерно сегментированных фрагментов нейронов без ветвей.

🟢На этапе соединения используется 3D-метод отслеживания пути на основе изображений, который устраняет пробелы между сегментами нейронов, не распознанными на первом этапе. Агент перемещается вдоль нейрита, руководствуясь сигналами управления, предсказанными по локальному объему изображения, центрированному на нем. Для прогнозирования вектора кривизны, который определяет локальное продолжение пространственной кривой, используется 3D-сверточная нейронная сеть.

🟢Заключительный этап предполагает участие человека для проверки нескольких неразрешенных позиций. NeuroFly предлагает инструменты корректуры на основе набора плагинов napari, которые позволяют вручную соединять и корректировать сегменты, создавая полные реконструкции нейронов в 3D-визуализации.

NeuroFly поддерживает работу с различными типами данных, в том числе изображения целого мозга в иерархических структурах (IMS, H5, Zarr) в формате Imaris, а также небольшие объемы изображений, сохраненные в формате TIFF с одним каналом.

Функции, основанные на глубоком обучении - сегментация и деконволюция изображений, реализованы в tinygrad, который может работать практически на любом GPU (NVIDIA, AMD, Apple, Qualcomm, Intel).

В NeuroFly реализован экспорт реконструированных нейронов в формате SWC.6

Результаты тестирования NeuroFly показали, что метод аугментации данных значительно улучшает производительность модели сегментации в сложных сценариях, содержащих дендриты и загрязненные изображения. Этап соединения значительно увеличивает показатель полноты во всех тестах с небольшой потерей точности, приводя к общему улучшению показателя F1.


📌Лицензирование: GPL-3.0 License.


🟡Arxiv
🟡Набор датасетов
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Neurobilogy #NeuroFly

Machinelearning

12 ноября 2024 11:00

✔️ Near Protocol планирует создать самую большую в мире LLM с открытым исходным кодом.

Компания Near Protocol на конференции Redacted в Бангкоке объявила о планах по созданию языковой модели, состоящей из 1,4 трлн. параметров. Новая модель будет в 3,5 раза больше, чем самая большая модель Llama.

Разработка будет осуществляться с помощью краудсорсинга, любой желающий сможет присоединиться к обучению модели. Финансирование проекта, стоимость которого оценивается в 160 млн. долларов, будет осуществляться за счет продажи криптовалютных токенов. Для обучения такой большой модели потребуются «десятки тысяч GPU в одном месте», что потребует разработки новой технологии распределенного обучения.
cointelegraph.com

✔️ X проводит эксперименты с бесплатным доступом к чат-боту Grok AI.

X (ex-Twitter) планирует запустить ограниченную бесплатную версию чат-бота Grok для всех пользователей, значительно расширив аудиторию использования генеративного ИИ. Сейчас Grok доступен только подписчикам X Premium, которых насчитывается около 1,3 миллиона человек, это 0,26% от всей пользовательской базы X.

Бесплатная версия, хотя и с ограниченным использованием (10 запросов каждые 2 часа к Grok2, 20 запросов каждые 2 часа к Grok2-mini, анализ 3 изображений в день), позволит большему числу людей опробовать Grok и может привлечь больше подписок X Premium. Это также может помочь материнской компании X Corp, привлечь критически важные инвестиции в свое ответвление xAI.
socialmediatoday.com

✔️ Китайские технологические гиганты заинтересованы в специалистах в области ИИ.

В Китае обостряется борьба за таланты в области ИИ: местные технологические компании предлагают высокие зарплаты, чтобы привлечь лучших специалистов. Xiaomi проводит специальную сессию по найму экспертов в области ИИ, включая специалистов по ИИ-моделям, компьютерному зрению, глубокому обучению, автономному вождению и обработке естественного языка.

Компания предлагает ускоренный процесс найма для некоторых кандидатов, позволяя им пропустить письменные тесты и напрямую пройти собеседование с соответствующим бизнес-подразделением. Этот шаг обусловлен растущим спросом на специалистов по ИИ, особенно на экспертов по обработке естественного языка, которых активно ищут как крупные компании, так и стартапы.
scmp.com

✔️ NXP разработала ML-алгоритм для оптимизации процесса тестирования чипов.

Алгоритм, аналогичный системам рекомендаций в электронной коммерции, выявляет взаимосвязи между различными тестами и определяет, какие из них дублируют друг друга.

В ходе испытаний на семи микроконтроллерах и процессорах он позволил сократить количество тестов на 42-74%. Несмотря на высокую эффективность, инженеры NXP отмечают необходимость проверки рекомендаций алгоритма с точки зрения инженерной целесообразности.
spectrum.ieee.org

✔️ Ubitus представит инновации в области ИИ на NVIDIA AI Summit Japan 2024.

Ubitus, лидер облачного стриминга, продемонстрирует 3 инновации на базе технологий NVIDIA на саммите в Токио 13 ноября , которые могут изменить не только игровую индустрию, но и другие отрасли.

Первая - робот с искусственным интеллектом, управляемый LLM, работающей на GPU H100.

Вторая - цифровые люди в Unreal Engine 5 на базе NVIDIA ACE будут отличаться памятью разговора, поиском информации c помощью RAG и многоязычными возможностями, обеспечивая динамическое, контекстно-зависимое взаимодействие.

Третья инновация - Ubi-chan, виртуальный персонаж с ИИ, работающий на технологии преобразования текста в речь NVIDIA Riva, с функциями мгновенной реакции на голосовые команды и преобразованием речи в плавные движения губ для реалистичного исполнения.
businesswire.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

12 ноября 2024 07:09

⚡️ Релиз Qwen2.5-Coder.

Qwen2.5-Coder - это семейство из 6 LLM : 0,5, 1,5, 3, 7, 14, 32 млрд. параметров, ориентированное на понимание и написание кода на 40 языках программирования.

По сравнению с предыдущим поколением моделей CodeQwen1.5, в Qwen2.5-Coder значительно улучшена генерация, обоснование и исправление кода. При этом сохранились сильные навыки в математике и общих компетенциях.

Семейство основано на Qwen 2.5, количество обучающих лексем было увеличено до 5,5 трлн, в корпус данных вошли исходный код, текстовые кодовые основания, синтетические данные и т. д.

Способности в области программирования старшей модели, Qwen2.5-Coder-32B соответствуют уровню GPT-4o.

Модели 0.5В, 1.5B и 3В получили контекст в 32 тыс. токенов, а 7В, 14В и 32B - 128 тыс. токенов.

В открытый доступ на HuggingFace опубликованы 36 моделей семейства: базовые модели, instruct-версии и GGUF, AWQ, GPTQ-Int8, GPTQ-Int4 форматы инструктивных версий.


⚠️ В ближайшее время (сроки не указаны), разработчики Qwen-Coder планируют запустить сервис real-time кода на сайте Tongyi . Сервис будет поддерживать генерацию веб-сайтов, создание мини-игр и диаграмм данных одним щелчком мыши.


📌Лицензирование:

🟢Модели 0.5В, 1.5В, 7В, 14В и 32В - Apache 2.0 License.
🟠Модель 3B - Qwen-Research license.


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Документация
🟡Arxiv
🟡Demo
🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #QwenCoder

Machinelearning

11 ноября 2024 16:01

📌 Практические упражнения и дополнительные материалы к книге "Build a Large Language Model (From Scratch)"

Репозиторий на Github c прикладными упражнениями, ноутбуками с кодом для разработки, предварительной подготовки и тонкой настройке LLM-модели типа GPT по одной из лучших книг о построении LLM с нуля.

▶️ О книге:
В книге вы узнаете и поймете, как работают большие языковые модели изнутри, создавая собственную LLM шаг за шагом, c подробным объяснением каждого этапа понятным языком, диаграммами и примерами.

Метод, описанный в книге демонстрирует подход, используемый при создании крупных фундаментальных моделей, таких как те, что лежат в основе ChatGPT.

В репозитории к каждой главе книги соответствуют несколько (3-4) прикладных примеров в формате ipynb или в виде исполняемого python-скрипта. Код ориентирован на широкую аудиторию, разработан для запуска на обычных ноутбуках и не требует специализированного оборудования.

▶️Главная ценность репозитория - дополнительные практические материалы, которые помогут глубже изучить тонкости и нюансы процесса настройки и обучения LLM:

Настройка

🟢Советы на настройке Python
🟢Установка пакетов и библиотек Python
🟢Руководство по настройке среды Docker

Глава 2: Работа с текстовыми данными

🟠Сравнение различных реализаций Byte Pair Encoding (BPE)
🟠Понимание разницы между embedding и линейными слоями
🟠Dataloader Intuition с простыми числами

Глава 3: Код механизмов внимания

🟢Сравнение эффективных реализаций Multi-Head Attention
🟢Буферы PyTorch

Глава 4: Реализация модели GPT с нуля

🟠Анализ FLOPS

Глава 5: Предварительное обучение на немаркированных данных

🟢Альтернативная загрузка весов с HuggingFace с использованием Transformers
🟢Предварительное обучение GPT на наборе данных проекта Gutenberg
🟢Добавление дополнительных функций в цикл обучения
🟢Оптимизация гиперпараметров для предварительного обучения
🟢Создание пользовательского интерфейса для взаимодействия с LLM
🟢Преобразование GPT в Llama
🟢Llama 3.2 с нуля
🟢Memory-efficient загрузка модели

Глава 6: Тонкая настройка для классификации

🟠Дополнительные эксперименты по точной настройке различных слоев и использованию более крупных моделей
🟠Тонкая настройка различных моделей на основе датасета обзоров фильмов IMDB объемом 50 тыс. строк.
🟠Создание пользовательского интерфейса для взаимодействия с классификатором спама на основе GPT

Глава 7: Тонкая настройка для следования инструкциям

🟢Утилиты набора данных для поиска близких дубликатов и создания записей в пассивном залоге
🟢Оценка ответов на инструкции с использованием API OpenAI и Ollama
🟢Создание датасета для точной настройки инструкций
🟢Улучшение набора данных для точной настройки инструкций
🟢Создание набора данных предпочтений с помощью Llama 3.1 70B и Ollama
🟢DPO для процедуры LLM Alignment
🟢Создание пользовательского интерфейса для взаимодействия с моделью GPT с тонкой настройкой инструкций


🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Github

Machinelearning

11 ноября 2024 12:01

Разбираем основные принципы работы AutoML на открытом уроке «AutoML и подбор гипер-параметров» от Otus

🔹В эфире проговорим про основные концепции, преимущества и недостатки AutoML

Рассмотрим разные способы подбора гиперпарамеров, их плюсы и минусы

✅ Практика на примере популярных библиотек pycaret и hyperopt. Получите базовые навыки работы с инструментами для автоматизации подбора моделей и гиперпараметров

👉 Регистрация и подробности:
https://otus.pw/ge07/?erid=LjN8KLF4M

#реклама
О рекламодателе

Machinelearning

10 ноября 2024 10:15

📌 Awesome-list методов глубокого обучения на графах при смещении распределения.

Смещение распределения в графовых данных — это расхождение в распределении данных между обучающим и тестовым наборами, оно может существенно снизить производительность модели машинного обучения.

Репозиторий на Github, в котором собрана коллекция работ по обучению на графах в условиях смещения данных вне распределения (Out-of-Distribution, OOD) в трех основных сценария:

🟢обобщение графов OOD:

🟢адаптация графов во время обучения OOD:

🟢адаптация графов OOD во время тестирования.


Обобщение OOD предполагает, что целевые данные недоступны во время обучения модели, и фокусируется на повышении способности модели к обобщению, чтобы справляться с выборками из любых неизвестных доменов.

Адаптация во время обучения направлена на устранение расхождений в распределении между исходными и целевыми графовыми данными. Она служит для коррекции смещения наблюдений, переноса знаний между графами и смягчения негативных последствий аугментации данных.

Адаптация во время тестирования сосредоточена на настройке предварительно обученной модели на новые целевые данные, которые становятся доступными после начальной фазы обучения. Эта адаптация особенно важна в случаях, когда доступ к исходным данным ограничен.

В каждом сценарии рассматриваются модельно-ориентированные и ориентированные на данные подходы.

▶️Для многих статей предоставлены ссылки на код, реализующий описанные методы.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #GNN #Giihub #AwesomeList

Machinelearning

09 ноября 2024 08:15

✔️ Samsung представила обновленный ИИ Bixby на базе LLM.

Обновленный Bixby, дебютировавший на эксклюзивных для китайского рынка складных смартфонах Samsung W25 и W25 Flip, способен понимать сложные инструкции, извлекать информацию с экрана, например, из карт или фотографий, а также запоминать контекст предыдущих разговоров.

В демонстрации Samsung Bixby смог дать рекомендации по одежде, основываясь на текущей погоде, и пошагово объяснил, как добавить водяной знак на изображение. Bixby поддерживает голосовой и текстовый ввод, его можно вызвать из любого приложения или экрана. Ожидается, что обновленный ассистент станет доступен на международном рынке с выходом One UI 7 в начале следующего года.
techradar.com

✔️ Робот-художник Ai-Da продал портрет Алана Тьюринга за рекордную сумму.

На аукционе Sotheby's в Нью-Йорке картина "AI God: Портрет Алана Тьюринга", созданная роботом-художником Ai-Da, была продана за 1,08 млн. долларов. Робот Ai-Da, оснащенный искусственным интеллектом и роботизированными руками, использует большие языковые модели для общения.

Ai-Da создал портрет Тьюринга, используя камеры в своих "глазах" для анализа фотографии ученого и создания эскизов. Робот нарисовал 15 отдельных частей лица Тьюринга, которые затем были объединены в единое изображение и напечатаны на большом холсте с помощью 3D-принтера.
cnn.com

✔️ TSMC прекращает поставки чипов искусственного интеллекта китайским компаниям.

Тайваньская компания сообщила своим китайским клиентам о прекращении поставок передовых чипов для ИИ, произведенных по технологии 7 нанометров и меньше. Это решение связано с ужесточением контроля со стороны США за доступом Китая к передовым технологиям.

TSMC будет требовать одобрения Вашингтона для любых будущих поставок чипов в Китай. По словам источников, данный шаг не окажет существенного влияния на выручку TSMC. Компания подчеркнула, что соблюдает все применимые правила и экспортный контроль. Ранее сообщалось, что чипы TSMC были обнаружены в продукции Huawei, находящейся под экспортными ограничениями США.
businessinsider.com

✔️ Суд в Нью-Йорке отклонил иск СМИ к OpenAI по авторскому праву.

Федеральный суд Южного округа Нью-Йорка отклонил иск, поданный изданиями Raw Story и AlterNet против компании OpenAI. Истцы обвиняли OpenAI в нарушении Закона об авторском праве в цифровую эпоху (DMCA), утверждая, что компания намеренно удаляла информацию об авторских правах: названия статей и имена авторов, из материалов, использованных для обучения ChatGPT.

Судья Коллин Макмахон поддержала ходатайство OpenAI о прекращении дела, указав, что истцы не доказали фактического ущерба своим предприятиям в результате удаления информации об авторских правах. Суд признал маловероятным, что ChatGPT будет воспроизводить материалы Raw Story и AlterNet дословно, учитывая огромный объем информации в его базе данных.

Судья Макмахон оставила возможность для подачи дополненной жалобы в будущем. Это решение может иметь значение для других аналогичных исков против OpenAI и других компаний, занимающихся генеративным ИИ.
gizmodo.com

✔️ Google открыла доступ к Gemini через библиотеку OpenAI.

Разработчики теперь могут использовать модели Gemini от Google через библиотеку OpenAI и REST API. Поддерживаются API завершения чата и API эмбедингов. В ближайшие недели Google планирует расширить совместимость.

В анонсе на странице Google for Developers представлены примеры кода на Python, Typescript/Javascript и REST для взаимодействия с Gemini API. Google рекомендует разработчикам, не использующим библиотеки OpenAI, обращаться к Gemini API напрямую.
developers.googleblog.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

08 ноября 2024 09:00

🔒 Российское решение для виртуализации от разработчика операционных систем РОСА

ROSA Virtualization – безопасная, надёжная и гибкая платформа. Включена в ЕРРП и имеет сертификаты ФСТЭК (№4610 и №4861).

Построена по принципу “Всё необходимое в одном решении”:

🔹 Виртуализация + ОС от единого поставщика
🔹 Поддержка внешних хранилищ (iSCSI, FC, NFS)
🔹 Надёжное хранилище на базе GlusterFS
🔹 Единый центр управления для всей виртуализации

🔹 Автоматическое резервное копирование виртуальных машин
🔹 Серверная и рабочая виртуализация в одном решении
🔹 Поддержка удаленных рабочих столов с vGPU LoudPlay
🔹 Сервер доменной авторизации в комплекте

⚡️ Узнайте больше о возможностях платформы ROSА Virtualization и оставьте запрос на демо здесь

Erid: 2VtzqxP2k8u
Реклама "НТЦ ИТ РОСА"
ИНН: 7735201059

Machinelearning

07 ноября 2024 16:46

🌟 Cosmos Tokenizer: эффективная токенизация изображений и видео от NVIDIA.

Cosmos Tokenizer - набор токенизаторов для изображений и видео с высокой степенью сжатия при сохранении качества реконструкции, представленный на конференции Conference for Robot Learning 2024, которая проходит до 9 ноября в Мюнхене.

Cosmos Tokenizer предлагает непрерывную (C) и дискретную (D) токенизацию для изображений (I) и видео (V), что формирует 4 типа токенизаторов: CI, DI, CV и DV.

Cosmos Tokenizer имеет внушительные показатели сжатия: 8x или 16x для пространственного сжатия изображений и 4x или 8x для временного сжатия видео, при этом работает до 12 раз быстрее, чем другие современные токенизаторы, сохраняя при этом высокое качество изображения.

Такая эффективность обусловлена легкой временно-причинной архитектурой, использующей причинную временную свертку и слои внимания. Этот дизайн архитектуры гарантирует, что обработка каждого кадра зависит только от текущих и прошлых кадров, сохраняя временную согласованность видео.

Для оценки Cosmos Tokenizer использовались стандартные наборы данных и новый набор данных TokenBench, созданный NVIDIA. Cosmos Tokenizer сравнивался с современными токенизаторами с использованием метрик PSNR, SSIM, rFID и rFVD.

Результаты тестирования показали превосходство Cosmos Tokenizer над существующими методами как по качеству реконструкции, так и по скорости работы.

▶️ В репозитории на Github опубликован код для установки, сборки docker Cosmos Tokenizer, примеры запуска для в непрерывном латенте, кодирования в дискретные токены, запуск токенизаторов на примерах изображений и видео из тестового набора и запуск с Pytorch.


📌Лицензирование: NVIDIA Open Model License


🟡Страница проекта
🟡Набор на HF
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #NVIDIA #Tokenizer #Cosmos

Machinelearning

07 ноября 2024 09:00

Как работают генеративные технологии, которые лежат в основе большинства визуальных сервисов? Какова их «математическая начинка»? Получите ответ на эти и другие вопросы на бесплатном интенсиве Computer Vision Week! Он пройдёт с 25 по 29 ноября онлайн и поможет вам разобраться в сложных вопросах компьютерного зрения и диффузионных моделей.

Среди организаторов — эксперты, которые создают технологии будущего: Yandex Cloud, Школа анализа данных, YaArt и YaResearch. За 5 дней они расскажут, как устроена генерация изображений на практике: от математических основ и алгоритмов до нейробайесовских методов. Вы также научитесь работать с генеративными технологиями самостоятельно и узнаете, какие горизонты они открывают для разработчиков и исследователей.

Что ещё? Вы не только послушаете лекции, но и сможете попробовать свои навыки на практике — в решении задач. Те, кто успешно справится с отборочными испытаниями и итоговой работой, получат заветный сертификат в портфолио!

Успейте зарегистрироваться до 24 ноября, пока есть места!

Machinelearning

06 ноября 2024 12:00

🌟 Hunyuan3D-1.0: генерации 3D-моделей по тексту и изображению.

Hunyuan3D-1.0 - двухэтапная система для быстрой генерации 3D-моделей по текстовым запросам или изображениям. Модель представлена в трех версиях:

🟢Hunyuan3D-1 Lite - облегченная версия многовидовой генерации;
🟢Hunyuan3D-1 Standard - стандартная версия многовидовой генерации;
🟢Hunyuan3D-1 Sparse view reconstruction - модель реконструкции с ограниченным набором видов.

▶️ Ключевые особенности Hunyuan3D-1.0:

🟠Генерация 3D-модели занимает всего 10 секунд для облегченной версии и 25 секунд для стандартной версии;

🟠Высокая детализация текстур и геометрии;

🟠Динамическая регулировка CFG в процессе генерации;

🟠Модуль суперразрешения повышает разрешение трехплоскостных карт для создания детализированных аспектов 3D-формы;

🟠Использование функции знаковых расстояний (SDF) позволяет преобразовать неявную репрезентацию 3D-формы в явную сетку с помощью алгоритма Marching Cubes.

▶️ Пайплайн Hunyuan3D-1.0:

Первый этап Hunyuan3D-1.0 основан на многовидовой диффузионной модели, которая генерирует набор RGB-изображений с разных ракурсов. Эти изображения, фиксирующие детали 3D-объекта с различных точек зрения, поступают на вход во второй этап - модель реконструкции.

Модель реконструкции преобразует многовидовые изображения в готовую 3D-модель. Она обучена обрабатывать шумы и несоответствия, присущие многовидовой диффузии, и использовать информацию из входного изображения или текста для восстановления 3D-структуры.

▶️ Как обучалась Hunyuan3D-1.0:

Обучение многовидовой диффузионной модели и модели реконструкции осуществляется раздельно. Lite-версия многовидовой модели использует SD-2.1 в качестве основы, a standard-версия основана на SDXL.

Модель реконструкции сначала обучалась на многовидовых изображениях разрешением 256x256, а затем донастраивалась на изображениях разрешением 512x512. Весь процесс обучения проводился на 64 графических процессорах A100.

▶️ Оценка Hunyuan3D-1.0:

Для оценки Hunyuan3D-1.0 использовались датасеты GSO и OmniObject3D с выборкой около 70 объектов. В качестве метрик использовались расстояние Чамфера (CD) и F-мера, которые являются стандартными показателями точности реконструкции 3D-форм.

Standard-версия модели показала лучшие результаты по метрикам CD и F-score на обоих датасетах. Hunyuan3D-1.0 достигла оптимального баланса между качеством и скоростью по результаты сравнения с другими моделями.


Инференс Hunyuan3D-1.0 доступен в CLI и с Gradio UI. Описание ключей запуска для CLI и список преднастроенных скриптов для запуска можно найти в репозитории проекта на Github.

⚠️ Позиции камеры на инференсе зафиксированы на азимуте (относительно позиции камеры на входе) +0, +60, +120, +180, +240, +300.

⚠️ Рекомендованная VRAM - 40GB, но по неподтвержденным данным из issue - запускается c 20 GB на 3090.


▶️Локальный запуск с GradioUI:

# Cloning the repository
git clone https://github.com/tencent/Hunyuan3D-1
cd Hunyuan3D-1

# Create conda env
conda create -n hunyuan3d-1 python=3.9
conda activate hunyuan3d-1
bash env_install.sh

# Run Gradio UI with Hunyuan3D-1.0 Lite
python app.py --use_lite 

# Open in browser link http://127.0.0.1:8080/