Machinelearning

18 ноября 2024 12:00

⚡️ BRIA Background Removal v2.0 Model.

RMBG v2.0 - новая модель удаления фона, предназначенная для эффективного отделения переднего плана от фона в различных категориях и типах изображений. Точность, эффективность и универсальность RMBG v2.0 конкурирует с ведущими SOTA-моделями.

RMBG-2.0 разработана на основе архитектуры BiRefNet и обучена на более чем 15 000 высококачественных, высокого разрешения, вручную маркированных (с точностью до пикселя), полностью лицензированных изображений.

Модель доступна на HF в двух версиях : pytorch и safetensors. Демо можно попробовать на HF Space.

▶️Пример кода запуска на Transformers:

from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()

# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
    transforms.Resize(image_size),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')

# Prediction
with torch.no_grad():
    preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)

image.save("no_bg_image.png")

Machinelearning

18 ноября 2024 07:15

📎 ML в медицине: дайджест за 11 - 17 ноября 2024 г.


▶️Модели, бенчмарки и датасеты

🔘EHRNoteQA: бенчмарк для оценки LLM в клинической практике.
Оценки LLM в контексте ответов на вопросы врачей, основанных на выписных эпикризах пациентов.

🔘ClinicalBench: сравнение LLM и традиционных ML-моделей в клиническом прогнозировании.
Бенчмарк сравнения эффективности языковых моделей с XGBoost, Logistic Regression, Decision Tree, Random Forest, AdaBoost, SVM, Naive Bayes, MLP, Transformer и RNN.

🔘Комплексная оценка RAG-систем с LLM в задачах медицинского QA.
Датасет, содержащий дополнительные элементы информации, знаний для обеспечения устойчивости к ошибкам.

🔘DAHL: автоматизированная оценка на галлюцинации в медицинских текстах.
Набор данных и методика для оценки галлюцинаций в длинных текстах, генерируемых LLM, с особым акцентом на медицинскую область.


▶️Фреймворки и методологии

🔘TranspNet: конвейер повышения прозрачности и достоверности LLM.
Интегрирация LLM с символическим ИИ, чтобы повысить прозрачность и достоверность их работы.

🔘ClinRaGen: система понимания мультимодальных электронных медицинских карт и обоснования диагнозов.
Система на основе SLM и методики ризонинга, разработанная для улучшения диагностики острых заболеваний с использованием мультимодальных электронных медицинских карт.

🔘GuidelineGuard: агентная платформа для оценки медицинских записей на соответствие рекомендациям.
Платформа на основе агентов LLM, которая автоматически анализирует выписки из больницы и записи офисных визитов.

🔘Автоматическое обобщение длинных медицинских карт с помощью динамического расширения контекста.
Методика автоматического реферирования, основанная на LLM open-calm-7b с использованием Native Bayes Context Extend (NBCE) и модифицированного механизма декодирования.


▶️Медицинские LLM-приложения

🔘LLAMA-2 для автоматической классификации кодов МКБ.
Классификации кодов Международной классификации болезней (МКБ) на основе медицинских текстов.

🔘PortalGen: фреймворк для синтеза реалистичных сообщений пациентов.
Метод контекстного обучения, который позволяет LLM лучше соответствовать стилю и тону реальных данных, используя небольшое количество деперсонализированных сообщений пациентов.

🔘Voice EHR: голосовая электронная медицинская карта.
Система сбора данных, которая фиксирует медицинскую информацию с помощью голосовых записей, сделанных через мобильное приложение.


▶️Исследования и обзоры

*️⃣Мультимодальные модели в диагностики болезни Альцгеймера.
Генерация синтетических диагностических отчетов, чтобы решить проблему недостатка текстовых данных в нейровизуальных датасетах для диагностики болезни Альцгеймера.

*️⃣Ограниченное влияние медицинской адаптации на LLM и VLM.
Исследуется эффективности DAPT для создания специализированных медицинских LLM и VLM, пригодных для решения задач (визуального) вопрос-ответа в медицине. Спойлер: LLM и без DAPT неплохо разбираются в медицине.


🔜 Читать полный дайджест


@ai_machinelearning_big_data

Machinelearning

16 ноября 2024 16:01

🌟 Контекстуальные эмбединги для повышения эффективности поиска.

Contextual Document Embeddings (CDE) - это метод векторных эмбедингов, разработанный в Cornell University, который учитывает дополнительный контекст из "соседних" документов целевого набора данных.

Метод CDE предлагает добавить к функции встраивания зависимость не только от запроса или документа, но и от всех других документов в наборе данных. Чтобы создать такую функцию с осведомленностью о своем окружении, предлагаются две взаимодополняющих техники:

🟢Контекстуальное обучение, которое основано на кластеризации документов и запросов для формирования групп тематически схожих псевдообластей данных. Обучение на этих группах позволяет эмбединг-модели различать документы в сложных контекстах.

🟠Контекстуальная архитектура. Дополняет стандартный BERT-подобный энкодер дополнительными токенами из агрегированной информации о соседних документах. Эта информация позволяет модели учитывать относительную частоту терминов в контексте, аналогично тому, как это делается в статистических моделях поиска.

Тестирование CDE показало, что обе техники улучшают производительность в задачах поиска вне предметной области, а контекстуальная архитектура эффективнее традиционных эмбедингов в специализированных областях: финансах, юриспруденции и медицине.

Для практических экспериментов предлагается блокнот ipynb (или его версия для Google Collab) в котором используется эмбединг-модель cde-small-v1 с 281 млн. параметров, получившая средний балл 65.00 в бенчмарке MTEB leaderboard в категории моделей до 400 млн. параметров. Этот блокнот научит создавать свои собственные эмбединги в контексте вашего набора данных или просто использовать модель как есть.


🟡Модель
🟡Arxiv
🟡Ipynb блокнот
🟡Google Collab
🖥Github

@ai_machinelearning_big_data

#AI #ML #Embeddings #Retrieval #CDE

Machinelearning

16 ноября 2024 13:15

🌟 Языки программирования в 50 строк кода Python.

Репозиторий на Github c микрореализацией фундаментальных языков программирования, по мотивам серии статей "Tiny Great Languages"

Все написано на Python, код намеренно краток, чтобы не превышать ~50 строк кода для каждого языка.

Используется только стандартная библиотека Python, да и то в очень скромных пределах (sys, иногда re, редко itertool и т.д.).

▶️ Реализованы языки:

asm.py - ассемблер. Компилирует "Python-ассемблер" в байткод и выполняет его;

basic.py - бейсик. Подмножество TinyBASIC, но с настоящим редактором строк BASIC!

lisp.py - Lisp 1.5. Классика, автор - Джон Маккарти, достаточен, чтобы интерпретировать самого себя (мета-циклический интерпретатор);

apl.py - интерпретатор k/simple, написанный Артуром Уитни, представляет собой диалект языка программирования K (array processing language), который является вариантом APL.

mouse.py - язык конкатенативного программирования MOUSE, опубликованный в журнале BYTE в 1979 году.

pl0.py - переводчик с языка PL/0, автор Никлаус Вирт.

tcl.py - крошечный интерпретатор командного языка (TCL).


📌Лицензирование: MIT License.


🖥Github

#Python #TinyLanguage

Machinelearning

15 ноября 2024 18:22

🌟 LLaMA-Mesh: метод генерации 3D-мешей с помощью LLM.

LLaMA-Mesh - метод, разработанный NVIDIA Labs, позволяющий генерировать 3D-модели с помощью текстовых инструкций, используя LLM. В отличие от других методов, LLaMA-Mesh представляет координаты вершин и определения граней 3D-сеток в виде простого текста, что позволяет напрямую интегрировать их с LLM без расширения словаря, минимизируя дополнительные затраты на обучение и позволяя использовать знания, которые уже имеют LLM.

Метод основан на файнтюне LLaMA-3.1-8B-Instruct на специальном наборе данных., который состоит из пар "текст-3D" и интерактивных диалогов, содержащих текст и 3D-модели.

В результате этого обучения, LLaMA-Mesh получает способность генерировать высококачественные 3D-сетки с различной топологией, сопоставимые по качеству с моделями, обученными с нуля, при этом сохраняя языковые способности, обеспечивая понимание сложных инструкций и ведения контекстуально-зависимых диалогов.

Оценка LLaMA-Mesh проводилась на качественных и количественных экспериментах.

Результаты качественных тестов демонстрируют высокую точность, качество и разнообразие сгенерированных 3D-моделей, а также сохраненные языковые возможности модели.

Количественные тесты в бенчмарках MMLU, PIQA, HellaSwag и GSM8K подтвердили сохранение языковых способностей, сравнимые с фундаментальными моделями LLaMA.

⚠️ Код и предварительно обученные веса обещают опубликовать в ближайшее время.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #3DGen #LlamaMesh #NVIDIA

Machinelearning

15 ноября 2024 07:15

✔️ Nous Research запустил бета-версию Forge Reasoning API.

Forge Reasoning API позволяет улучшить возможности популярных LLM, добавив интерпретатор кода и расширенные возможности рассуждений. API использует три архитектуры: поиск по древу Монте-Карло (MCTS), цепочка кода (CoC) и смесь агентов (MoA).

Forge совместим с Hermes 3, Claude Sonnet 3.5, Gemini и GPT 4 и может комбинировать несколько языковых моделей для повышения разнообразия выходных данных. Beta-тестирование API будет сосредоточено на тестировании архитектуры системы рассуждений.
nousresearch.com

✔️ Google устраняет уязвимости в Vertex AI, которые могли привести к утечке моделей ИИ.

Уязвимости, обнаруженные Palo Alto Networks Unit 42, позволяли злоумышленникам получать несанкционированный доступ к данным и извлекать корпоративные модели из системы.

Первая уязвимость, связанная с функцией "пользовательские задания", позволяла повышать привилегии и получать доступ ко всем сервисам данных в проекте. Вторая уязвимость, связанная с функцией "вредоносные модели", позволяла развертывать вредоносные модели и получать доступ ко всем другим настроенным моделям, что создавало серьезный риск утечки конфиденциальных данных.
Google уже установила исправления для устранения этих уязвимостей.
darkreading.com

✔️ JetBrains выпустила обновление 2024.3 для AI Assistant и IDEs.

AI Assistant 2024.3 теперь поддерживает модели Gemini, предоставляя пользователям возможность выбирать между моделями Gemini, OpenAI или локальными моделями. Ассистент также предлагает улучшенное автозавершение кода, расширенное управление контекстом и встроенную генерацию подсказок.

Обновления коснулись IDE JetBrains: PyCharm (добавлена функция AI-внутристроковых подсказок) , WebStorm (реализована улучшенная навигация по компонентам), GoLand (добавлены многострочное завершение, новая функция встроенной подсказки и новые языковые возможности из последних релизов Go), PhpStorm( новые проверки и быстрые исправления для обновления до PHP 8.4) и RubyMine(поддержка Rail 8, более быстрое завершение кода с учетом контекста и улучшенная интеграция модульных тестов).
sdtimes.com

✔️ Red Hat приобретает технологию для снижения стоимости машинного обучения.

Red Hat объявила о намерении приобрести Neural Magic, разработчика проекта vLLM с открытым исходным кодом. Цель приобретения в том, чтобы Red Hat и ее материнская компания IBM могли снизить барьер для входа организаций, желающих запускать рабочие нагрузки машинного обучения без необходимости развертывания серверов, оснащенных GPU.

Neural Magic разработала способ запуска алгоритмов машинного обучения без GPU. Вместо этого компания методы обрезки и квантования для оптимизации моделей, позволяя им работать на доступных процессорах без ущерба для производительности.
computerweekly.com

✔️ Франсуа Шолле покидает Google.

Французский разработчик Франсуа Шолле, создатель Keras, покидает Google после почти 10 лет работы. Keras лежит в основе ряда технологических продуктов: беспилотные автомобили Waymo, рекомендательные системы на YouTube, Netflix и Spotify.

В 2019 году Шолле опубликовал тест Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI), который измеряет способность систем ИИ решать новые задачи на рассуждение. Шолле неоднократно утверждал, что подход, принятый многими крупными лабораториями, разрабатывающими ИИ (внедрение все большего количества данных и вычислительных ресурсов в модели), не позволит достичь ИИ, который будет таким же «умным», как люди.

34-летний Франсуа сообщил в посте X, что он создает новую компанию вместе с «другом», но отказался раскрывать подробности.
techcrunch.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

14 ноября 2024 07:19

✔️ FrontierMath: набор тестов по математике, который ставит в тупик модели ИИ и кандидатов наук.

Epoch AI представила FrontierMath, математический тест, который содержит сотни задач экспертного уровня. Claude 3.5 Sonnet, GPT-4o, o1-preview и Gemini 1.5 Pro показали крайне низкие результаты - менее 2%, а для решения задач теста математикам-специалистам обычно требуются часы или дни.

Набор задач в FrontierMath остается закрытым и неопубликованным, чтобы предотвратить загрязнение данных. Задачи охватывают несколько математических дисциплин, от вычислительной теории чисел до абстрактной алгебраической геометрии.
Epoch AI планирует проводить регулярную оценку моделей ИИ с помощью теста, одновременно расширяя набор задач.
epoch.ai

✔️ Лаборатория искусственного интеллекта на защите людей искусства от генеративного ИИ.

Ученые из SAND Lab Чикагского университета разработали два инструмента, Glaze и Nightshade, которые защищают цифровое искусство от несанкционированного использования в обучении моделей.

Glaze изменяет изображения таким образом, чтобы алгоритмы ИИ не могли распознать стиль художника, а Nightshade добавляет в изображения «яд», нарушающий работу моделей ИИ. Оба инструмента были загружены миллионы раз и используются художниками для защиты своих работ от копирования и использования без их согласия.

Nightshade может нанести серьезный ущерб моделям ИИ, заставив их интерпретировать изображения неправильно, например, принимать собак за кошек. Разработчики инструментов надеются, что они заставят компании, занимающиеся ИИ, вести переговоры с художниками о лицензировании и справедливой компенсации.
technologyreview.com

✔️ OpenAI представит план развития инфраструктуры ИИ в США для конкуренции с Китаем.

OpenAI разработала план развития инфраструктуры ИИ в США, который включает создание специальных экономических зон для ИИ, использование опыта ВМС США в области ядерной энергетики и финансирование государственных проектов частными инвесторами. План также предусматривает создание североамериканского альянса по ИИ для конкуренции с китайскими инициативами.

Компания считает, что инвестиции в ИИ в США приведут к созданию десятков тысяч рабочих мест, росту ВВП, модернизации энергосистемы, появлению новых заводов по производству чипов и привлечению миллиардов долларов инвестиций из глобальных фондов.

В плане также прогнозируется принятие закона о национальной транспортной магистрали, который позволит расширить строительство линий электропередач, волоконно-оптических сетей и газопроводов.
cnbc.com

✔️ YouTube тестирует функцию ремиксов песен с помощью ИИ.

YouTube тестирует новую функцию в наборе инструментов Dream Track, которая позволяет авторам ремиксовать треки с помощью опции «Restyle a track» и описать текстом, как они хотят изменить стиль песни. Restyle a track сгенерирует 30-секундный фрагмент, который авторы смогут использовать в Shorts.

Ремикшированные фрагменты будут содержать информацию об оригинальной песне на странице Shorts audio pivot. Ремиксы также будут иметь соответствующую метку, указывающую на то, что трек был изменен с помощью ИИ.
techcrunch.com

✔️ Сверхчеловеческое зрение для роботов благодаря ИИ и радиоволнам.

Исследователи из Университета Пенсильвании разработали систему PanoRadar, которая использует радиоволны и ИИ, чтобы обеспечить роботов трехмерным зрением, подобным LiDAR, но по более низкой цене.

PanoRadar работает как маяк, вращаясь и излучая радиоволны, отражения которых обрабатываются ИИ для создания точного 3D-изображения окружающей среды. Эта технология позволяет роботам видеть сквозь препятствия, дым и туман. PanoRadar использует алгоритмы машинного обучения для интерпретации сложных сигналов радиоволн и достижения высокого разрешения, сравнимого с LiDAR.
interestingengineering.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

13 ноября 2024 15:30

Яндекс проведет «Ночь опенсорс библиотек» — ивент для тех, кто интересуется открытым кодом

На мероприятии вы понетворкаете с разработчиками крупных опенсорс проектов и узнаете, как коммитить так, чтобы ваш код всегда принимали мейнтейнеры. А еще познакомитесь с реальными кейсами оптимизации обучения с помощью CatBoost и YaFSD, поучаствуете в воркшопах, мини-хакатонах и лекциях.

Ночь опенсорса пройдет 14 декабря в московской Библиотеке иностранной литературы. Заявки на участие принимаются до 4 декабря.

Machinelearning

13 ноября 2024 07:09

✔️ Amazon разрабатывает собственные чипы для ИИ, чтобы снизить зависимость от NVIDIA.

Как сообщает Financial Times, Amazon уже разработала ряд собственных процессоров для ЦОД. Ожидается, что Amazon прольет больше света на свои новые разработки в следующем месяце в рамках анонса линейки чипов Trainium.

Эти чипы были разработаны компанией Annapurna Labs, принадлежащей Amazon, и используются компанией Anthropic.
wccftech.com

✔️ ИИ учит роботов паркуру в виртуальной реальности.

В MIT разработали систему LucidSim, которая использует генеративный ИИ для создания симуляций, обучающих роботов сложным задачам, таким как паркур.

LucidSim использует ChatGPT для создания описаний различных сред, которые затем преобразуются в трехмерную геометрию и физические данные с помощью модели, отображающей эти данные на изображения, сгенерированные ИИ. Робот, обученный с помощью LucidSim, успешно выполнил задачи поиска объекта, преодоление препятствий и подъем по лестнице, с более высокой точностью, чем робот, обученный с помощью традиционных методов.

Исследователи считают, что LucidSim может быть использован для обучения ИИ-агентов, взаимодействующих с реальным миром, от роботов и беспилотных автомобилей до управления экранами компьютеров и смартфонов.
technologyreview.com

✔️ Релиз Sentence Transformers v3.3.0 с улучшенной производительностью для задач NLP.

Sentence Transformers стал более доступным для развертывания в средах с ограниченными ресурсами. Новая версия предоставляет возможность интеграции статического квантования int8 в OpenVINO для 4-х кратного ускорения инференса на CPU со средним снижением производительности всего на 0,36%.

Также представлены: метод обучения с использованием подсказок, который улучшает производительность задач поиска, интеграция техники PEFT и возможность оценки с помощью NanoBEIR.
github.com

✔️ Cast AI представила AI Enabler и функцию динамической миграции без простоев для Kubernetes.

Cast AI, стартап, специализирующийся на управлении операциями Kubernetes анонсировал две новые функции для оптимизации расходов на облачную инфраструктуру и упрощение рабочих нагрузок.

AI Enabler - инструмент, который использует возможности Kubernetes для интеллектуальной маршрутизации запросов к наиболее эффективным LLM, как к открытым моделям, так и к коммерческим, без ущерба для качества.

Вторая новинка — Commercially Supported Container Live Migration, функция, обеспечивающая миграцию без простоев для работающих в состоянии workloads Kubernetes.
Live Migration должно решить проблемы, связанные с перемещением критически важных приложений: базы данных, задачи ИИ и машинного обучения без остановки кластеров.
siliconangle.com

✔️ Fastino анонсировала высокопроизводительные модели, оптимизированные для CPU.

Стартап Fastino вышел из скрытого режима и объявил о привлечении 7 млн. долларов pre-seed финансирования от фондов Microsoft M12 и Insight Partners.

Fastino разрабатывает семейство LLM для устройств с ограниченными ресурсами, которые могут быть развернуты на различных платформах, от периферийных устройств с обычными процессорами до виртуального частного облака.

Компания заявляет, что ее модели работают до 1000 раз быстрее, чем традиционные LLM, и могут запускаться на CPU или NPU.
С сегодняшнего дня открыта запись в waitlist для получения доступа к pre-alpha тестированию моделей.
fastino.ai

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

12 ноября 2024 15:01

Как большие данные помогают повысить операционную эффективность?

Работа с big data стала уже необходимостью для тех, кто стремится к эффективности и оптимизации бизнес-процессов. Однако на этом пути компании сталкиваются с множеством препятствий — от высоких операционных затрат до перехода на отечественные аналитические big data-платформы.

21 ноября в 16:00 на онлайн-митапе разберем, как большие данные решают конкретные задачи в бизнесе.

Темы митапа

🔹Оценка окупаемости проектов в big data и запуск пилотов для достижения конкретных бизнес-целей
🔹От Excel к корпоративному хранилищу данных: как мы переводим компании на платформу Greenplum и локализуем big data на отечественных продуктах
🔹Практический кейс из FMCG: задачи, решения и полезные лайфхаки для оптимизации процессов.

Спикеры

Александр Фикс
Менеджер продукта K2 Cloud

Руслан Султанов
Архитектор аналитических систем K2Тех

Регистрация по ссылке>>

Machinelearning

12 ноября 2024 10:00

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек:

▪️Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
▪️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие.
▪️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
▪️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.

Больше о вакансиях ML-разработчиков — здесь.

Устраивайтесь в Т-Банк на позицию ML-разработчика до 23 декабря 2024 года и получайте приветственный бонус в размере одного оклада.

Machinelearning

11 ноября 2024 19:01

🌟 AlphaFold 3: система моделирования структуры белков.

AlphaFold 3 — конвейер логического вывода системы ИИ, разработанной Google DeepMind, которая произвела революцию в области прогнозирования структуры белков.

Пакет AlphaFold 3 включает в себя все необходимое для теоретического моделирования структуры белка. Для запуска системы необходимо сконфигурировать входной файл JSON, содержащий информацию о белке, например, его идентификатор и аминокислотную последовательность.

Вместе с программным конвейером инференса доступна подробная документация по входным и выходным данным системы, решению известных проблем, настройкам производительности и установке с последующим запуском с помощью Docker.

Для локального использования понадобится ОС Linux (AlphaFold 3 не поддерживает другие операционные системы) примерно 1 ТB дискового пространства для хранения генетических баз данных (рекомендуется SSD), 64 GB RAM, GPU NVIDIA с Compute Capability 8.0 или выше.
Исходные данные, содержащие 5120 токенов, могут поместиться на одном NVIDIA A100 80 ГБ или одном NVIDIA H100 80 ГБ.

⚠️ Получение параметров модели возможно через подачу заявки в Google DeepMind, доступ предоставляется в течении 2-3 дней по итогам рассмотрения обращения.

⚠️ Любая публикация, основанная на результатах, полученных с использованием AlphaFold 3, должна ссылаться на статью «Accurate structure prediction of biomolecular interactions with AlphaFold 3».

⚠️ AlphaFold 3 не является официально поддерживаемым продуктом Google и ее результаты не предназначены, не проверены и не одобрены для клинического использования.


📌Лицензирование: CC-BY-NC-SA 4.0


🟡Техотчет
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #DeepMind #AlfaFold3

Machinelearning

11 ноября 2024 13:25

📎 ML в медицине: дайджест за 3 - 10 ноября 2024 г.

▶️Модели, бенчмарки и датасеты

🔘GSCo: совместное использование LLM общего назначения и экспертных моделей в медицинской визуализации.
GSCo (Generalist-Specialist Collaboration) - система, которая использует преимущества моделей общего назначения (GFM) и экспертных моделей для повышения точности анализа медицинских изображений.

🔘PASSION: датасет дерматологии южноафриканского населения.
Набор данных из 4901 фотографий заболеваний кожи 1653 пациентов, собранный в странах Африки к югу от Сахары.

🔘MediQ: бенчмарк клинического мышления.
Интерактивный бенчмарк для оценки способности LLM к сбору информации посредством дополнительных вопросов.

🔘BrainSegFounder: 3D-анализ изображений мозга.
Базовая модель для сегментации мультимодальных нейроизображений с двухэтапным подходом к предварительному обучению.

🔘Zebra-Llama: контекстно-зависимая LLM для редких заболеваний.
Модель фокусируется на синдроме Элерса-Данлоса (СЭД) в качестве основной специализации.

▶️Фреймворки и методологии

🔘AutoProteinEngine: платформа на основе LLMs для автоматизированного машинного обучения в инженерии белковю
LLM с AutoML для решения задач, связанных с выбором модели для последовательностей белков, графовых представлений, автоматической оптимизацией гиперпараметров и автоматическим поиском данных в базах данных белков.

🔘Label Critic: контроль качества разметки в медицинских датасетах с помощью LLM.
Метод, использующий VLM для автоматического выявления и сравнения ошибок в разметке органов на КТ-изображениях.

🔘MEG: Методика дополнения LLM медицинскими QA.
Параметрически эффективный метод для насыщения LLM дополнительными медицинскими знаниями.

🔘Medprompt: анализ эффективности OpenAI o1-preview в медицинских задачах.
Medprompt использует цепочки рассуждений и ансамблирование, чтобы улучшить результаты инференса GPT-4 в медицинских задачах.

▶️Медицинские LLM-приложения

🔘CataractBot: чат-бот для помощи пациентам, перенесшим операцию по удалению катаракты.
Чат-бот на базе WhatsApp, работающий по принципу «сопровождающий эксперт» с использованием LLM для поддержки пациентов, перенесших операцию по удалению катаракты.

🔘CheX-GPT: использование LLM для маркировки рентгенограмм грудной клетки.
Классификатор, предназначенный для автоматической маркировки рентгенограмм грудной клетки (CXR) с использованием LLM.

🔘CardioAI: мультимодальная система на основе ИИ для мониторинга кардиотоксичности, вызванной лечением рака.
Система, объединяющая носимые устройства и голосовые помощники на базе LLMs для мониторинга симптомов в амбулаторных условиях

🔘HealthQ: система для оценки способностей LLM к поддержанию диалога.
Система оценки навыков LLM в формулировке медицинских вопросов во время диалога с пациентом.

▶️Исследования и обзоры

*️⃣Использование LLMs в медицинской робототехнике: обзор и перспективы.
Возможности и проблемы, связанные с разработкой роботов для здравоохранения, оснащенных LLM. Спойлер - это перспективное направление

*️⃣Критический взгляд на доменно-адаптивное обучение LLM и VLM для медицины.
Ожидалось, что доменно-адаптивное дообучение (DAPT) на медицинских текстах и изображениях позволит улучшить эффективность моделей в решении задач медицинской QA. Но есть нюанс.

*️⃣Исследование применимости LLM для специализированной онкологической помощи.
Google Research исследовал эффективность системы ИИ для диалоговой диагностики в области лечения рака молочной железы без специальной тонкой настройки моделей.

🔜 Читать полный дайджест
🔜 Зеркало

@ai_machinelearning_big_data

Machinelearning

11 ноября 2024 07:59

📌Руководство по эффективному использованию промптов для LLM от разработчиков из GoogleDeepMind.

Туториал ориентируется на нетехническую аудиторию, которая имеет опыт взаимодействия с большими языковыми моделями.

В первой половине представлены ментальные конструкции природы посттренинга и промптов. Вторая половина содержит более конкретные предписания и высокоуровневую процедуру промпт-инжиниринга.

Авторы, Varun Godbole и Ellie Pavlick подчеркивают, что поиск «идеальной» подсказки — это итеративный процесс, аналогичный настройке модели, который в лучшем случае является эмпирическим, а в худшем - алхимическим.

▶️ Содержание:

🟢Для кого предназначен этот документ?
🟢Зачем нужно это руководство?
🟢Background трейна: предварительная и последующая подготовка
🟢Рекомендации по промптам
🟢Рудиментарное "руководство по стилю" для промптов
🟢Процедура итерации новых системных инструкций
🟢Некоторые мысли о том, когда полезна LLM
🟢Дополнительные ресурсы


📌Лицензирование: Creative Commons Attribution 4.0 International Public License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Prompt #Github #Tutorial

Machinelearning

09 ноября 2024 17:00

🌟 TIPO: Оптимизация текстовых промптов для text-2-image моделей.

TIPO (Text to Image with text presampling for Prompt Optimization) - метод, который улучшает качество и удобство использования моделей text-2-image.

TIPO использует LLM для предварительной обработки текстовых запросов, делая их более точными и информативными. Он воспринимает как промпты на естественном языке , так и формат Danbooru тегов.

Основная идея метода заключается в том, что более детальные и конкретные запросы приводят к более точной генерации изображений, тогда как неконкретные запросы приводят к более широкому спектру, но менее точным результатам.

TIPO генерирует несколько подробных вариантов запроса из одного простого, тем самым расширяя пространство возможных результатов и повышая вероятность получения желаемого изображения.

Представлены 2 модели TIPO, обе построены на базе LLaMA 400M, обученные на наборах Danbooru2023, GBC10M и Coyo-HD-11M с общим числом токенов 30 млррд.

🟢TIPO-200M;

🟢TIPO-500M.

▶️ Использование TIPO доступно в качестве расширения к stable-diffusion-webui, Forge UI и ComfyUI. Все подробности по установке расширений и использованию в ComfyUI можно найти в репозитории проектка Z-TIPO-extension.


📌Лицензирование : Kohaku License 1.0


🟡Коллекция моделей на HF
🟡KBlueLeaf/BJULOQBR0">Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #T2I #TIPO #LLM

Machinelearning

18 ноября 2024 11:02

🎓Погружаемся в мир обучения с подкреплением (RL) и изучаем его применение в разработке рекомендательных систем!

⚡3 декабря в 20.00 мск приходите на открытый вебинар "Автоматизация инжениринга признаков", на котором мы разберем:

- сильные и слабые стороны алгоритмов классического RL и Deep RL.;
- постановку задачи о многоруком бандите для классического и Deep RL.
- подходы к применению задачи о многоруком бандите для разработки рекомендательных систем

👉Регистрация. Участие бесплатно https://otus.pw/Xt1t/?erid=LjN8KQXJC

Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем

#реклама
О рекламодателе

Machinelearning

17 ноября 2024 11:05

🌟 OpenCoder - модели для кодинга, cookbook обучения и датасеты.

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

Семейство моделей OpenCoder обучалось с нуля на 2,5 трлн. лексем, состоящих на 90 % из сырого кода и на 10 % из веб-данных, связанных с кодом, и прошло отладку на более чем 4,5 млн. высококачественных примеров SFT, в итоге достигнув производительности топовых LLM с похожей специализацией.

В открытый доступ опубликованы не только веса моделей и код для инференса, но и датасеты, полный цикл обработки данных, результаты экспериментальной абляции и подробные протоколы обучения.

OpenCoder тщательно протестирован с помощью исследований абляции на различных стратегиях очистки данных и процессах обучения, включая эксперименты по дедупликации на уровне файлов и репозиториев, что обеспечило семейству тщательную проверку производительности моделей.

OpenCoder достигает высокой производительности в различных бенчмарках, что ставит их в ряд SOTA-моделей с открытым исходным кодом для задач программирования.

▶️ Семейство моделей OpenCoder :

🟢OpenCoder-1.5B-Base, 4 тыс. токенов контекста;

🟢OpenCoder-8B-Base, 8 тыс. токенов контекста;

🟠OpenCoder-1.5B-Instruct, 4 тыс. токенов контекста;

🟠OpenCoder-8B-Instruct, 8 тыс. токенов контекста;

▶️ Датасеты:

🟢OpenCoder-SFT-Stage1, 4.21 млн. строк;

🟠OpenCoder-SFT-Stage2, 375 тыс.строк.


▶️ Пример инференса на HF Transformers:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "infly/OpenCoder-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name,
                                             torch_dtype=torch.bfloat16,
                                             device_map="auto",
                                             trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

messages=[
    { 'role': 'user', 'content': "write a quick sort algorithm in python."}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(inputs, max_new_tokens=512, do_sample=False)

result = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)

Machinelearning

16 ноября 2024 15:02

⚡️ Прими участие в хакатоне Т1 2024 в Москве и поборись за призовой фонд в 1 200 000 рублей!

Когда: 26-29 ноября 2024
Формат: гибридный
Призовой фонд: 1 200 000 рублей

🔥 Хакатон Т1 2024 создан для тебя, если ты:

– Выпускник вуза или молодой специалист;
– Студент старших курсов технических вузов;
– Специалист по frontend или backend-разработке, системный аналитик, AI-специалист.

❗️На хакатоне тебе будут предложены 2 кейса:

1. Хаб: объединение данных пользователя в золотую запись. Создайте методику, которая поможет найти "золотую запись" в большом наборе данных, используя признаки актуальности, частоты и полноты.
2. Окно знаний: цифровой ассистент базы знаний. Создайте платформу, которая позволит пользователям разрабатывать окна взаимодействия с ассистентом, интегрируя собственные базы знаний.

▶️ Регистрация открыта! Успей зарегистрироваться до 24 ноября, 23:59 МСК по ссылке.

Machinelearning

16 ноября 2024 09:11

✔️ The New York Times обвиняет OpenAI в попытке заработать на судебном разбирательстве.

NYT утверждает, что OpenAI предложила протокол проверки, ограничивающий количество запросов, которые их эксперт может сделать через API, суммой в 15 000 долларов. По словам NYT, для получения необходимых доказательств нарушения авторских прав, им потребуется кредитов на сумму 800 тыс. долларов, что, как утверждается, значительно превышает фактические затраты OpenAI.

OpenAI защищает установленный лимит, утверждая, что он необходим для снижения нагрузки на компанию. Исход этого судебного спора может иметь последствия для будущих дел, связанных с проверкой моделей ИИ.
arstechnica.com

✔️ Фильм, сценарий которого написан ИИ, открывает фестиваль IDFA.

Фильм "О герое" режиссера Петра Виневича, сценарий которого написан искусственным интеллектом, обученным на работах Вернера Херцога, открывает Международный фестиваль документального кино в Амстердаме (IDFA).

В фильме снимаются Вики Крипс и Стивен Фрай, а Вернер Херцог выступает в роли рассказчика. Фильм исследует роль технологий в кинопроизводстве и ставит вопросы об оригинальности, аутентичности и душе в эпоху ИИ. Виневич создал фильм, используя программное обеспечение Kaspar, которое обучалось на обширной фильмографии и текстах Херцога.

Процесс написания сценария был долгим и сложным: сначала ИИ генерировал поток текста, который затем редактировался Виневичем и сценаристкой Анной Джул.
hollywoodreporter.com

✔️ Hyundai разрабатывает электромобиль с ИИ, чтобы не отставать от конкурентов в Китае.

В следующем году Hyundai выпустит свой первый электромобиль с ИИ, разработанный специально для китайского рынка. Новая модель будет оснащена системой DriveGPT от китайского стартапа Haomo, которая вдохновлена ChatGPT от OpenAI.

Система способна к самообучению в режиме реального времени, оптимизируя процесс принятия решений на основе анализа данных о дорожном движении. Уровень автономного вождения новой модели будет находиться между 2 и 2.5, что сравнимо с автопилотом Tesla.

Hyundai надеется, что новый электромобиль поможет увеличить продажи на китайском рынке электромобилей, где BYD лидирует с долей рынка 32,9%.
electrek.co

✔️ Apple M4 Max транскрибирует аудио в 2 раза быстрее, чем RTX A5000, потребляя при этом в 8 раз меньше энергии.

В пользовательском тесте, проведенном Toms hardware M4 Max транскрибировал 3-х часовой аудиофайл с помощью Whisper V3 Turbo всего за 2 минуты 29 секунд, потребляя 25 Вт, в то время как RTX A5000 затратил на ту же задачу 4 минуты 33 секунды, потребляя 190 Вт.

Преимущество M4 Max объясняется наличием четырех аппаратных кодеров, включая два специализированных для ProRes, что позволяет ему эффективно обрабатывать видео и аудио. В тесте использовалась сбалансированная настройка M4 Max, а при увеличении скорости вентиляторов время транскрипции сократилось еще на 10 секунд.
tomshardware.com

✔️ Новая модель Gemini от Google возглавляет рейтинг LLM в СhatbotArena.

Последняя версия Gemini попала на вершину рейтинга Chatbot Arena, обогнав последнюю версию GPT-4o от OpenAI. Новая модель от Google DeepMind называется Gemini-Exp-1114. она сравнялась с последней версией GPT-4o, превзойдя возможности модели o1-preview reasoning от OpenAI.

Gemini-Exp-1114 пока недоступна в приложении или на веб-сайте Gemini. Получить к ней доступ можно только зарегистрировав бесплатную учетную запись Google AI Studio.
tomsguide.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

15 ноября 2024 11:38

🌟 Athene-V2: диалоговая и агентная модели от Nexusflow с 72 млрд. параметров.

Nexusflow представила семейство Athene-V2 из двух специализированных моделей: Athene-V2-Chat-72B, оптимизированную для чат-диалогов, и Athene-V2-Agent-72B, предназначенную для работы в качестве агента.

Обе модели построены на базе Qwen 2.5-72B-Instruct. Ключевая особенность Athene-V2 - концепция "границы Парето" в постобработке LLM.

По мере обучения модели с помощью RLHF на качественных данных достигается оптимальный баланс между метриками производительности, формируя "границу Парето". Дальнейшее улучшение отдельных характеристик становится возможным только за счет снижения других показателей.

Athene-V2-Chat-72B демонстрирует конкурентоспособные результаты по сравнению с GPT-4o в бенчмарках, превосходя его в задачах чата (Arena-Hard), завершения кода (bigcode-bench-hard) и математических задачах (MATH).

Athene-V2-Agent-72B превосходит GPT-4o в бенчмарках Nexus-V2, ориентированных на сложные сценарии вызова функций в корпоративной среде.

Athene-V2-Chat-72B использует шаблон чата Qwen2.5-72B-Instruct. Пример инференса с помощью библиотеки Transformers.

Athene-V2-Agent-72B можно использовать в любой совместимой с OpenAI API среде с помощью docker-образа VLLM. Примеры запуска погодного и RAG-агента.

⚠️ Athene-V2-Agent использует уникальный стиль промптов, который включен в docker-образ, поскольку исполняемые вызовы извлекаются из сгенерированного планирования модели.
Использование шаблона чата HuggingFace приведет к неоптимальным результатам в случае использования Athene-V2-Agent .

▶️На HF доступны неофициальные квантованные версии в формате GGUF c диапазоном разрядности от 3 до 8 bit:

🟠Athene-V2-Chat-72B

🟠Athene-V2-Agent-72B


📌Лицензирование: Nexusflow Research License


🟡Страница проекта
🟡Набор моделей
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #LLM #AtheneV2 #Nexusflow

Machinelearning

14 ноября 2024 13:02

⚡️ JanusFlow: унифицированная MMLM понимания и генерации изображений от DeepSeekAI.

JanusFlow - уникальная комбинация LLM с Rectified Flow и SDXL-VAE для задач понимания и генерации изображений.

Архитектура JanusFlow построена на улучшенной версии DeepSeek-LLM-1.3B, дополненной двумя специализированными энкодерами изображений: SigLIP для задач понимания и ConvNeXt для задач генерации. Разделение энкодеров предотвращает интерференцию задач и повышает эффективность модели.

JanusFlow обучалась в 3 этапа. На первом этапе адаптировались линейные слои, энкодер и декодер генерации.

На втором этапе - унифицированное предварительное обучение всей модели, за исключением визуального энкодера.

На третьем этапе - SFT с использованием инструкций, диалогов и примеров генерации изображений.

В тестах генерации изображений MJHQ FID-30k, GenEval и DPG-Bench, JanusFlow превосходит SD1.5 и SDXL. В тестах понимания MMBench, SeedBench и GQA, JanusFlow превосходит LLaVA-v1.5 и Qwen-VL-Chat.

Локальный запуск возможен в CLI на Transformers и с webUI на Gradio. Примеры CLI-инференса для задач понимания и генерации можно найти в репозитории проекта.

▶️Установка и запуск с GradioUI:

# install the necessary dependencies
pip install -e .
pip install diffusers[torch]

# run local gradio demo
pip install -e .[gradio]

python demo/app_janusflow.py

Machinelearning

13 ноября 2024 16:30

🌟 Moirai-MoE: фундаментальная модель временных рядов на основе разреженной смеси экспертов.

Фундаментальные модели временных рядов продемонстрировали впечатляющие результаты в задачах прогнозирования без предварительной настройки. Однако эффективное унифицированное обучение на временных рядах остается открытой проблемой. Существующие методы используют определенный уровень специализации модели, чтобы учесть высокую гетерогенность данных временных рядов.

Moirai-MoE - модель для прогнозирования временных рядов от Salesforce AI Research, использующая один входной/выходной проекционный слой, при этом задача моделирования различных паттернов временных рядов делегируется разреженной смеси экспертов (MoE) в трансформерах.

Moirai-MoE достигает специализации, управляемой данными, и работает на уровне токенов. Для повышения эффективности обучения Moirai-MoE использует целевую функцию только декодера, что позволяет параллельно обучать модель на различных контекстных длинах.

Moirai-MoE была оценена на 39 наборах данных в сценариях прогнозирования внутри и вне распределения. Результаты подтверждают превосходство Moirai-MoE над существующими фундаментальными моделями, включая TimesFM, Chronos и Moirai.

В частности, Moirai-MoE превосходит свою аналогичную модель Moirai на 17% при том же размере модели и превосходит другие фундаментальные модели временных рядов с до 65 раз меньшим количеством активных параметров.

В открытый доступ на HF опубликованы 2 модели:

🟢Moirai-MoE-1.0-R-Small, 11 млн. активных параметров, 117 млн. общих;

🟢Moirai-MoE-1.0-R-Base, 86 млн. активных параметров, 935 млн. общих.


▶️Пример использования Moirai-MoE для составления прогнозов:

import matplotlib.pyplot as plt
from gluonts.dataset.repository import dataset_recipes

from uni2ts.eval_util.data import get_gluonts_test_dataset
from uni2ts.eval_util.plot import plot_next_multi
from uni2ts.model.moirai import MoiraiForecast, MoiraiMoEModule

SIZE = "small"  # model size: choose from {'small', 'base'}
CTX = 1000  # context length: any positive integer
BSZ = 32  # batch size: any positive integer

# Load dataset
test_data, metadata = get_gluonts_test_dataset(
    "electricity", prediction_length=None, regenerate=False
)
# Uncomment the below line to find other datasets
# print(sorted(dataset_recipes.keys()))

# Prepare model
model = MoiraiForecast(
    module=MoiraiMoEModule.from_pretrained(
        f"Salesforce/moirai-moe-1.0-R-{SIZE}",
    ),
    mode="autoregressive",
    prediction_length=metadata.prediction_length,
    context_length=CTX,
    patch_size=16,
    num_samples=100,
    target_dim=metadata.target_dim,
    feat_dynamic_real_dim=metadata.feat_dynamic_real_dim,
    past_feat_dynamic_real_dim=metadata.past_feat_dynamic_real_dim,
)

predictor = model.create_predictor(batch_size=BSZ)
forecasts = predictor.predict(test_data.input)

input_it = iter(test_data.input)
label_it = iter(test_data.label)
forecast_it = iter(forecasts)

# Visualize forecasts
fig, axes = plt.subplots(nrows=2, ncols=3, figsize=(25, 10))
plot_next_multi(
    axes,
    input_it,
    label_it,
    forecast_it,
    context_length=200,
    intervals=(0.5, 0.9),
    dim=None,
    name="pred",
    show_label=True,
)

Machinelearning

13 ноября 2024 10:19

📌Исследование различных типов связей между датасетами для улучшения их поиска.

В исследовании, опубликованном к International Semantic Web Conference, Google Research проанализировал связи между датасетами, доступными в Интернет. Целью исследования заявлена стремление улучшить возможности поиска и использования данных, учитывая их сложные взаимоотношения.

Исследователи выделили 4 ключевые задачи, с которыми сталкиваются пользователи при работе с датасетами:

🟢Поиск. Огромное количество данных в сети затрудняет поиск нужных датасетов.

🟢Оценка достоверности. В отличие от научных публикаций, датасеты редко проходят рецензирование, поэтому пользователям приходится полагаться на метаданные для оценки их надежности.

🟢Цитирование. Корректное цитирование требует наличия постоянных идентификаторов, метаданных и точного описания происхождения данных.

🟢Курирование: Курирование включает сбор, организацию и поддержку датасетов из разных источников, а для этого кураторам необходимо понимать связи между ними.

Чтобы классифицировать отношения между датасетами были использованы 2 основных типа связей: основанные на происхождении (например, версии и подмножества) и не связанные с происхождением (например, тематически похожие).

Для автоматического определения отношений между датасетами применяли 4 метода:

🟠Извлечение отношений из schema.org.
Schema.org - это семантическая разметка метаданных для поисковых ботов на веб-страницах.

🟠Эвристический подход.
Набор правил, разработанных для каждого типа отношений.

🟠Градиентный бустинг деревьев решений (GBDT).
Метод машинного обучения, основанный на классификации.

🟠Модель T5.
Генеративная модель, также используемая для классификации.

Результаты исследования показали, что методы машинного обучения, GBDT и T5, превзошли эвристический подход в точности определения отношений. GBDT продемонстрировал наилучшие показатели F1 в различных категориях, T5 тоже молодец показал схожие результаты.

Однако, даже самые эффективные методы столкнулись с ограничениями из-за недостаточной полноты метаданных. Вывод - необходимость улучшения стандартов метаданных и более широкого использования schema.org для описания связей между датасетами.


🟡Статья в блоге
🟡Arxiv
🟡Поиск по датасетам


@ai_machinelearning_big_data

#AI #ML #Google #Datasets #Search

Machinelearning

12 ноября 2024 16:00

🌟 NeuroFly: платформа для реконструкции нейронов мозга.

NeuroFly - платформа для полуавтоматической реконструкции из 3D-изображений отдельных нейронов в масштабе всего мозга, использующая глубокое обучение для сегментации и деконволюции изображений.

NeuroFly работает в 3 этапа: сегментация, соединение и корректировка:

🟢На первом этапе выполняется автоматическая сегментация изображения, за которой следует скелетизация для создания чрезмерно сегментированных фрагментов нейронов без ветвей.

🟢На этапе соединения используется 3D-метод отслеживания пути на основе изображений, который устраняет пробелы между сегментами нейронов, не распознанными на первом этапе. Агент перемещается вдоль нейрита, руководствуясь сигналами управления, предсказанными по локальному объему изображения, центрированному на нем. Для прогнозирования вектора кривизны, который определяет локальное продолжение пространственной кривой, используется 3D-сверточная нейронная сеть.

🟢Заключительный этап предполагает участие человека для проверки нескольких неразрешенных позиций. NeuroFly предлагает инструменты корректуры на основе набора плагинов napari, которые позволяют вручную соединять и корректировать сегменты, создавая полные реконструкции нейронов в 3D-визуализации.

NeuroFly поддерживает работу с различными типами данных, в том числе изображения целого мозга в иерархических структурах (IMS, H5, Zarr) в формате Imaris, а также небольшие объемы изображений, сохраненные в формате TIFF с одним каналом.

Функции, основанные на глубоком обучении - сегментация и деконволюция изображений, реализованы в tinygrad, который может работать практически на любом GPU (NVIDIA, AMD, Apple, Qualcomm, Intel).

В NeuroFly реализован экспорт реконструированных нейронов в формате SWC.6

Результаты тестирования NeuroFly показали, что метод аугментации данных значительно улучшает производительность модели сегментации в сложных сценариях, содержащих дендриты и загрязненные изображения. Этап соединения значительно увеличивает показатель полноты во всех тестах с небольшой потерей точности, приводя к общему улучшению показателя F1.


📌Лицензирование: GPL-3.0 License.


🟡Arxiv
🟡Набор датасетов
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Neurobilogy #NeuroFly

Machinelearning

12 ноября 2024 11:00

✔️ Near Protocol планирует создать самую большую в мире LLM с открытым исходным кодом.

Компания Near Protocol на конференции Redacted в Бангкоке объявила о планах по созданию языковой модели, состоящей из 1,4 трлн. параметров. Новая модель будет в 3,5 раза больше, чем самая большая модель Llama.

Разработка будет осуществляться с помощью краудсорсинга, любой желающий сможет присоединиться к обучению модели. Финансирование проекта, стоимость которого оценивается в 160 млн. долларов, будет осуществляться за счет продажи криптовалютных токенов. Для обучения такой большой модели потребуются «десятки тысяч GPU в одном месте», что потребует разработки новой технологии распределенного обучения.
cointelegraph.com

✔️ X проводит эксперименты с бесплатным доступом к чат-боту Grok AI.

X (ex-Twitter) планирует запустить ограниченную бесплатную версию чат-бота Grok для всех пользователей, значительно расширив аудиторию использования генеративного ИИ. Сейчас Grok доступен только подписчикам X Premium, которых насчитывается около 1,3 миллиона человек, это 0,26% от всей пользовательской базы X.

Бесплатная версия, хотя и с ограниченным использованием (10 запросов каждые 2 часа к Grok2, 20 запросов каждые 2 часа к Grok2-mini, анализ 3 изображений в день), позволит большему числу людей опробовать Grok и может привлечь больше подписок X Premium. Это также может помочь материнской компании X Corp, привлечь критически важные инвестиции в свое ответвление xAI.
socialmediatoday.com

✔️ Китайские технологические гиганты заинтересованы в специалистах в области ИИ.

В Китае обостряется борьба за таланты в области ИИ: местные технологические компании предлагают высокие зарплаты, чтобы привлечь лучших специалистов. Xiaomi проводит специальную сессию по найму экспертов в области ИИ, включая специалистов по ИИ-моделям, компьютерному зрению, глубокому обучению, автономному вождению и обработке естественного языка.

Компания предлагает ускоренный процесс найма для некоторых кандидатов, позволяя им пропустить письменные тесты и напрямую пройти собеседование с соответствующим бизнес-подразделением. Этот шаг обусловлен растущим спросом на специалистов по ИИ, особенно на экспертов по обработке естественного языка, которых активно ищут как крупные компании, так и стартапы.
scmp.com

✔️ NXP разработала ML-алгоритм для оптимизации процесса тестирования чипов.

Алгоритм, аналогичный системам рекомендаций в электронной коммерции, выявляет взаимосвязи между различными тестами и определяет, какие из них дублируют друг друга.

В ходе испытаний на семи микроконтроллерах и процессорах он позволил сократить количество тестов на 42-74%. Несмотря на высокую эффективность, инженеры NXP отмечают необходимость проверки рекомендаций алгоритма с точки зрения инженерной целесообразности.
spectrum.ieee.org

✔️ Ubitus представит инновации в области ИИ на NVIDIA AI Summit Japan 2024.

Ubitus, лидер облачного стриминга, продемонстрирует 3 инновации на базе технологий NVIDIA на саммите в Токио 13 ноября , которые могут изменить не только игровую индустрию, но и другие отрасли.

Первая - робот с искусственным интеллектом, управляемый LLM, работающей на GPU H100.

Вторая - цифровые люди в Unreal Engine 5 на базе NVIDIA ACE будут отличаться памятью разговора, поиском информации c помощью RAG и многоязычными возможностями, обеспечивая динамическое, контекстно-зависимое взаимодействие.

Третья инновация - Ubi-chan, виртуальный персонаж с ИИ, работающий на технологии преобразования текста в речь NVIDIA Riva, с функциями мгновенной реакции на голосовые команды и преобразованием речи в плавные движения губ для реалистичного исполнения.
businesswire.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

12 ноября 2024 07:09

⚡️ Релиз Qwen2.5-Coder.

Qwen2.5-Coder - это семейство из 6 LLM : 0,5, 1,5, 3, 7, 14, 32 млрд. параметров, ориентированное на понимание и написание кода на 40 языках программирования.

По сравнению с предыдущим поколением моделей CodeQwen1.5, в Qwen2.5-Coder значительно улучшена генерация, обоснование и исправление кода. При этом сохранились сильные навыки в математике и общих компетенциях.

Семейство основано на Qwen 2.5, количество обучающих лексем было увеличено до 5,5 трлн, в корпус данных вошли исходный код, текстовые кодовые основания, синтетические данные и т. д.

Способности в области программирования старшей модели, Qwen2.5-Coder-32B соответствуют уровню GPT-4o.

Модели 0.5В, 1.5B и 3В получили контекст в 32 тыс. токенов, а 7В, 14В и 32B - 128 тыс. токенов.

В открытый доступ на HuggingFace опубликованы 36 моделей семейства: базовые модели, instruct-версии и GGUF, AWQ, GPTQ-Int8, GPTQ-Int4 форматы инструктивных версий.


⚠️ В ближайшее время (сроки не указаны), разработчики Qwen-Coder планируют запустить сервис real-time кода на сайте Tongyi . Сервис будет поддерживать генерацию веб-сайтов, создание мини-игр и диаграмм данных одним щелчком мыши.


📌Лицензирование:

🟢Модели 0.5В, 1.5В, 7В, 14В и 32В - Apache 2.0 License.
🟠Модель 3B - Qwen-Research license.


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Документация
🟡Arxiv
🟡Demo
🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #QwenCoder

Machinelearning

11 ноября 2024 16:01

📌 Практические упражнения и дополнительные материалы к книге "Build a Large Language Model (From Scratch)"

Репозиторий на Github c прикладными упражнениями, ноутбуками с кодом для разработки, предварительной подготовки и тонкой настройке LLM-модели типа GPT по одной из лучших книг о построении LLM с нуля.

▶️ О книге:
В книге вы узнаете и поймете, как работают большие языковые модели изнутри, создавая собственную LLM шаг за шагом, c подробным объяснением каждого этапа понятным языком, диаграммами и примерами.

Метод, описанный в книге демонстрирует подход, используемый при создании крупных фундаментальных моделей, таких как те, что лежат в основе ChatGPT.

В репозитории к каждой главе книги соответствуют несколько (3-4) прикладных примеров в формате ipynb или в виде исполняемого python-скрипта. Код ориентирован на широкую аудиторию, разработан для запуска на обычных ноутбуках и не требует специализированного оборудования.

▶️Главная ценность репозитория - дополнительные практические материалы, которые помогут глубже изучить тонкости и нюансы процесса настройки и обучения LLM:

Настройка

🟢Советы на настройке Python
🟢Установка пакетов и библиотек Python
🟢Руководство по настройке среды Docker

Глава 2: Работа с текстовыми данными

🟠Сравнение различных реализаций Byte Pair Encoding (BPE)
🟠Понимание разницы между embedding и линейными слоями
🟠Dataloader Intuition с простыми числами

Глава 3: Код механизмов внимания

🟢Сравнение эффективных реализаций Multi-Head Attention
🟢Буферы PyTorch

Глава 4: Реализация модели GPT с нуля

🟠Анализ FLOPS

Глава 5: Предварительное обучение на немаркированных данных

🟢Альтернативная загрузка весов с HuggingFace с использованием Transformers
🟢Предварительное обучение GPT на наборе данных проекта Gutenberg
🟢Добавление дополнительных функций в цикл обучения
🟢Оптимизация гиперпараметров для предварительного обучения
🟢Создание пользовательского интерфейса для взаимодействия с LLM
🟢Преобразование GPT в Llama
🟢Llama 3.2 с нуля
🟢Memory-efficient загрузка модели

Глава 6: Тонкая настройка для классификации

🟠Дополнительные эксперименты по точной настройке различных слоев и использованию более крупных моделей
🟠Тонкая настройка различных моделей на основе датасета обзоров фильмов IMDB объемом 50 тыс. строк.
🟠Создание пользовательского интерфейса для взаимодействия с классификатором спама на основе GPT

Глава 7: Тонкая настройка для следования инструкциям

🟢Утилиты набора данных для поиска близких дубликатов и создания записей в пассивном залоге
🟢Оценка ответов на инструкции с использованием API OpenAI и Ollama
🟢Создание датасета для точной настройки инструкций
🟢Улучшение набора данных для точной настройки инструкций
🟢Создание набора данных предпочтений с помощью Llama 3.1 70B и Ollama
🟢DPO для процедуры LLM Alignment
🟢Создание пользовательского интерфейса для взаимодействия с моделью GPT с тонкой настройкой инструкций


🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Github

Machinelearning

11 ноября 2024 12:01

Разбираем основные принципы работы AutoML на открытом уроке «AutoML и подбор гипер-параметров» от Otus

🔹В эфире проговорим про основные концепции, преимущества и недостатки AutoML

Рассмотрим разные способы подбора гиперпарамеров, их плюсы и минусы

✅ Практика на примере популярных библиотек pycaret и hyperopt. Получите базовые навыки работы с инструментами для автоматизации подбора моделей и гиперпараметров

👉 Регистрация и подробности:
https://otus.pw/ge07/?erid=LjN8KLF4M

#реклама
О рекламодателе

Machinelearning

10 ноября 2024 10:15

📌 Awesome-list методов глубокого обучения на графах при смещении распределения.

Смещение распределения в графовых данных — это расхождение в распределении данных между обучающим и тестовым наборами, оно может существенно снизить производительность модели машинного обучения.

Репозиторий на Github, в котором собрана коллекция работ по обучению на графах в условиях смещения данных вне распределения (Out-of-Distribution, OOD) в трех основных сценария:

🟢обобщение графов OOD:

🟢адаптация графов во время обучения OOD:

🟢адаптация графов OOD во время тестирования.


Обобщение OOD предполагает, что целевые данные недоступны во время обучения модели, и фокусируется на повышении способности модели к обобщению, чтобы справляться с выборками из любых неизвестных доменов.

Адаптация во время обучения направлена на устранение расхождений в распределении между исходными и целевыми графовыми данными. Она служит для коррекции смещения наблюдений, переноса знаний между графами и смягчения негативных последствий аугментации данных.

Адаптация во время тестирования сосредоточена на настройке предварительно обученной модели на новые целевые данные, которые становятся доступными после начальной фазы обучения. Эта адаптация особенно важна в случаях, когда доступ к исходным данным ограничен.

В каждом сценарии рассматриваются модельно-ориентированные и ориентированные на данные подходы.

▶️Для многих статей предоставлены ссылки на код, реализующий описанные методы.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #GNN #Giihub #AwesomeList

Machinelearning

09 ноября 2024 08:15

✔️ Samsung представила обновленный ИИ Bixby на базе LLM.

Обновленный Bixby, дебютировавший на эксклюзивных для китайского рынка складных смартфонах Samsung W25 и W25 Flip, способен понимать сложные инструкции, извлекать информацию с экрана, например, из карт или фотографий, а также запоминать контекст предыдущих разговоров.

В демонстрации Samsung Bixby смог дать рекомендации по одежде, основываясь на текущей погоде, и пошагово объяснил, как добавить водяной знак на изображение. Bixby поддерживает голосовой и текстовый ввод, его можно вызвать из любого приложения или экрана. Ожидается, что обновленный ассистент станет доступен на международном рынке с выходом One UI 7 в начале следующего года.
techradar.com

✔️ Робот-художник Ai-Da продал портрет Алана Тьюринга за рекордную сумму.

На аукционе Sotheby's в Нью-Йорке картина "AI God: Портрет Алана Тьюринга", созданная роботом-художником Ai-Da, была продана за 1,08 млн. долларов. Робот Ai-Da, оснащенный искусственным интеллектом и роботизированными руками, использует большие языковые модели для общения.

Ai-Da создал портрет Тьюринга, используя камеры в своих "глазах" для анализа фотографии ученого и создания эскизов. Робот нарисовал 15 отдельных частей лица Тьюринга, которые затем были объединены в единое изображение и напечатаны на большом холсте с помощью 3D-принтера.
cnn.com

✔️ TSMC прекращает поставки чипов искусственного интеллекта китайским компаниям.

Тайваньская компания сообщила своим китайским клиентам о прекращении поставок передовых чипов для ИИ, произведенных по технологии 7 нанометров и меньше. Это решение связано с ужесточением контроля со стороны США за доступом Китая к передовым технологиям.

TSMC будет требовать одобрения Вашингтона для любых будущих поставок чипов в Китай. По словам источников, данный шаг не окажет существенного влияния на выручку TSMC. Компания подчеркнула, что соблюдает все применимые правила и экспортный контроль. Ранее сообщалось, что чипы TSMC были обнаружены в продукции Huawei, находящейся под экспортными ограничениями США.
businessinsider.com

✔️ Суд в Нью-Йорке отклонил иск СМИ к OpenAI по авторскому праву.

Федеральный суд Южного округа Нью-Йорка отклонил иск, поданный изданиями Raw Story и AlterNet против компании OpenAI. Истцы обвиняли OpenAI в нарушении Закона об авторском праве в цифровую эпоху (DMCA), утверждая, что компания намеренно удаляла информацию об авторских правах: названия статей и имена авторов, из материалов, использованных для обучения ChatGPT.

Судья Коллин Макмахон поддержала ходатайство OpenAI о прекращении дела, указав, что истцы не доказали фактического ущерба своим предприятиям в результате удаления информации об авторских правах. Суд признал маловероятным, что ChatGPT будет воспроизводить материалы Raw Story и AlterNet дословно, учитывая огромный объем информации в его базе данных.

Судья Макмахон оставила возможность для подачи дополненной жалобы в будущем. Это решение может иметь значение для других аналогичных исков против OpenAI и других компаний, занимающихся генеративным ИИ.
gizmodo.com

✔️ Google открыла доступ к Gemini через библиотеку OpenAI.

Разработчики теперь могут использовать модели Gemini от Google через библиотеку OpenAI и REST API. Поддерживаются API завершения чата и API эмбедингов. В ближайшие недели Google планирует расширить совместимость.

В анонсе на странице Google for Developers представлены примеры кода на Python, Typescript/Javascript и REST для взаимодействия с Gemini API. Google рекомендует разработчикам, не использующим библиотеки OpenAI, обращаться к Gemini API напрямую.
developers.googleblog.com

@ai_machinelearning_big_data

#news #ai #ml