Машинное обучение RU

25 January 2025 12:15

🔥 Kimi-k1.5 — это модель для генерации текста с открытым исходным кодом, разработанная MoonshotAI!

🌟 Она основана на современных архитектурах трансформеров и ориентирована на задачи создания контента, таких как написание текста, обработка языка и создание диалогов. Модель также обгоняет ChatGPT и Claude в бенчмарках.

🖥 Github

@machinelearning_ru

Машинное обучение RU

24 January 2025 18:14

🔥 Minima — это open source решение для RAG в контейнерах для развертывания на любых мощностях (клауд или локал), с возможностью интеграции с ChatGPT и MCP.

Minima также может использоваться как RAG на вашей машине.

Minima поддерживает три режима работы:
1. Изолированная установка — Работа в контейнерах без внешних зависимостей, таких как ChatGPT или Claude. Все нейронные сети (LLM, ранкер, эмбеддинг) и векторный сторедж запускаются на вашем сервере или ПК, обеспечивая безопасность ваших данных.
2. Кастомный GPT — Запросы к вашим локальным документам через приложение или веб-версию ChatGPT с использованием кастомных GPT. Индексатор работает на вашем сервере или локальном ПК, а основная LLM остаётся ChatGPT.
3. Anthropic Claude — Использование приложения Anthropic Claude для запросов к вашим локальным документам. Индексатор работает на вашем локальном ПК, а основная LLM — это Anthropic Claude.

В данный момент, Minima решает задачу RAG on-premises и призывает всех поставить звезду и форкнуть репозиторий, а так же не стесняться и принять участие в разработке.

📌 Лицензия MPL-2.0

▪ Github

@machinelearning_ru

Машинное обучение RU

24 January 2025 05:06

⭐️ This New Free AI Is History In The Making!

https://www.youtube.com/watch?v=btvB56PkvwE

@machinelearning_ru

Машинное обучение RU

22 January 2025 13:40

🔥 DeepSeek Engineer — это мощный помощник для разработки кода, интегрированный с API DeepSeek для обработки пользовательских запросов и генерации структурированных JSON-ответов!

🌟 Через интуитивно понятный интерфейс командной строки он может считывать содержимое локальных файлов, создавать новые файлы и в реальном времени применять изменения к существующим файлам.

💡 Основные возможности DeepSeek Engineer включают автоматическую настройку клиента для использования сервиса DeepSeek с действительным ключом API, поддержку различных моделей данных для безопасной обработки файловых операций и использование системных подсказок для обеспечения строгого соответствия ответов JSON-формату. Кроме того, он предоставляет функции для чтения локальных файлов, создания новых файлов и применения изменений, а также поддерживает команду "/add" для быстрого добавления содержимого файла в разговор.

🖥 Github

@machinelearning_ru

Машинное обучение RU

20 January 2025 17:38

NVIDIA’s New AI: Huge Game Changer!

https://www.youtube.com/watch?v=4TpwfbUjCYs

@machinelearning_ru

Машинное обучение RU

20 January 2025 07:56

🚨Только что были выпущены веса для новой ризонинг моделей DeepSeek-R Zero.

Модель 685B основана на 3V.

Размер: 720GB 🤯

Ждем официального анонса, который с высокой степенью вероятности состоится сегодня или завтра.



https://huggingface.co/deepseek-ai/DeepSeek-R1

Машинное обучение RU

19 January 2025 12:04

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Машинное обучение RU

17 January 2025 13:18

how it feels watching a training run as loss falls

Машинное обучение RU

17 January 2025 09:06

🥥 Training Large Language Models to Reason in a Continuous Latent Space

Только что был выпущен код для нового подхода в обучении LLM ризонингу - "Coconut"(Chain of Continuous Thought).

Coconut позволяет LLM рассуждать более эффективно и результативно, особенно при комплексных задачах планирования.

Основная идея алгоритма - это улучшения рассуждений моделей с использованием латентного пространства, вместо выходных лексем

При таком подходе - цепочка мыслей генерирует не в виде текстовых токенов, а в виде эмбеддингов, а затем циклично подаются обратно в LLM.

В «Coconut» у LLM есть два режима. Языковой режим работает как обычная языковая модель, генерируя текст и латентный режим, который использует скрытые состояния в качестве следующего входного сигнала, обозначенного специальными токенами <bot> и <eot>.

Скрытые состояния Coconut работают как дерево поиска, а не как линейная цепочка рассуждений, что позволяет модели исследовать несколько потенциальных путей одновременно.

На каждом шаге модель отдает приоритет перспективным узлам, отсекая менее релевантные.

Это помогает эффективнее справляться с задачами планирования и логики, по сравнению с традиционным методом работы CoT.

Как это работает:
1️⃣ Сначала модели подается промпт, за которым следует специальный токен <bot>, чтобы инициировать скрытое рассуждение.
2️⃣ Последнее скрытое состояние LLM после обработки <bot> используется в качестве первой "непрерывной мысли"
3️⃣ Непрерывная мысль подается обратно в модель как новый вход, генерируя новое скрытое состояние (новую мысль). Это повторяется в течение K итераций → цепочка непрерывных мыслей.
4️⃣ Далее добавляется маркер <eot> после последней непрерывной мысли, чтобы завершить скрытое рассуждение.
5️⃣ Последняя непрерывная мысль и <eot> затем используются для генерации ответа.
Такой подход, разумеется, требует большого количества ресурсов при обучении модели.

Плюсы такого подхода:
🏅 Превосходит CoT в задачах, где требуется планирования и сложные рассуждения, таких как ProntoQA и ProsQA
📉 Генерирует значительно меньше лексем во время размышлений по сравнению с CoT
🔀 Может выполнять поиск с широким охватом (BFS), кодируя одновременно несколько альтернативных следующих шагов

git clone git@github.com:facebookresearch/coconut.git
cd coconut

▪Github
▪Paper

@ai_machinelearning_big_data


#deeplearning #nlp #reasoning #llm #ml

Машинное обучение RU

15 January 2025 15:22

🥁🎷JASCO 🎶🪇 training & inference code + model weights are out!

JASCO состоит из модели для токенизации звука и модели согласования потоков, основанной на архитектуре transformer для музыкального моделирования.

Модель представлена в 2х размерах: 400 м и 1B; и в настоящее время имеет два варианта управления: text-to-music + {аккорды, ударные} и text-to-music + {аккорды, ударные, мелодия}.

▪Сатья📜: https://arxiv.org/abs/2406.10970
▪Примеры🔊: https://pages.cs.huji.ac.il/adiyoss-lab/JASCO/
▪Код🐍: https://github.com/facebookresearch/audiocraft/blob/main/docs/JASCO.md
▪Модели🤗: https://huggingface.co/facebook/jasco-chords-drums-melody-1B

@machinelearning_ru

Машинное обучение RU

15 January 2025 06:44

🔥 Вышла новая модель MiniMax-01 456B с открытым исходным кодом с контекстом 4M !

🚀 Функции MiniMax-Text-01 и MiniMax-VL-01 основаны на ультрасовременной архитектуре "Lightning Attention".

→ В MiniMax-Text-01 реализован гибридный подход, при котором в 7 из каждых 8 слоев используется Lightning Attention, а в одном - SoftMax для улучшения баланса модель.

Такая архитектура позволяет эффективно обрабатывать сверхдлинные последовательности.

→ Версия с открытым исходным кодом включает в себя полный набор весов и API. По цене примерно 0,2 доллара за миллион входных токенов и 1,1 доллара за миллион выходных токенов — вполне конкурентоспособные цены.

На тестах модель превосходит платный Deep Seek v3 ! 💥

→ В задачах с длинным контекстом MiniMax-Text-01 достиг 100% точности в тесте поиска "Needle-in-a-Haystack" с использованием 4 миллионов токенов, превосходя топовые модели в реальных задачах с использованием искусственного интеллекта.

🖥 Github: https://github.com/MiniMax-AI/MiniMax-01
📑Paper：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
📖Read more: https://minimaxi.com/en/news/minimax-01-series-2

@ai_machinelearning_big_data

#llm #MiniMax #ai #agents #ml #opensource

Машинное обучение RU

15 December 2024 17:21

@machinelearning_ru

Машинное обучение RU

14 December 2024 13:01

🔍 Perplexity Search — инструмент для построения поискового движка, вдохновленного Perplexity AI!

🌟 Этот проект использует LLM и интеграцию с Google Search для обработки пользовательских запросов. После анализа запроса инструмент формирует поисковый запрос, извлекает контекст из релевантных веб-страниц и с помощью LLM создает ответ. Это позволяет получить консолидированную и информативную информацию из различных источников, обеспечивая автоматическую генерацию текста на основе найденных данных.

🌟 Проект предназначен для разработчиков, изучающих интеграцию языковых моделей в поисковые приложения. Реализация минималистична и предоставляет базовый функционал, что делает её полезной для понимания архитектуры подобных систем. Репозиторий может быть использован как стартовая точка для создания кастомизированных поисковых решений.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru

Машинное обучение RU

13 December 2024 14:01

👩‍💻 pydantic-ai — это проект, который интегрирует возможности Pydantic (популярной библиотеки для валидации данных и работы с моделями данных в Python) с искусственным интеллектом!

🌟 Он предоставляет инструменты для создания и использования моделей данных, которые взаимодействуют с искусственным интеллектом.

🌟 С помощью этого проекта можно более эффективно обрабатывать и валидировать данные, которые поступают из моделей ИИ, а также использовать возможности Pydantic для работы с типами данных и обеспечением их правильности в контексте AI-приложений.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Машинное обучение RU

12 December 2024 11:50

🚨 Хакеры атаковали Ultralytics YOLO и установили криптомайнеры через PyPI

🐍 Пострадали версии YOLO 8.3.41 и 8.3.42.

📂 Вредоносная библиотека размещает майнер XMRig в папке /tmp/ultralytics_runner и подключается к серверу по адресу connect.consrensys[.]com: 8080.

Гленн Йохер, основатель и генеральный директор Ultralytics, заявил, что заражённые версии были заменены чистой версией 8.3.43. По его словам, атака произошла через два пулл-запроса от пользователя из Гонконга.

🛡 На данный момент неизвестно, ограничились ли хакеры лишь установкой майнера или смогли получить доступ к пользовательским данным. Пользователям, установившим скомпрометированные версии, настоятельно рекомендуется провести глубокое сканирование системы.

Машинное обучение RU

25 January 2025 09:00

🔥 Llama 3.2 с ультрареалистичным звуком

> поддерживает клонирование голоса на английском и китайском языках
> обучен на 250 тысяч часов аудио
> модели 1B, 3B (скоро будет 8B)
> эмоциональная речь (счастье, сердитая речь, грустная, шепот)

> открытые весы и работа с трансформерами/ vllm

https://huggingface.co/HKUSTAudio/Llasa-3B

Машинное обучение RU

24 January 2025 14:01

📖 Эта статья посвящена задаче токенизации, которая в данном контексте рассматривается как задача сжатия набора данных до определенного числа символов!

🌟 Исследователи доказали NP-полноту двух вариантов токенизации: первый — это прямая токенизация, при которой создается словарь для представления данных, второй — токенизация снизу вверх, где используется последовательность операций объединения элементов. Оба этих метода могут быть использованы для сжатия данных и определения минимального количества символов для представления данных в сокращенной форме.

🔗 Читать: *клик*

@machinelearning_ru

Машинное обучение RU

23 January 2025 19:11

🖥 ChatGPT получил новую функцию под названием Operator, которая позволяет ему управлять вашим компьютером.

Эта впечатляющая возможность была недавно продемонстрирована, и она способна взять на себя множество рутинных задач, таких как обработка электронной почты, заказ еды и работа с таблицами в Excel.

Тестировщики начнут получать доступ к этой функции уже сегодня.

https://openai.com/index/introducing-operator/

Машинное обучение RU

22 January 2025 07:05

🌟 Google только что выпустили новую модель Gemini 2.0 Flash Thinking

✅ Контекст с 1 миллионом токенов (5-х больше, чем o1 Pro)

#1 на арене чат-ботов 👑

Модель показала наивысший результат, обогнав Gemini-Exp-1206

+ 17 очков прироста по сравнению с предыдущей контрольной точкой 1219

- №1 по всем направлениям (генерации кода), за исключением управления стилем.

• AIME: 73.3%
• GPQA: 74.2%
• MMMU: 75.4%

Модель доступна в ai-gradio

pip install --upgrade "ai-gradio[gemini]"

Они так же выпустили Gemini2.0 Pro.

https://aistudio.google.com/prompts/new_chat?model=gemini-2.0-flash-thinking-exp-01-21

#google #gemini

Машинное обучение RU

20 January 2025 13:00

🔥 Cherry Studio — приложение для работы с разными моделями ИИ, такими как OpenAI, Anthropic, Gemini и другими!

🌟 Оно предназначено для использования на Windows, Mac и Linux, и включает в себя функции для работы с текстами, изображениями, PDF и другими форматами. Пользователи могут создавать кастомных ассистентов, а также управлять данными через WebDAV и интегрировать визуализацию с помощью Mermaid. Приложение поддерживает темы, синхронизацию данных и возможность работы с несколькими моделями ИИ одновременно.

🔐 Лицензия: Apache-2.0

🖥 Github

@machinelearning_ru

Машинное обучение RU

19 January 2025 14:05

🔥 AI Engineering Hub — это коллекция обучающих материалов и примеров приложений для работы с LLM и RAG!

🌟 Этот репозиторий включает проекты по созданию чат-ботов, автоматизации анализа данных, генерации текстов и работы с мультимодальными данными. Репозиторий полезен для разработчиков, исследователей и инженеров, желающих освоить современные методы применения ИИ.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru

Машинное обучение RU

18 January 2025 06:00

🤖 Отличная, иллюстрированная статья, чтобы разобраться в устройстве трансформеров.

https://jalammar.github.io/illustrated-transformer/

@machinelearning_ru

Машинное обучение RU

17 January 2025 10:04

🔥 Это видео объясняет проблемы понимания больших языковых моделей и инновационный подход разреженных автоэнкодеров к извлечению понятных человеку признаков, проливая свет на скрытые сложности моделей ИИ!

🕞 Продолжительность: 24:08

🔗 Ссылка: *клик*

@machinelearning_ru

Машинное обучение RU

16 January 2025 15:20

🔥 Agentarium — это мощный фреймворк на Python для создания и управления симуляциями с ИИ-агентами!

🌟 Он предоставляет интуитивную платформу для разработки сложных и интерактивных сред, где агенты могут действовать, обучаться и развиваться.

🌟 Фреймворк поддерживает управление агентами, взаимодействие между ними, создание синтетических данных через их действия и сохранение состояния с помощью контрольных точек. Agentarium оптимизирован для производительности и масштабируемости, а также предлагает гибкую конфигурацию окружения через YAML.

🔐 Лицензия: Apache-2.0

🖥 Github

@machinelearning_ru

Машинное обучение RU

15 January 2025 11:02

🔥 Cline — автономный помощник по программированию, интегрированный непосредственно в вашу среду разработки (IDE)!

💡 Cline способен создавать и редактировать файлы, выполнять команды в терминале, использовать браузер и многое другое, получая ваше разрешение на каждом этапе.

🌟 Интегрируясь с моделями OpenAI, Google и Anthropic, Cline может пошагово выполнять сложные задачи разработки ПО. Он анализирует структуру файлов и абстрактные синтаксические деревья (AST) вашего проекта, выполняет регулярные выражения и читает соответствующие файлы, чтобы эффективно интегрироваться в существующие проекты.

🔐 Лицензия: Apache-2.0

🖥 Github

@machinelearning_ru

Машинное обучение RU

15 December 2024 22:04

Новый ИИ от NVIDIA: ускоряет обучение в 10 000 раз!

📌 Видео

@machinelearning_ru

Машинное обучение RU

15 December 2024 10:49

🌟 POINTS1.5: VLM от WeChat.

POINTS1.5 - усовершенствованная версия VLM POINTS1.0, построенная по принципу LLaVA (визуальный энкодер+LLM) на базе Qwen2.5-7B-Instruct.

В отличие от предыдущей версии, где использовался энкодер изображений CLIP, POINTS1.5 использует энкодер NaViT, который позволяет модели обрабатывать изображения различного разрешения без необходимости их разделения.

Для повышения качества модели были применены методы фильтрации данных для обучения. Данные, не требующие анализа изображения для ответа на вопрос и содержащие грамматические ошибки, были удалены.

Обучение POINTS1.5 выполнялось в два этапа: предварительное обучение и настройка на выполнение визуальных инструкций. На этапе предварительного обучения проектор и LLM обучались совместно.

На этапе настройки на выполнение визуальных инструкций использовались специализированные наборы данных, которые обучают модель понимать инструкции, связанные с изображениями.

POINTS1.5 была протестирована на бенчмарках MMBench, MMMU, MathVista, HallucinationBench, OCRBench, MMVet, ChartQA, MME, LLaVA-wild, SEEDBench, ScienceQA, MATH-Vision и MathVerse и показала высокие результаты, особенно в задачах, требующих математических навыков.

Модели семейства POINTS могут быть запущены в режиме model soup (совместный запуск нескольких моделей, настроенных с разными наборами инструкций для получения итоговой "усредненной" модели) и CATTY (стратегия разбиения изображения большого разрешения на небольшие фрагменты одинакового размера).

▶️Локальная установка и пример инференса с Transformers:

# Clone repo
git clone https://github.com/WePOINTS/WePOINTS.git

# Install required packages
cd WePOINTS
pip install -e .

# Inference example
from transformers import AutoModelForCausalLM, AutoTokenizer
from wepoints.utils.images import Qwen2ImageProcessorForPOINTSV15
import torch
from PIL import Image
import requests
from io import BytesIO


model_path = 'WePOINTS/POINTS-1-5-Qwen-2-5-7B-Chat'
model = AutoModelForCausalLM.from_pretrained(model_path,
                                                 trust_remote_code=True,
                                                 torch_dtype=torch.float16,
                                                 device_map='cuda') 
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
image_processor = Qwen2ImageProcessorForPOINTSV15.from_pretrained(model_path)

image_url = '%link to image%'
response = requests.get(image_url)
image_data = BytesIO(response.content)
pil_image = Image.open(image_data)
pil_image = pil_image.save('image.jpg')
prompt = 'please describe the image in detail'

content = [
        dict(type='image', image='image.jpg'),
        dict(type='text', text=prompt)
    ]
messages = [
        {
            'role': 'user',
            'content': content
        }
    ]
generation_config = {
        'max_new_tokens': 1024,
        'temperature': 0.0,
        'top_p': 0.0,
        'num_beams': 1,
    }
response = model.chat(
    messages,
    tokenizer,
    image_processor,
    generation_config
)
print(response)

Машинное обучение RU

14 December 2024 09:20

🔥 Курс Математика Машинного обучения: Что такое тензоры.

📌 Видео
📌Colab с кодом

@machinelearning_ru

Машинное обучение RU

12 December 2024 13:00

🔥 Omegance — ИИ-инструмент, который может контролировать уровни детализации в синтезе на основе диффузии, используя всего один параметр!

🔐 Лицензия: S-Lab 1.0


🔗 Страница проекта: *клик*
🖥 Github

@machinelearning_ru

Машинное обучение RU

11 December 2024 10:11

🌟 TGI v3: Новая архитектура ускоренного инференса LLMs.

TGI v3 — новая версия архитектуры для обработки естественного языка, разработанная Hugging Face. TGI v3 демонстрирует значительный прирост производительности, особенно при работе с длинными запросами.

Улучшения v3:

🟢оптимизированные ядра;
🟢эффективная структура кэширования префиксов;
🟢улучшенное управление вычислительными ресурсами.

Flashinfer и flashdecoding — новые ядра быстрой обработки текста. Оптимизированная структура кэширования позволяет быстро находить совпадения даже для очень длинных запросов.

TGI v3 оценивалась в реалистичных сценариях на коротких и длинные запросах. Результаты тестов показали, что TGI v3 обрабатывает в 3 раза больше токенов, чем vLLM, а скорость обработки увеличилась в 13 раз для запросов длиной 200K+ токенов.

Хотя результаты работы TGI v3 впечатляют, следует учитывать некоторые ограничения:

⚠️ Если в среде не хватает места в kv-кэше, это может привести к конфликту. Чтобы избежать этого эффекта, следует установить ограничение --max-total-tokens.

⚠️ В сценариях, где несколько реплик находятся за одним эндпоинтом рекомендуется использовать балансировку нагрузки на зависимые сеансы, чтобы заставить каждого пользователя отправлять свои запросы на одну и ту же реплику.

🔜 Полная статья с описанием TGI v3 доступна на HF.


🖥 GIthub


@ai_machinelearning_big_data

#AI #ML #LLM #HuggingFace #TGI