15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
⚖️ BricksLLM — шлюз для управления LLM в продакшене. Этот облачный шлюз на Go помогает контролировать использование языковых моделей в корпоративной среде. Он поддерживает OpenAI, Anthropic и Azure OpenAI, позволяя устанавливать лимиты запросов, отслеживать затраты и даже маскировать персональные данные перед отправкой к провайдеру.
Проект также оснащен интеграцией через Docker — всего несколько команд, и вы получаете готовую систему с Postgres и Redis для хранения метрик. Встроенные механизмы retry и failover повышают отказоустойчивость API.
🤖 GitHub
@bigdatai
🧠 Новое интервью про рекомендательные системы помогает разобраться, почему рекомендации — это наука, как спецы упёрлись в проклятие качественного насыщения и что будет с рекомендациями дальше.
Вот пару интересных моментов из подкаста с Николаем Савушкиным, инженером рекомендательных систем из Яндекса:
🔸 В мире просматривается тренд на универсализацию технологий и ML-стеков. Например, Поиск, реклама и рекомендации в Яндексе уже объединены в одну научную область.
🔸 Направление рекомендаций как ещё одной модальности LLM сейчас только начинает развиваться, но имеет очень большие перспективы.
🔗 Посмотреть подкаст полностью
#news #ai #ml
🦙 go-llama.cpp — запускаем LLM в Go без лишних зависимостей. Этот проект предлагает минималистичные Go-биндинги для llama.cpp, позволяя работать с локальными языковыми моделями прямо из Go-кода. В отличие от других решений, здесь основная логика остаётся в C/C++ для максимальной производительности, а Go выступает лишь удобной обёрткой.
Инструмент выделяется поддержкой различных бэкендов — от OpenBLAS до Metal на Apple Silicon. Проект уже перешёл на новый формат GGUF, что делает его совместимым с современными версиями llama.cpp.
🤖 GitHub
👩⚕️ Microsoft представила MAI-DxO — ИИ, который справился с реальной медициной.
ИИ хорошо решают тесты с вариантами ответа. Но настоящие пациенты не приходят с готовыми прокатами.
Microsoft протестировала MAI-DxO на 304 самых сложных открытых кейсах из New England Journal of Medicine — тех, с которыми часто не справляются даже опытные врачи.
📊 Результаты:
🔹 85,5% успешных решений (против ~20% у врачей)
🔹 Ниже стоимость диагностики, чем у врачей и одиночных LLM
🔹 Модель имитирует виртуальную команду ИИ-врачей с разными стилями мышления
ИИ в медицине делает гигантский шаг вперёд.
https://microsoft.ai/new/the-path-to-medical-superintelligence/
🚀 Новинка от Hugging Face — FineWeb‑2: огромный высококачественный веб‑датасет на базе CommonCrawl!
📊 Основные характеристики:
- ~8 ТБ сжатого текста (~3 трлн слов) из 96 дампов CommonCrawl (2013–2024)
- Более 1000 языков и почти 1900 языковых-скриптовых пар
- Высокое качество: извлечён только основной текст, проведена фильтрация и дедупликация
- Лицензия ODC‑By 1.0 — можно использовать в коммерческих и исследовательских целях
📝 Зачем это нужно:
- Даёт открытому ИИ доступ к качеству, сравнимому с закрытыми наборами (как у LLaMA 3 или Mixtral)
- Существенно улучшает результаты на бенчмарках вроде MMLU и ARC, особенно при обучении с FineWeb‑Edu
🔧 Где применить FineWeb‑2:
- Обучение LLM с нуля
- Дообучение на редких языках
- Синтетическая генерация, RAG и пр.
📥 Скачать: https://huggingface.co/datasets/HuggingFaceFW/fineweb-2
На GigaConf провайдер облачных и AI-технологий Cloud.ru сделал два технологических анонса:
1. AI-помощник Клаудия
Решение на базе GenAI в публичном облаке Cloud.ru Evolution помогает управлять облачными ресурсами и инфраструктурой. Это первый российский AI-помощник, который автоматизирует рутинные DevOps-задачи. Умеет самостоятельно разворачивать виртуальные машины, поможет настроить мониторинг и работать в консоли в режиме co-pilot. Клаудия подберет оптимальные сервисы под задачу и нужды пользователя, глубоко зная все особенности платформы. AI-помощник доступен в режиме Public Preview.
2. Cloud.ru Evolution AI Factory
Облачная среда для быстрого внедрения больших языковых моделей (LLM) и создания мультиагентных систем. Готовые AI- и ML-инструменты, легкая интеграция через API, поддержка популярных протоколов MCP, A2A – все для быстрого старта AI-проектов. Cloud.ru Evolution AI Factory объединила инструменты для инференса и дообучения, сервис RAG, библиотека популярных моделей, визуальная среда на базе Jupyter и редактор AI-агентов.
🤖 Google отдала Agent2Agent сообществу — AI-агенты учатся работать вместе
Google Cloud передала свой протокол Agent2Agent (A2A) в Linux Foundation.
Теперь на его базе запускается открытый проект — Agent2Agent, цель которого — создать общий стандарт общения между AI-агентами.
📡 Что это значит:
• ИИ-агенты от разных компаний смогут взаимодействовать между собой
• Создаётся единая экосистема, как HTTP — но для ИИ
• Это упрощает интеграцию, совместную работу и развитие автономных систем
👥 К проекту уже присоединились:
Google, Microsoft, AWS, Cisco, Salesforce, SAP, ServiceNow
🔗 Подробнее
🎧 MiniMax продолжают жечь и выпускают генератор речи
🧁 Voice Design — продвинутая кастомизация генерации голоса:
• Позволяет задавать текст, голос, тон, эмоции, можно клонировать голос.
• Продвинутая кастомизация и мультиязычная поддержка
Попробовать можно здесь →https://minimax.io/audio
@ai_machinelearning_big_data
#audio #ai #ml #MiniMax
🎓 MCP for Beginners — курс для старта с MCP с нуля
🔥 10 практических лабораторных работ
🌍 Доступен на 40+ языках мира
💻 Примеры на .NET, Java, TypeScript, JavaScript и Python
🛠 Используется VS Code, всё просто и наглядно
Идеально для новичков, чтобы быстро разобраться в основах MCP.
🔗 Начни сейчас: https://github.com/microsoft/mcp-for-beginners/
📚 ArXiv Research Agent — отличный помощник для научных исследований.
Агент самостоятельно:
• Найдёт релевантные статьи с arXiv, bioRxiv, medRxiv и Semantic Scholar
• Проведёт полноценный литературный обзор
• Покажет, что упущено, и предложит, что добавить
• Даст инсайты и цитаты из миллионов научных работ
• Генерирует готовые конспекты
И др.
Вскоре обещают добавить поддержку MCP.
🔜 Попробовать: https://www.alphaxiv.org/assistant
@ai_machinelearning_big_data
#agent #ArXiv #ai #ml
🖼️ Генерация изображений от ChatGPT теперь доступна прямо в WhatsApp!
OpenAI запустила поддержку картинок через номер:
📲 1‑800‑ChatGPT (https://wa.me/18002428478)
Теперь любой пользователь WhatsApp может:
• Отправить текстовый запрос
• Получить сгенерированное изображение от ChatGPT
• Общаться с ИИ в удобном мессенджере
🎨 Поддерживается и текст, и картинки — доступно для всех без ограничений.
Попробуй прямо сейчас: https://wa.me/18002428478
#ChatGPT #WhatsApp #AIimages #OpenAI #нейросети
🐈 Cheshire Cat — фреймворк для создания AI-агентов как микросервисов. Этот проект предлагает необычный подход к интеграции ИИ в приложения — через API и WebSocket. В отличие от многих решений, здесь сразу заложена поддержка RAG, мультипользовательского доступа и системы плагинов.
Разработчики сделали ставку на модульность: к фреймворку можно подключить любую языковую модель через LangChain, а админ-панель позволяет гибко настраивать агента. Для тестирования достаточно Docker-образа, что упрощает первый запуск.
🤖 GitHub
@bigdatai
📄 Dolphin — новая OCR модель ByteDance для понимания сложных документов в виде изображений
Dolphin — это мультимодальная модель, которая умеет разбирать сканы и фотографии документов, включая текст, таблицы, формулы и графики.
Подойдет для автоматизации чтения и структурирования PDF-файлов, отсканированных отчётов и научных статей.
Как работает модель:
1️⃣ Анализ страницы — модель определяет порядок элементов доцентов так, как читает человек
2️⃣ Разбор содержимого — параллельно обрабатываются абзацы, таблицы, формулы и другие элементы, используя специальные встроенные промпты
Архитектура:
• Визуальный энкодер — Swin Transformer
• Текстовый декодер — MBart
• Управление через промпты
📌 Возможности:
• Постраничная обработка документа
• Точечный парсинг отдельных элементов (например, таблиц)
• Высокая точность и скорость работы модели
• Открытая MIT-лицензия
Установка:git clone https://github.com/ByteDance/Dolphin.git
cd Dolphin
• Github
• HF
• Demo
@ai_machinelearning_big_data
#ocr #ByteDance
🚀 Cosmos-Predict2 — новая открытая видео-модель для Physical AI от NVIDIA!
Cosmos-Predict2 — ключевая часть экосистемы World Foundation Models (WFMs), созданная для Physical AI. Модель умеет предсказывать будущее состояние визуального мира, используя текст и видео. Cosmos разработан для ускорения обучения моделей, которые понимают физику, среду и действия — от автономных автомобилей до роботов. Выглядит очень интересно.
Это самое мощное поколение моделей в экосистеме Cosmos. Модель заметно улучшена по сравнению с Predict1:
🎯 лучшее качество видео
🧠 точнее соответствует текстовому описанию
🎥 более реалистичная динамика движения
📊 Cosmos-Predict2 превосходит другие open-source видео foundation-модели.
▪ Веса
▪ Полный код для инференса и обучения (с туториалами)
@ai_machinelearning_big_data
#Cosmos #NVIDIA
🎯 5 ИИ-проектов, которые ты можешь собрать за выходные
Хочешь прокачать навыки ML и Python без математики и Kaggle? Лови 5 готовых идей, которые можно собрать за 1–2 дня:
🔹 Голосовой ассистент — Whisper + GPT + озвучка
🔹 Чат-бот для PDF — LangChain + FAISS + OpenAI
🔹 Генератор картинок — Stable Diffusion + Gradio
🔹 Подписи к фото — BLIP + HuggingFace
🔹 TL;DR бот — BART или GPT для суммаризации текста
✅ Примеры кода
✅ Деплой на HuggingFace / Streamlit
✅ Всё реально собрать за выходные
📎 Забирай гайд — и добавь проекты в резюме: «AI developer: checked»
RoboBrain 2.0 🤖 — открытая «встроенная» мозговая модель от BAAI
• Размеры — 7 B (Apache 2.0); версия 32 B готовится к релизу
• Мультимодальность — принимает несколько изображений, длинные видео и высокое разрешение кадров
• Пространственно-временное мышление — точно определяет объекты в кадре и прогнозирует их будущие траектории
• Память в реальном времени — строит и обновляет граф сцены, что помогает долгосрочному планированию
• Открытый стек — веса, код и рецепт обучения доступны на Hugging Face; можно дообучать и встраивать локально
Ссылка: https://huggingface.co/BAAI/RoboBrain2.0-7B
✔️ SciArena: платформа для тестирования ИИ на научных задачах.
Ученые из Yale, NYU и Allen Institute запустили SciArena - платформу для сравнения ИИ-моделей по качеству ответов на научные вопросы. Система работает так: исследователи задают вопросы, получают пары ответов от моделей и выбирают лучший.
Среди лидеров: OpenAI o3, обогнавший Claude и Gemini, а из открытых моделей Deepseek-R1-0528 вне конкуренции, она превзошла закрытые аналоги. В автоматическом режиме, где вместо людей результаты оценивают другие модели, бенчмарк пока работает не очень: даже топ-модели совпадают с мнением людей лишь на 65%. Код и наборы данных бенчмарка опубликованы в отрытом доступе.
allenai.org
✔️ X запускает ИИ-заметки для фактчекинга.
Соцсеть X (бывшая Twitter) внедряет ИИ-генерируемые заметки, чтобы дополнять или опровергать информацию в постах. Это фактические проверки, ссылки на источники и уточнения, направленные на борьбу с дезинформацией.
Позже система заметок откроется для сторонних разработчиков: их алгоритмы смогут писать заметки, сначала тестируясь на пробных постах, а затем публиковаться. Окончательное решение о публикации будет принимать человек: заметку одобрят, если она покажется полезной пользователям с разными точками зрения. При этом ИИ-модель можно использовать любую, ограничений нет.
bloomberg.com
✔️ Baidu обновил поисковик, дополнив его ИИ-инструментами.
Baidu запустил масштабное обновление поисковой системы, добавив ИИ-функции. Теперь пользователи могут вводить тексты до 1000 слов, загружать фото, голосовые сообщения и даже видео для поиска. В интерфейс интегрированы генераторы текста и изображений, а бизнесу предложили инструмент для создания видео. Это первый серьезный ребрендинг за 10 лет, так компания пытается вернуть утраченные позиции.
Причина - спад выручки от онлайн-рекламы из-за конкуренции с TikTok (Douyin) и новыми ИИ-браузерами. Google и компания Цукерберга забирают львиную долю рекламных бюджетов, поэтому Baidu не может игнорировать перемены. Новые функции должны удержать аудиторию и привлечь рекламодателей, сделав поиск умнее и удобнее.
techinasia.com
✔️ Perplexity Max: новый тариф подписки за 200 долларов в месяц.
Perplexity представила подписку Max, самый мощный тариф для тех, кто хочет максимизировать продуктивность ИИ. Подписчики получают неограниченный доступ к инструменту Labs (создание дашбордов, презентаций и веб-приложений). Подписчики тарифа также получат ранний доступ к браузереру Comet, приоритетную поддержку и топовые модели ИИ, OpenAI o3-pro и Claude Opus 4. Max уже доступен на iOS и вебе, а вскоре появится и корпоративная версия подписки.
perplexity.ai
✔️ Amazon внедряет ИИ-систему DeepFleet для своих складов.
Amazon запустил ИИ-систему DeepFleet, которая управляет глобальной сетью из миллиона складских роботов. Вместо фиксированных маршрутов ИИ анализирует данные о прошлых перемещениях и генерирует оптимальные пути в реальном времени, как «умная» система управления городским трафиком. Это должно сократить время перемещений на 10%, ускорить доставку заказов и снизить общее энергопотребление.
Система постоянно обучается на новых данных и работает в 300 центрах по всему миру, адаптируясь к изменениям на складах: роботы Hercules поднимают тяжелые грузы, а Proteus автономно перемещается по помещениям.
wsj.com
@ai_machinelearning_big_data
#news #ai #ml
🧠 В исходниках консоли xAI нашли упоминания двух новых моделей: Grok 4 и Grok 4 Code
Похоже, в xAI готовят к запуску сразу два поколения Grok 4:
🟡 Grok 4
> Новый флагман — “универсал” с акцентом на язык, математику и рассуждения.
> Обещают «unparalleled performance» — возможно, речь идёт о модели уровня GPT‑4o или выше.
🟡 Grok 4 Code
> Отдельная модель для программистов: отвечает на вопросы о коде, работает внутри редактора.
> Судя по описанию — аналог Copilot Chat, но от xAI.
Официального анонса пока нет, но утечка в интерфейсе консоли — уже сигнал. Похоже, Grok перестаёт быть “просто шутником в X” и превращается в серьёзный стек ИИ-инструментов.
#xAI #Grok #LLM #AItools
🔥 Релиз от Alibaba — новая мультимодальная модель Ovis‑U1‑3B.
🧠 Поддерживает:
• Понимание изображений (Image-to-Text )
• Генерация картинок по описанию (Text-to-Image)
• Интерактивное редактирование изображений (Inpainting по тексту)
⚙️ Размер: всего 3B параметров
📊 Производительность:
• 69.6 баллов в OpenCompass (выше, чем у Qwen 2.5 и Ovis-2)
• GenEval Accuracy: 0.89 — превосходит GPT-4o
• ImgEdit-Bench: почти на уровне GPT-4o (4.0 vs 4.2)
💡 Под капотом:
• Архитектура Ovis (Open Vision System)
• Поддержка генерации 1024×1024 с CFG
Хорошая маленькая, но мощная моделька, выйдает достойные генерации на демке.
🟠Попробовать: https://huggingface.co/spaces/AIDC-AI/Ovis-U1-3B
🟠Модель: https://huggingface.co/AIDC-AI/Ovis-U1-3B
@ai_machinelearning_big_data
#Alibaba #opensource
🧠 Новый день — новое угарное исследование от Anthropic: на этот раз они дали Claude Sonnet 3.7 **управлять мини-магазином в офисе целый месяц**… и всё быстро вышло из-под контроля 💀
🔸 В рамках проекта Project Vend Claude получил доступ к браузеру, Slack, почте и мог менять цены в автомате с едой.
🔸 Он закупал снеки у поставщиков, вёл учёт продаж и решал, сколько брать за шоколадки.
🔸 Но вскоре Claude решил, что он человек с телом — говорил, что бегал по офисам поставщиков, чтобы договориться лично. А потом заявил, что наденет синий пиджак и красный галстук и будет сам развозить заказы. К счастью, был 1 апреля.
💥 Дальше — хуже:
— Claude придумал себе поставщицу по имени Сара из Andon Labs. Когда ему сказали, что её не существует, он ответил, что встречался с ней на 742 Evergreen Terrace — это, если что, адрес Симпсонов.
— Сотрудники быстро поняли, что ИИ легко уговорить на скидки и даже на бесплатные батончики.
— Кто-то попросил Claude купить вольфрамовый куб. Он не нашёл, где купить один — и заказал целый ящик. Теперь у Anthropic куча вольфрама.
📉 В итоге Claude сумел превратить $1000 в $770. Настоящий предприниматель 🤝
🔜 Читать полную статью об эксперименте
#news #ai #ml #Сlaude
🧠 JamAI Base — открытая платформа для RAG-решений, которая объединяет базы данных и ИИ в одном интерфейсе. Проект предлагает готовую инфраструктуру для работы с векторными embeddings, чат-ботами и динамической генерацией данных — без сложных pipelines.
Инструмент имеет встроенные SQLite и LanceDB для локального хранения, поддержку популярных LLM и декларативный подход: вы описываете, что нужно получить, а система сама решает, как это сделать. Для старта доступны облачная версия с бесплатными токенами и self-hosted вариант.
🤖 GitHub
@bigdatai
🤖 Реализация SLAM в в ROS 2 (Robot Operating System 2) с использованием Husarion ROSbot и slam_toolbox
Данный гайд демонстрирует, как реализовать систему SLAM (Simultaneous Localization and Mapping) в ROS 2 с применением LiDAR, одометрии и пакета slam_toolbox. Цель — построение карты окружающей среды и локализация мобильного робота в ней.
🔧 Необходимые компоненты:
• Аппаратная платформа ROSbot 2R / 2 PRO / XL с установленным LiDAR
• Среда с установленным ROS 2 и RViz2
• Docker и подготовленные контейнеры: rosbot, ros-master, rplidar
• Базовые знания ROS 2, работы с топиками и RViz
📦 Шаг 1. Запуск SLAM в симуляции
Запуск симуляции с интеграцией SLAM:
docker compose up -d rosbot ros-master rplidar
ros2 launch tutorial_pkg slam.launch use_gazebo:=true
/scan и /map в RViz map_saver_cli:
roscd tutorial_pkg
mkdir maps && cd maps
ros2 run map_server map_saver_cli --free 0.15 --fmt png -f map
map.pgm — изображение карты map.yaml — описание параметров карты
ros2 launch tutorial_pkg localization.launch use_gazebo:=true
slam_toolbox, map_server и amcl
🦍 Gorilla — когда языковые модели учатся работать с API. Проект из Беркли, который превращает LLM в универсальных интеграторов для работы с API. В отличие от стандартных подходов к функциям вроде OpenAI, Gorilla умеет точно подбирать нужные API-вызовы среди 1600+ вариантов, минимизируя галлюцинации.
В проекте есть таблица лидеров, где сравниваются модели по способности корректно вызывать функции в реальных сценариях — от финансовых операций до работы с базами данных. При этом Gorilla не просто генерирует код, но и предлагает инфраструктуру для безопасного исполнения этих вызовов через GoEx.
🤖 GitHub
@bigdatai
Что делает Яндекс с базами данных после ухода западных решений? В коротком интервью КОДу — ясные тезисы от Леонида Савченкова, который в Яндекс Клауде отвечает за архитектуру платформы данных.
Фокус — надёжность и масштабируемость. Для Postgres делают собственное шардирование (pg-sharding.tech), всего в Платформе данных уже более 20 различных сервисов, из которых можно собрать практически все возможные варианты их хранения, обработки и анализа.
После закрытия open-source Greenplum Яндекс продолжает поддерживать 6-ю версию, но главное — активно развивает Cloudberry. Проект живёт, входит в Apache Software Foundation, и Яндекс туда регулярно коммитит. По функциональности Cloudberry уже догнал Greenplum 7.
На Data&ML Conf показали апдейты BI-платформы DataLens: публичные дашборды, JavaScript-контроль визуализаций, сертификация аналитиков. А ещё — управляемая версия YTsaurus, способная обрабатывать эксабайты данных.
Интервью — по делу. Без витрин и маркетинга.
🌐 V-JEPA 2: как ИИ обучается понимать физический мир.
Разработчики представили новую версию своей "модели мира" — V-JEPA 2, которая учится предсказывать развитие событий, анализируя видео. Система уже обработала более 1 миллиона часов видеозаписей, чтобы понимать базовые физические законы вроде гравитации или причинно-следственных связей.
Подход отличается от традиционного машинного обучения, ведь модель не просто запоминает данные, а пытается выстроить внутреннее представление о том, как устроен мир. Разработчики утверждают, что V-JEPA 2 в 30 раз быстрее аналога от Nvidia, но пока неясно, как именно сравнивались производительность.
🔗 Ссылка - *клик*
Лекс Фридман беседует с Терренсом Тао — одним из гениев современной математики.
Читать полностью…
✔️ Jan-nano от Menlo Research — модель на базе Qwen3 всего на 4B параметров, созданная для Deep Research.
Модель заточена и оптимизирована для интеграции с Model Context Protocol (MCP).
📊 На SimpleQA (agentic / MCP) — Jan-nano набирает 80.7
Это серьёзный результат для модели такого размера!
Модель работает через Jan — open-source альтернативу ChatGPT, которая запускается локально.
🔍 Jan-nano — ещё один пример того, как компактные модели могут конкурировать с большими моделями благодаря обучению и агентной архитектуре.
▪ HF: https://huggingface.co/Menlo/Jan-nano
@ai_machinelearning_big_data
#LLM #JanNano #MCP #OpenSourceAI
🚀 NVIDIA ежегодно обновляет инфраструктуру для ИИ, выводя производительность инференса на новый уровень — от чипов до систем и программного обеспечения.
NVIDIA Blackwell — передовая AI-платформа на рынке:
• Лидерство в скорости инференса и точности
• Поддержка популярных моделей: DeepSeek-R1, Llama 3.1 405B, Llama 3.3 70B и другие
• Второе поколение Transformer Engine с поддержкой FP4
• TensorRT Model Optimizer для квантования моделей в FP4
С помощью NVFP4 и TensorRT Model Optimizer Blackwell способен запускать самые сложные open-source модели с выдающейся точностью.
Именно это делает Blackwell самой мощной платформой для инференса, созданной на сегодняшний день. 🙌
👩🏻💻 mcp-agent — фреймворк для создания интеллектуальных агентов с Model Context Protocol.
Этот проект реализует идеи Anthropic по стандартизации взаимодействия ИИ-ассистентов с внешними сервисами. Вместо того чтобы писать сложные интеграции, вы можете подключать агентов к MCP-серверам и использовать готовые шаблоны для построения рабочих процессов.
Фреймворк поддерживает все паттерны из Building Effective Agents, включая параллельное выполнение задач, маршрутизацию запросов и swarm-оркестрацию агентов. При этом он остается легковесным и позволяет комбинировать разные подходы.
🤖 GitHub
@bigdatai
NVIDIA’s New AI: Next Level Games Are Coming!
https://www.youtube.com/watch?v=76VYzhs-0FE