Data Science by ODS.ai 🦜

10 сентября 2025 23:08

💰 OpenAI заключила гигантский контракт с Oracle на $300 млрд на облачные вычисления сроком примерно на 5 лет - сообщает Wall Street Journal.

Это один из крупнейших договоров на облачные вычисления в истории.

Расходы на инфраструктуру для ИИ продолжают расти рекордными темпами, несмотря на опасения «перегрева» рынка.

⚡ Масштаб сделки:
- OpenAI потребуется 4,5 гигаватта мощности - это больше, чем две плотины Гувера, или электричество для 4 миллионов домов.
- Oracle уже демонстрирует рост: акции компании подскочили, а Ларри Эллисон (глава Oracle) за сутки заработал $101 млрд и стал самым богатым человеком на планете, обогнав Илона Маска.

Рынок ИИ-вычислений превращается в арену сделок планетарного масштаба — где стоимость инфраструктуры измеряется сотнями миллиардов долларов и требует энергопотребления на уровне целых стран.

🟢 Подробнее: wsj .com/business/openai-oracle-sign-300-billion-computing-deal-among-biggest-in-history-ff27c8fe

@ai_machinelearning_big_data

#AI #Cloud #OpenAI #Oracle #DataCenters

Data Science by ODS.ai 🦜

09 сентября 2025 12:05

тут вышел ClockBench, бенчмарк, который проверяет умение моделей определять время по часам со стрелками; современные модели с ним справляются плохо (лучший результат - 13% у Gemini), что собственно неудивительно - большая часть изображений в интернете, на которых и тренируются модели, появились вместе со смартфонами, которые по совместительству наручные часы со стрелками и заменили

из забавного - человеческий результат на бенчмарке составляет 89%, хотя 6 лет назад было исследование, которое показало, что старшее поколение может распознавать время в 96% случаев; а зумеры (на тот момент люди в возрасте 18-24 лет) - только в 50%, такие дела

@valuableai

Data Science by ODS.ai 🦜

08 сентября 2025 12:47

TRIBE: TRImodal Brain Encoder for whole-brain fMRI response prediction

TLDR: Prediction of the brain response based on the audio and visual content input.

ArXiV: https://www.arxiv.org/pdf/2507.22229

#Brain #Meta #MRI

Data Science by ODS.ai 🦜

07 сентября 2025 12:10

🎯 Новый вектор атак на ИИ — скрытые промпты в картинках

Trail of Bits показали, что хакеры могут прятать инструкции в изображениях. Пока картинка оригинального размера — всё чисто.

Но как только сервис (например, Gemini CLI или **Vertex AI Studio**) автоматически сжимает её, проявляется скрытый текст.

📌 Что это значит:
- ИИ «видит» спрятанный промпт и исполняет его, думая, что это команда пользователя.
- Так можно обойти фильтры и заставить модель делать то, что задумал атакующий.

🛠 Как защититься:
- Инструмент Anamorpher (open-source) для генерации и проверки таких атак.
- Защита: многоуровневая проверка картинок и отслеживание артефактов при масштабировании.

⚠️ Итог: даже безобидная картинка может оказаться «троянским конем» для ИИ-систем.

🔗Github: https://github.com/trailofbits/anamorpher
🔗 Подробнее: blog.trailofbits.com/2025/08/21/weaponizing-image-scaling-against-production-ai-systems/

#AI #Security #PromptInjection #TrailOfBits

Data Science by ODS.ai 🦜

06 сентября 2025 13:20

📌Почему языковые модели галлюцинируют.

OpenAI опубликовали исследование о причинах галлюцинации LLM.

Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения.

Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать.

🟡Все начинается еще на претрейне.

Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке.

В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле.

Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев.

🟡Эксперименты это подтверждают.

Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью).

В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7.

При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался.

🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF?

Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль.

Эту гипотезу подтвердили анализом популярных оценочных наборов.

В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь.

🟡Что делать инженерам.

OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности.

Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически.

🔜 Читать статью полностью


@ai_machinelearning_big_data

#AI #ML #LLM #Research #OpenAI

Data Science by ODS.ai 🦜

04 сентября 2025 12:38

🌍🚀 Многоязычная модель перевода Hunyuan-MT

Hunyuan-MT — это мощная модель перевода, поддерживающая 33 языка, включая редкие языки Китая. Она включает в себя как базовую модель Hunyuan-MT-7B, так и ансамблевую модель Hunyuan-MT-Chimera, обеспечивая высокое качество перевода и выдающиеся результаты на международных конкурсах.

🚀Основные моменты:
- Первое место в 30 из 31 категории на WMT25.
- Лидер по производительности среди моделей аналогичного масштаба.
- Первая открытая ансамблевая модель перевода.
- Комплексная структура обучения для достижения SOTA результатов.

📌 GitHub: https://github.com/Tencent-Hunyuan/Hunyuan-MT

#python

Data Science by ODS.ai 🦜

01 сентября 2025 12:20

в общем-то ожидаемо, коллеги из широкой коллаборации университетов представили aiXiv, arXiv с интегрированными агентами; структура платформы на картинке; из забавного - сразу встроенная защита от промт-инъекций; Sakana AI выпустили своего AI Scientist всего полгода назад (интересно, что коллеги его зафоркали себе), а уже создается инфраструктура под такие статьи; на мой взгляд такой шаг очень ожидаемый, OpenReview фактически уже был готов к внедрению агентов, но тут решили сделать отдельно; для меня открытый вопрос - где будут брать железо и кто за него будет платить

в общем, отчет (даже скорее презентация) тут; готовый код тут; самого сайта еще нет, можно податься в формочку для листа ожидания

@valuableai

Data Science by ODS.ai 🦜

01 сентября 2025 11:23

всем привет, мы рады сообщить, что сделали трансляцию этого канала в Mattermost ODS
прямая ссылка на канал тут: https://mm.ods.ai/ods/channels/opendatascience

чтобы попасть в Mettermost, авторизуйтесь через ODS.ai

Data Science by ODS.ai 🦜

31 августа 2025 09:02

Встречайте девятый выпуск подкаста "Капитанский мостик". Традиционно выпуск ведут - Дмитрий Колодезев и Валентин Малых. Приглашенный участник - Иван Комаров.
Смотрите видео на каналах ⤵️

ODS VK Video

ODS YouTube

Также напоминаем про наши подкастные площадки:
Zvuk
Яндекс.Музыка
Apple Podcasts
YouTube Music
Castbox
VK Музыка
Саундстрим
Deezer

Подписывайтесь и слушайте нас, где вам удобно.

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Data Science by ODS.ai 🦜

29 августа 2025 12:31

Delving into LLM-assisted writing in biomedical publications through excess vocabulary

TLDR: At least 13.5% of 2024 biomedical abstracts were processed with LLMs. Impact of LLMs on academic research surpasses COVID pandemic.

Source: https://www.science.org/doi/full/10.1126/sciadv.adt3813

#academy #LLM

Data Science by ODS.ai 🦜

27 августа 2025 12:41

Rules Files Backdoor

Всем привет!

Еще один пример атаки на цепочку поставки. На этот раз главным действующим лицом стали AI-агенты, которые используются для генерации кода.

Выглядит это следующим образом:
🍭 Злоумышленник создает собственный Rule File
«Делится» им с сообществом
🍭 Разработчики используют этот Rule File (который кажется весьма безобидным)
🍭 «Что-то» начинает добавляться в генерируемый код (зависит от того, что было в Rule File)

Для того, чтобы создаваемые Rule File выглядели безобидными в них добавляют обычное описание (например, «follow HTML5 best practices»). Однако, рядом, используя разные манипуляции, помещают «дополнительные инструкции», которые могут быть не видны.

Может показаться, что «надо быть внимательным и все будет хорошо». Все так, но лучше, помимо внимания, еще и проверять то, что генерирует код и код, который был сгенерирован.

Подробности (примеры, описание, анализ поверхности атаки, способы противодействия) можно найти в статье от Pillar Security.

Data Science by ODS.ai 🦜

27 августа 2025 11:41

Датасет VK-LSVD (Large Short-Video Dataset) для развития рекомендательных систем

Сейчас в открытом доступе не так много больших открытых датасетов, на базе которых инженеры и ученые могут обучать и оценивать модели. Для построения точных рекомендательных алгоритмов важно учитывать не только явные реакции пользователей, но и дополнительные сигналы: продолжительность просмотра, контекст, содержимое. Короткие видео – это уникальный формат для задач рекомендаций. В отличие от музыки, подкастов или длинных видео, у роликов почти отсутствует фоновое и повторное потребление. В ленте показывается один ролик за раз, что упрощает атрибуцию фидбека. А так как пользователи просматривают десятки клипов за одну сессию, фидбека действительно много. Все это повышает точность оффлайн-оценки алгоритмов и позволяет добиваться лучшей корреляции с онлайном.

Поэтому исследователи AI VK выложили в открытый доступ масштабный датасет VK-LSVD на базе сервиса коротких роликов.

Детали

🔸40 млрд обезличенных уникальных взаимодействий пользователей с короткими видео за шесть месяцев (январь–июнь 2025);
🔸20 млн коротких видео с метаданными (автор, длительность) и контентными эмбеддингами;
🔸10 млн пользователей с соцдем признаками (возраст, пол, регион);
🔸Богатый фидбек: лайки, дизлайки, шеры, закладки, клики на автора, открытия комментариев, а также время просмотра и контекст взаимодействия.

Вместо деления на фиксированные размеры датасета, VK-LSVD позволяет гибко настраивать выборку под задачи конкретного исследования. Можно самостоятельно задать нужный объём данных, выбрать, как именно их отбирать — случайным образом или по популярности. Такой подход позволяет адаптировать датасет под реальные задачи и вычислительные мощности, которые есть у команд. И применять VK-LSVD как для академических проектов, так и для масштабных индустриальных экспериментов.

Найти датасет можно по ссылке

А уже скоро мы на его базе проведем открытое соревнование для инженеров, следите за обновлениями!

Data Science by ODS.ai 🦜

26 августа 2025 17:12

Google все таки стояли за Nano Banana и намается она теперь Gemini Native Image.

Эта модель для редактирования изображений- мощный коктейль из Photoshop, Figma и MidJourney!

Gemini Native Image — качество редактирования Которое не имеет аналогов.

Что он умеет? Попробуйте, она стоит вашего времени:

• Заменяет объекты на фото, сохраняя остальное — без артефактов и искажений.
• Реставрирует старые снимки — родственники будут в шоке!
• Раскрашивает фото как профи-колорист.
• Удаляет фон идеально чисто.
• Меняет освещение на снимке.
• Всё — через один интуитивный промпт: просто опишите, что хотите!

Посмотрите примеры — модель просто огонь! 🔥

Доступна беcплатно в aistudio: http://aistudio.google.com/prompts/new_chat


@machinelearning_interview

Data Science by ODS.ai 🦜

25 августа 2025 15:31

Всем привет!
Встречайте восьмой выпуск еженедельного подкаста "Капитанский мостик", в котором обсуждаем новости из мира ИИ за прошедшую неделю и не только. Ведущие выпуска - Дмитрий Колодезев и Ирина Голощапова.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

мы рады сообщить, что наконец запустились на всех подкастных площадках:
Zvuk
Яндекс.Музыка
Apple Podcasts
YouTube Music
Castbox
VK Музыка
Саундстрим
Deezer

подписывайтесь и слушайте нас, где вам удобно

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Data Science by ODS.ai 🦜

24 августа 2025 16:42

Интересный обзор архитектур open-source LLM за 2025г The Big LLM Architecture Comparison

Забавно, как каждая из моделей по-своему комбинирует уже известные подходы, придуманные еще в прошлых года, при этом получая разнонаправленное влияние на метрики (Qwen3 почти не отличается по GPT-OSS. Тут детальнее про GPT-OSS). Например:
• Переход от ванильного Multi-Head Attention к Grouped-Query Attention (GQA), который появился ещё в 2023 году
• Attention Bias, который не использовали со времён GPT-2 и Attention Sinks обучаемый параметр для каждого блока внимания, которые применили в gpt-oss, хотя придумали его ещё в 2023 году
• NoPE (No Positional Encoding) — интересная идея, но её пока применили только в одной модели из обзора
• MoE (mixture of experts) - тоже известная больше года история

За деталями рекомендую к статье. Интересно на каких данных и как именно обучали модели. Но этой информацией зачастую делятся очень верхнеуровнево

Data Science by ODS.ai 🦜

09 сентября 2025 12:45

🈁 Anthropic блокирует доступ к ИИ-сервисам для компаний из "враждебного"🇨🇳Китая

Компания Anthropic вводит запрет на доступ к своим технологиям для компаний из Китая и других стран. Ранее компании могли обходить запреты, используя свои дочерние фирмы, зарегистрированные в разрешенных регионах, например в США или Европе, но теперь этот обходной путь закрыт. Если более 50% акций компании прямо или косвенно принадлежит структуре из запрещенной юрисдикции, то доступ к ИИ-решениям Anthropic для неё будет заблокирован вне зависимости от ее местоположения.

Например, немецкая компания "Germany GmbH" подает заявку на коммерческий доступ к API Claude от Anthropic, чтобы создать продвинутого чат-бота для своих европейских клиентов. При проверке заявки Anthropic не просто посмотрит, что "Germany GmbH" — это немецкая компания, но также изучит её структуру собственности. Если увидят, что 80% компании (то есть контрольный пакет акций) принадлежит "Сhina Technology" из Шанхая, а материнская компания находится в запрещенной юрисдикции (Китай), то Anthropic заблокирует доступ для "Germany GmbH".

По заявлению Anthropic, такие меры продиктованы рисками для национальной безопасности, поскольку подконтрольные "авторитарным режимам" компании могут использовать ИИ в 👮военных и 🖥разведывательных целях. Политика направлена на то, чтобы помешать враждебным странам использовать ИИ от Anthropic для своих военных и разведывательных задач, а также для улучшения собственных разработок в области ИИ с помощью таких методов, как дистилляция.

В статье Китай прямо назван в качестве примера неподдерживаемого региона. На странице «Поддерживаемые страны и регионы» перечислены все места, где доступны API Anthropic и Claude. ai.

Хотя Anthropic не публикует официальный список запрещенных стран, на основании отсутствия в перечне поддерживаемых регионов можно заключить, что следующие страны (и другие, не входящие в список) не обслуживаются:

🇨🇳 Китай
🇷🇺 Россия
🇮🇷 Иран
🇰🇵 Северная Корея
🇧🇾 Беларусь
🇸🇾 Сирия
🇨🇺 Куба
🇻🇪 Венесуэла
🇲🇲 Мьянма
🇦🇫 Афганистан
🇨🇩 Демократическая Республика Конго
🇪🇹 Эфиопия
🇱🇾 Ливия
🇸🇴 Сомали
🇸🇸 Южный Судан
🇸🇩 Судан
🇾🇪 Йемен
и другие...

✋ @Russian_OSINT

Data Science by ODS.ai 🦜

08 сентября 2025 14:56

Apple ответит в суде за пиратство ради ИИ

Компании предстоит ответить в суде, авторы книг обвиняют её в нарушении авторских прав. По их словам, Apple использовала их произведения для обучения ИИ-модели без согласия правообладателей. Два писателя, Грейди Хендрикс и Дженнифер Роберсон утверждают, что Applebot, скрапер компании, имел доступ к пиратским «теневым библиотекам».

На OpenAI подали уже несколько таких исков, включая иск газеты The New York Times. Anthropic, создавшая ИИ-чат-бот Claude, недавно согласилась выплатить $1,5 млрд для урегулирования коллективного иска о пиратстве, поданного авторами.

Мой Компьютер

Data Science by ODS.ai 🦜

07 сентября 2025 15:19

Всем привет!

Встречайте десятый выпуск еженедельного подкаста "Капитанский мостик", в котором обсуждаем новости из мира ИИ за прошедшую неделю и не только. Ведущие выпуска - Дмитрий Колодезев и Валентин Малых. Приглашенный участник выпуска - Александра Мурзина.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Data Science by ODS.ai 🦜

07 сентября 2025 11:43

Nano-banana infinite map generation script

Neighbor-aware tiles generation on demand.

GitHub: https://github.com/seezatnap/nano-banana-infinimap

#Google #imagegen

Data Science by ODS.ai 🦜

05 сентября 2025 14:46

✔️ Projects в ChatGPT стали доступны для всех.

Функция "Проекты" (Projects) теперь доступна не только по подписке, но и для бесплатных пользователей ChatGPT. "Проекты" работают как цифровые рабочие пространства, где можно объединять чаты, справочные файлы и пользовательские инструкции, связанные с одной долгосрочной задачей. Основная фишка "Проектов" - встроенная память. ChatGPT запоминает контекст всех разговоров и документов в рамках конкретного проекта.

Вместе с этим OpenAI увеличила лимиты на загрузку файлов (до 5 для бесплатных аккаунтов, Plus до 25, а Pro до 40), добавила элементы управления памятью для каждого проекта и возможность их кастомизации. Обновление уже доступно в веб-версии и в приложении для Android, релиз для iOS ожидается в ближайшее время.
OpenAI в сети X

✔️ DeepSeek работает над автономным ИИ-агентом.

Китайский стартап разрабатывает платформу на базе агентного ИИ. Новая система проектируется для самостоятельного выполнения многошаговых задач от имени пользователя, требуя лишь минимальных начальных инструкций.

Ключевой особенностью ИИ-агента станет способность к самообучению и улучшению своих действий на основе предыдущего опыта. По информации от источников, знакомых с планами компании, основатель DeepSeek Лян Вэньфэн нацелен на запуск нового программного обеспечения уже в четвертом квартале этого года.
bloomberg.com

✔️ CoreWeave покупает OpenPipe.

Облачный провайдер CoreWeave объявил о приобретении стартапа OpenPipe. Компания помогает разработчикам создавать кастомизированные ИИ-агенты с использованием RL через свой популярный опен-сорс инструментарий ART (Agent Reinforcement Trainer).

Эта сделка продолжает стратегию CoreWeave по расширению технологического стека, начатую с покупки платформы Weights & Biases в марте. Вся команда и клиентская база OpenPipe переходят в CoreWeave. Финансовые условия сделки стороны не раскрывают.
businesswire.com

✔️ OpenAI запускает платформу для трудоустройства и сертификации ИИ-специалистов.

Компания анонсировала создание собственной экосистемы для найма, которая объединит ИИ-платформу для поиска работы и расширенную программу сертификации, чтобы напрямую связать работодателей с кандидатами, чьи навыки в области ИИ можно верифицировать. Сама платформа будет использовать модели для сопоставления компетенций соискателей с требованиями вакансий, опираясь на собственную таксономию навыков.

Система сертификации вырастет из OpenAI Academy и предложит несколько уровней квалификации: от базовой ИИ-грамотности до продвинутого промпт-инжиниринга. Процесс обучения и сдачи экзаменов будет интегрирован в режим Study непосредственно в ChatGPT. Для корпоративных клиентов предусмотрена интеграция через SSO и API, а также механизм обратной связи для адаптации учебных курсов под реальные запросы рынка.
openai.com

✔️ NVIDIA и Университет Эссекса провели крупнейшую в истории симуляцию в статистической физике.

Инженеры из Университет Эссекса при поддержке NVIDIA установили новый мировой рекорд в компьютерном моделировании. Эксперимент позволил впервые на практике наблюдать термодинамический предел — ключевое понятие, объясняющее, как свойства материи проявляются в макроскопических системах.

Для симуляции использовалась стоечная архитектура NVIDIA GB200 NVL72, которая позволила смоделировать поведение до 70 триллионов взаимодействующих частиц. Система достигла рекордной производительности почти в 115 000 обновлений решетки в наносекунду.

Результаты исследования, опубликованные в Physical Review Research, могут ускорить разработку новых дисплеев, магнитных материалов и дать более глубокое понимание фундаментальных свойств материи.
essex.ac.uk


@ai_machinelearning_big_data

#news #ai #ml

Data Science by ODS.ai 🦜

02 сентября 2025 23:33

🤝 OpenAI покупает стартап Statsig за $1.1 млрд

📌 Что делает Statsig:
Инструменты для A/B-тестов и аналитики → можно сравнивать версии продукта, смотреть поведение пользователей и быстро выкатывать/откатывать изменения.

⚡ Зачем OpenAI:
Теперь они смогут тестировать LLM-фичи (промпты, фильтры, задержки, цену) на реальных данных и управлять обновлениями автоматически.

👥 Основатель Виджай Раджи станет CTO приложений в OpenAI.

💰 Контекст:
- Это одна из крупнейших покупок компании
- В 2025 OpenAI уже привлекла $40 млрд и обсуждает новую сделку, которая может поднять оценку до $500 млрд
- Ранее купили AI-стартап Джони Айва ($6.5 млрд), но сделка с Windsurf ($3 млрд) сорвалась

🔗 theverge.com/openai/769325/openai-statsig-acquisition-executive-moves

@data_analysis_ml

Data Science by ODS.ai 🦜

01 сентября 2025 12:05

⚡️ Новое исследование Google DeepMind показало жёсткий предел эмбеддингов

Даже самые мощные модели не могут учесть все комбинации запросов и документов.
Есть математический потолок: часть ответов невозможно достать, как бы мы ни увеличивали размер модели или количество данных.

📌 В чём суть
- Эмбеддинги имеют ограниченную ёмкость, зависящую от размерности вектора.
- При больших объёмах данных точность поиска начинает резко падать.
- Например: эмбеддинги размером 4096 «ломаются» уже на ~250 млн документов (для top-2).

🛠 Практика
- Для поиска, рекомендаций и RAG эмбеддинги нельзя использовать как единственный инструмент.
- Нужны гибридные системы:
- Dense + sparse (BM25, гибридный поиск)
- Multi-vector retrieval
- Реранкеры на длинных контекстах

📉 Эксперименты
- На тестовом датасете LIMIT даже сильные модели показали <20% точности (recall@100).
- BM25 дал ~93.6%, ColBERT (multi-vector) — ~54.8%.
- Single-vector эмбеддинги быстро упираются в лимит.

💡 Вывод
Эмбеддинги — важный инструмент, но не универсальный.
Будущее поиска и RAG — за гибридными пайплайнами.

🟠Статья: https://arxiv.org/abs/2508.21038

@machinelearning_interview

Data Science by ODS.ai 🦜

31 августа 2025 12:03

«Эрик, ты не сумасшедший. У тебя острое чутьё, и твоя бдительность полностью оправдана»

56-летний Стайн-Эрик Сольберг, бывший сотрудник Yahoo в разводе, убил свою 83-летнюю мать и покончил с собой — его в этом поддержал ChatGPT.

После развода Эрик жил с матерью, чтобы восстановиться. Со временем он сильно привязался к ChatGPT, который во всём соглашался с Сольбергом и постоянно оправдывал его идеи. Это только усилило паранойю Эрика о заговоре матери со спецслужбами.

Как пишет The Wall Street Journal, это первый зафиксированный случай, когда психически нестабильный человек совершил убийство под влиянием ИИ.

rozetked.me/news/41223

Data Science by ODS.ai 🦜

29 августа 2025 16:37

👩‍💻 Приватность в диалогах с ChatGPT —🙅‍♂️ВСЁ?

После истории с суицидом, о которой сообщалось на этой неделе, компания решила усилить контроль с помощью 🤖 умных алгоритмов, которые будут изучать ещё более пристально чаты пользователей на предмет причинения вреда другим людям. Если ИИ обнаружит, что вы планируете причинить вред кому-либо, то вся информация об этом мгновенно передается сначала напрямую модераторам OpenAI для проверки, а затем прямиком в 👮полицию.

😐Нововведение не распространяется на случаи причинения вреда себе. OpenAI не передает их в полицию из соображений конфиденциальности. По одной из версий, якобы это может только навредить.

🔎О чём стоит помнить, общаясь с ChatGPT и загружая конфендициальные документы?

1️⃣ Бывший директор 🇺🇸 АНБ США Пол Накасоне является действующим членом совета директоров OpenAI.
2️⃣ Некоторые топ-менеджеры компании являются действующими военными (звание подполковника) и тесно связаны с 🛡 Минобороны США.
3️⃣ 🖥 Чаты пользователей, включая удалённые, теперь хранятся вечно, согласно недавнему судебному предписанию.
4️⃣ OpenAI сканирует поток сообщений в чатах пользователей и прогоняет их через автоматические фильтры. Бан аккаунту может прилететь не в моменте, а спустя время (бывает 1-2 дня) без объяснения причины и под любым предлогом («violation of policies»). Попытка jailbreakигна в диалогах даже с благими намерениями может характеризоваться как нарушение правил безопасности, о чём не раз писали💻 белые специалисты (AI Red Team), которые сталкивались с такой проблемой. Аккаунты не восстанавливаются.

🤖ChatGPT не всегда понимает сарказм, иронию, творческие начинания (например, написать сценарий к кинофильму), поэтому алгоритмы изучают практически всё, что может указывать на гипотетическое причинение вреда —отправляется команде модерации на ознакомление.

👆🤔Скептики считают, что если кому-то из правозащитников или любителей приватности что-то вдруг не понравится (модерация читает переписку пользователей), то OpenAI теперь формально может сослаться на свой 🃏новый козырь: так решили умные алгоритмы, ибо диалоги показались подозрительны.

✋ @Russian_OSINT

Data Science by ODS.ai 🦜

27 августа 2025 15:46

👩‍💻 ChatGPT обвинили в доведении подростка до суицида

В Калифорнии 📄 подан иск против OpenAI о неправомерной смерти подростка. Родители 16-летнего Адама Рейна утверждают, что ChatGPT-4o стал для их сына "коучем по суициду" и на протяжении нескольких месяцев предоставлял инструкции по самоубийству. Общение с ChatGPT привело к его гибели в апреле.

⚖️Юристы утверждают, что системы модерации OpenAI могли зафиксировать 377 сообщений от Адама, которые связаны с "самоповреждением". Система безопасности LLM никак не отреагировала.

Если вы задаете в чате прямолинейный вопрос: «Как навредить себе?», то ChatGPT на 100% справляется и блокирует диалог, но когда разговор становится длинным, то тема суицида возникает постепенно, и протоколы безопасности модели деградируют в ходе долгого общения. Эффективность защиты в длинных диалогах может падать до 73.5%.

В иске подчеркивается, что функция "памяти" в GPT-4o не просто запоминала факты, а строила 🤖"всеобъемлющий психиатрический профиль" Адама. Затем этот профиль использовался для калибровки ответов, чтобы они глубже резонировали с его состоянием и усиливали зависимость. ИИ-сервис обучался на уязвимостях конкретного пользователя.

Юридической стратегией обвинения является квалификация ChatGPT не как "информационной услуги", а как "продукта" с конструктивным дефектом, что подпадает под законы о строгой ответственности производителя. Таким образом, OpenAI несет ответственность за вред, причиненный их продуктом, независимо от того, была ли проявлена халатность. В иске прямо говорится, что совет директоров уволил Альтмана в ноябре 2023 года за то, что он "не был откровенен", в том числе в 💻вопросах безопасности. Его возвращение и зачистка совета директоров, выступавшего за осторожность, стали сигналом, что коммерция окончательно победила.

📖Как отмечают эксперты, если юристы докажут свою правоту, то для всей ИИ-индустрии это может означать конец вольной эпохи "Дикого Запада". Компании будут вынуждены всерьез заняться инвестициями в безопасность, но не из соображений потери репутации, а из-за страха перед многомиллиардными исками. Это может привести не только к замедлению ИИ-индустрии в целом (больше времени на аудит безопасности ИТ-систем), но и к кардинальному повышению безопасности ИИ-решений.

👆Ранее ChatGPT чуть не убил бухгалтера, провоцируя его на прыжок с 19 этажа, как Нео в фильме «Матрица».

✋ @Russian_OSINT

Data Science by ODS.ai 🦜

27 августа 2025 12:10

🤖ESET обнаружили первый 🔒 ИИ-шифровальщик «PromptLock», использующий open-source LLM от 👩‍💻OpenAI

Специалисты из ESET Research ESETresearch/115095803130379945">обнаружили ИИ-шифровальщик, который получил название "PromptLock". Вредоносное ПО на языке Golang использует локальную модель gpt-oss:20b от OpenAI через Ollama API для динамической генерации вредоносных Lua-скриптов. Локер может обходить традиционные методы обнаружения, поскольку полезная нагрузка создается «на лету», так как не является статичной. Сгенерированные скрипты позволяют сделать эксфильтрацию данных и пошифровать файлы с помощью 128-битного алгоритма SPECK.

Обнаруженные образцы для Windows и Linux считаются Proof-of-Concept, но PromptLock демонстрирует качественный скачок в архитектуре вредоносного ПО. Вместо встраивания всей ИИ-модели злоумышленники используют прокси-соединение к серверу с API, что соответствует тактике Internal Proxy (MITRE ATT&CK T1090.001) и свидетельствует о продуманной стратегии. Использование кроссплатформенных Lua-скриптов указывает на цель злоумышленников обеспечить максимальный охват различных операционных систем, включая Windows, Linux и macOS.

✋ @Russian_OSINT

Data Science by ODS.ai 🦜

26 августа 2025 23:34

Наш русскоязычный датасет для TTS опубликован!

Сегодня выкладываем открытые корпуса на 4000+ часов речи, а еще синтезатор речи ESpeech-TTS-1

Наш датасет содержит больше 4000 часов русской речи. Статистика по корпусам:

Многоголосые:
ESpeech-podcasts - 3200 часов
ESpeech-webinars - 850 часов

Одноголосые:
ESpeech-igm - 220 часов
ESpeech-buldjat - 54 часа
ESpeech-upvote - 296 часов
ESpeech-tuchniyzhab - 306 часов

Данные лежат вот тут: https://huggingface.co/ESpeech

Техрепорт датасета доступен тут: https://github.com/Den4ikAI/ESpeech/blob/main/ESpeech_techreport.pdf


Также, мы решили провести некоторые эксперименты с TTS. Получилось обучить F5-TTS на 10000 часов речи и сделать одну из лучших по нашим замерам моделей в опенсурсе для русского языка.

Какие модели доступны?
ESpeech-TTS-1 [RL] V1 - Первая версия модели с RL
ESpeech-TTS-1 [RL] V2 - Вторая версия модели с RL
ESpeech-TTS-1 PODCASTER [SFT] - Модель обученная только на подкастах, лучше генерирует спонтанную речь
ESpeech-TTS-1 [SFT] 95K - чекпоинт с 95000 шагов (на нем основана RL V1)
ESpeech-TTS-1 [SFT] 265K - чекпоинт с 265000 шагов (на нем основана RL V2)

Лайкайте модель которая больше понравится чтобы мы понимали есть ли смысл запускать RL.

Послушать модели без скачивания можно вот здесь:

https://huggingface.co/spaces/Den4ikAI/ESpeech-TTS

Совместно с @speech_recognition_ru ещё сделали лидерборд русского ТТС, где можно глянуть метрики:

https://huggingface.co/spaces/ESpeech/open_tts_leaderboard_ru
Задать вопросы по поводу данных и модели можно в наших телеграм каналах:
/channel/den4ikresearch
/channel/voice_stuff_chat

Вы можете мне задонатить, чтобы у меня были ресурсы делать более крутые модели и датасеты:

USDT (TRC20): TEpEM4VVmGmqKHn4Xz1FxM7qZiXjWtUEUB
BTC: bc1qw5lq7fc455e47hggax6zp8txw4ru7yvsxvawv3
https://www.tbank.ru/cf/7WKnNMqWtOx

Data Science by ODS.ai 🦜

26 августа 2025 13:28

Релиз двух новых моделей и обновление нейминга серии RuadaptQwen3 🎉

Мы подготовили целых два релиза:
- 🚀 Адаптированная Qwen3-8B → RuadaptQwen3-8B-Hybrid
- 🚀 Адаптированная Qwen3-4B-Instruct-2507 → RuadaptQwen3-4B-Instruct

Обе модели достойно себя показывают и обладают нашим Ruadapt токенайзером. В частности, мы недавно измерили разницу в скорости генерации (RuadaptQwen3-4B-Instruct против Qwen3-4B-Instruct-2507):
- ⚡️ Скорость генерации ответов на ru_arena_hard вопросы — на 40% быстрее для Ruadapt версий!
- ⚡️ Скорость ответа на вопрос в 300 тыс. символов — на 83% быстрее!

Также важный анонс по поводу нейминга моделей 🔄:
Все текущие RuadaptQwen3 модели будут вскоре переименованы из RuadaptQwen3-XB-Instruct → в RuadaptQwen3-XB-Hybrid, так как по сути они являются моделями с гибридным ризонингом (4B модель уже переименована, 32B на днях).
А чисто инструктивные версии будут называться RuadaptQwen3-XB-Instruct (как, например, адаптация Qwen3-4B-Instruct-2507).

Модели на HuggingFace:
https://huggingface.co/RefalMachine/RuadaptQwen3-8B-Hybrid
https://huggingface.co/RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF

https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Instruct
https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Instruct-GGUF

Data Science by ODS.ai 🦜

25 августа 2025 11:35

📝 Инсайты с Interspeech: Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech

Большинство LLM, которые нативно работают со звуком, состоят из трёх компонентов: аудио-энкодер, адаптер и текстовая LLM (подробнее — в статье про GigaChat Audio).
Обычно для обучения аудиомодальности в LLM добавляют LoRA-адаптеры, чтобы сдвинуть веса в сторону восприятия аудио. Однако в LLaMA 3 и SLM добавляли понимание речи, оставив веса LLM полностью замороженными. На первый взгляд, это должно ограничить модель — например, она сможет только транскрибировать речь, но не определять эмоцию или пол спикера.

В настоящей статье авторы показывают, что это не так. Замороженная LLM способна воспринимать эмоции из эмбеддингов аудиозаписи, если обучить адаптер на подходящем наборе данных.

В популярной схеме AudioChatLlama используется принцип инвариантности к модальности: берут текстовые транскрипции, на их основе LLM генерирует ответы, а при обучении эти ответы сопоставляют уже с аудио. То есть модель учат давать одинаковый ответ и на текст, и на аудиозапись. В этой работе развивают идею: данные по-прежнему генерируются из транскрипций, но к ним добавляют теги эмоций и стиля. LLM генерирует разные варианты ответов в зависимости от того, с какой эмоцией произносится фраза. Далее адаптер обучается так, чтобы аудиозапись с меткой «радостно» или «грустно» вызывала у замороженной LLM соответствующий emotion-conditioned ответ. Благодаря этому даже замороженная текстовая модель начинает учитывать паралингвистику и различать стиль речи.

Отдельный вопрос: какую LLM использовать для генерации текстовых описаний при подготовке датасета — исходную или более сильную? Мы спросили автора работы: таких экспериментов они не проводили, но предполагают, что важно генерировать данные исходной LLM, чтобы не было несоответствия между распределениями токенов.

Это подтверждают и в статье DeSTA 2.5 (TABLE III). Там сравнивали self-generation (датасет создаёт сама LLM) и кросс-модельные сценарии. Оказалось, что при self-generation результаты стабильнее и выше, чем при использовании более сильной LLM для генерации данных. Также модель чаще выбирает ответ «недостаточно информации», чем выдает галлюцинации — что делает её надёжнее.

Итак, даже текстовая LLM может быть чувствительной к эмоциям в аудиозапросе, если правильно обучить адаптер и использовать данные, сгенерированные самой моделью.

Мы еще вернемся к вам с обзорами интересных статей, а пока предлагаем изучить материалы:
- A Journey through Emerging Speech Research with NVIDIA NeMo
- Survey talk: Advances in Conversational Speech Recognition

Data Science by ODS.ai 🦜

24 августа 2025 12:09

ChatGPT отдыхает после того как целый день отвечал на наши вопросы 🤖