17610
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🚀️️️️️️ У Colossus 2 в 14 раз больше вычислительной мощности, чем у флагманского ЦОД Huawei
Epoch AI изучила спутниковые снимки кампуса Huawei в Хорингере и оценила, что там работают около 105 тысяч ускорителей Ascend 910C. Суммарная вычислительная мощность площадки соответствует примерно 81 тысяче NVIDIA H100. У Colossus 2 в Мемфисе, где стоят NVIDIA B200 и B300, оценка составляет 1,1 млн H100-эквивалентов.
Разница видна и в энергопотреблении. По оценке Epoch AI, ведущие американские кампусы получают примерно в 2,5 раза больше вычислений на ватт, чем Хорингер. При одинаковой мощности электропитания эта разница даёт американским площадкам заметно больше вычислительных ресурсов.
Новый корпус может поднять мощность Хорингера до 141 тысячи H100-эквивалентов к началу 2028 года. К тому же сроку Epoch AI ожидает от Colossus 2 как минимум 1,8 млн. По этому прогнозу, Huawei прибавит больше 70%, но её площадка всё равно останется примерно на уровне 8% от мощности Colossus 2.
Анализ Epoch AI: https://epochai.substack.com/p/what-huaweis-horinger-data-center
KRAFTON выпустила Raon-1 nano: компактная LLM для локального запуска с 1,5 млрд параметров
Разработчик PUBG представил небольшую плотную языковую модель, ориентированную на работу непосредственно на устройствах.
Технические характеристики:
- 1,5 млрд параметров основной модели.
- 3,1 млрд параметров с учётом Per-Layer Embeddings.
- Архитектура Dense.
- Обучение на 3 трлн токенов.
Как создавали модель?
За основу взяли Raon-1 mini Preview (30B-A4B), применили pruning и дистилляцию из MoE в Dense, а затем провели дополнительное обучение с использованием SFT, OPD и RL.
Возможности:
- Естественный диалог на корейском и английском.
- Сохранение контекста разговора.
- Следование инструкциям.
- Вызов инструментов и работа с агентами.
Проект продолжает исследования KRAFTON в области локальных ИИ-моделей, начатые с игрового помощника PUBG Ally.
Веса доступны под Apache 2.0:
🤗 https://huggingface.co/KRAFTON/Raon-1-nano
Исследование MoE-to-Dense: https://arxiv.org/abs/2605.28207
Новые LLM постепенно отказываются от Full Attention
В архитектурах открытых языковых моделей заметен серьёзный сдвиг: разработчики всё чаще заменяют классический Full Attention гибридными механизмами или полностью отказываются от него.
Динамика за 2025-2026 годы показывает ускорение этого перехода. Если в 2025 году преобладали модели с полноценным Attention, то во второй половине 2026-го наблюдается разделение примерно 50/50 между гибридными архитектурами и моделями без Full Attention вообще.
Вместо него используют Sliding Window Attention, Gated DeltaNet, KDA, Mamba-2, разреженное внимание и другие механизмы.
Зачем это нужно?
Первое: меньше вычислений. Разреженное внимание обрабатывает только выбранные токены или блоки контекста, сокращая стоимость обработки длинных последовательностей.
Второе: меньше памяти. Рекуррентные механизмы вроде Gated DeltaNet хранят состояние фиксированного размера, вместо того чтобы удерживать всю историю взаимодействия.
У такого подхода есть компромисс: сжатие истории усложняет точное извлечение информации. Поэтому многие модели комбинируют рекуррентные слои с классическим или разреженным Attention.
Основное направление развития архитектур LLM - удешевление работы с длинным контекстом: большими документами, кодовыми базами и многошаговыми ИИ-агентами, которые совершают десятки вызовов инструментов.
GPT-6 Astra нашла лабораторную ошибку, которую пропустила GPT-5.6
OpenAI показала результаты нового бенчмарка BioBasicsBench, состоящего из 100 задач на основе реальных биологических экспериментов.
В одном из тестов GPT-6 Astra обнаружила неправильную маркировку антибиотика на контрольной чашке при клонировании ДНК и правильно признала результаты ненадёжными. GPT-5.6 Sol эту ошибку пропустила.
Результаты:
GPT-6 Astra: 66,7%
GPT-5.6 Sol: 43,8%
При этом Astra использовала примерно вдвое меньше выходных токенов.
Но до надёжного автономного лабораторного анализа ещё далеко. В другом эксперименте Astra сама выбрала неправильные клоны ДНК.
Бенчмарк проверяет способность моделей интерпретировать лабораторные данные, находить ошибки и отказываться от выводов при недостатке доказательств.
Показательно, что новая модель лучше распознаёт ошибки в экспериментальных данных, но всё ещё может ошибаться при принятии решений на их основе.
https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science/
🌟 Hume AI открыла доступ модели, которая отвечает на вопросы по записи голоса
В представленном продукте, Audio Decisions, на вход идёт запись, свой вопрос к ней и перечень допустимых ответов, на выходе - вероятности по этим ответам с оценкой уверенности.
Форматов ответа четыре: да или нет, выбор из вариантов, шкала оценок и отрезок времени внутри записи, когда, например, смеются или вздыхают.
Спрашивать можно про язык и речь, число и смену говорящих, эмоцию, акустическую обстановку, неречевые события, динамику разговора, намерение и исход и социальные сигналы.
Набор вопросов можно поменять по запросу без дополнительной разметки и дообучения, а порог уверенности привязывается к правилам заказчика.
В примере из анонса голосовой агент в розничной торговле проверяет неуверенность и раздражение в голосе, число говорящих, фоновый шум и намерение покупателя, а затем отдаёт эти ответы языковой модели вместе с транскриптом, чтобы та решила, подождать, уточнить или передать разговор человеку.
Доступ открывают по заявке в листе ожидания на странице продукта, цена - 47 центов за миллион входных токенов.
🐳 DeepSeek выложила исходники AI-агента, который сам берёт задачи из GitHub и пишет код
Проект называется dsh-superagent. Это экспериментальная система на базе DeepSeek Harness, рассчитанная на автоматизацию разработки в команде.
В отличие от обычных coding-ассистентов, агенту не обязательно каждый раз вручную передавать задачу в чат.
Что он умеет:
- Следит за событиями GitHub и сообщениями в Feishu.
- Принимает задачи от авторизованных участников команды.
- Создаёт отдельную рабочую сессию для каждой задачи.
- Самостоятельно работает с кодом и готовит Pull Request.
- Возвращает результат в исходное обсуждение.
- Показывает в веб-панели задачи, требующие участия человека.
Архитектурный принцип - минимум внимания разработчика, максимум полезной автономной работы.
Агент действует по запросу или заранее заданным правилам и не отвлекает команду без необходимости.
Сам DeepSeek предупреждает, что это исследовательский прототип, а не готовое production-решение. Часть кода проекта тоже была написана AI-агентами.
Стек: TypeScript, DeepSeek Harness. Лицензия MIT.
https://github.com/deepseek-ai/dsh-superagent-prototype
Claude проверяет ваши диалоги после каждого ответа. Пользователь этой оценки не видит.
Anthropic рассказала о self-assessment: модель получает скрытую инструкцию оценить разговор и формирует короткий отчёт. В нём - возможное нарушение, причина, категория риска и приоритет проверки человеком.
Это уже работает на значительной части трафика Claude. Повторяющиеся сигналы высокого приоритета передают команде для разбирательства. Сама оценка не блокирует запросы автоматически.
На Claude Fable 5 система обнаружила:
- 78% разговоров, которые более мощный классификатор пометил как потенциально вредные.
- 94% случаев высокого приоритета.
- При 1% ложных срабатываний на безопасных разговорах.
Проверка использует уже сохранённый контекст в KV-кэше и добавляет менее 2% вычислительных затрат. С пользователей эту стоимость не взимают.
По данным Anthropic, система помогла обнаружить романтическую аферу, которую организовали через Claude Code против десятков жертв. После проверки аккаунты заблокировали.
Ограничение: результаты сравнивали с другим ИИ-классификатором, поэтому общие ошибки обеих моделей такая оценка может пропустить. На трафике с соглашениями о нулевом хранении данных система сейчас не работает.
https://safeguards.anthropic.com/2026/self-assessment/
Nanbeige4.3-33B – открытая модель с контекстом 512K и акцентом на работу ИИ-агентов.
Это плотная модель на 33 млрд параметров, предназначенная для программирования, вызова инструментов и выполнения многошаговых рабочих задач.
В сравнении команды с Qwen3.8-27B:
- Terminal-Bench 2.1: 80,9 против 73,0.
- DeepSWE: 65,5 против 42,5.
- Automation Bench: 54,2 против 38,3.
- JobBench: 44,8 против 34,5.
Модель лидирует в большинстве тестов опубликованного сравнения, хотя на SWE-Bench Pro и GDPval уступает Qwen. Все результаты приведены разработчиками.
Можно переключать режимы с рассуждениями и без них, а также сохранять предыдущие рассуждения в контексте многошаговой работы. Для вызова инструментов поддерживаются XML и JSON.
Nanbeige4.3-33B также станет учителем для будущих компактных моделей, начиная с Nanbeige4.3-3B.
Лицензия – Apache 2.0. Доступен запуск через Transformers, SGLang и vLLM.
https://huggingface.co/Nanbeige/Nanbeige4.3-33B
Что делать с данными? 💬
Строить отчёты. А ещё, например:
✅находить закономерности в больших массивах;
⬜️предсказывать поведение пользователей;
⬜️строить рекомендательные системы;
⬜️обучать и улучшать ML-модели;
⬜️создавать продукты и помогать бизнесу расти.
➡️студентам последних курсов и выпускникам технических вузов
➡️алитикам данных, которые хотят погружаться в исследования
➡️ИТ-специалистам, которые хотят перейти в новое для себя направление
Gemini 4 Argon объединила три открытых набора данных и создала интерактивную 3D-визуализацию анатомии человека.
Можно переключать анатомические слои прямо во время анимации, рассматривать отдельные мышцы или заглянуть внутрь бьющегося сердца.
Ornith-1.5-122B — открытая MoE-модель для программирования и ИИ-агентов с обучением на самостоятельно созданных задачах.
В процессе обучения система генерирует задания, подбирает стратегии решения и улучшает модель через reinforcement learning. Цикл охватывает и сами задачи, и организацию работы агента, и его попытки решения.
Результаты по оценке разработчиков:
- 84,5% — SWE-bench Verified.
- 76,9% — SWE-bench Pro.
- 81,2% — TerminalBench 2.1.
- 48% — Humanity’s Last Exam с инструментами.
Контекст — 262 тыс. токенов, с расширением через YaRN — примерно до 1 млн. Поддерживаются вызовы инструментов, запуск через vLLM и SGLang и подключение к агентам через OpenAI-совместимый API.
Веса доступны под лицензией MIT. Основной акцент — работа с большими кодовыми базами и выполнение многошаговых задач.
https://huggingface.co/ornith-ai/Ornith-1.5-122B
DeepSeek открыла исходный код DeepInfer - собственного движка для запуска ИИ-моделей.
Именно он обеспечивает работу DeepSeek-V4.1-Flash с высокой производительностью и минимальными задержками.
Главное:
- Ускорение инференса - больше запросов за меньшее время.
- Эффективное использование GPU - снижение затрат на вычисления.
- Параллельная обработка - высокая пропускная способность при больших нагрузках.
- Снижение стоимости ИИ - меньше ресурсов на генерацию каждого ответа.
DeepInfer опубликован под лицензией Apache 2.0. Разработчики смогут использовать технологии DeepSeek в собственных проектах.
GitHub: https://github.com/deepseek-ai/DeepInfer
⚡️ Тибо Соттьё возглавил сентябрьский рейтинг посещаемости в X
Аккаунт Тибо, который отвечает в OpenAI за ChatGPT, Codex и API, в сентябре собрал наибольшую долю трафика среди аккаунтов X. Такие данные приводит рейтинг Similarweb.
Второе место занял спортивный журналист Фабрицио Романо, с новостями о футбольных трансферах, третье – Илон Маск.
В августе Тибо был вторым, а в июле – четвёртым.
Синтетика для агентов: зачем нужен симулятор мира
Исследовательница Юхань Ло (Yuhan Luo) опубликовала эссе с говорящим названием «Мы думаем о синтетических данных слишком узко». Её тезис: синтетика давно перестала быть задачей «прогнать модель по шаблонам и получить побольше примеров». Когда мы обучаем агентов вести целые рабочие процессы, генератор данных превращается в отдельную исследовательскую систему со своими задачами, средами, проверяющими и людьми в контуре. Разбираем главные идеи и показываем, как одна из них выглядит в коде.
https://uproger.com/sinteticheskie-dannye-dlya-agentov/
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: /channel/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: /channel/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка Frontend: /channel/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: /channel/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
MWS Cloud первой в России запустила ночные тарифы на инференс LLM
В сервисе MWS GPT Model Hub с 1:00 до 7:00 использование моделей будет до 30% дешевле базовых цен. Скидка работает без исключений - в будни, выходные и праздники.
Что выгодно переносить на ночь:
- массовую генерацию текстов.
- анализ документов и подготовку отчётов.
- обработку отзывов.
- создание эмбеддингов.
Для перехода на ночной тариф интеграцию менять не нужно.
Доступные модели:
- GLM-5.3
- Kimi K2.6
- Qwen3.6 35B (A3B)
- Gemma 4 31B
- gpt-oss-120b
Все вычисления идут в собственном облаке MWS Cloud, поэтому данные остаются внутри контура провайдера. Подключение к моделям - через OpenAI-совместимый API.
Что ещё нового:
Появился Playground. В нём модели можно протестить на своих сценариях ещё до интеграции и выбрать оптимальную по качеству ответов, скорости и цене.
https://mws.ru/cloud-platform/model-hub/
Anthropic перевела доступ к своим продуктам на белый список регионов
Claude, Claude Code и API теперь работают только в 185 разрешённых странах и регионах, причём новая политика выходит за рамки проверки по местоположению.
Она запрещает пользоваться продуктами, находясь в неподдерживаемом регионе, даже в командировке, и закрывает доступ юридическим лицам из исключённых стран и их сотрудникам, откуда бы те ни выходили в сеть, а также любому бизнесу, который прямо или косвенно контролируется из таких регионов.
Перечень основан на внутренних стандартах Anthropic и не повторяет санкционные списки США. В него входят Ирак, Сомали, Палестина и Тайвань, тогда как материковый Китай, Гонконг и Россия в список не попали.
https://www.anthropic.com/legal/supported-regions
✔️ Anthropic представила Claude Fable 5.2 и Mythos 5.2: 1000 ИИ-агентов формализовали доказательство теоремы Ферма за 30 часов
Новые модели получили серьёзные улучшения в программировании, математике, научных исследованиях и кибербезопасности.
Что удалось сделать:
- Математика: 1000 агентов формализовали доказательство Великой теоремы Ферма на Lean за 30 часов. Предыдущей исследовательской версии Claude потребовалось 11 дней.
- Физика: Fable 5.2 решила две открытые задачи, связанные с физикой чёрных дыр.
- Электроника: спроектировала три работающих устройства с печатными платами, корпусами и программным обеспечением.
- Программирование: более 90% изменений, попадающих в основной код Anthropic, теперь пишутся Claude при участии людей.
- Кибербезопасность: Mythos 5.2 обнаруживает на 10,2% больше уязвимостей, чем Opus 5.5, по внутреннему тесту Anthropic.
Производительность и цена:
- До 30% быстрее предыдущего поколения.
- $8 за миллион входящих токенов.
- $40 за миллион исходящих токенов.
- Fast Mode: до 2,5 раза быстрее за $16/$80 за миллион токенов.
В чём разница?
Fable 5.2 и Mythos 5.2 используют одну базовую модель, но отличаются защитными механизмами.
Fable доступна широкому кругу пользователей. Mythos предназначена для проверенных организаций, работающих в кибербезопасности и биомедицинских исследованиях.
Claude Fable 5.2 уже доступна через Claude, API, AWS, Google Cloud и Microsoft Azure.
Официальный анонс: https://www.anthropic.com/claude-fable-and-mythos-5-2
@ai_machinelearning_big_data
#Claude #Anthropic
LATCH: минималистичный протокол для безопасных действий ИИ-агентов
Разработчик Антон Баланов представил LATCH, открытый протокол, позволяющий ИИ-агентам взаимодействовать с внешними сервисами через обычные HTTPS-запросы.
Идея в том, чтобы агент мог не только получать данные, но и выполнять действия с явным подтверждением условий.
Например, агент хочет заказать 3D-печать детали. Вместо немедленного оформления заказа используется последовательность:
1. `ask` - узнать доступные материалы и возможности сервиса.
2. `quote` - получить точные условия заказа без его выполнения.
3. `approve` - подтвердить предложение, привязав согласие к SHA-256-хешу условий.
4. `commit` - выполнить подтверждённое действие с ключом идемпотентности, защищающим от случайных повторов.
5. `status` - проверить состояние задачи и получить отчёт сервиса.
В основе обычные JSON и HTTPS. Никаких обязательных SDK, облачных посредников и внешних зависимостей.
Референсная реализация написана для Node.js 20+, есть независимый PHP-провайдер и дополнительный мост к MCP.
LATCH не заменяет MCP или A2A. Он решает более узкую задачу: разделяет получение предложения, подтверждение и выполнение действия.
Это особенно полезно для агентов, которые работают с заказами, платежными сценариями или другими операциями с последствиями.
Проект пока экспериментальный, версия протокола 0.1. Для продакшена потребуется самостоятельно обеспечить аутентификацию, авторизацию и надёжное хранение состояния.
Лицензия MIT.
GitHub: https://github.com/Balanov/latch
🌟 Inclusion AI предложила метод спекулятивного декодирования с параллельной сборкой дерева черновиков
Метод UBTree ускоряет вывод больших языковых моделей.
Спекулятивное декодирование поручает черновик небольшой модели, а целевая проверяет сразу несколько предложенных токенов одним проходом и принимает их до первой ошибки.
UBTree относится к той же семье параллельных драфтеров, что DFlash и DSpark, и закрывает их недостаток - они предлагают весь блок токенов одновременно и потому работают быстро, но на размытых распределениях целевой модели, где несколько продолжений близки по вероятности, угадывают хуже.
Черновик в UBTree собирается двумя параллельными проходами:
🟢первый делает модель DFlash, которая подбирает по 64 варианта токена на каждую из шестнадцати позиций блока, причём каждую позицию считает независимо от соседних;
🟢биграммный селектор оценивает, насколько один вариант годится в продолжение другому: пару соседей он прогоняет через два небольших перцептрона поверх замороженных эмбеддингов целевой модели, отдельно для предшественника и для последователя, и добавляет полученную оценку к оценке DFlash с весом, зависящим от глубины.
Все пары считаются одновременно, из оценок переходов набирается дерево на 64 узла, и целевая модель проверяет его целиком за один проход.
Селектор обучали на откликах, перегенерированных при высокой температуре, с перенормированной KL-функцией потерь - так в разметку попадают не только самые вероятные продолжения, но и правдоподобные альтернативы, за счёт которых дерево чаще совпадает с выбором целевой модели.
Вместе с методом выложены две черновые модели - Ling3-Tiny-UBTree на 183 млн параметров работает в паре с Ling-3.0-tiny (8 млрд параметров, 1 млрд активных), Ling3-Flash-UBTree на 482 млн - с Ling-3.0-flash (124 млрд, 5 млрд активных).
Они ничего не генерируют и нужны только как драфтеры к своей целевой модели.
Поддержка UBTree для Ling3 в SGLang пока не опубликована. Команда обещает дополнительные черновые модели в течение месяца.
Claude самостоятельно опровергла гипотезу экспоненциального времени
Anthropic опубликовала статью «A 2^o(n) Time Algorithm for 3-SAT» с автором «Claude, Anthropic». Детерминированный алгоритм решает 3-SAT за субэкспоненциальное время, что опровергает Exponential Time Hypothesis. Он же считает и число выполняющих наборов в задаче #3-SAT.
Ядро алгоритма 16 октября нашла внутренняя исследовательская модель Claude: 14 миллионов выходных токенов и ни одной человеческой подсказки. Сегодня доказательство оформлено в Lean 4, 1050 модулей поверх Mathlib, проверка ядром Lean и независимым чекером nanoda. По словам Anthropic, Claude Opus 5.5 может вывести результат заново по короткому техническому наброску. OpenAI почти одновременно заявила о собственном опровержении ETH.
Оговорки в самой статье. Формализацию писали ИИ-модели и проверяли другие экземпляры тех же моделей, и ни один человек пока не известен как проверивший её целиком. Результат чисто асимптотический: для типичной формулы выигрыш у перебора появляется лишь при числе переменных порядка 10^10000, к решению формул на практике и к вопросу P против NP он не приближает. В Challenge.lean остаются два sorry, это две теоремы без доказательств для проверки.
Источник: https://github.com/anthropics/formal-math/tree/16a5ce41304fcdaea4e0be7c132e1c361dc26da5/eth
Если энтропия всегда растёт, почему молекулы могут вернуться туда, откуда начали?
В 1896 году молодой математик Эрнст Цермело поставил перед Людвигом Больцманом неудобный вопрос.
Он использовал теорему возвращения Пуанкаре: при определённых условиях ограниченная механическая система почти для любого начального состояния рано или поздно вернётся сколь угодно близко к нему.
Представьте газ, первоначально собранный в одной половине закрытого сосуда. После удаления перегородки он заполнит весь объём. Но теорема допускает почти полное возвращение к исходному состоянию.
Как это совместить с необратимым ростом энтропии?
Больцман не отвергал математику. Его ответ опирался на вероятность: для обычного газа подобного возвращения пришлось бы ждать немыслимо долго.
Равновесию соответствует колоссально больше микроскопических состояний, чем газу, собравшемуся в углу. Поэтому движение к равновесию подавляюще вероятно, а обратный процесс практически ненаблюдаем.
Спор помог прояснить статистическую природу второго начала термодинамики: макроскопическое уменьшение энтропии чрезвычайно маловероятно, но не запрещено самими законами механики.
https://plato.stanford.edu/entries/statphys-statmech/
Вопрос с собеседования по ML: зачем делить на корень из d в attention?
Разбор популярного вопроса на собеседованиях по машинному обучению: почему в attention
скалярное произведение делят на корень из d.
Показываем на реальных расчётах, как без этого softmax насыщается, а градиенты пропадают. Сохрани, чтобы не завалить на интервью.
https://www.youtube.com/shorts/sbkDkGJU1ww
Сколько стоит разделить рекомендательный пайплайн на стримы
Разделить большой пайплайн на независимые стримы — не значит бесплатно упростить разработку. У такого подхода есть цена: отдельные структуры приходится создавать для каждого стрима, а часть операций выполняется последовательно.
В AI VK решили эту проблему двумя оптимизациями: повторно используют компоненты пайплайна между запросами и стримами, а вычисленные признаки — переиспользуют между стримами в рамках одного запроса. В результате переход не привёл к заметному росту потребления ресурсов.
Как устроена эта архитектура и что она меняет в работе команд — читайте в статье.
Виртуальных агентов обсудят на митапе «Русское техно 2» от MWS 23 октября. ⚡ Успейте зарегистрироваться.
В программе доклады и дискуссии по темам:
— Как построить control plane для персональных ИИ-агентов на Kubernetes.
— Как построить агентный производственный процесс в связке с Harness.
— Подходы к управлению командами с ИИ-агентами. Как меняются метпроцессы внутри команды?
— Когда ИИ-агент становится экономически оправданным.
А также участников ждет битва промптов и нетворкинг.
Когда: 23 октября
Формат: офлайн в Москве и онлайн
Зарегистрироваться
One Day Offer: стань щитом для миллионов клиентов! 🔥
В департамент противодействия мошенничеству Сбера нужен аналитик данных в антифрод — чтобы разбирать тренды мошенничества, находить скрытые паттерны и превращать их в правила защиты.
Готов к таким задачам — добро пожаловать на One Day Offer: отбор за один день, разбор реальных кейсов, быстрая обратная связь.
24 октября, онлайн, регистрация и подробности — здесь!
🔎 RAG нашёл документы. Но следует ли ответ из этих документов?
На Hugging Face опубликован Jev-RAG-Claim-Verification-130K: датасет для исследования галлюцинаций и проверки того, подтверждаются ли утверждения предоставленным контекстом.
Внутри 130 тысяч проверок, построенных на 12 118 ответах из RAGTruth. Для каждой сохранены исходная разметка и отдельное предсказание проверяющей модели jev-1.13.0.
21 181 расхождение между моделью и разметкой. В 1 265 категориальных проверках модель сообщала уверенность не ниже 90%, но её решение расходилось с эталоном. Готовый материал для разбора уверенных ошибок, хотя само расхождение ещё не доказывает ошибку модели.
https://huggingface.co/datasets/MaziyarPanahi/Jev-RAG-Claim-Verification-130K
Ник Матсакис предлагает для Rust северную звезду эпохи ИИ-агентов: ноль unsafe-кода
Один из ключевых людей в дизайне Rust опубликовал текст о том, что кодинг-агенты значат для языка. Это письменная версия доклада на REBASE в рамках SPLASH. Сам автор называет содержимое «недопечёнными идеями», так что это видение, а не предложение новых фич.
Выводы такие: люди в программировании всё ещё нужны, дизайн языков по-прежнему важен, а Rust хорошо подходит для агентной разработки и может подойти ещё лучше.
По производительности аргумент простой. Хорошие значения по умолчанию плюс явные ручки для тонкой настройки. По словам автора, люди, которые раньше вручную оптимизировали криптографический код, теперь обращаются к агентам. Вместе с профайлером вроде dial9 получается цикл: бенчмарк, профиль, агент предлагает правку, PR в репозитории.
С надёжностью сложнее. Типы удерживают агента в рамках, но тесты показывают наличие багов, а не их отсутствие, и типы гарантируют лишь отсутствие определённых классов ошибок, а не корректность результата. Тут нужны доказательства. Для Rust уже есть Verus, Creusot, Aeneas и Kani. При этом типы продолжают играть роль, потому что делают доказательства дешевле. &mut даёт гарантию уникальности, и Verus опирается на borrow checker именно ради этого, чтобы солверу было проще.
Куда, по мнению Матсакиса, стоит двигаться: более выразительная система типов (view types, внутренние ссылки, даже проверка вроде «в лог не попадают персональные данные»), расширяемый компилятор, чтобы инструменты доказательств не жили на костылях из макросов и привязке к конкретным версиям компилятора, и поддержка доказательства корректности unsafe-кода.
Северная звезда: больше никакого unsafe. Это не значит убрать ключевое слово. Это значит уметь доказать, что весь unsafe-код корректен и не приводит к неопределённому поведению.
Главной открытой проблемой автор называет дизайн, то есть решение о том, что вообще строить. Ставка на специализированные языки дизайна, которые превращают высокоуровневое намерение в проверки типов, линты или теоремы.
Для контекста Матсакис цитирует Дэвида Толная: инженеры Meta в этом году написали первосторонний Rust-кода вдвое больше, чем за предыдущие девять лет вместе взятые.
Блог: https://smallcultfollowing.com/babysteps/blog
Источник: https://smallcultfollowing.com/babysteps/blog
🧪 Sakana AI собрала команду ИИ-агентов для научных исследований
The Agentic Scientist объединяет агентов вроде Codex и Claude Code в полный исследовательский цикл: гипотезы, планирование, эксперименты, проверка результатов и написание статьи.
Главная идея: рост метрики ещё нужно объяснить. Система заранее задаёт критерии проверки и связывает утверждения в статье с экспериментальными данными.
В совместной работе человек ставит вопрос, направляет исследование и проверяет выводы. Агенты предлагают гипотезы, проводят эксперименты и оформляют результаты.
Одну работу, подготовленную с помощью системы, уже приняли на ALIFE 2026. Авторы делают ставку на совместные открытия человека и ИИ.
https://arxiv.org/abs/2610.18933