55446
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Директор национальной разведки США радостно заявила толпе, что скормила ChatGPT 80000 страниц секретных документов об убийстве Кеннеди
Талси Габбард на днях выступала на конференции Amazon Web Services и рассказывала про плюсы ИИ. В числе прочего она как бы между прочим рассказала, как советовалась с чат-ботом по поводу того, какие секретные материалы стоит опубликовать, а какие лучше оставить в тайне.
«Это значительно ускорило обработку этих документов» – добавила она.
После конференции она, правда, заявила, что это была система, развернутся внутри контура разведки (но это не точно)
Avito раскрыли много интересных деталей про свою AI-кухню
Совсем недавно компания открывала двери своего московского офиса в рамках Data Fest. Во время выстеплений инженеры Avito раскрыли много занятных тех.деталей об A-Vibe. Собрали основное:
➖ A-Vibe работает в два раза быстрее конкурентов на русском языке за счет кастомного токенизатора. Подменить токенизатор не так то просто: о том, как конкретно это делали можно почитать в нашей статье. Плюс, дообучение: 700 миллиардов токенов из открытых датасетов, обезличенные данные Авито и даже олимпиадные задачи.
➖ Модель также хорошо умеет работать с изобрежениями. Для обучения создали датасет из 200 тысяч изображений реальных объявлений и миллиона пар вопрос-ответ, используя большие VLM для генерации разметки. На проде модель уже генерирует описание к объявлениям и используется в рексис.
➖ В поддержке Авито агенты уже используют ИИ-инструменты. LLM научили переписывать ответы сотрудников поддержки, делая их более эмпатичными и грамотными. А когда диалог переходит от одного сотрудника к другому, модель делает саммари диалога, чтобы человек быстрее понял контекст.
➖ Оказывается, у Avito есть собственная единая платформа для всех ML-задач. Внутри – хранилище фичей, система разметки данных людьми и LM, а также решение для для оптимизации инференса (опенсорс!). Главная цель – чтобы каждый сотрудник мог создать и запустить модель без кода. Уже сейчас платформа экономит 30% железа и кучу рабочего времени.
➖ Над A-Vibe частично работали стажеры. Ребята работают над имплементацией свежих статей, пытаются решать проблемы типа взрыва градиентов и обучают модели с нуля. Один стажёрский проект даже сократил расходы на автоматическую проверку звонков в 10 раз.
Редкий случай, когда удается взглянуть на ИИ в бизнесе под таким углом. Авито – респект
CEO Nvidia Дженсен Хуанг рассказал, как он продал первую видеокарту OpenAI
«Это был 2016 год и мы создали суперкомпьютер для AI. 0 клиентов, 0 интереса, 0 хайпа. Только непонимание.
Но оказалось, что один молодой стартап был заинтересован. Я подумал, что сейчас наконец-то продам видеокарту, но потом узнал, что это был non-profit стартап.
Но я все равно взял видеокарту и повез им ее сам. Стартап назывался OpenAI»
Цукерберг планирует еще побороться: Meta пересобирает ИИ-отдел
Помните новость о том, что после неудачного выхода Llama 4 Цукер психанул и обещал провести "большие изменения в составе" команд?
Ну так вот, он действительно решил это сделать. Говорят, сейчас CEO лично отбирает 50 человек (в том числе нового руководителя ИИ-рисерча), которые будут работать над ASI. Даже столы в офисе передвинул, чтобы эта команда сидела рядом с ним. Отделение будет называться Meta’s Superintelligence Group.
Звучит дорого. Надеемся, принесет плоды
MWS AI (ex MTS AI) представили open-source версию ИИ-ассистента для программистов — Kodify Nano.
Что умеет: писать код по текстовому запросу, объяснять его, генерировать юнит-тесты и документацию. Модель поддерживает Python, Java, JavaScript, C# и ещё ряд языков, содержит 1,5 миллиарда параметров и поддерживает контекст 32 тыс. токенов (примерно 16–25 тыс. строк кода).
Под капотом – Qwen2.5-Coder, дообученная командой на собственном датасете. Можно использовать в закрытом контуре, дообучать под себя, подключать к любимым редакторам через плагин.
Попробовать уже можно на сайте MWS AI.
К слову, сегодня еще и мощно удешевили обычную o3 – она теперь стоит на 80% меньше
Теперь по ценам так:
🟦 o3 – $2.00 / 1M input, $8.00 / 1M output (было 10$ и 40$)
🟦 o3 pro – $20 / 1M input, $80 / 1M output (o1-pro 150$ и 600$)
Получается, цена o3 теперь на уровне с Gemini 2.5 Pro (1.25$ и 10$)
21 июня в штаб-квартире Яндекса в Москве снова пройдет Welcome Time. В этот раз ребята из команд R&D подробно расскажут об AI-продуктах компании
Программа будет интересна даже тем, кто далек от рисерча и аналитики. Смотрите сами:
➖ Ирина Барская – руководитель службы аналитики и исследований – расскажет про технологии R&D и чем такие исследования отличаются от обычной аналитики продукта
➖ Иван Дёгтев – руководитель аналитики генеративных моделей – точечно остановится на YandexGPT
➖ Елена Вольф – аналитик-разработчик YandexGPT – расскажет об использовании YandexGPT в качестве RAG-ассистента для техподдержки
➖ Артём Хуршудов – руководитель аналитики визуальных генеративных моделей – сфокусируется на картинках и покажет YandexART и YandexVLM
➖ Арсений Нестюк – руководитель аналитики распознавания речи – поговорит про звук и обсудит голосовые технологии Алисы
Ну а для тех, кто хочет проверить себя, проведут еще и диагностику навыков аналитики и математической статистики. Если пройдете успешно, то в течение двух лет это можно будет засчитать как техническую секцию при собеседовании в Яндекс.
Не забудьте зарегистрироваться до 19 июня
Apple даст разработчикам доступ к локальным ИИ-моделям компании
Об этом объявили на WWDC 2025. Apple запускают целый фреймворк Foundation Models, с помощью которого их модели можно будет встраивать в приложения.
При этом у пользователей при использовании приложений эти модели будут запускаться локально. Ну, например, вы создаете в FatSecret персональный план питания с помощью ИИ, но при этом ваши данные не улетают в облако, а остаются только на устройстве.
Говорят, что фреймворк достаточно интуитивный, с поддержкой Swift. Доступ к моделям или к tool calling можно будет получить всего в 3-5 строк кода.
machinelearning.apple.com/research/introducing-apple-foundation-models
Как обучать модели, если данных мало
Глубокое обучение показало SOTA-результаты во многих задачах, но есть нюанс: современные нейросети требуют огромного количества размеченных данных.
Разметка — это дорого, долго и нередко требует привлечения экспертов с доменными знаниями, что ещё больше усложняет процесс. Эта проблема возродила интерес к методам, которые позволяют работать с частично размеченными или даже неразмеченными данными.
PWS — это метод, который умно комбинирует разные источники слабых меток. Он агрегирует их, учитывает корреляции и противоречия между источниками, что минимизирует шум.
Среди популярных библиотек для weak supervision — Snorkel, которая реализует PWS и гибко комбинирует слабые источники разметки.
Тем временем в соцсетях люди массово обсмеивают Apple за их новую статью про способности ризонинг-моделей
Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет.
Однако не все относятся к ней просто как к исследованию. Многие настаивают, что Apple ничего не смогли добиться в области ИИ сами, и поэтому теперь переключились на написание статей про то, что «все это не имеет смысла».
Звучат даже апелляции к авторитету и мысли о том, что ученым из Apple доверять нельзя, потому что они не выпустили ни одной передовой модели 🤷♂️
Справедливости ради, надо сказать, что Apple не заявляли что «ИИ не работает». Они просто поставили эксперимент и написали об этом статью.
Получилось обычное эмпирическое исследование, на которое очень необычно отреагировала общественность
А вы читали статью? Как вам?
Ян Лекун yannlecun/post/DKmejx6tFXd?xmt=AQF0Ee07X9vUoXayqXuQqlFXP7q6Q2CaO8OsCVSleBGhww">назвал CEO Anthropic Дарио Амодеи аморальным ИИ-думером с комплексом превосходства
Вчера в Threads Лекун выложил мем, в котором поиронизировал над AI-бумерами (так, если что, называют людей, которые преувеличивают опасности ИИ). Юмор зацените сами ⬆️
Так вот в комментах к этому посту ученого спросили, считает ли он ИИ-бумером Дарио Амодеи. На что Лекун ответил:
«Да, он думер, но при этом продолжает заниматься AGI. Это может означать одно из двух:
1. Он интеллектуально нечестен или морально испорчен.
2. У него огромный комплекс превосходства — он считает, что только он достаточно просвещён, чтобы иметь доступ к ИИ, а «немытые массы» слишком глупы или аморальны, чтобы пользоваться таким мощным инструментом.
На деле он просто очень заблуждается относительно опасностей и возможностей современных ИИ-систем»
Дилан Патель говорит что, судя по всему, OpenAI достигли потолка своих вычислительных возможностей
Их последний раунд претрейна (видимо, для GPT-4.5) был насколько масштабным, что они буквально уперлись в потолок и не смогут сделать ничего больше (в плане размера моделей), пока не появится Старгейт.
Поэтому сейчас фокус смещается на новые архитектуры, обучение с подкреплением и работу над эффективностью моделей.
Напоминаем, что Старгейт тем временем уже строится
Немного о том, как ИИ меняет внутренние рабочие процессы в бигтехе
В последнее время так и сыпятся новости о том, как бигтехи внедряют ИИ в написание кода и автоматизируют разработку. Microsoft хвастается, что у них AI пишет уже 30% кода, стартапы открывают вакансии вайб-кодеров, и даже в OpenAI разработчики делигируют задачи в ChatGPT.
У нас девелоперы тоже не отстают. Даниэль, фронтенд-разработчик из Яндекса рассказал о том, как у них нейросети меняют рабочие процессы. В компании тоже активно внедряют ИИ во всех командах.
Причем очень многие пилят свои пет-проекты и MCP, которые затем распространяются по командам, и на фоне этого образовывается целое сообщество. Сейчас во внутреннем чатике энтузиастов уже более 1000 человек.
О конкретных кейсах и о том, чем именно чаще всего пользуются сотрудники – читайте сами в посте. Очень показательно.
Поделитесь, какой процент строк кода в ваших проектах уже написан сетями?
Sakana AI релизнули модель для генерации моделей
Она называется Text-to-LoRA. LoRA – это метод файнтюнинга, когда мы вместо полного дообучения всей сети настраиваем для нужных нам задач специальные низкоранговые адаптеры.
Это довольно эффективный метод, но и он требует сбора данных и какого-никакого обучения.
Sakana же предлагают модель, которая на лету генерирует сразу готовые LoRA адаптеры из обычного текстового промпта. Например, на вход: «хочу модель для анализа отзывов в картах». На выход: готовые веса адаптера, которые не надо обучать, а остается только запустить.
Под капотом у T2L лежит классический hypernetwork-подход. Гиперсеть получает на вход эмбеддинг описания задачи вместе с эмбеддингами для каждого слоя исходной модели, а потом через серию MLP-блоков генерирует нужные низкоранговые матрицы A и B, которые сразу прикладываются к базовым весам. Это и есть готовый LoRA-адаптер.
На тестах это работает хорошо: в среднем +8 % к точности над исходником. Это примерно на уровне или даже лучше, чем ручные LoRA и мульти-задачные LoRA.
Представьте, насколько это снижает порог входа в тюнинг моделей для не-инженеров
Статья | GitHub
Хорошие новости: OpenAI удвоили лимиты на o3 для Plus юзеров
Конечно, o3-pro все еще недоступна в подписке за 20 долларов, но зато, после падения цен, в ней удвоились лимиты на обычную o3. Раньше было 100 запросов в день, теперь будет 200. Хватит практически на все.
Кстати, вчера исполнилось ровно 5 лет API OpenAI. Его запустили 11 июня 2020 года, после выхода GPT-3.
Автоматизируйте ML-эксперименты с GitLab CI/CD и CML
📅 17 июня в 20:00 мск — бесплатный вебинар с Николаем Осиповым
Хотите, чтобы эксперименты запускались сами, метрики попадали в Merge Request, а модели легко воспроизводились?
На вебинаре:
— Интегрируем GitLab CI/CD в ML-процесс
— Используем CML для автоматической визуализации результатов
— Запускаем обучение моделей при каждом коммите
— Настраиваем работу в облаке и версионирование через Git
📌 Полезно для:
— Data Scientists, внедряющих MLOps
— ML-инженеров, автоматизирующих пайплайны
— Техлидов, выстраивающих эффективный ML-конвейер
🎯 Итог: настроите стабильную и воспроизводимую систему ML-разработки — без ручного запуска, с чистыми метриками и контролем версий.
Присоединяйтесь к бесплатному вебинару и получите скидку на большое обучение онлайн-курса «MLOps».
👉 Регистрируйтесь по ссылке и начните выводить ML на прод https://otus.pw/RZLI/?erid=2W5zFGwMVAg
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Fun fact: новая o3-pro все еще намного слабее модели o3 preview, которую OpenAI показывали в декабре
Когда o3 только анонсировали (пост от 20 декабря), на ARC-AGI она выбивала почти 80% при самом низком бюджете ризонинга.
Выпущенная недавно для всех o3 при самом высоком бюджете ризонинга выбивает всего 60 с хвостиком, и вышедшая вчера o3-pro – примерно столько же. Смотрите график.
Что это значит? Что ту самую o3, скорее всего, так и не выпустят (уж очень дорогая). Зато, возможно, будет оптимизированная o4, которая выйдет на тот же уровень и будет в разы дешевле.
Сэм Альтман в честь выхода o3-pro выпустил эссе под названием «Нежная сингулярность»
Снова пишет про будущее, но теперь среди прочего – конкретные предсказания (да). Итак, топ цитат:
Мы прошли горизонт событий; взлет начался. Человечество близко к созданию цифрового суперинтеллекта, и, по крайней мере, пока это гораздо менее странно, чем, как кажется, должно быть. Роботы пока не ходят по улицам, и большинство из нас не общаются с ИИ весь день.
В 2025 году появились агенты, способные выполнять настоящую когнитивную работу; написание кода уже никогда не будет прежним. В 2026 году, скорее всего, появятся системы, открывать новые идеи. В 2027 году могут появиться роботы, способные выполнять задачи в реальном мире.
В 2030-х годах интеллект и энергия — идеи и способность воплощать идеи — будут в диком изобилии. Эти два фактора долгое время были фундаментальными ограничителями человеческого прогресса; при их (и хорошем управлении) мы теоретически можем иметь что угодно.
Мы очень быстро переходим от удиаления, что ИИ может написать абзац, к удивлению, когда он может создать прекрасно написанный роман. Или от удивления, что он может написать небольшую программу, к удивлению, когда он может создать целую новую компанию. Вот как проходит сингулярность: чудеса становятся рутиной, а затем базовым минимумом.
По мере автоматизации производства центров обработки данных стоимость интеллекта должна в конечном итоге приблизиться к стоимости электроэнергии.
Скорость создания новых чудес будет колоссальной. Сегодня даже трудно представить, что мы откроем к 2035 году; может быть, за один год мы перейдем от решения физики высоких энергий к началу колонизации космоса. Конечно, будут и сложные моменты: например, исчезнут целые классы профессий. Но люди по-прежнему будут способны адаптироваться практически ко всему.
⚡️ o3-pro – вышла
По бенчмаркам – заметный скачок производительности на математике и кодинге по сравнению с обычной o3. И при этом, что интересно, модель почти в 8 раз дешевле o1-pro.
Уже раскатили на всех Pro юзеров. У кого 200$ завалялись?
Mistral выпустили ризонинг-модель Magistral
Есть открытая версия Small на 24В и закрытая Medium – побольше. Medium работает на уровне R1 (непонятно, обновленной или нет).
Русский язык поддерживается, он в числе тех, на которых модель «думает лучше всего».
Еще хвастаются своей скоростью инференса: говорят, в режиме ризонинга с Flash Answers получать ответы можно в 10 раз быстрее, чем у конкурентов.
Попробовать превью бесплатно можно в Le Chat
Веса | Блогпост | Статья
OpenAI пробила 10 миллиардов годового дохода
Сюда включены подписки, бизнес-продукты и API. В прошлом году этот показатель составлял 5.5 миллиардов. Тем не менее, это не значит, что компания вышла на положительную прибыль.
Свои операционные расходы OpenAI не раскрывает, но известно, что в плюс они планируют выйти только к 2029. Ожидается, что к этому времени доход стартапа увеличится до 125 миллиардов в год.
Оказалось, что ИИ-компании тратят миллионы на лоббирование Вашингтона – и это уже работает
Издание Politico выпустило большую статью про то, как ИИ-гиганты лоббируют правильство США. Что происходит:
➖ OpenAI и Anthropic уже построили полноценные отделы по связям с правительством — только за последние месяцы они наняли десятки сотрудников, отвечающих за политику и лоббизм.
➖ Остальные компании в этом смысле менее активны, но уже включаются. Nvidia в марте зарегистрировала первых внутренних лоббистов.
➖ Цель компаний – участвовать в формировании законопроектов и добиваться ослабления регулирования.
➖ И это уже работает. Конгресс одобрил 10-летний мораторий на законы об ИИ на уровне штатов – ровно то, что просили компании.
➖ Основной инстумент лоббистов – Китай, потому что Белый дом поддерживает ИИ-индустрию в первую очередь как инструмент глобального соперничества.
И вот еще занятный факт: уже сейчас ИИ-компании лоббируют больше, чем табачная и нефтяная отрасли вместе взятые. Как итог: ИИ-компании регулируются минимально и получают госзаказы на миллиарды, а данные пользователей и социальные эффекты от ИИ все больше и больше остаются без присмотра.
www.politico.com/news/2025/06/06/the-ai-lobby-plants-its-flag-in-washington-00389549
Классный разбор того, как обучать ML-модели в условиях дефицита размеченных данных от ребят из финтеха Точка.
Ясно и по делу, ёмко собрано всё про действительно рабочие подходы, Weak Supervision и эвристики автоматизации разметки с помощью баз знаний, краудсорсинга и языковых моделей.
Советуем прочитать полностью. Особенно будет полезно тем, кто прямо сейчас работает над проектами с ограниченным бюджетом и временем на разметку. Обратите внимание на PWS: ребята рассказали о нём очень подробно и практично, и это правда то, что часто спасает на проде.
Кстати, на канале Точки .ml вообще много таких прикладных материалов, обзоров фреймворков и выжимок из статей, так что – подписывайтесь.
Илья Суцкевер получил степень почетного доктора наук и впервые за долгое время произнес речь на публике
Доктор наук honoris causa – это более высокая степень, чем PhD. Она присуждается не в результате обучения и не за защиту диссертации, а за значительный вклад в науку.
Суцкеверу премию присудил университет Торонто, в котором он раньше был аспирантом и занимался ИИ-исследованиями с Джеффри Хинтоном. Это четвертая степень Ильи от этого университета.
Полная речь ученого в честь получения премии – здесь. Мы выделили несколько значимых цитат:
Как я понимаю, в речи на выпускной церемонии принято давать мудрые советы. Я дам один — всего один. Есть состояние ума, которое, если его принять, делает вещи намного проще: принимать реальность такой, какая она есть, не жалеть о прошлом, а стараться улучшать ситуацию.
Наступит время, когда ИИ сможет делать все, что умеем мы. Я в этом уверен, потому что
наш мозг — это биологический компьютер
. А если биологический компьютер может это делать, то почему цифровой компьютер не сможет?
Есть цитата: «Вы можете не интересоваться политикой, но политика заинтересуется вами»
.
С ИИ это работает
ещё в большей степени
.
В конце концов, никакие статьи или объяснения не заменят того, что мы видим своими глазами. Главное – не отворачивайтесь от ИИ.
Смотрите внимательно, думайте, готовьтесь.
Когда придет время, именно это даст вам силы справиться с колоссальными изменениями.
Вызов ИИ –
величайший в истории человечества
. Но и награда за его преодоление может стать самой большой. Нравится вам это или нет — ИИ повлияет на вашу жизнь в огромной степени.Читать полностью…
Иллюзия рассуждений: Apple выпустили честную статью про ограничения ризонинг-моделей
Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо лучше по сравнению с моделями без ризонинга.
Но на самом деле ризонинг модели, их способности и масштабируемость изучены очень мало. Все, что мы видели, это графики "чем больше компьюта – тем лучше ответы", но это взгляд только с одной стороны, и, вообще говоря, о самой природе ризонинга мы знаем немного.
Apple решили немного развеять мифы вокруг рассуждений и провели простой эксперимент. Они взяли несколько головоломок, которые можно итерационно усложнять и стали сравнивать на них ризонинг модели с обычными.
Ну, например, Хайнойская башня. Для трех колец она решается довольно легко, для четырех сложнее, для десяти еще сложнее и тд (но вообще-то существует общий алгоритм). Так вот, итог:
➖ На низкой сложности задач немыслящие LLM оказались лучше ризонинг-моделей. На средней сложности CoT действительно начинает давать преимущество, но на высокой и ризонеры, и обычные модели фейлятся полностью, вне зависимости от бюджета компьюта.
➖ При этом на несложных задачах часто происходит overthinking: модель почти сразу доходит до правильного ответа, но не фиксирует его, не останавливается и зачем-то продолжает "думать", просто чтобы потратить бюджет ризонинга.
➖ А на сложных задачах – наоборот. При приближении к критической сложности модели сокращают объём «think» токенов, хотя лимит не исчерпан – они просто устают думать раньше времени.
➖ Даже когда модельке дают готовый общий алгоритм решения, её точность не растёт, и коллапс происходит в тех же точках сложности.
➖ Ну и, плюс, рассуждения почему-то не генерализируются. На более известных головоломках модель еще как-то думает, а на менее известных, даже если они легче, рассуждения не помогают, и точность падает даже на низких уровнях.
На Тех-Френдли Викенд готовят ивент, который позволит по-настоящему примерить на себя роль кибербезопасника
Организаторы фестиваля проведут мастер-класс «Ctrl+Alt+Defend» от ведущего провайдера комплексного кибербеза «Солар». Под руководством опытных экспертов вы будете расследовать инциденты, выявлять уязвимости и даже отражать смоделированные атаки на «Тех-Френдли Викенд» в режиме реального времени.
Идеальная возможность попробовать свои силы и новую специальность.
Мастер-класс пройдет 8 июня в 13:30 в Нижнем Новгороде (молодежный центр «Высота»).
Не забудьте зарегистрироваться и пройти быстрое тестирование, чтобы вас могли распределить в нужную команду: пентест, blue team или CISO.
Ну а если не готовы ехать в Новгород, проходите интерактивные задания у ребят в блоге и выигрывайте мерч "Солара".
А пока Cursor празднует новый раунд инвестиций, у других провайдеров вайб-кодинга Windsurf что-то пошло не так
Anthropic почти полностью отрубили им доступ к своим моделям, включая так любимые разработчиками Sonnet 3.7 и 3.5.
Все из-за того, что стартап покупает OpenAI (подробности – здесь). Кстати, подтверждения окончательной сделки пока все еще не было, но антропики видимо решили действовать заранее.
Они говорят, что ограничены в вычислениях, и хотели бы тратить их на «более надежное сотрудничество». CSO Anthropic Джаред Каплан сказал, что «было бы странно продавать наши модели OpenAI».
В чем они не правы?
Eleven Labs удивили всех своей новой моделью синтеза речи
Казалось бы, в наше время уже сложно таким впечатлить, но их новая text2speech Eleven v3 смогла. Послушайте демо и сами все поймете.
Модель может: петь, смеяться, вздыхать, шептать. И, в целом, звучит все ну очень естественно (даже иногда не по себе 😬). Можно генерировать мульти-голосовые диалоги и детально контролировать интонации тегами (как на видео). Поддерживают около 70 языков, русский тоже.
Сейчас модель вышла в публичную альфу, и в июне на нее будут скидки 80%. Пишут, что, так как это исследовательское превью, модель пока требует больше промпт инжиниринга. Видимо, пока не тюнили отдельно на instruction following.
Пробуем здесь