90396
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
OpenAI начали удалять некоторые китайские и корейские аккаунты
Не какие попало, конечно, а только те, которые они подозревают в использовании технологии с целью мошенничества.
Якобы одни злоумышленники использовали ChatGPT, чтобы писать фейковые статьи «порочащие США» на испанском, другие, чтобы пилить сотни резюме и фиктивно получать работу в американских компаниях, а третьи, чтобы генерировать оскорбительные комментарии в Твиттере.
Версия правительства США: Азия использует ИИ, чтобы подорвать репутацию и безопасность Америки 🍿
Новость
👥 Совет IT-спецам на 2025 год - чаще посещайте тематические мероприятия
❔Зачем тратить время на Ютубчик, когда можно интересно проводить время, при этом развивая свои навыки!
💡А чтобы не гуглить афиши и не подписываться на сотню разных каналов, IT-мероприятия России уже собрали все самые топовые события в одном месте.
👨💻 В этом канале ты найдешь самые актуальные и интересные события: анонсы форумов, конференций, митапов, вебинаров, хакатонов, олимпиад и многое другое.
⚡️ Все твои коллеги уже здесь - IT-мероприятия России / ITMeeting / IT events.
🔥 Присоединяйся и будь в курсе самых топовых IT-event'ов!
Аналитическая ИИ-лаборатория EpochAI опубликовала свои прогнозы на 2025:
⭐ К концу года FrontierMath будет решен на 75%. На данный момент это самый сложный мат.бенчмарк. Текущие модели (включая o3-mini) решают его на <10%, а o3, судя по анонсам, будет решать примерно на 25.
⭐ SWE Bench Verified будет решен на 90% (сейчас это <40).
⭐ Доход OpenAI составит примерно 12 миллиардов долларов. Это почти в 3.5 раза больше, чем в 2024.
⭐ Модели будут пока становиться больше, и можно ожидать повышение цен на API в 2-3 раза.
⭐ В целом прогресс за 2025 можно будет сравнить с прогрессом, который мы до этого наблюдали в течение двух лет, то есть с момента выхода GPT-4.
Отчет
Всплыло, что Илон Маск тихо построил еще один огромный датацентр стоимостью 700 миллионов долларов
Он расположен в Атланте, построен в сотрудничестве с X, и насчитывает 12000 GPU. Это не так много по сравнению с другим суперкомпьютером Маска, в котором 200к чипов, но все равно масштабно. Официальное назначение пока не раскрывается.
“Ъ” и Центральный университет выпустили совместный проект “Директора и люди”, посвященный стратегиям крупного бизнеса и участию выпускников вузов в реализации этих стратегий. Его первым гостем стал глава Т-Банка Станислав Близнюк.
Разобрали на цитаты основное:
У нас три ценности - клиенты, сотрудники и акционеры, причем именно в таком порядке.
Любой бизнес имеет шанс на рост, только если он вкладывается в науку
Работодатель должен выступать заказчиком университета. Сегодня это не совсем так, и работодатель часто считает, что кадры можно найти в капусте. Но нет, нельзя. Их надо взращивать, и это то, что мы делаем в ЦУ. Поэтому наши выпускники "золотые".
У нас есть понимание того, что какая-то доля набора в Т-Банк должна быть в виде джунов. Очень важная задача – брать кого-то молодого, необтесанного, но умного и перспективного.
Капитал школьника – напористость и любопытство. Первый, второй, третий, четвертый курс - это тот самый уникальный момент, когда нужно реализовывать этот капитал, который будет тебя потом кормить.Читать полностью…
FigureAI только что представили своего нового робота-гуманоида, который оснащен ризонингом
FigureAI раньше работали с OpenAI, но месяц назад разорвали контракт и сделали заявление о том, что до весны представят что-то абсолютно новое. Кажется, их новый Helix – это оно, и они деликатно уточняют что «разработали его полностью самостоятельно».
По словам создателей Helix мыслит, как человек, и может справиться с любой домашней утварью, даже если никогда раньше (то есть в трейне) ее не видел. Судя по графикам из статьи, генерализация там действительно на уровне.
А еще он воспринимает речь и может взаимодействовать с человеком/другим роботом. При этом для всего этого используется единая небольшая модель VLA (Vision-Language-Action) на 7В.
Тех.репорт с деталями и тестами:
www.figure.ai/news/helix
❓ Сможете ли вы пройти тест на «Data Engineer»?
https://otus.pw/S1j1/
🎯 Под силу ли вам ответить правильно на все 20 вопросов?
Проверьте себя - пройдите тест и оцените свой уровень навыков, а также свою готовность к обучению на курсе — «Data Engineer» от Отус.
🔥 После прохождения теста вы получите доступ к лучшим вебинарам курса!
Курс доступен в рассрочку.
👉Пройти тест бесплатно по ссылке: https://otus.pw/S1j1/?erid=2W5zFGrdMzx
#реклама
О рекламодателе
Срочный общий сбор: Grok-3 открыли для всех бесплатно!
Написали, что это будет продолжаться «пока серверы не упадут», так что лучше поторопиться с экспериментами 👇
x.com/i/grok
Стали известны название и состав нового стартапа Миры Мурати – бывшей CTO OpenAI
Напоминаем, что Мира ушла из OpenAI в сентябре. Она почти сразу объявила о том, что собирается открывать собственную компанию и даже уже искала инвестиции и переманивала сотрудников из OpenAI.
И вот наконец-то у стартапа появился лендинг и официальный начальный состав. Оказалось, что компания будет называться Thinking Machines. Сама Мира станет CEO, на место главного научного сотрудника назначен сооснователь OpenAI Джон Шульман. Он ушел из OpenAI почти одновременно с Мирой, и после этого недолго работал лидом команды элаймента в Anthropic.
Также известно, что тех.диром станет Баррет Зоф. Он тоже работал в OpenAI и был там CRO (chief research officer). Также к Мире присоединились Лилиан Венг, Александр Кириллов из Meta, Кристиан Гибсон и еще с десяток очень именитых ученых. На сайте можно посмотреть полный список и краткое описание заслуг каждого.
Ждем от них чего-то интересного
Perplexity AI релизнули DeepSeek R1 без китайской цензуры
В блоге они написали:
R1 1776 – это DeepSeek-R1, которую мы дообучили, чтобы убрать из нее цензуру китайской коммунистической партии. Модель сохраняет свои мощные способности ризонинга, но при этом теперь предоставляет беспристрастную и фактически точную информацию.
Андрей Карпаты написал исчерпывающий отзыв на Grok-3. Смотрим:
✅ Решил задачи про r в strawberry, 9.11 и 9.9 и логические детские примеры, но что-то из этого только в режиме Thinking
✅ Справился со сложной задачей на написание игры (среди остальных такой же тест прошла только o1 pro, R1, Gemini и Claude не смогли). В целом Thinking mode довольно мощный
✅ Справился с задачей на расшифровку последовательности
✅ Справился с классической игрой в крестики-нолики, но на усложненной посыпался (o1-pro сыпится тоже)
✅ Хорошо справился со сложными подсчетами по статье GPT-2, на которых фейлится даже o1-pro
❌ Плохое чувство юмора
❌ С задачами на визуальное мышление типа генерация SVG картинок справляется не очень
❌ Иногда слишком пуглива в вопросах этики и не может философствовать на эту тему
Итог: модель лучше R1 и Gemini, и находится где-то на уровне o1-pro (200$). Учитывая, что команда xAI существует чуть больше года, это отличный результат.
Тем временем люди в Твиттере поделились на две группы: те, кто голосуют в опросе Альтмана про опенсорс за phone-sized model, и те, кто знает, что такое дистилляция
Читать полностью…
Это Большая Дата для нашего сообщества: приглашаем на большой митап по аналитике
📅 22 февраля в Москве и онлайне пройдёт митап для аналитиков от бизнес-группы Поиска и Рекламных технологий Яндекса. Послушаем доклады и попробуем свои силы в деловой игре по реальным кейсам из нашей практики.
В программе:
🔸 Павел Смирнов, руководитель команды дата-инженеров в Поиске и Рекламе. Расскажет, когда пора начинать строить единое логирование клиентской активности
🔸 Алексей Константинов, руководитель группы онлайн-метрик Поиска. Покажет, как сделать универсальную онлайн-метрику успешности сервиса на примере «Профицита»
🔸 Сайдаш Мифтахов, тимлид маркетинговой аналитики в международном Поиске. Объяснит, как Яндекс упрощает доступ в Поиск и растит долю рынка в Казахстане
✏️ Полный список тем докладов и форму регистрации ищите здесь.
Сэм Альтман: GPT 4.5 ощущается как AGI
В своем твиттере CEO OpenAI внезапно оживился сразу после презентации Grok-3. Сначала он намекнул, что GPT 4.5 уже тестируется и что тестировщики в восторге от модели, а затем произошло что-то совсем волшебное
Альтман спросил у аудитории, какой опенсорсный проект от OpenAI мы хотели бы видеть. Варианты: локальная модель, которую можно запустить даже на айфоне, или модель уровня o3-mini, которая запускается на GPU.
Напоминаем, что в этом году это уже не первые упоминания опенсурса от Сэма. После выхода o3-mini он писал, что OpenAI «оказались на неправильной стороне истории и им необходимо разработать другую стратегию опенсорса, но не все в компании разделяют это мнение».
Также xAI запускает собственный Deep Research. Это агент глубокого поиска, который работает аналогично Deep Research от OpenAI и встроен в Grok-3.
Правда думает, кажется, не так долго, как Альтмановский. На демо рассуждения и поиски в интернете заняли всего минуту.
Boston Dynamics опять радуют видео новинки. На этот раз показали миленького робо-байкера 🥰
Читать полностью…
Ничего особенного, просто твит ресерчера отдела безопасности OpenAI 😅
Читать полностью…
OpenAI поделились текущей статистикой
🟦 Сейчас еженедельно они обслуживают 400 миллионов юзеров. Еще в декабре было 300 миллионов, кстати.
🟦 Сейчас у стартапа 2+ миллиона корпоративных клиентов: это в два раза больше, чем пол года назад.
🟦 Трафик в API тоже удвоился за последние 6 месяцев. Причем для недавно вышедшей o3-mini с момента запуска рост составил x5.
Самое интересное, что DeepSeek, возможно, не только не помешал росту OpenAI, но и ускорил его. Дело в том, что появление такого конкурента разгоняет внимание к ИИ и привлекает новую аудиторию, как бы провоцируя ее изучать рынок.
Anthropic на своей новой презентации показали интересный график
Это employee retention rate, то есть процент сотрудников, которые были в стартапе в начале, и остались в нем по сей день.
У Anthropic эта метрика достаточно высокая, даже самая высокая среди всего ИИ-теха. OpenAI проваливается куда-то вниз, и, внезапно, у Perplexity тоже дела с этим не очень.
Там DeepSeek в честь недели опенсорса объявили, что будут 5 дней выкладывать репозитории с кодом их проектов
«Мы поделимся нашим небольшим, но честным прогрессом с полной прозрачностью. Это будут скромные строительные блоки нашего онлайн-сервиса, которые были задокументированы, развернуты и испытаны в реальных условиях»
Google выпустили агента-ученого AI co-scientist
В отличие от многих подобных проектов, агент не пишет статьи и не делает исследования end-to-end. Его цель – быть генератором идей и подкидывать настоящим ученым свежие целесообразные гипотезы.
AI co-scientist реализует весь цикл научного метода: генерация идей, отбор лучших, уточнение, ревью и так по кругу. Это похоже на то, как устроена структура ризонинга во многих моделях, но здесь за каждый этап отвечает отдельный супер-проработанный агент со своими инструментами:
➖ Generation agent: генерирует начальные гипотезы и направления исследования с помощью веб-поиска
➖ Reflection agent: критически оценивает гипотезы через детальные проверки и симуляции. Может запускать код.
➖ Ranking agent: организует турнир дебатов и таким образом сравнивает гипотезы попарно и ранжирует по Эло (как на LMSYS)
➖ Proximity agent: строит граф близости гипотез, объединяет их и выкидывает дубликаты.
➖ Evolution agent: совершенствует и уточняет оставшиеся гипотезы.
➖ Meta-review agent: сводит все в общий обзор и ревьюит.
Microsoft открыли новый революционный материал и сделали из него квантовый чип, который может открыть следующую эру вычислений
Причиной того, что сегодня мы пользуемся телефонами, ноутбуками и другой электроникой стали полупроводники, которые в 1833 открыл Фарадей. А сейчас, в 2025, Microsoft открыли топопроводники – материалы, которые могут наконец-то вывести квантовые вычисления на новый уровень масштабирования.
На основе этих топопроводников Microsoft сделали Majorana 1. По словам компании тут решается сразу две главных проблемы квантовых вычислений: скейлинг и ошибки вычислений. Это стоило ученым 20 лет трудов.
Дело в том, что обычно, чем больше кубитов в чипе, тем больше ошибок этот чип допускает. Но с топопроводниками это может измениться, и Majorana может без потерь масштабироваться до миллиардов кубитов. Для сравнения, сейчас в самых мощных квантовых чипах не более 150 кубитов.
При этом топопроводники очень «компактные», так что такой чип поместится на ладошке.
CEO Microsoft говорит, что все это открывает абсолютно новую эру, и что теперь, возможно, мы получим настоящие квантовые компьютеры не через десятилетия, а через считанные годы.
news.microsoft.com/source/features/innovation/microsofts-majorana-1-chip-carves-new-path-for-quantum-computing/
Тем временем в обновленном приложении Claude от Anthropic появились намеки на thinking режим, поиск в интернете и аналитические инструменты
Релиз в любой момент 🥁
OpenAI релизнули новый бенчмарк SWE-Lancer, который привязывает способности LLM к реальному экономическому эффекту
А сделали они это очень просто и изящно: взяли 1 488 заданий с фриланс-платформы Upwork общей стоимостью $1 миллион USD и проверили, сколько из них сможет решить модель. При этом не все задачи одинаковые. Они варьируются от мелких исправлений багов за $50 до сложных тасок по реализации новых фич за $32 000.
В этом как раз и фишка: задания оцениваются по реальным рыночным ставкам, а не гипотетическим оценкам сложности. В среднем, если что, такие задачи требуют изменения 2 файлов и 69 строк кода и решаются людьми за 26 дней.
Лучше всего себя показала Claude 3.5 Sonnet (да, не o1). Модель заработала $403 000. o1 high compute при этом заслужила $380 000, а GPT-4o всего $304 000.
Интересно было посмотреть на сравнение с затратами на API, но такого анализа пока не провели
arxiv.org/abs/2502.12115
Кстати, помните, Маск говорил, что планирует открыть ИИ-студию видеоигр?
Так вот теперь она действительно официально открылась внутри xAI, и туда набирают инженеров. Желающие?
Hugging Face выпустили бесплатный курс по файнтюнингу языковых моделей
Кто не знал, у HF есть большой замечательный курс по NLP со всеми основами от токенизации до трансформеров и других архитектур. И сегодня они добавили в него главу под названием Fine-Tune LLM. Внутри:
🟦 Технические основы файнтюнинга: как должны выглядеть данные, как они должны быть размечены, специальные токены и тд
🟦 Теория по LoRA и другим основным методом файнтюна
🟦 Практика на торче + рецепты оценки модели здорового человека
Емко, практично и максимально полезно. Кстати, если уверены в своих знаниях уже сейчас, в конце главы есть большой квиз – проверьте себя 😐
DeepSeek только что выложили статью, в которой предложили новую вариацию механизма внимания
Традиционное внимание очень прожорливо: вычисления масштабируются квадратично по мере увеличения длины последовательности. Это приводит к тому, что скейлинг трансформеров на реально длинное контекстное окно становится почти невыполнимой задачей.
В DeepSeek придумали разреженное внимание, NSA (Native Sparse Attention), которое как бы разбивает весь процесс на три параллельные ветви:
➖ Token Compression. Здесь все токены разбиваются на группы по L штук, и для каждой такой подпоследовательности вычисляются эмбеддинги. Так вместо обычных ключей и значений для внимания мы получаем сжатые, которые несут информацию о глобальных паттернах в последовательности (а не об отдельных токенах) при более низкой вычислительной нагрузке.
➖ Token Selection. Тут тоже происходит агрегация, но иначе. Последовательность также делится на группы токенов, из которых с помощью промежуточного внимания извлекаются n самых значимых. А уже затем, когда мы отобрали эти самые важные группы, из них берутся оригинальные токены и для них вычисляются признаки без компрессии.
➖ Sliding Window. Тут ничего нового, локальное внимание, которое отвечает за обработку самых недавних токенов в пределах фиксированного окна.
На утреннем стриме, где релизили Grok-3, xAI также поделились новой информацией о своих датацентрах
Наверное, многие помнят, как по интернету в октябре разлетелась новость о том, что всего за 122 дня Nvidia совместно с xAI отстроили самый большой в мире суперкомпьютер Colossus с 100 тысячами GPU. Тогда сроки всех просто шокировали: обычно на строительство таких кластеров уходило 2-3 года.
Так вот, оказывается, сразу после этого количество GPU в Colossus удвоили и на это ушло еще меньше времени: всего 92 дня. Получается, готов он был примерно в конце января, а претрейн Grok-3, по словам самого Маска, завершили в первых числах года.
Так что базовый Grok-3 вряд ли обучался на этих мощностях. Но обучение с ризонингом еще продолжается (на демо показывали недообученный чекпоинт), поэтому ждем еще большего прироста к метрикам.
Но и это не все: Маск обещает, что Colossus вырастет еще в 5 раз и в итоге будет насчитывать 1 миллион видеокарт. Такой рост будет стоить примерно $25-$30 миллиардов, и работа уже началась.
Для справки, каждая NVIDIA H100 потребляет до 700 Вт, так что кушать Colossus будет в целом примерно как Монако 😁
Где учиться учить ИИ?
Если вы хотите стать действительно крутым специалистом по искусственному интеллекту, то лучше не перебиваться короткими курсами, а пойти и основательно поучиться в такие топовые места, как ШАД, AI Masters или Центральный Унверситетет. Но как выбрать?
Об этом пройдет очень крутой вебинар у наших друзей из ShadHelper. Они пригласили именитых гостей и обсудят, чем отличаются все эти школы, как выбрать подходящую, кем становятся выпускники, какие задачи решают, и, конечно, как поступить. Звездный каст спикеров:
➖ Юрий Дорн, кандидат технических наук, старший преподаватель МФТИ
➖ Александр Дьяконов, д.ф.-м.н., профессор РАН и автор того самого сайта
➖ Александр Лыков, к.ф.-м.н. и основатель ShadHelper
Фишка в том, что все эксперты из разных школ. Юрий – руководитель AI Masters и лектор ШАД, Александр Дьяконов заведует Data Science в Центральном Университете, а Александр Лыков – руководитель Школы Высшей Математики (ШВМ). Так что информацию вы получите из первых рук.
Такое не пропускаем и записываемся здесь
Итак, вышел Grok-3 с ризонингом
Модель выходит в двух вариантах: Grok-3 mini и полномасштабный Grok-3. По бенчмаркам Grok-3 mini примерно соответствует DeepSeek 3, GPT-4o и Gemini Pro.
А полноценный Grok улетает куда-то вверх: на LMSYS это первая модель, которая пересекла отметку 1400. Сейчас модель выигрывает по всем лидербордам, включая кодинг, математику и хард промптинг.
Сама модель не ризонинг, но режим рассуждений можно активировать. Виден почти весь процесс рассуждения, «мы добавили только небольшую обфускацию». Будут доступны два режима, просто Thinking и Thinking Hard.
На Math24 hard режим Grok-3 круче R1, o1 и даже o3-mini high. На только что выпущенном Math25 – тоже самое.
Вау