76842
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
На ML-собеседованиях все чаще спрашивают про применение LLM в реальных бизнес-проектах
Почему? Потому что компаниям нужны не просто те, кто знают, как моделька работает, а те, кто может эти знания положить на практику, решить задачу и принести компании пользу.
К сожалению, материалов по этой теме пока немного, а те, которые есть, теряются за огромным потоком (ИИ)нформации. Так что сегодня отдельно обращаем ваше внимание на вот этот вебинар про применение LLM в e-commerce: его проводят наши друзья из известной школы ШВМ.
На вебинаре разберут успешные и неудачные кейсы применения LLM, расскажут, какие модели реально работают и приносят бизнесу пользу, а также объяснят, какие важные задачи и почему пока не решены. Спикеры – огонь:
🟦 Артем Бочкарев – Head of Data Science в AliExpress (ну кто может лучше разбираться в ML в e-commerce?)
🟦 Александр Лыков – к.ф.-м.н., академический руководитель Школы Высшей Математики
Такое точно не пропускаем. Регистрируйтесь здесь, встретимся 27 февраля в 19:00.
Anthropic выпустит новую модель сегодня?
Довольно необычного вида предсказание на этот счет дал сегодня в твиттере Jimmy Apples. Этот аккаунт принадлежит инсайдеру. Он довольно редко пишет подобные предикты, но они часто оказываются правдой.
На этот раз он выложил вот такой видоизмененный клип на песню Karma Police, в котором от машины убегает Альтман, и подписал его «Реванш. Завтра».
Верим?
🤗 Hugging Face теперь можно пользоваться как SQL-студией
Ребята встроили в свой многомиллионный раздел с датасетами Data Studio. Теперь из нужной таблицы можно прямо на платформе извлечь то, что нужно, не скачивая ее полностью. Результат вернется в виде CSV, или им можно поделиться ссылкой.
Ну и самое приятное: писать SQL-запрос самому не обязательно. Достаточно описать все на естественном языке, а код за вас напишет DeepSeek V3.
Boston Dynamics опять радуют видео новинки. На этот раз показали миленького робо-байкера 🥰
Читать полностью…
Ничего особенного, просто твит ресерчера отдела безопасности OpenAI 😅
Читать полностью…
OpenAI поделились текущей статистикой
🟦 Сейчас еженедельно они обслуживают 400 миллионов юзеров. Еще в декабре было 300 миллионов, кстати.
🟦 Сейчас у стартапа 2+ миллиона корпоративных клиентов: это в два раза больше, чем пол года назад.
🟦 Трафик в API тоже удвоился за последние 6 месяцев. Причем для недавно вышедшей o3-mini с момента запуска рост составил x5.
Самое интересное, что DeepSeek, возможно, не только не помешал росту OpenAI, но и ускорил его. Дело в том, что появление такого конкурента разгоняет внимание к ИИ и привлекает новую аудиторию, как бы провоцируя ее изучать рынок.
Anthropic на своей новой презентации показали интересный график
Это employee retention rate, то есть процент сотрудников, которые были в стартапе в начале, и остались в нем по сей день.
У Anthropic эта метрика достаточно высокая, даже самая высокая среди всего ИИ-теха. OpenAI проваливается куда-то вниз, и, внезапно, у Perplexity тоже дела с этим не очень.
Там DeepSeek в честь недели опенсорса объявили, что будут 5 дней выкладывать репозитории с кодом их проектов
«Мы поделимся нашим небольшим, но честным прогрессом с полной прозрачностью. Это будут скромные строительные блоки нашего онлайн-сервиса, которые были задокументированы, развернуты и испытаны в реальных условиях»
Google выпустили агента-ученого AI co-scientist
В отличие от многих подобных проектов, агент не пишет статьи и не делает исследования end-to-end. Его цель – быть генератором идей и подкидывать настоящим ученым свежие целесообразные гипотезы.
AI co-scientist реализует весь цикл научного метода: генерация идей, отбор лучших, уточнение, ревью и так по кругу. Это похоже на то, как устроена структура ризонинга во многих моделях, но здесь за каждый этап отвечает отдельный супер-проработанный агент со своими инструментами:
➖ Generation agent: генерирует начальные гипотезы и направления исследования с помощью веб-поиска
➖ Reflection agent: критически оценивает гипотезы через детальные проверки и симуляции. Может запускать код.
➖ Ranking agent: организует турнир дебатов и таким образом сравнивает гипотезы попарно и ранжирует по Эло (как на LMSYS)
➖ Proximity agent: строит граф близости гипотез, объединяет их и выкидывает дубликаты.
➖ Evolution agent: совершенствует и уточняет оставшиеся гипотезы.
➖ Meta-review agent: сводит все в общий обзор и ревьюит.
Microsoft открыли новый революционный материал и сделали из него квантовый чип, который может открыть следующую эру вычислений
Причиной того, что сегодня мы пользуемся телефонами, ноутбуками и другой электроникой стали полупроводники, которые в 1833 открыл Фарадей. А сейчас, в 2025, Microsoft открыли топопроводники – материалы, которые могут наконец-то вывести квантовые вычисления на новый уровень масштабирования.
На основе этих топопроводников Microsoft сделали Majorana 1. По словам компании тут решается сразу две главных проблемы квантовых вычислений: скейлинг и ошибки вычислений. Это стоило ученым 20 лет трудов.
Дело в том, что обычно, чем больше кубитов в чипе, тем больше ошибок этот чип допускает. Но с топопроводниками это может измениться, и Majorana может без потерь масштабироваться до миллиардов кубитов. Для сравнения, сейчас в самых мощных квантовых чипах не более 150 кубитов.
При этом топопроводники очень «компактные», так что такой чип поместится на ладошке.
CEO Microsoft говорит, что все это открывает абсолютно новую эру, и что теперь, возможно, мы получим настоящие квантовые компьютеры не через десятилетия, а через считанные годы.
news.microsoft.com/source/features/innovation/microsofts-majorana-1-chip-carves-new-path-for-quantum-computing/
Тем временем в обновленном приложении Claude от Anthropic появились намеки на thinking режим, поиск в интернете и аналитические инструменты
Релиз в любой момент 🥁
OpenAI релизнули новый бенчмарк SWE-Lancer, который привязывает способности LLM к реальному экономическому эффекту
А сделали они это очень просто и изящно: взяли 1 488 заданий с фриланс-платформы Upwork общей стоимостью $1 миллион USD и проверили, сколько из них сможет решить модель. При этом не все задачи одинаковые. Они варьируются от мелких исправлений багов за $50 до сложных тасок по реализации новых фич за $32 000.
В этом как раз и фишка: задания оцениваются по реальным рыночным ставкам, а не гипотетическим оценкам сложности. В среднем, если что, такие задачи требуют изменения 2 файлов и 69 строк кода и решаются людьми за 26 дней.
Лучше всего себя показала Claude 3.5 Sonnet (да, не o1). Модель заработала $403 000. o1 high compute при этом заслужила $380 000, а GPT-4o всего $304 000.
Интересно было посмотреть на сравнение с затратами на API, но такого анализа пока не провели
arxiv.org/abs/2502.12115
Кстати, помните, Маск говорил, что планирует открыть ИИ-студию видеоигр?
Так вот теперь она действительно официально открылась внутри xAI, и туда набирают инженеров. Желающие?
Hugging Face выпустили бесплатный курс по файнтюнингу языковых моделей
Кто не знал, у HF есть большой замечательный курс по NLP со всеми основами от токенизации до трансформеров и других архитектур. И сегодня они добавили в него главу под названием Fine-Tune LLM. Внутри:
🟦 Технические основы файнтюнинга: как должны выглядеть данные, как они должны быть размечены, специальные токены и тд
🟦 Теория по LoRA и другим основным методом файнтюна
🟦 Практика на торче + рецепты оценки модели здорового человека
Емко, практично и максимально полезно. Кстати, если уверены в своих знаниях уже сейчас, в конце главы есть большой квиз – проверьте себя 😐
DeepSeek только что выложили статью, в которой предложили новую вариацию механизма внимания
Традиционное внимание очень прожорливо: вычисления масштабируются квадратично по мере увеличения длины последовательности. Это приводит к тому, что скейлинг трансформеров на реально длинное контекстное окно становится почти невыполнимой задачей.
В DeepSeek придумали разреженное внимание, NSA (Native Sparse Attention), которое как бы разбивает весь процесс на три параллельные ветви:
➖ Token Compression. Здесь все токены разбиваются на группы по L штук, и для каждой такой подпоследовательности вычисляются эмбеддинги. Так вместо обычных ключей и значений для внимания мы получаем сжатые, которые несут информацию о глобальных паттернах в последовательности (а не об отдельных токенах) при более низкой вычислительной нагрузке.
➖ Token Selection. Тут тоже происходит агрегация, но иначе. Последовательность также делится на группы токенов, из которых с помощью промежуточного внимания извлекаются n самых значимых. А уже затем, когда мы отобрали эти самые важные группы, из них берутся оригинальные токены и для них вычисляются признаки без компрессии.
➖ Sliding Window. Тут ничего нового, локальное внимание, которое отвечает за обработку самых недавних токенов в пределах фиксированного окна.
Первый день опенсорса от DeepSeek
В конце прошлой недели ребята пообещали, что с 24 по 28 февраля выложат в открытый доступ пять репозиториев из их внутренней экосистемы.
Сегодня показали проект FlashMLA – оптимизированные GPU-ядра, которые крутятся в проде систем DeepSeek.
MLA – это multi latent attention, метод, позволяющий сокращать потребление памяти за счет сжатия матриц ключей и значений в трансформерах. Метод активно используется в моделях DeepSeek и в целом очень перспективный, но готовых оптимизаций для него пока не так много. Так что FlashMLA это готовое решение для бодрого инференса.
Проект поддерживает bfloat16, поэтому тут и скорость, и точность. Код годится для всей серии Hopper, то есть для H100, H800 и тд.
github.com/deepseek-ai/FlashMLA
Китайская лаборатория MoonshotAI показала оптимизатор Muon, который оказался в два раза эффективнее AdamW
Сам оптимизатор не новый, он вышел еще в декабре и придумал его Келлер Джордан. У него Muon (основанный, кстати, на ортогонализации матриц) показал крутые результаты, но только на игрушечных задачах. Заветный ✨скейлинг✨ не был продемонстрирован.
В Moonshot показали, как завести Muon для больших моделей. Как оказалось, требуется всего ничего: добавить weight decay и внимательно настроить обновление в зависимости от размера матрицы весов. Хотя, надо сказать, что последнее не совсем очевидно: для этого надо было заметить, что RMS метода не равно единице и вывести для него верную формулу.
С таким набором Muon работает из коробки и даже не требует настройки гиперпараметров. В статье его проверили на модельке 3В/16В MoE, и он обошел AdamW на производительности в два раза.
Код опенсорснули тут, так что уже можно тестировать имплементацию
OpenAI начали удалять некоторые китайские и корейские аккаунты
Не какие попало, конечно, а только те, которые они подозревают в использовании технологии с целью мошенничества.
Якобы одни злоумышленники использовали ChatGPT, чтобы писать фейковые статьи «порочащие США» на испанском, другие, чтобы пилить сотни резюме и фиктивно получать работу в американских компаниях, а третьи, чтобы генерировать оскорбительные комментарии в Твиттере.
Версия правительства США: Азия использует ИИ, чтобы подорвать репутацию и безопасность Америки 🍿
Новость
👥 Совет IT-спецам на 2025 год - чаще посещайте тематические мероприятия
❔Зачем тратить время на Ютубчик, когда можно интересно проводить время, при этом развивая свои навыки!
💡А чтобы не гуглить афиши и не подписываться на сотню разных каналов, IT-мероприятия России уже собрали все самые топовые события в одном месте.
👨💻 В этом канале ты найдешь самые актуальные и интересные события: анонсы форумов, конференций, митапов, вебинаров, хакатонов, олимпиад и многое другое.
⚡️ Все твои коллеги уже здесь - IT-мероприятия России / ITMeeting / IT events.
🔥 Присоединяйся и будь в курсе самых топовых IT-event'ов!
Аналитическая ИИ-лаборатория EpochAI опубликовала свои прогнозы на 2025:
⭐ К концу года FrontierMath будет решен на 75%. На данный момент это самый сложный мат.бенчмарк. Текущие модели (включая o3-mini) решают его на <10%, а o3, судя по анонсам, будет решать примерно на 25.
⭐ SWE Bench Verified будет решен на 90% (сейчас это <40).
⭐ Доход OpenAI составит примерно 12 миллиардов долларов. Это почти в 3.5 раза больше, чем в 2024.
⭐ Модели будут пока становиться больше, и можно ожидать повышение цен на API в 2-3 раза.
⭐ В целом прогресс за 2025 можно будет сравнить с прогрессом, который мы до этого наблюдали в течение двух лет, то есть с момента выхода GPT-4.
Отчет
Всплыло, что Илон Маск тихо построил еще один огромный датацентр стоимостью 700 миллионов долларов
Он расположен в Атланте, построен в сотрудничестве с X, и насчитывает 12000 GPU. Это не так много по сравнению с другим суперкомпьютером Маска, в котором 200к чипов, но все равно масштабно. Официальное назначение пока не раскрывается.
“Ъ” и Центральный университет выпустили совместный проект “Директора и люди”, посвященный стратегиям крупного бизнеса и участию выпускников вузов в реализации этих стратегий. Его первым гостем стал глава Т-Банка Станислав Близнюк.
Разобрали на цитаты основное:
У нас три ценности - клиенты, сотрудники и акционеры, причем именно в таком порядке.
Любой бизнес имеет шанс на рост, только если он вкладывается в науку
Работодатель должен выступать заказчиком университета. Сегодня это не совсем так, и работодатель часто считает, что кадры можно найти в капусте. Но нет, нельзя. Их надо взращивать, и это то, что мы делаем в ЦУ. Поэтому наши выпускники "золотые".
У нас есть понимание того, что какая-то доля набора в Т-Банк должна быть в виде джунов. Очень важная задача – брать кого-то молодого, необтесанного, но умного и перспективного.
Капитал школьника – напористость и любопытство. Первый, второй, третий, четвертый курс - это тот самый уникальный момент, когда нужно реализовывать этот капитал, который будет тебя потом кормить.Читать полностью…
FigureAI только что представили своего нового робота-гуманоида, который оснащен ризонингом
FigureAI раньше работали с OpenAI, но месяц назад разорвали контракт и сделали заявление о том, что до весны представят что-то абсолютно новое. Кажется, их новый Helix – это оно, и они деликатно уточняют что «разработали его полностью самостоятельно».
По словам создателей Helix мыслит, как человек, и может справиться с любой домашней утварью, даже если никогда раньше (то есть в трейне) ее не видел. Судя по графикам из статьи, генерализация там действительно на уровне.
А еще он воспринимает речь и может взаимодействовать с человеком/другим роботом. При этом для всего этого используется единая небольшая модель VLA (Vision-Language-Action) на 7В.
Тех.репорт с деталями и тестами:
www.figure.ai/news/helix
❓ Сможете ли вы пройти тест на «Data Engineer»?
https://otus.pw/S1j1/
🎯 Под силу ли вам ответить правильно на все 20 вопросов?
Проверьте себя - пройдите тест и оцените свой уровень навыков, а также свою готовность к обучению на курсе — «Data Engineer» от Отус.
🔥 После прохождения теста вы получите доступ к лучшим вебинарам курса!
Курс доступен в рассрочку.
👉Пройти тест бесплатно по ссылке: https://otus.pw/S1j1/?erid=2W5zFGrdMzx
#реклама
О рекламодателе
Срочный общий сбор: Grok-3 открыли для всех бесплатно!
Написали, что это будет продолжаться «пока серверы не упадут», так что лучше поторопиться с экспериментами 👇
x.com/i/grok
Стали известны название и состав нового стартапа Миры Мурати – бывшей CTO OpenAI
Напоминаем, что Мира ушла из OpenAI в сентябре. Она почти сразу объявила о том, что собирается открывать собственную компанию и даже уже искала инвестиции и переманивала сотрудников из OpenAI.
И вот наконец-то у стартапа появился лендинг и официальный начальный состав. Оказалось, что компания будет называться Thinking Machines. Сама Мира станет CEO, на место главного научного сотрудника назначен сооснователь OpenAI Джон Шульман. Он ушел из OpenAI почти одновременно с Мирой, и после этого недолго работал лидом команды элаймента в Anthropic.
Также известно, что тех.диром станет Баррет Зоф. Он тоже работал в OpenAI и был там CRO (chief research officer). Также к Мире присоединились Лилиан Венг, Александр Кириллов из Meta, Кристиан Гибсон и еще с десяток очень именитых ученых. На сайте можно посмотреть полный список и краткое описание заслуг каждого.
Ждем от них чего-то интересного
Perplexity AI релизнули DeepSeek R1 без китайской цензуры
В блоге они написали:
R1 1776 – это DeepSeek-R1, которую мы дообучили, чтобы убрать из нее цензуру китайской коммунистической партии. Модель сохраняет свои мощные способности ризонинга, но при этом теперь предоставляет беспристрастную и фактически точную информацию.
Андрей Карпаты написал исчерпывающий отзыв на Grok-3. Смотрим:
✅ Решил задачи про r в strawberry, 9.11 и 9.9 и логические детские примеры, но что-то из этого только в режиме Thinking
✅ Справился со сложной задачей на написание игры (среди остальных такой же тест прошла только o1 pro, R1, Gemini и Claude не смогли). В целом Thinking mode довольно мощный
✅ Справился с задачей на расшифровку последовательности
✅ Справился с классической игрой в крестики-нолики, но на усложненной посыпался (o1-pro сыпится тоже)
✅ Хорошо справился со сложными подсчетами по статье GPT-2, на которых фейлится даже o1-pro
❌ Плохое чувство юмора
❌ С задачами на визуальное мышление типа генерация SVG картинок справляется не очень
❌ Иногда слишком пуглива в вопросах этики и не может философствовать на эту тему
Итог: модель лучше R1 и Gemini, и находится где-то на уровне o1-pro (200$). Учитывая, что команда xAI существует чуть больше года, это отличный результат.
Тем временем люди в Твиттере поделились на две группы: те, кто голосуют в опросе Альтмана про опенсорс за phone-sized model, и те, кто знает, что такое дистилляция
Читать полностью…
Это Большая Дата для нашего сообщества: приглашаем на большой митап по аналитике
📅 22 февраля в Москве и онлайне пройдёт митап для аналитиков от бизнес-группы Поиска и Рекламных технологий Яндекса. Послушаем доклады и попробуем свои силы в деловой игре по реальным кейсам из нашей практики.
В программе:
🔸 Павел Смирнов, руководитель команды дата-инженеров в Поиске и Рекламе. Расскажет, когда пора начинать строить единое логирование клиентской активности
🔸 Алексей Константинов, руководитель группы онлайн-метрик Поиска. Покажет, как сделать универсальную онлайн-метрику успешности сервиса на примере «Профицита»
🔸 Сайдаш Мифтахов, тимлид маркетинговой аналитики в международном Поиске. Объяснит, как Яндекс упрощает доступ в Поиск и растит долю рынка в Казахстане
✏️ Полный список тем докладов и форму регистрации ищите здесь.