95543
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Пользователи, кстати, заметили, что o3-mini может думать даже дольше, чем o1 full. Время раздумий в режиме high доходит до 10 минут, а длина цепочек рассуждений достигает 44 страниц
Читать полностью…
Вышли результаты o3-mini на LiveBench
(Livebench примечателен тем, что он постоянно обновляется, минимизируя всевозможные лики и гарантируя, что задачи не устаревают и не становятся слишком простыми. В общем это почти как арена)
На кодинге модель рвет абсолютно всех с огромным отрывом, и в среднем она лучше R1 (но не по математике).
В математике, кстати, сначала результаты были аномально низкими, но затем организаторы признались, что случайно допустили ошибку, и пересчитали среднее.
CEO Nvidia вызвали на ковер в Белый Дом
По сообщениям сразу нескольких СМИ Трамп и Хуанг должны встретиться сегодня, в пятницу. Цель встречи неизвестна, предположительно разговор пойдет о DeepSeek и о том, как они могли заполучить GPU несмотря на ограничения США.
Напоминаем, что сразу после выхода R1 акции Nvidia драматично обвалились, убытки компании составили сотни миллиардов долларов
Сэм продолжает тратить инвестиции на мощное железо и пообещал, что завтра нас ждут какие-то апдейты 😉
Читать полностью…
EpochAI говорят, что в 2025 нас ждет еще больше моделей, обученных на огромных кластерах
Сейчас примерная планка передовых моделей – 10^25 FLOP (10 септиллионов операций с плавающей запятой). В переводе на железо это больше 5к H100 и больше 15к А100.
Всего сейчас таких моделей насчитывают 24. Первой стала GPT-4. В 2023 ее обучали на 25000 А100, следом пошли Inflection-2 и Gemini.
Если тенденции сохранятся, в этом году таких моделей станет намного больше. Нечто подобное уже случалось: GPT-3 обучался на 10^23 FLOP в 2020 году, а к 2024 было уже 80+ моделей выше этого уровня.
epoch.ai/data/large-scale-ai-models
У некоторых юзеров ChatGPT в модели GPT-4o появился переключатель «Thinking»
Пока непонятно, в чем концепция. Возможно это какой-то low-compute режим рассуждений, возможно переключатель на o1 (?). Пока единственное отличие видится в том, что в 4o можно грузить файлы.
Может быть, так OpenAI собирается раскатить немного ризонинга на фри пользователей (хотя пока непонятно, будет ли фича доступна им вообще).
Разбираем релиз Perforator от Яндекса: система профилирования уровня Google, но в опенсорсе
Яндекс выложил в открытый доступ систему непрерывного профилирования, которую использует внутри компании для анализа производительности сервисов. Если проще, то это инструмент, который анализирует код компании в реальном времени и показывает, где идут лишние расходы на серверы. До этого подобные инструменты были доступны только внутри крупных технологических компаний, за деньги или тратили больше ресурсов на мониторинг.
Что интересного:
🔷 Масштаб внедрения впечатляет: Perforator уже внедрен в крупнейших сервисах Яндекса. К примеру, он мониторит нагрузки серверов Поиска и Рекламы.
🔷 Техническая реализация: Инструмент работает без необходимости модификации исходного кода и использует возможности eBPF для сбора данных прямо в ядре Linux. Поддерживает C, C++, Go и Rust.
🔷 Экономический эффект: до 20% снижение затрат на серверное оборудование.
Ну мед 🍯
Статья: https://habr.com/ru/companies/yandex/articles/875070/
https://github.com/yandex/perforator
А вы знаете все о PostgreSQL?
Ребята из @Selectel собрали для вас топ инструментов базы данных PostgreSQL. В карточках рассказали, как упрощать запросы, сохранять результаты в виде таблицы, проводить сложные вычисления и многое другое.
Читайте подборку на канале @Selectel и подписывайтесь, чтобы не пропустить топовые IT-материалы в удобном формате.
Реклама, АО «Селектел», ИНН: 7810962785, ERID: 2VtzqxbsPBS
А вот и более приятные новости: там заехал PyTorch 2.6!
🔷 Теперь torch.compile наконец можно использовать с последним Python 3.13
🔷 AOTInductor – компилятор для ускорения моделей – получил сразу несколько новых фичей. Теперь в нем появился "минификатор", который помогает находить ошибки в моделях, создавая минимальный код, воспроизводящий проблему.
Также добавили совместимость в режиме режим ABI (это означает, что ничего гарантировано не сломается при переезде на будущие версии торча). А еще появился новый формат упаковки моделей и поддержка вычислений на GEMM/CONV.
🔷 Появился параметр torch.compiler.set_stance, с помощью которого можно управлять поведением torch.compile. Например, настроить, чтобы код выполнялся в "жадном" режиме (без лишней компиляции).
Полный список обновлений можно посмотреть здесь
Ян Лекун: «Реакция рынка на DeepSeek необоснована»
«Большинство заблуждается по поводу инвестиций в AI-инфраструктуру. Большая часть этих миллиардов тратится на инфраструктуру для инференса, а не на обучение.
Запуск AI-ассистентов для миллиардов людей требует огромных вычислительных ресурсов. Если добавить обработку видео, логическое рассуждение, работу с памятью и другие возможности в AI-системы, стоимость их работы будет только расти.
Единственный важный вопрос — будут ли ваши пользователи готовы платить достаточно (напрямую или косвенно), чтобы оправдать капитальные и операционные затраты. »
Тем временем вокруг DeepSeek продолжают строить теории заговора
Один из крупнейших ИИ-инвесторов в мире Дэвид О. Сакс на американском телевидении говорит, например, что R1 – это дистилляция из o1, и этому есть доказательства.
В стартапе Альтмана, видимо, позицию разделяют: Bloomberg сообщает, что Microsoft начали расследовать возможную "кражу" данных OpenAI компаниями из группы DeepSeek.
"Должно быть обидно, когда кто-то крадет твою интеллектуальную собственность и делает из этого прибыль" – комментируют в Твиттере статью Bloomberg пользователи. На данный момент на стартап подали уже более 10 групповых исков, связанных с авторскими правами.
Тут нейросетка DeepSeek заявляет, что вообще-то она YandexGPT
Причина простая: разрабы минимизировали стоимость обучения, используя буквально все данные из интернета, в том числе и синтетические от YandexGPT😐
Как с помощью ML создали Геокодер, масштабируемый для разных стран
Команда API Яндекс Карт создала Геокодер c использованием deep learning, который определяет точные локации по запросу пользователя. При этом инструмент:
➖ Использует контрастивное обучение, active learning, аугментацию и LLM-генерацию.
➖ Работает даже с опечатками и “народными” запросами на разных языках.
➖ Можно быстро запустить в новой стране за пару недель.
В статье полное описание механизма работы, почитать полностью можно здесь.
Пока единственный, кто теряет работу из-за китайского ИИ, – это ChatGPT
Читать полностью…
При этом не все верят, что с вычислениями в DeepSeek все так уж просто
CEO ScaleAI Александр Ванг вот говорит, что на самом деле у компании есть кластер с 50к H100 (неплохо, мягко говоря), но они не могут это разглашать из-за текущих условий экспорта США.
Маск с ним согласился 🤔
OpenAI смотрит в сторону опенсорса
Вчера в честь выхода o3-mini Сэм Альтман запустил на реддите AMA (ask me anything). Его спросили, не планирует ли стартап релизить какие-нибудь веса или ресерчи, на что Сэм ответил так:
«Да, мы обсуждаем это. Лично я считаю, что мы оказались на неправильной стороне истории и нам необходимо разработать другую стратегию опенсорса. Но не все в openai разделяют эту точку зрения. Также это не является для нас высшим приоритетом на данный момент»
🚀 Вышла o3-mini
Модель будет доступна даже для бесплатных юзеров (правда, лимиты будут небольшие, скорее всего). С ней можно будет использовать поиск + она сразу же доступна в API по цене ниже o1.
В зависимости от скейла рассуждений o3 либо немного хуже o1-mini (low режим, самый дешевый), либо немного лучше нее (medium режим), либо обходит даже полноценную o1 (high режим).
🍯 🍯 🍯
"Поступашки — ШАД, Стажировки и Магистратура", - лучший гайд в мире образования и карьеры.
Канал ведут преподаватели Яндекса, ВШЭ и ШАД.
Внутри:
🔺Вопросы с собеса в Яндекс
🔺Как бесплатно вкатиться в айти
🔺Подборка топовых магистратур по Data Science
...и еще море полезнейшего контента. Вы пожалеете, что не нашли этот канал раньше.
Подписывайтесь, потом сами себе спасибо скажете: ⬇️
@postypashki_old
Спорим, тебе советовали книгу “Грокаем алгоритмы”
А как насчет грокнуть уже эти алгоритмы?
Да так, чтобы РАЗ И НАВСЕГДА
Ты не смог выучить алгоритмы, потому что:
- cложно и бессистемно объясняли
- практика не билась с теорией
- отправляли читать устаревшие книги...
Ребята из Т-навыков - опытные разработчики. Они научат тебя решать алгоритмические задачи по четкой и понятной системе!
Регистрируйся на открытый урок в предверии курса
"Хакни алго-собесы". И за 1 час ты:
☝️ получишь четкую систему решения алгоритмических задач
☝️ решишь топ-3 популярные задачи
☝️ получишь RoadMap изучения алгоритмов
12:30 по МСК в эту субботу (1 февраля) стартуем.
Регистируйся, чтобы не упустить шанс выучить алгоритмы навсегда
Воу: вышел Mistral 3 Small
24B параметров, лицензия Apache 2.0, на инференсе летает со скоростью 150 токенов/секунду. По метрикам сопоставима с Llama 3.3 70B, Qwen 2.5 32B и GPT-4o mini.
Блогпост здесь
Веса уже на торенте, ссылка тут
Сегодня опубликовали международный AI Safety Report, в котором неожиданно показали некоторые ранние метрики o3
График наверху (конкретные модели, с которыми сравнивали, не указывают, тут только абстрактное сравнение относительно дат релизов). В отчете результаты прокомментировали так:
Это значительно более высокие результаты, чем у любой модели до этого, в ряде самых сложных тестов в области программирования, абстрактного и научного мышления.
В некоторых из этих тестов o3 превосходит многих (но не всех) экспертов-людей. Кроме того, она совершает прорыв в ключевом тесте на абстрактное мышление, который многие эксперты до недавнего времени считали недостижимым.
Грядет Llama4 reasoning!
От этом написал на фейсбуке Марк Цукерберг. Он также говорит, что Meta уже закончили претрейн Llama4 mini, и что полномасштабная Llama4 станет omni-моделью (как GPT-4o) и будет обладать фичами агентов (как Sonnet).
Я думаю, что 2025 вполне может стать годом, когда Llama и опенсорс станут самыми передовыми и широко используемыми моделями ИИ.
Наша цель при создании Llama 3 состояла в том, чтобы сделать модели с открытым исходным кодом просто конкурентоспособными по сравнению с закрытыми моделями, а цель Llama 4 — занять лидирующие позиции на рынке.
Слив данных DeepSeek. Что известно?
Сегодня ночью компания Wiz, которая занимается облачной кибер-безопасностью, объявила у себя в блоге, что обнаружила открытую базу данных DeepSeek, содержащую «чувствительную информацию».
Эта база данных ClickHouse включает в себя более миллиона строк логов, содержащих историю чатов, секретные ключи, детали бэкенда и другую высококонфиденциальную информацию.
HuggingFace делятся статистикой: количество скачиваний и лайков на аккаунте DeepSeek растет вертикально и R1 уже вошла в топ-10 самых залайканных моделей в истории платформы
P.S. не будьте как HuggingFace, следите за читаемостью цветовой палитры на ваших графиках
Альтман с утра радует селфи с Наделлой и пишет, что сотрудничество OpenAI и Microsoft выходит на новый уровень
Шире улыбка == больше GPU
Китай, остановись: Qwen дропнули еще одну новую модель Qwen2.5-Max
Это судя по всему огромная Mixture-of-Expert модель, которую предобучали на 20 триллионах токенах и дообучали, по классике, с помощью файнтюнинга и RLHF.
На метриках она показывает себя на уровне DeepSeek-v3, GPT-4o и Claude 3.5 Sonnet, кое-где даже лучше. На HumanEval, например, набрано 73 с хвостиком, это очень неплохо.
Модель уже можно бесплатно попробовать на HF и в Qwen чате, а также она уже вышла в API
Напоминаем, что предыдущий релиз Qwen состоялся... вчера. Всем желаем такой продуктивности
Кстати, а вы знали, что в уставе OpenAI явно прописано, что если другая компания будет обгонять их в гонке за AGI, то они бросят конкуренцию и станут помогать этому проекту?
Вот выдержка (опубликовано в 2018 году):
«Мы обеспокоены тем, что разработка AGI на поздней стадии превратится в конкурентную гонку без времени на адекватные меры безопасности. Поэтому, если проект, ориентированный на ценности и безопасность, приблизится к созданию AGI раньше нас, мы обязуемся прекратить конкуренцию и начать помогать этому проекту. Мы проработаем детали в соглашениях для каждого конкретного случая, но типичным условием запуска может быть «больше, чем равные шансы на успех в течение следующих двух лет»
Как прокачать самый главный навык аналитика
Написание кода, построение дашбордов и подсчет метрик — эти навыки давно уже стали необходимым минимумом для любого аналитика. Этого работодатель ждет от вас «по умолчанию».
А самый главный навык аналитика - уметь делать качественные выводы на основании отчетов, генерировать правильные гипотезы и дешево их проверять.
Именно этого ищут компании среди кандидатов и за это готовы платить большие зарплаты. Не зря же на собеседованиях в последнее время все чаще дают продуктовые кейсы.
И как раз про это будет рассказывать Андрон Алексанян на своем вебинаре «Как прокачать самый главный навык аналитика» 🔥
Вебинар пройдет завтра, 29 января, в 19:00 Мск. Регистрация — по ссылке.
Андрон прошел большой путь в аналитике и ему точно есть, чем поделиться. Он более 5 раз отстраивал аналитику в компаниях с нуля, а сейчас развивает быстрорастущую школу аналитики данных Simulative и консультирует крупные компании.
В общем, если «прокачать продуктовое мышление» для вас актуально — обязательно приходите на вебинар, будет полезно 👉🏻 ссылка.
Реклама. ООО АЙТИ РЕЗЮМЕ. ИНН 4025460134.
Андрей Карпаты похвалил R1 и их бережливость по отношению к бюджетам
DeepSeek это прекрасный пример открытой LLM передового уровня, обученной на смехотворно малом бюджете (2048 GPU на 2 месяца, 6 млн долларов).
Для справки, этот уровень возможностей обычно требует кластеров ближе к 16 тыс. GPU. В основном кластеры компаний с такими разработками имеют около 100 тыс. GPU. Например, Llama 3 405B использовала 30,8 млн GPU-часов, в то время как DeepSeek-V3 выглядит более сильной моделью всего с 2,8 млн GPU-часов (примерно в 11 раз меньше вычислений).