90396
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
🎉 Результаты розыгрыша:
🏆 Победители:
1. Mike (@m1ke000)
2. Alina (@avo_milas)
3. Никита (@diplodoczek)
4. Konstantin (@Konst_reborn)
5. Fdn (@ddmonstr456)
✔️Проверить результаты
Дорогие наши DS-подписчицы!
Наша редакция от всей своей Data-души поздравляет вас с праздником! Желаем, чтобы скор вашего настроения рос, а лосс неудач падал.
А еще в честь праздника мы приготовили для вас фирменные открытки. Хватайте их и поздравляйте коллег и друзей!
А что, если бы LLM эволюционировали, как живые существа? Вышла статья, в которой исследователи попытались соединить идеи генетических алгоритмов и LLM
Представим, что модели – это индивиды, а их веса – это гены. Тогда к ним можно применить классический набор модификаций: кроссовер (объединение весов родительских моделей для создания потомства), мутации (небольшие случайные изменения весов для увеличения разнообразия популяции), наследование опыта или естественный отбор.
Это и есть идея, которую предложили в статье. Подход назвали GENOME (GENetic Optimization for Model Evolution). Понятно, что он не для претрейна – это скорее какое-то переосмысление ансамблей и файнтюнинга на базе старых как мир генетических алгоритмов. Вот что происходит:
1. Берем несколько готовых моделей, прогоняем их по нашему датасету. Отбираем тех, кто решает задачу успешнее всего.
2. Скрещиваем их, то есть создаем новые модели, веса которых – это линейная комбинация весов родительских.
3. Добавляем мутацию, то есть какую-то случайную компоненту.
4. Переходим обратно к пункту 1.
5. На выходе получаем успешную популяцию моделей, которые дальше можем ансамблировать привычно. Например, с помощью majority voiting.
Всего через несколько часов после выхода QwQ-32B Alibaba дропнули START – модель, дообученную на использование инструментов
START – это Self-Taught Reasoner with Tools. То есть здесь из обычных цепочек рассуждений пытаются сделать такие, чтобы модель в какой-то момент сама понимала, что хорошо бы проверить что-то с помощью кода, шла и проверяла.
Для этого взяли QwQ-32B и зафайнтюнили его в два этапа:
1. Во время инференса прямо в CoT вставляли подсказки. Типа «Возможно, здесь хорошо бы использовать Python», как будто моделька сама до этого догадалась. Такие подсказки становились частью контекста и заставляли ризонер подумать подольше, сгенерировать код и запустить его.
2. После первого этапа у нас остается куча цепочек с использованием интерпретатора. Среди них есть ошибочные и хорошие. Фильтруем, обрабатываем, и еще разок дообучаем модель на чистых и правильных CoT с инструментами.
Надо сказать, очень прикольный способ генерации специфичной синтетики, который, к тому же, дал свои результаты: метрики относительно базового QwQ-32B подскочили на 5-15 процентных пунктов, и STAR почти на всех представленных бенчмарках обогнал o1-mini.
arxiv.org/pdf/2503.04625
И кстати, если вы думали, что 200 долларов за ChatGPT – это предел, то присаживайтесь поудобнее: сейчас будет больше нулей! 🤑
В OpenAI обсуждают добавление новых подписок, которые будут стоить от 2 000$ до 20 000$ в месяц. В них будут включены несколько агентов уровня PhD, которые «способны генерировать научные гипотезы и разрабатывать ПО». Целевая аудитория – «работники научной сферы и высокими доходами» и, конечно, лаборатории и компании.
Интересно, какой уровень возможностей будет предлагать стартап за такие деньги. Ведь это аналогично тому, чтобы нанять себе неплохого живого ассистента (2к) или даже очень крутого PhD исследователя (20к).
Вышла QwQ-32B – новая ризонинг модель от Qwen
По качеству она соответствует DeepSeek-R1, а на некоторых тестах даже обходит его. И это при том, что в R1 в 20 раз больше параметров.
И снова: все благодаря мощному скейлингу RL. Согласно блогпосту, обучали в два этапа:
1. RL только для задач математики и кодинга, причем без разметки и традиционной ревард модели. Вместо этого использовали интерпретатора кода и верификатор ответов для математических задач.
2. RL для общих способностей, уже с привычным ревардом и некоторыми rule-based верификаторами. На этом этапе модель училась «нравиться» пользователю и следовать инструкциям.
Исследователи написали, что видят еще много потенциала в RL и продолжат над этим работать. «Возможно, в следующий раз сочетание более сильных предобученных моделей с RL приведет нас к AGI».
Блогпост | Веса
Пообщаться с моделью абсолютно бесплатно уже можно в чате
Премия Тьюринга этого года только что досталась ML-рисерчерам за вклад в обучение с подкреплением
Это самая престижная награда в мире в области информатики, ее часто называют Нобелевской премией Computer Science. В этом году ею наградили легендарных Эндрю Барто и Ричарда Саттона – отцов обучения с подкреплением.
Именно они разработали основы RL в восьмидесятых. Правда, всю мощь подхода оценили только несколько лет назад, когда Google показали AlphaGo. Сегодня RL – неотъемлемая часть ML, и, особенно, наших любимых LLM.
Респект! 🎉
Кажется, скоро нас ждет новая text2image модель от OpenAI
Или она будет внутри GPT-5? 🤔
MIT перезапустили свой легендарный курс 6.S191: Introduction to Deep Learning
NLP, CV, LLM, приложения в медицине: тут все end-to-end, включая теорию и практику с актуальными версиями библиотек.
Подходит курс даже для тех, кто вкатывается с нуля: достаточно уметь брать производные и умножать матрицы, остальное обещают объяснить на ходу.
Лекции будут выходить в свободный доступ на YouTube по понедельникам, первая вышла вчера. Слайды, код и доп.материалы лежат здесь.
Такое не пропускаем
Стали известны некоторые имена сотрудников компании Ильи Суцкевера
SSI была основала еще летом, но до сих пор дистанцируется от СМИ и остается скрытой. Это значит, что ее сотрудники не указывают в соцсетях место работы, и составы команд не афишируются.
Тем не менее, некоторые сведения иногда проскальзывают. Вот некоторые имена:
🔷 Доктор Яир Кармон, старший преподаватель факультета компьютерных наук Тель-Авивского университета с 2020 года. У него три ученых степени по физике, включая докторскую Стэнфорда. Он занимается алгоритмами и оптимизацией.
🔷 Ницан Тор, выпускник Technion и золотой призер трех международных математических олимпиад.
🔷 Шахар Папини, еще один выпускник Technion, олимпиадник и сооснователь блокчейн-компании.
А еще известный Ярон Бродский и около 10 других инженеров и ученых из Google Research (которых Ярон видимо привел). Интересный состав.
Занятно, что SSI вообще не публикуют вакансии, а об эйчарах и речи не идет. Всех нанимают только по личным рекомендациям и сарафанному радио. Кроме того, говорят, в компании нет иерархической структуры, тимлидов и деления на команды: все равны и работают над одним проектом.
К слову, сейчас SSI оценивается уже в 30 миллиардов. Это всего в 5 раз меньше OpenAI и в 2.5 раза меньше xAI.
Исследователь Юрген Шмидхубер заявил крестному отцу ИИ Джеффри Хинтону, что его надо лишить всех наград за плагиат
Шмидхубер уже стал мемом в ML-сообществе за свои бесконечные выпады о том, что у него украли какую-то выдающуюся идею, но все не останавливается. Из последних заявлений этой легенды:
– Хопфилд и Хинтон получили Нобелевскую премию незаслуженно, потому что украли идею из статьи шестидесятых годов
– Все, что сделали DeepSeek с R1, взято из статей Шмидхубера
– GAN – тоже его идея, а авторы основополагающей статьи про эту архитектуру наглые копирайтеры
– Ну и добивочка: трансформеры, естественно, придумал он, а не ребята из Google
Хинтон, кстати, заявление даже никак не прокомментировал.
Бесконечно можно смотреть на три вещи: как горит огонь, как течет вода, и как все воруют у Шмидхубера
Я нифига не понимаю в собственном коде
Я занимаюсь вайб-кодингом
GPT-4.5 нужна в основном для следующей thinking модели
По итогу нескольких дней тестирования можно сказать, что новая GPT-4.5, пожалуй, самая неоднозначная модель OpenAI на сегодняшний день. Она много чего знает, но плоха в точных задачах по сравнению с ризонерами, а еще чрезвычайно дорого стоит. Если в чате с ней поговорить прикольно, то в API сценариев, при которых ее стоило бы использовать, почти нет.
Единственная надежда: GPT-4.5 пригодится OpenAI для следующего поколения ризонеров. Также, как V3 послужила базой для R1 и, предположительно, 4o — для o1, GPT-4.5 может стать отправной точкой для o3/o4/GPT-5. И если скачок будет такой же, как у o1 относительно 4o, то эта модель насытит очень многие сложные бенчмарки.
Но есть нюанс: цена. Цены на o1 больше цен на 4o в 6 раз. А GPT-4.5 уже сама по себе конски дорогая, куда уж еще больше? Даже если получится немного снизить цены, как это вышло с o3-mini (она в два раза дешевле 4o), все равно в сухом остатке мы получаем довольно недоступный ИИ.
Будем надеяться, у OpenAI есть туз в рукаве
Парень создал тулзу для прохождения собеседований, прошел с помощью нее в Amazon, а теперь его могут отчислить из университета
Разработчика зовут Чунгин Ли. Сейчас он учится в Колумбийском университете и работает над ИИ-приложением InterviewCoder для прохождения технических интервью. Ежемесячный доход стартапа уже составляет 30 тысяч долларов, а он запустился всего месяц назад.
Так вот около недели назад Чунгин решил испытать свое детище в поле, пошел вместе с InterviewCoder проходить собеседование в Amazon и в итоге «с блеском» получил офер.
Об успехе приложения он радостно рассказал в твиттере, опубликовал на ютубе запись собеса и получил кучу просмотров и пользователей (кстати, работать в Amazon он на самом деле не собирался).
В Amazon тоже увидели твиты парня и, когда поняли, что их «обманули», видимо сильно обиделись. Они написали гневное письмо ему, а затем и в его университет с просьбой «принять меры» в отношении и студента, и приложения, которое он продает. Теперь Чунгина могут отчислить.
Сам он, кстати, прокомментировал письмо так: «Лол, не задавайте тупых вопросов на собеседованиях, и люди не будут пользоваться такими штуками»
Парня жалко, конечно, но если это не лучшая реклама, то что? www.interviewcoder.co/
Пользуясь случаем, делимся с вами полезной подборкой блогов / каналов / курсов по ИИ, созданных лучшими женщинами учеными и ML-разработчицами
🟦 Всеми любимый технический блог Лилиан Вэнг – исследовательницы из OpenAI, которая сейчас работает у Миры Мурати. Тут подробные объяснения концепций LLM, схемы, ссылки на актуальные статьи и многое другое. Наша любимая статья: Prompt Engineering (до того как это стало мейнстримом)
🟦 Блог и видеокурс Кэсси Козырков. Она бывшая главная специалистка по теории принятия решений на данных в Google (Chief Decision Scientist), а на сегоднящий день CEO Data Scientific. Известна своим активным блогом, прекрасным kozyrkov/videos">каналом на YouTube и бесплатным видеокурсом "Making Friends with ML".
🟦 Блог и огромный курс по NLP Лены Войты, из которого все всегда берут схемы и рисунки. Лена – Research Scientist в FAIR Meta, PhD и автор кучи статей. Если хотите с вероятностью 100% понять все главные концепции NLP – вам сюда.
🟦 JordanHarrod/videos">YouTube-канал Джордан Харрод – докторантки MIT по нейронаукам. Тут и простые видео про то, как использовать ИИ в рутине, и обзоры новостей, и разборы статей, и объяснения сложных концепций ML простым языком. Однозначно рекомендуем.
🟦 Блог Рэйчел Томас – очень известной специалистки в области ML и соосновательницы образовательной платформы fast.ai. Она была включена в топ-20 женщин в ИИ по версии Forbes, а в своем блоге активно пишет об этике данных и прикладном ИИ в медицине и биологии.
Сохраняйте (и еще раз с 8 марта вас!)
Известный рисерчер Миша Ласкин вместе с Яннисом Антоноглу запускают собственный стартап
Они оба – бывшие исследователи Google DeepMind и большие специалисты по RL, которые разрабатывали AlphaGo, Gemini, PaLM и другие знаковые системы.
Стартап называется ReflectionAI. В нем будут разрабатывать автономные системы суперинтеллекта. «Мы начнем с автономного кодинга» – написано в из первом посте в Твиттере.
Скоро бывшие исследователи Google образуют собственную кремниевую долину
Новая OCR система от Mistral: SOTA или все-таки нет?
Вчера вечером Mistral выкатили собственную OCR модель и заявили ее как "лучшую в мире". На всякий случай, OCR – это распознавание символов с картинки, типа doc2text или image2text. Задача звучит не очень сложно, но на самом деле многосоставная и нетривиальная, особенно когда дело доходит до распознавания сканов плохого качества или рецептов вашего терапевта. На 100% задача OCR в ML до сих пор не решена.
И да, возвращаясь к Mistral: по их внутренним неопубликованным бенчмаркам (а они только такие показали в блогпосте) моделька действительно лучшая и классно справляется и с разными языками, и с формулами, и с таблицами, и с картинками, и с рукописными бумагами, и со сканами. Плюс, на примерах из того же блогпоста выглядит супер.
К тому же она довольно дешевая и быстрая: 1000-2000 страниц обрабатывает за 1 доллар и 1 минуту.
Но что там с независимыми бенчмарками? Вот здесь и здесь, например, показывают, что Gemini Flash 2.0 со многими задачами справляется лучше, а вот тут на открытых данных разработчиков другой OCR-системы Mistral вообще оказался на 6 месте (график на картинке 3). В соцсетях многие также пишут про галлюцинации на рукописях.
В общем, модель однозначно хороша, но по поводу "лучшей в мире" все-такие есть сомнения. Подождем больше тестов. А пока вы и сами можете попробовать: здесь в чате или через API.
mistral.ai/news/mistral-ocr
Трое мэтров ML опубликовали статью под названием "Superintelligence Strategy". В ней они предлагают стратегию мировой безопасности в области ИИ
Среди авторов:
– Дэн Хендрикс, директор Центра безопасности ИИ США
– Эрик Шмидт, бывший исполнительный директор и глава совета директоров Google, член совета директоров Apple, член совета по науке и технологиям США
– Александр Ван, 27-летний миллиардер, основатель Scale AI
Основная идея этих троих – исключить монополию на искусственный интеллект с помощью концепции Mutual Assured AI Malfunction (MAIM) – по аналогии с доктриной взаимного гарантированного уничтожения (MAD) времён холодной войны.
Суть MAIM в том, что государства будут стремиться саботировать потенциально опасные проекты конкурентов, чтобы ни одна страна не имела возможность обрести единоличное доминирование. Предполагается, что такая монополия будет приравниваться к агрессии и прямой угрозе существованию других.
С практической точки зрения MAIM – это шпионаж и разведка, скрытый саботаж, кибератаки, и даже физические атаки на датацентры. Да-да, мы все еще говорим о том, что написано в статье. По мнению авторов, только так можно избежать межгосударственных конфликтов и наладить взаимодействие в области ИИ.
Необычно.
https://drive.google.com/file/d/1wLcGgLOTVNsVVbgS5lPHOnqOQtNT8Z5j/view
Тем временем OpenAI закончили раскатывать GPT-4.5 на юзеров Plus подписки (20$)
Теперь можно сэкономить 180 долларов 🤑
⚫️ Разыгрываем 5 книг по обучению с подкреплением!
В честь того, что Эндрю Барто и Ричард Саттон получили премию Тьюринга — самую престижную награду в мире компьютерных наук — мы решили подарить нашим подписчикам 5 экземпляров их легендарной книги «Обучение с подкреплением».
Это главная и самая понятная книга по RL, написанная буквально отцами области. На её 600 страницах — всё, что нужно знать о reinforcement learning: от самых основ до разборов новейших подходов и знаменитых алгоритмов AlphaGo и AlphaZero, которые обыграли чемпионов мира по шахматам и Go.
Чтобы получить одну из пяти книг, просто убедитесь, что вы подписаны на оба наших канала: Data Secrets и Data Secrets Карьера. Результаты мы объявим в пятницу.
Жми "Участвовать" и совсем скоро книга может оказаться именно у тебя
От мидла до тимлида. Звучит как очередная история успеха, но это команда Циан ищет дата-сайентистов разного уровня. А ещё рассказывает:
➡️ как они выявляют проблемы и выдвигают гипотезы;
➡️ как им помогают записи пользовательских сессий;
➡️ над чем работают сейчас.
Их истории и вакансии можно увидеть на странице команды в Teams. Переходите, чтобы познакомиться и подсмотреть за работой в Циан.
Помните бенчмарк ARC AGI? Сегодня вышла статья, в которой его решили на 20% без претрейна
20% – высокий результат. GPT-4o выбивает 5%, o1-mini – 13%, а o1 – около 30. Но самое интересное в этой работе – это заявление «без претрейна».
То есть да, модель вообще не предобучали на задачах из трейна ARC-AGI. Для каждого примера берется новая нетронутая сетка, которая инициализируется случайно и обучается с помощью градиентного спуска исключительно на конкретном тестовом примере во время инференса 😮
Весь подход основан на… компрессии информации. Идея в том, чтобы находить максимально компактное (то есть низкобитное) представление задачи, которое затем при декомпрессии в точности воспроизводит исходный пазл вместе с ответом. Подход назвали CompressARC.
Архитектура похожа на VAE: мы оптимизируем параметры модели и входное распределение с применением относительного энтропийного кодирования (REC) и арифметического кодирования для эффективного сжатия информации. Модель как бы учится находить оптимальное структурное представление задачи, что в итоге и равняется тому, чтобы найти общее правило для решения головоломки.
Гениально и свежо. Интересно, заведется ли что-то подобное на других задачах.
Блогпост | Код
OpenAI подписали мощный контракт с 15 ведущими университетами и выделят им 50 миллионов долларов
Проект называется NextGenAI. Гарвард, Оксфорд, MIT, Калтех, Мичиганский университетов – вот неполный список партнеров. Все они получат от OpenAI гранты на исследования и API.
У многих университетов также будут выделенные группы студентов, которые будут заниматься специальными проектами OpenAI.
Вероятно, конечная цель – плотно подсадить крупное образование на экосистему ChatGPT, как это пытаются делать с Калифорнийским университетом.
openai.com/index/introducing-nextgenai/
Тот самый фронтендер из вашей команды на ML-хакатоне
Читать полностью…
⚡️ В Google Colab завезли Data Science агента!
Он создан специально для работы с DS/ML и может создавать не просто фрагменты кода, а целые ноутбуки. Все просто:
1. Нужно подгрузить свои данные
2. Описать цели (например, «визуализируй», «проведи EDA», «напиши и оптимизируй модель предсказания таргета»)
3. Сидеть и наслаждаться тем, как агент сам пишет и запускает ячейки, импортирует нужные библиотеки и совершенствует свой код
Кстати, на бенчмарке DABStep (он как раз оценивает способности анализировать дату) агент занял четвертое место, сразу после o1, o3-mini и Claude, а это довольно мощный уровень.
Доступно для всех юзеров
+1 к сегодняшней подборке ресурсов: HuggingFace только что обновили свой курс по NLP и LLM и добавили туда целую главу про ризонинг. Внутри:
🟦 База по обучению с подкреплением и его роль в LLM
🟦 Подробный разбор самых важных моментов статьи про R1
🟦 Практика: пишем собственный GRPO и сами элайним модель
В конце каждой главы – квиз 👍
Гитхаб | Курс на HF
Что почитать и посмотреть про обучение LLM и ризонинг? Подборка топ-7 ресурсов от нашей редакции, после которых вы точно лучше поймете, как работают и учатся современные модели 🤓
1. Несомненно, трехчасовое видео Андрея Карпаты "Погружение в LLM". Вся теория по основным этапам обучения, архитектуре, файнтюнингу, ризонингу и обучению с подкреплением верхнеуровнего и доступно. Идеально для первого знакомства с теорией по LLM.
2. Видео про трансформеры от 3Blue1Brown. Немного подробнее про внутреннее устройство LLM. Необходимо хотя бы идейно понять архитектуру, чтобы потом разбираться с новейшими техниками, и этот максимально наглядный гайд подойдет идеально. В видео есть русский дубляж.
3. Для тех, кому хочется практики, отличный бесплатный курс от Hugging Face. Классные иллюстрации, понятные примеры, все необходимое для того, чтобы вы могли сами запускать модели.
4. Статья про модель DeepSeekMath от DeepSeek. Да, здесь все еще не про ризонинг, зато очень подробно и понятно описан этап сбора данных, претрен, эксперименты и обучение с подкреплением. Этот текст даст вам крепкую базу для понимания того, как обучают модели в индустрии. Вот, кстати, наш большой разбор этой статьи.
5. У истоков ризонинга: статья про CoT от Google Research. Одна из первых и самых влиятельных работ, в которой обстоятельно обсуждается, что такое цепочки мыслей CoT и как они влияют на качество результатов. Много примеров. Историческая и необходимая база.
6. Cтатья про DeepSeek-R1. Да, эти ребята умеют хорошо писать. Подробно, лаконично, с практической точки зрения. Прочитайте это, и будете понимать ризонинг лучше, чем 99.9% пользователей ChatGPT. Наш разбор.
7. Очень содержательное выступление "Learning to Reason with LLMs" от Ноама Брауна – известного ученого из OpenAI, который работает как раз над ризонингом и агентами. Про игры, масштабирование компьюта и то, как индустрия пришла к моделям, основанным на рассуждениях.
Сохраняйте!
Вышла интересная статья, в которой показали эффективный способ расширения контекстного окна
Продолжается борьба между сторонниками RAG и модельного подхода, в котором контекстное окно пытаются расширить только за счет архитектурных хаков, а не за счет пост-оберток. На эту тему выходит все больше статей. Самая яркая из последних – Infinite Retrieval из Китая.
В этой работе впервые показали способ расширения контекста, который выбивает 100% на бенчмарке «Иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».
Раньше некоторые подходы тоже выбивали 100%, НО только на исходном размере контекстного окна модели. А тут взяли малюсенький Qwen2.5-0.5B-Instruct с контекстом 32К, расширили контекст до 1 миллиона (!) и получили результат 100%. Очень круто. Разбираемся, что под капотом 👇
В целом, все построено на привычном подходе кэширования ключей и значений для критически важной информации. Но есть два ключевых отличия:
1. Текст предварительно разбивается на логически завершённые сегменты. Так, чтобы в кэше оставались не отдельные токены, а самые важные законченные мысли
2. Определение значимости сегментов встраивается не поверх, а прямо последним слоем в модель. То есть релевантная информация извлекается прямо во время инференса
Маржинальность DeepSeek составляет 545%. Или нет?
Сегодня внезапно случился шестой, незапланированный, день опенсорса от DeepSeek. Они рассказали о том, как устроен онлайн-инференс моделей DeepSeek-V3/R1 и о том, сколько они зарабатывают на наценке.
Итак, инференс делится на два этапа: Prefilling и Decoding. То есть сначала модель разбивает запрос на токены и формирует эмбеддинги, а затем генерируют выходные токены один за одним. При этом Prefilling легко распараллелить между кучей GPU и проблем тут нет.
А вот с декодингом все сложнее. Тут возникают задержки из-за обмена данными между процессорами и экспертами MoE. Сюда то как раз и встаивают систему DualPipe, о которой мы подробно рассказывали в четвертый день опенсорса DeepSeek. Благодаря ней этапы передачи данных перекрываются вычислениями.
Интересно так же то, что на каждом слое модели при этом доступны аж по 256 экспертов, хотя для одного запроса активируются всего 8. Зачем? Все просто: если один эксперт оказывается перегружен или занят, токены могут быть направлены к другому, что обеспечивает балансировку нагрузки. Плюсом отказоустойчивость и оптимизация вычислений в разных конфигурациях.
А теперь немного экономики.
➖ Сервис работает на H800. За 24 часа пиковая занятость достигала 278 узлов, а средняя – 226.75 узлов. При условии, что каждый узел содержит 8 GPU, ежедневные затраты составляют примерно $87,072.
➖ Всего за сутки обработано 608 миллиардов входных токенов, из которых 56.3% (342 млрд) – это попадания в on-disk KV cache. Сгенерировано 168 миллиардов выходных токенов (средняя скорость генерации – 20–22 токена в секунду)
➖ При стандартном ценообразовании R1, входящие токены оцениваются в $0.14 в кэше или в $0.55 без кэша, а аутпут токены – $2.19 за миллион. То есть общая выручка составляет $562,027, что приводит к маржинальности 545%.
Но это число, конечно, завышено. Во-первых, у DeepSeek-V3 более низкие цены. Во-вторых, в веб-версии все работает бесплатно. В-третьих, даже на API есть ночные скидки.
И тем не менее, с такими оптимизациями и скоростью система остается очень даже экономически эффективной. Очень интересный шеринг от DeepSeek, в общем, таким очень редко кто делится
https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md