Культурно освещаю самые и не самые важные новости из мира AI, и облагораживаю их своим авторитетным профессиональным мнением. В свободное время работаю как Staff Research Scientist в Meta Generative AI в Швейцарии. Aвтор: @asanakoy PR: @ssnowysnow
Нейродайджест за неделю (#39)
Нобелевская премия
- Нобелевка в физике machine learning. Впервые премию вручили за метод обратного распространения ошибки для тренировки нейросетей.
- AlphaFold. Вторая в истории "нобелевка" по AI за предсказание структуры белков.
Генеративные модели
- Pixtral-12B. Тех-репорт с подробным описанием архитектуры, полезно почитать.
- Midjourney Describe. Они очень старались спрятать эту кнопку на сайте, но я её нашёл. И немного мыслей про копирование стиля с референса.
- Imagine Flash. Запись моего доклада с Цюрихского AI+X саммита про то, как мы ускоряли наши диффузионные модели для картинок и видео.
Роботех
- Роботы-стриптизёры и машины без водительских мест. Учимся закатывать вечеринки у Илона Маска.
Career advancements
- Ищем ментора и как не быть кринжом на желанном созвоне. Рассказал о своем опыте поиска ментора и о том, как я смотрю на своих менти.
- 🚨Final call на интенсив. Через пару часов закрываю регистрацию. Спасибо всем, кто присоединился. Ну, а у остальных ещё есть последняя возможность ;)
> Читать дайджест #38
#дайджест
@ai_newz
Practical ML Conf 2024 – доклад об устройстве сервиса "Нейро" от Яндекса
Для поиска крайне важно, чтобы ответы LLM были основаны на фактах из поиска, а не на галлюцинациях. Яндекс - одна из немногих компаний, которые могут тренировать LLM специально для такой задачи, а не использовать готовую или чей-то API. Подверженность всех стадий тренировки одной цели позволяет добиться результатов заметно получше, о чём и рассказали в этом докладе.
Архитектура тут влияет на удивление сильно - простая замена Decoder-only на Encoder-Decoder повышает подтвержденность сильнее, чем масштабирование модели и контекста вместе взятые. Причина довольно простая - отсутствие треугольной маски аттеншна позволяет токенам получать информацию из всего контекста, а не только того, что перед ними, вот и модель лучше воспринимает инфу из контекста.
Подтвержденность - метрика, которая измеряет, как хорошо моделька понимает контекст, который передал ей поиск. Кроме этого замеряли полезность ответа. Без таких бенчмарков затачивать модельку под конкретные задачи крайне сложно.
Сбор датасета под такую задачу - отдельная головная боль. Подробный ответ на вопрос с нуля занимает у человека 4 часа, так что даже при большой команде редакторов это заняло треть длительности всего проекта. Решение - не начинать с нуля, сначала лучше использовать любую готовую LLM, а потом уже предрелизные версии собственной модели. Так вышло сократить время на один ответ в два раза - до двух часов.
А ещё оказалось, что в большой команде из-за разного стиля у редакторов модель учится стилям написания текста разными людьми, а не задаче, которой её пытаются научить. Поэтому пришлось вводить детальные гайдлайны для редакторов датасета чтобы снизить дисперсию, после чего модели стало сильно проще учиться.
Своя модель означает, что её нужно тюнить, и тут рассказали кучу нюансов - от казусов, где модель начала предупреждать об опасностях малинового варенья (из-за косточек). Дело в том, что при тюне модель за любое предостережение либо поощряли, либо ничего не делали, что модель прекрасно выучила и чем воспользовалась. Поэтому даже когда все метрики растут, очень важно смотреть на то, что модель выдаёт, а не только на красивый лосс.
Остальные доклады с конфы можно посмотреть здесь. Из интересного - там есть гайд как тюнить дифузионки на своих данных.
#промо
Нобелевка за нейронки
Нобелевскую премию по физике выиграли Джеффри Хинтон и Джон Хопфилд. Премию присудили за "Фундаментальные открытия и изобретения, которые способствуют машинному обучению с искусственными нейронными сетями". При чём здесь физика - сложно понять. Похоже, комитет просто пытался хоть куда-то приткнуть нейронки, а физика тут ближе всего. Хотя, по-моему, тут больше бы подошла даже медицина - там хотя бы AlphaFold совершил прорыв в чём-то, а с открытиями в области физики из-за нейронок как-то негусто.
Возможно, причина в том, что Хопфилд всё-таки по образованию физик. Хотя его основной вклад в науку - изобретение сетей Хопфилда, рекуррентных сетей, которые во многом положили начало возрождению нейронных сетей в 80-х и 90-х.
Хинтон изобрёл метод обратного распространения ошибки для тренировки нейронок, который позволил тренировать многослойные сети. А студенты Хинтона - Илья Суцкевер и Алекс Крижевский, создали AlexNet. Именно она начала всю эту гонку нейронок, показав, что их можно масштабировать через тренировку на GPU.
В общем, хайп по нейронкам теперь проник и в Нобелевский комитет.
@ai_newz
На этой неделе происходило так много всего, что я не успевал обо всем постить. Навёрстываем.
В четверг я уехал с ECCV, на день раньше официального окончания. Я спешил на другой ивент.
Как только вернулся из Милана назад в Цюрих, сразу нужно было идти выступать на другую крупную конференцию – AI+X саммит. Это конфа, которую организует ETH AI Center, и где представлены ведущие Цюрихское научные AI лабы, стартапы и компании.
Было много про Computer Vision и Robotics (чем Цюрих особенно славится), а также AI в медицине и финансах.
Я выступал с докладом "Imagine Flash": Meta's real-time text-to-image synthesis diffusion model" (пост про модель).
А затем меня пригласили на панельную дискуссию в треке Human-Centric Computing in the Age of AI Track. На панели также был Federico Tombari, Senior Staff Research Scientist из Цюрихского Гугла, и местные профессора.
Забавно что на панельной дискуссии со мной также сидел мой научный дед – Prof. Joachim Buhmann из ETH. В немецкоязычном научном мире есть такое понятие как Doktorvater (рус. Научный Отец) - это научник, у которого вы написали PhD. Так вот мой научник Björn Ommer писал диссер у Joachim Buhmann, поэтому Joachim получается моим научным дедом. Когда это выяснилось во время дискуссии, мы здорово посмеялись, что на конфе собралось наших 3 научных поколения, тем более Бьёрн в это время выступал в соседнем зале)
Но на этом насыщенная неделя не закончилась. Продолжение в следующем посте.
#personal #конфа
@ai_newz
Вот тут на Freepik можно в течение 24 часа генерить на Flux 1.1 [pro] бесплатно.
И, кажется, там пока нет никакой цензуры. На что только не идут ради хайпа (или просто забыли врубить фильтр?).
Бесплатно дают 5 генераций.
@ai_newz
Заснял как китайцы (unitree) показывают новую зверюгу на ECCV. Может и бегать, и ездить – удобно!
На нём человек может даже проехать верхом, робот выдерживает до 100 кг.
А внутри у него – видюха Nvidia Jetson Xavier NX, разработанная специально чтобы устанавливаться на роботов и всякие автономные давайсы.
Робопсом Спотом от Boston Dynamics уже никого не удивить, мы видим, что выходят все более и более навороченные зверюги.
#конфа
@ai_newz
Всем привет!
Недавно я анонсировал, что решил впервые провести менторинг-программу для всех желающих попасть на разные AI должности в топовые места, такие как FAANG, ну и не-FAANG:) Цель – поделиться своими знаниями и опытом, в том числе как человек который регулярно собеседует людей в Мету, и помочь мотивированным ребятам стать сильными кандидатами на такие роли как Data Scientist, ML Engineer, Research Engineer или Research Scientist.
Эта программа идеально вам подойдет, если:
1️⃣ Вы уже в IT и, например, software-инженер (или схожее), но хотите перейти в AI и понять как стать сильным кандидатом и успешно проходить собеседования.
2️⃣ Вы уже работаете на AI-related роли, но либо хотите попасть в топовые места следующего уровня как например FAANG+, либо хотите перейти на должность Research Scientist.
3️⃣ Вы студент в STEM и хотите попасть на стажировку в AI и понять как выстроить сильное резюме, портфолио, получить приглашения на интервью и успешно проходить их.
Эта программа не будет вам подходить, если:
1️⃣ Вы только начинаете свой путь/ свою карьеру в AI и только учитесь программировать и нет никакой ML-базы.
2️⃣ Вы ищете курс по теоретической базе в AI/ML.
3️⃣ Вы Staff+ AI специалист и хотите понять как запромоутиться на Senior Staff и выше.
Две недели, с 14 по 27 октября, мы будем плотно общаться в закрытом комьюнити, я буду отвечать на вопросы, а также проведу 4 live-стрима, где буду делиться опытом и лучшими практиками. На 2х из 4x стримов я проведу мок-интервью на разные темы (Coding и AI/ML Design) с разбором.
Группа уже формируется очень крутая (из тех, кто уже присоединился). Так что если вы хотите стать сильным кандидатом и успешно пройти на высокооплачиваемые AI роли в топ компании, например в FAANG, можно зарегаться на интенсив через бота @ai_newz_intensive_bot. Вступить в группу по Early-Bird цене можно до вторника.
Ну, а если вы студент, очень мотивированы, но интенсив вам не по карману - у вас есть возможность участвовать в charity программе и попасть на одно из трех бесплатных мест. Условия участия в конкурсе вы узнаете также в боте. Дедлайн участия 4.10.
По вопросам, в боте есть FAQ секция. А в крайнем случае всегда можете через него же написать свой вопрос.
Всем большой привет из Милана!
@ai_newz_intensive_bot
Протестил Kling Motion Brush
50 минут ожидания и о-па! Марик превращается в другого парня. Лица, конечно, знатно корёжатся. Но траектория с большего правильная получилась, кроме ног парня слева.
Ради справедливости, я пробовал оживить это фото в Luma, и он вообще отказался что-либо делать, просто слегка зазумил фотку.
Так что тут победа за Kling!
@ai_newz
Стрим про AI карьеру и собеседования через 2 часа, 17:30-18:30 CET (18:30-19:30 мск).
С самыми упорными, возможно, задержимся еще на полчаса, вопросов интересных поступило немало.
Ссылка на стрим: Streamyard
В начале разогрева ради – хиханьки, если не опоздаете, узнаете, кто ел в одной столовке с Яном ЛеКуном, кто сегодня спал днём, а кто работал всю ночь.
@ai_newz
Нейродайджест за неделю (#35)
LLM, гонки и клубника
- Гонка инференса Грок обогнал Cerebras, выдав >500 токенов/сек на Llama 70B.
- SambaNova. Еще один лидер, о котором раньше никто не слышал. Теперь у ребят самая быстрая лама 405B.
- Pixtral - 12B. Мультимодалка от Mistral теперь понимает картинки.
- OpenAI o1 или та самая Strawberry. Скейлить инференс комьют через CoT — похоже, всё, что нам осталось. Прайсинг, конечно, жестокий.
Генерация видео
- Runway зарелизила модель для генерации video2video. Смотрим примеры, и почему оно работает лучше чем text2video.
Гайды
- Визуализация LLM. Все мы визуаллернеры, так что представлять в голове какую-то конкретную картинку очень полезно.
- WebGPU puzzles. Оригинальный GPU Puzzles, но прямо в браузере. Кайфы, всё быстро и просто, идем ботать!
Всякое
- Разоблачаем AI-хапожоров или почему нужно читать проверенные источники.
- Преза Apple. "Главное" нововведение — это то, что в названии после 1 теперь не 5, а 6.
Интерактивчик!
- Стрим про карьеру и учебу. Поговорили про поступление в ЕС, PhD программу в Meta и еще кучу ништяков, кто не успел — тот опоздал. Жмякайте unmute :)
> Читать дайджест #34
#дайджест
@ai_newz
После предыдущего стрима про карьеру и учебу в AI мне в личку написало очень много людей со своими вопросами. Так как в личке всем развернуто ответить сложно, я решил провести еще один стрим на тему учебы в Европе и того, что нужно для роли AI Scientist / AI Engineer в FAANG.
📌 Стрим будет завтра (12 сентября) с 16:00 до 17:00 CET.
На этот раз я пригласил на стрим еще двух ребят (Настю и Никиту). Мы с ними обсудим учебу в Германии, Франции и Великобритании и наш опыт из первых рук.
Настя училась на бакалавриате и в магистратуре в Karlsruhe Institute of Technology (KIT) в Германии. Никита учился в магистратуре École Polytechnique во Франции, и на PhD в Лондоне на совместной программе между Meta и Oxford University. Ну, а про меня вы знаете.
Темы стрима:
- Поговорим про различные роли в AI: Research Scientist, Research Engineer, ML Engineer, Data Scientist. Чем они отличаются, и что для них нужно знать и уметь.
- Про PhD, магистратуру и бакалавриат в разных странах Европы и чем они отличаются.
- Про PhD программу внутри Meta в Лондоне и Париже, и как туда попасть студенту.
- Про собеседования и поиск работы в AI.
Как всегда, пишите в комментах свои вопросы, в конце стрима я отвечу на самые интересные.
Сохраняйте дату себе в календарь: инвайт.
Увидимся завтра!
@ai_newz
Нейродайджест за неделю (#34)
GPU
- Colossus XAI. Мегачад Маск уже запустил свой крупнейший кластер GPU для тренировки.
- GPU кластер на 10 гигаватт. Да сразу два! Это в 50 раз больше Colossus'а от Маска.
Агенты/роботы
- DEEP Robotics. Зашуганные робопёсики кидаются в сторону от вида людей.
- Код для AI игр. Проект Starlightlabs закрыли и выложили все наработки в open source. Пользуем!
- Цивилизация машин в Майнкрафте. AI агенты построили свой новый дивный мир.
LLM
- DeepSeek V2.5. Детище DeepSeek V2 и DeepSeek Coder V2 даёт результаты.
- Коротко о flash attention. Ну а в чём я неправ?
Личные истории
- Красавчик на собеседовании. Люблю, когда приходят подготовленными.
Прочее
- Калифорнийские регуляторы наступают. Законопроект прошёл ассамблею. Конечно, есть правки в правильном направлении, но это всё ещё жесть.
- Золотой Суцкевер. МУЖЧИНА таки привлёк свой миллиард на бесприбыльный стартап.
- Хата айтишника из FAANG. У кого так же?
- Топ самых влиятельных людей в AI от Times. Саааамый авторитетный и саааамый неподкупный.
> Читать дайджест #33
#дайджест
@ai_newz
Наш слоняра, Три Дао.
Ну, а что, чел реально в одну харю затащил Flash Attention, на базе которого работают (быстро) все современные LLM. И, кстати, его в непредвзятый список Times не включили.
@ai_newz
SSI Ильи Суцкевера привлёк $1 млрд 🙀
С момента основания Ильей Safe Superintelligence Inc не прошло и трёх месяцев, у неё всего 10 сотрудников, а оценка у неё уже 5 миллиардов! И топовые инвесторы, вроде a16z и Sequoia, не ожидают скорой прибыли — ведь первым продуктом компании будет сверхинтеллект.
Топлю за Илью, он реально крут!
@ai_newz
Минимум две компании собираются построить датацентр стоимостью более чем в $125 млрд
Комиссар по торговле Северной Дакоты заявил, что правительство штата проводит переговоры о постройке гигантских кластеров в штате - потребление каждого может доходить до 10 гигаватт. Это беспрецедентные масштабы - запущенный вчера Colossus, самый большой кластер в мире, потребляет менее 200 мегаватт, то есть разница более чем в 50 раз.
По словам комиссара, речь идёт о двух компаниях с капитализацией более триллиона. Компаний с такой капитализацией немного: Nvidia, Amazon, Google, Apple, Meta и Microsoft. Apple и Nvidia не столь активны в постройке датацентров, так что это, скорее всего, не они. А вот слухи о Stargate, гигантском датацентре Microsoft, ходят уже полгода.
Северную Дакоту, вероятно, рассматривают потому, что это один из немногих штатов с избытком электроэнергии. Обусловлено это огромными запасами нефти - штат добывает 1,3 миллиона баррелей в день - столько же, сколько добывает, например, Катар. А ведь побочный продукт сланцевой нефти - природный газ, который какое-то время настолько некуда было деть, что его просто сжигали, было видно из космоса.
Использоваться оба датацентра точно планируют для ИИ - другие юзкейсы представить сложно. Для контекста: Azure, второе по популярности облако в мире, в сумме потребляло 5 гигаватт на конец предыдущего года. Для того чтобы такие затраты были оправданы, выручка от ИИ должна вырасти ещё во много раз.
@ai_newz
Добро пожаловать в киберпанк - Маск провёл презентацию Tesla
Показал пару прототипов новых тачек в стилистике Cybertruck вообще без водительских мест - Cybercab (робо-такси) и Robovan (робо-маршрутка). Когда выйдут - непонятно, обещает "до 2027", но с дедлайнами у Маска так себе.
Но вы только посмотрите на этих танцующих роботов Optimus! Они ещё стояли у бара, играли в камень-ножницы-бумагу и вообще всячески взаимодействовали с посетителями. Правда, скорее всего, ими управляли живые люди удалённо.
@ai_newz
Pixtral-12B: тех-репорт
Месяц назад выкатили модель (пост был тут). А сейчас вышел тех-репорт про Pixtral-12B с кучей деталей про мультимодальную архитектуру и эвал, но без описания тренировки. Полезное чтиво!
По бенчам бьют Llama-3.2 11B & Qwen-2-VL 7B.
Статья
Webpage
Inference code
Evaluation code
@ai_newz
А у меня активная неделя продолжается. Вчера отдохнул денёк, теперь едем дальше.
Я лечу в главный офис Meta в Menlo Park, California. Мы с командой будем отмечать успешный релиз Movie Gen и обсуждать дальнейшие планы. Как всегда я забил встречи с важными людьми. Пока есть шанс встретиться лично, нужно пользоваться – это гораздо более эффективно чем говорить по видео.
Тренировать новые модели и фигачить код важно и полезно, но не менее важно для карьеры быть на виду и регулярно напоминать топам о себе.
Ну, а кроме всего этого я ещё недельку понаслаждаюсь теплом и солнцем в Калифорнии, а то в Швейцарии уже во всю бушует осень.
Ещё возможно соберём митап в Бэй Эриа в конце недели (пост с апрельской тусовки). Так что если вы тут, вступайте в чатик, но не забудьте представиться как зайдёте.
Ссылка на чат ai_newz x Bay Area: тык.
#personal #карьера
@ai_newz
Взгляд на собесы с другой стороны
Я много писал про грейды в бигтехе, компенсации и собеседования. Но есть еще одна важная тема, о которой часто забывают. Мы часто рассматриваем собеседования только с позиции кандидата. Как пройти бихейв, не завалить leet code, что спросит эйчар? Перед важным звонком полезно взглянуть на собеседование и с другой стороны — со стороны нанимателя. Что он хочет от вас как от кандидата?
Об этом как раз пишет Ринат в этом посте про отбор идеального кандидата. Вот его главные три вопроса во время общения с кандидатом:
1. Может ли кандидат делать результат?
2. Хочет ли кандидат делать этот результат?
3. Впишется ли он в команду?
Конечно, ответ на эти вопросы складывается из всех прочих ваших ответов, но суть в том, что именно через эти вопросы наниматель оценивает вашу способность соответствовать его требованиям.
Кстати, Ринат ex-директора продаж Red Bull Ru, а сейчас — ко-фаундер Educate Online, где они в 23-м подняла $12 млн в Series A раунде.
Рекомендую почитать его канал, если вас интересуют стартапы, найм и карьера: @telega_Rinata.
#промо
OpenAI привлекла 6,6 млрд долларов при оценке в 157 млрд долларов
Последние несколько недель факт привлечения инвестиций был секретом Полишинеля — все знали, кто, примерно сколько и по какой оценке инвестирует. И вот сразу после DevDay 2024 OpenAI закрыла этот раунд финансирования.
Оценка в 157 миллиардов долларов, похоже, делает их дороже всех независимых конкурентов вместе взятых — Anthropic собирается поднимать следующий раунд по оценке в 40 млрд, XAI недавно привлекла 6 миллиардов при оценке в 24, а Mistral за эти 6,6 млрд можно вообще купить с потрохами. Компаний поменьше на почти 90 миллиардов вряд ли наберётся.
Деньги привлекаются конвертируемыми облигациями — долгом, который при желании кредитора конвертируется в акции компании. Но они идут с условиями — в течение двух лет компания должна реструктурироваться и стать коммерческой, иначе вступают в силу штрафные санкции. Но и у OpenAI есть свои условия — инвесторы в OpenAI не должны инвестировать в конкурентов.
Диктуют они их не просто так — компания растёт бешеными темпами и, похоже, утроит свою прогнозируемую выручку с 3,6 миллиардов до 11,6 миллиардов в год к концу 2025 года. Часть плана по росту выручки — повышение цен на ChatGPT, основной драйвер роста компании. В этом году цена вырастет до 22 долларов, а до конца 2029 года она более чем удвоится — до 44 долларов. А про цены на GPT-5 и думать страшно.
@ai_newz
🥳 Губернатор Калифорнии наложил вето на SB-1047
В последний момент Гэвин Ньюсом всё-таки решил воспользоваться своим правом вето. Я писал про этот законопроект и разбирал что с ним не так несколько раз.
Изначально там был полнейший бред, который мог убить калифорнийский опенсорс на корню. Его частично поправили, но даже в последних редакциях в законопроекте была куча расплывчатых определений, плюс он делал разработчиков изначальной модели ответственными за действия большинства файнтюнов.
Губернатор обещает внести свой собственный законопроект уже в следующем году. Надеюсь он будет более адекватным, по крайней мере эта часть текста вето даёт надежду:
Хотя законопроект SB 1047 создан с благими намерениями, он не учитывает, используется ли система ИИ в высокорискованных средах, связана ли она с принятием критически важных решений или обработкой конфиденциальных данных. Вместо этого законопроект предъявляет строгие требования даже к самым базовым функциям — если это делает крупная система. Я не считаю, что это наилучший подход к защите общественности от реальных угроз, создаваемых этой технологией.
OpenAI может перестать быть нонпрофитом
Судя по источникам Reuters, в компании планируют большую реструктуризацию - дочернюю коммерческую компанию, которая и так занимается большинством дел, собираются вывести из-под контроля некоммерческой организации. Некоммерческая всё ещё будет владеть минимальной частью акций, но не большинством. Сэм Альтман получит акции в коммерческой компании (впервые, до этого он отказывался из брать).
Изменение, скорее всего, привязано к следующему раунду финансирования - 6 миллиардов долларов по оценке в 150 миллиардов. После прошлых раундов Microsoft и так владеет 49% дочерней компании, единственный способ привлечь инвестиции, не продавая акции нонпрофита – это размыть долю Microsoft, на что вряд ли кто-то пойдёт.
После ухода Ильи Суцкевера из OpenAI в интернете полгода спрашивали - "what did Ilya see?". Ответ мы получили лишь недавно - ранние результаты того что в итоге стало o1. Ответ на вопрос "what did Mira see?" пришёл почти моментально.
@ai_newz
Motion brush и Kling 1.5
Я что-то слышал краем уха про то, что у Kling вышла версия 1.5, и вроде бы она даже немного получше, и про то, что у них появился motion brush. Но я не предал этому особого значения, т.к. такая же штука была у Runway, а качество, ну, не то чтобы прямо сильно выросло. Но.
Гляньте на эти тесты от твиттерских. Работает неожиданно хорошо, и что самое классное — есть возможность указать траекторию движения. Да и сегментация объектов по клику мыши работает неплохо. Поэтому решил, что всё-таки это стоит поста.
По обновлению:
- Разрешение 1080p для pro юзеров
- Увеличение динамики движения в кадре
- Motion Brush с траекторией движения для 6! элементов сразу
- Увеличили скорости генераций, сделали возможность генерить несколько видео параллельно - тут спорно, у меня 2 видоса генерились более 50 минут. Хз, где та скорость.
- Увеличили макс. длину клипа для img2video до 10 секунд и добавили end frame в стандартной подписке (тоже платная)
Пока на бесплатной версии дает генерить с Motion brush только в Kling 1.0.
Ну что, теперь Kling — король арены видеогенерации?
Подробнее и сравнения
@ai_newz
Если вам когда-либо было интересно, как получить мегакластер GPU, то вот вам подробный гайд от Ларри Эллисона, фаундера того самого Оракла. Челу 80, кстати, похоже, он всё-таки нашёл эликсир вечной молодости.
Ну так вот, записываем:
1) Приходим на ужин к Дженсену Хуангу.
2) Вместе с Маском умоляем Кожанку взять ваши миллиарды.
3) Поздравляю, если вам повезёт, то партию свеженьких GPU не задержат.
Теперь повторяем😂
Кроме шуток, Oracle – одна из немногих компаний, которая смогла заполучить контракт на более чем 100.000 видеокарт NVIDIA Blackwell (это GB200, например). Они уже строят огромный кластер, который заработает в первой половине 2025. А сбоку еще планируют пристроить 3 маленьких атомных реактора на ~1000 MW, чтобы все это дело запитывать электроэнергией.
Короче, если GPU - это новая нефть, то AI – это новый автомобиль.
@ai_newz
В гонке быстрого инференса новый участник
SambaNova запустили Llama 3.1: 405B на подтверждённой скорости в 132 токена в секунду, 70B - на скорости 461 токен в секунду и 8B - на скорости 1066 токенов в секунду. Это всё в bf16, без квантизации. На лидерборде Artificial Analysis у SambaNova точность 405B выше всех других провайдеров, но с моделями поменьше не всё так радужно.
Я потестил их инференс, скорость и правда очень высокая - у меня 405B выдавала от 110 до 124 токенов в секунду, что очень близко к заявленным числам. 8B доходила до 1100 токенов в секунду, а вот 70B, хоть и выдавала до 466 в секунду на пике (в твиттере стартап вообще заявлял скорость до 570 в секунду), но у части запросов скорость была аж в два раза меньше.
Цена 405B - $5/mt на вход и $10/mt на выход. Есть на рынке провайдеры и подешевле, но они все запускают модель с уменьшенной точностью.
API уже доступно разработчикам для теста. Бесплатно, но с очень низкими лимитами. Возможность платить за API добавят позже.
Попробовать можно тут
Предыдущий пост из серии про быстрый инференс: тык.
@ai_newz
Pixtral - 12B мультимодальная модель от Mistral
Моделька понимает картинки, пока есть только веса, никаких результатов бенчей или тестов нет. Скорее всего, она основана на NeMo - параметры конфига совпадают.
Конфиг:
{
"dim": 5120,
"n_layers": 40,
"head_dim": 128,
"hidden_dim": 14336,
"n_heads": 32,
"n_kv_heads": 8,
"rope_theta": 1000000000.0,
"norm_eps": 1e-05,
"vocab_size": 131072,
"vision_encoder": {
"hidden_size": 1024,
"num_channels": 3,
"image_size": 1024,
"patch_size": 16,
"rope_theta": 10000.0,
"intermediate_size": 4096,
"num_hidden_layers": 24,
"num_attention_heads": 16,
"image_token_id": 10
}
}
magnet:?xt=urn:btih:7278e625de2b1da598b23954c13933047126238a&dn=pixtral-12b-240910&tr=udp%3A%2F%http://2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%http://2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%http://2Ftracker.ipv6tracker.org%3A80%2Fannounce
Что будет, если дать 1000 ботам сознание и запустить их в Minecraft?
Они построят цивилизацию...
Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.
Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.
Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.
Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.
Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.
Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.
И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.
Тред
Дискорд
Реддит
Блог-пост
Сайт с плейтестом
@ai_newz
DeepSeek V2.5
Обновлённая модель, результат мержа DeepSeek V2 и DeekSeek Coder V2, сочетающая позитивные стороны обеих моделей и заменяющая обе. В большинстве бенчей лучше чем оба своих предшественника, но в паре есть деградация. Советуют подкрутить температуру и промпт, если есть какие-то странности.
Всё по той же крайне низкой цене - 14 центов за миллион токенов на вход и 28 центов на выход. А ещё есть Context Caching, который в 10 раз срезает стоимость инпута и бесплатно хранится сутки.
Если не хочется использовать API, то веса модели уже доступны. Из-за нестандартной архитектуры, с инференсом были проблемы, но последняя версия SGLang их исправила - перформанс вырос в 7 раз.
Huggingface
@ai_newz
Разбираешься в AI? Покажи, на что способен – прими участие в международном соревновании AI Journey Contest. Призовой фонд – более 8 миллионов рублей!
Задачи, как всегда, масштабные и амбициозные. Участникам предстоит работать с SOTA-технологиями, выбрав одну или несколько из предложенных задач:
✔ Emotional FusionBrain 4.0 — создать мультимодальную модель, которая умеет круто понимать видео, отвечает на сложные вопросы и «чувствует» человеческие эмоции.
✔ Multiagent AI — разработать мультиагентную RL-систему, где агенты будут объединяться в различные схемы кооперации при решении задач. Эта задача суперполезна для научных исследований.
#промо
👮Калифорнийский законопроект о регуляции ИИ прошёл ассамблею
TLDR: SB 1047 фактически запрещает публикацию передовых моделей в опенсорс. Несмотря на сильную оппозицию (см скрин) со стороны индустрии и не только, закон удалось провести сквозь ассамблею. На него ещё может наложить вето губернатор.
Последний раз я писал о законе ещё в июле, с тех пор туда внесли ряд правок. Вот основные изменения в законопроекте с прошлого поста:
➖ Подпадают под закон модели, которые стоили бы более $100 млн по "средним ценам облачного компьюта". Файнтюны же таких моделей, на которые потрачено более $10 млн, считаются новыми моделями. До 1 января ограничение также даётся в флопсах - 1e26 и 3e25.
➖ Обновлять определение подпадающих под закон моделей теперь будет "Board of Frontier Models" (совет по делам фронтирных моделей). Пять из девяти мест в борде будут занимать: представитель опенсорс сообщества, представитель индустрии, эксперт по кибербезопасности, эксперт по оружию массового поражения и эксперт в ИИ. Их назначает губернатор, подтверждает назначение сенат. Ещё два места, которые назначает спикер ассамблеи – это академики, специализирующиеся в AI. Оставшиеся два места назначает комитет по правилам сената, требований к компетентности членов тут нет.
Главная проблема закона, напоминаю – это ответственность разработчиков модели за "критический вред", который нанесла не только сама модель, но и её файнтюны "дешевле $10 млн". По факту это запрещает публикацию в опенсорс моделей, подпадающих под закон. Даже если сама модель безобидная, доказать, что все возможные файнтюны в пределах ограничений по компьюту, будут тоже безобидными - невозможно.
Вторая большая проблема - определение денежной стоимости тренировки модели "средней ценой по рынку". Разброс в стоимости H100 в час на рынке сейчас более 4x (AWS - $12.25/hr, Lambda - $3/hr), так что со средним значением под закон будут подпадать модели в разы дешевле чем лимит на бумаге.
Сейчас закон отправился на рассмотрение к губернатору, у которого месяц на то, чтобы либо подписать закон либо наложить на него вето. Если он его подпишет - регуляции вступят в силу уже в 2026 году.
Кажется, если закон примут, то это может прибить AI стартапы в Силиконовой Долине – они будут делать ноги в другие штаты, где и налоги пониже и регуляции помягче. При условии, конечно, что не примут похожую регуляцию на федеральном уровне.
@ai_newz