эйай ньюз

20 сентября 2024 23:49

Протестил Kling Motion Brush

50 минут ожидания и о-па! Марик превращается в другого парня. Лица, конечно, знатно корёжатся. Но траектория с большего правильная получилась, кроме ног парня слева.

Ради справедливости, я пробовал оживить это фото в Luma, и он вообще отказался что-либо делать, просто слегка зазумил фотку.

Так что тут победа за Kling!

@ai_newz

эйай ньюз

20 сентября 2024 15:41

Стрим про AI карьеру и собеседования через 2 часа, 17:30-18:30 CET (18:30-19:30 мск).
С самыми упорными, возможно, задержимся еще на полчаса, вопросов интересных поступило немало.

Ссылка на стрим: Streamyard

В начале разогрева ради – хиханьки, если не опоздаете, узнаете, кто ел в одной столовке с Яном ЛеКуном, кто сегодня спал днём, а кто работал всю ночь.

@ai_newz

эйай ньюз

15 сентября 2024 21:44

Нейродайджест за неделю (#35)

LLM, гонки и клубника
- Гонка инференса Грок обогнал Cerebras, выдав >500 токенов/сек на Llama 70B.
- SambaNova. Еще один лидер, о котором раньше никто не слышал. Теперь у ребят самая быстрая лама 405B.
- Pixtral - 12B. Мультимодалка от Mistral теперь понимает картинки.
- OpenAI o1 или та самая Strawberry. Скейлить инференс комьют через CoT — похоже, всё, что нам осталось. Прайсинг, конечно, жестокий.

Генерация видео
- Runway зарелизила модель для генерации video2video. Смотрим примеры, и почему оно работает лучше чем text2video.

Гайды
- Визуализация LLM. Все мы визуаллернеры, так что представлять в голове какую-то конкретную картинку очень полезно.
- WebGPU puzzles. Оригинальный GPU Puzzles, но прямо в браузере. Кайфы, всё быстро и просто, идем ботать!

Всякое
- Разоблачаем AI-хапожоров или почему нужно читать проверенные источники.
- Преза Apple. "Главное" нововведение — это то, что в названии после 1 теперь не 5, а 6.

Интерактивчик!
- Стрим про карьеру и учебу. Поговорили про поступление в ЕС, PhD программу в Meta и еще кучу ништяков, кто не успел — тот опоздал. Жмякайте unmute :)

> Читать дайджест #34

#дайджест
@ai_newz

эйай ньюз

11 сентября 2024 17:22

После предыдущего стрима про карьеру и учебу в AI мне в личку написало очень много людей со своими вопросами. Так как в личке всем развернуто ответить сложно, я решил провести еще один стрим на тему учебы в Европе и того, что нужно для роли AI Scientist / AI Engineer в FAANG.

📌 Стрим будет завтра (12 сентября) с 16:00 до 17:00 CET.

На этот раз я пригласил на стрим еще двух ребят (Настю и Никиту). Мы с ними обсудим учебу в Германии, Франции и Великобритании и наш опыт из первых рук.

Настя училась на бакалавриате и в магистратуре в Karlsruhe Institute of Technology (KIT) в Германии. Никита учился в магистратуре École Polytechnique во Франции, и на PhD в Лондоне на совместной программе между Meta и Oxford University. Ну, а про меня вы знаете.

Темы стрима:
- Поговорим про различные роли в AI: Research Scientist, Research Engineer, ML Engineer, Data Scientist. Чем они отличаются, и что для них нужно знать и уметь.
- Про PhD, магистратуру и бакалавриат в разных странах Европы и чем они отличаются.
- Про PhD программу внутри Meta в Лондоне и Париже, и как туда попасть студенту.
- Про собеседования и поиск работы в AI.

Как всегда, пишите в комментах свои вопросы, в конце стрима я отвечу на самые интересные.

Сохраняйте дату себе в календарь: инвайт.

Увидимся завтра!

@ai_newz

эйай ньюз

08 сентября 2024 18:20

Нейродайджест за неделю (#34)

GPU
- Colossus XAI. Мегачад Маск уже запустил свой крупнейший кластер GPU для тренировки.
- GPU кластер на 10 гигаватт. Да сразу два! Это в 50 раз больше Colossus'а от Маска.

Агенты/роботы
- DEEP Robotics. Зашуганные робопёсики кидаются в сторону от вида людей.
- Код для AI игр. Проект Starlightlabs закрыли и выложили все наработки в open source. Пользуем!
- Цивилизация машин в Майнкрафте. AI агенты построили свой новый дивный мир.

LLM
- DeepSeek V2.5. Детище DeepSeek V2 и DeepSeek Coder V2 даёт результаты.
- Коротко о flash attention. Ну а в чём я неправ?

Личные истории
- Красавчик на собеседовании. Люблю, когда приходят подготовленными.

Прочее
- Калифорнийские регуляторы наступают. Законопроект прошёл ассамблею. Конечно, есть правки в правильном направлении, но это всё ещё жесть.
- Золотой Суцкевер. МУЖЧИНА таки привлёк свой миллиард на бесприбыльный стартап.
- Хата айтишника из FAANG. У кого так же?
- Топ самых влиятельных людей в AI от Times. Саааамый авторитетный и саааамый неподкупный.

> Читать дайджест #33

#дайджест
@ai_newz

эйай ньюз

07 сентября 2024 12:10

Наш слоняра, Три Дао.

Ну, а что, чел реально в одну харю затащил Flash Attention, на базе которого работают (быстро) все современные LLM. И, кстати, его в непредвзятый список Times не включили.

@ai_newz

эйай ньюз

04 сентября 2024 17:20

SSI Ильи Суцкевера привлёк $1 млрд 🙀

С момента основания Ильей Safe Superintelligence Inc не прошло и трёх месяцев, у неё всего 10 сотрудников, а оценка у неё уже 5 миллиардов! И топовые инвесторы, вроде a16z и Sequoia, не ожидают скорой прибыли — ведь первым продуктом компании будет сверхинтеллект.

Топлю за Илью, он реально крут!

@ai_newz

эйай ньюз

03 сентября 2024 18:29

Минимум две компании собираются построить датацентр стоимостью более чем в $125 млрд

Комиссар по торговле Северной Дакоты заявил, что правительство штата проводит переговоры о постройке гигантских кластеров в штате - потребление каждого может доходить до 10 гигаватт. Это беспрецедентные масштабы - запущенный вчера Colossus, самый большой кластер в мире, потребляет менее 200 мегаватт, то есть разница более чем в 50 раз.

По словам комиссара, речь идёт о двух компаниях с капитализацией более триллиона. Компаний с такой капитализацией немного: Nvidia, Amazon, Google, Apple, Meta и Microsoft. Apple и Nvidia не столь активны в постройке датацентров, так что это, скорее всего, не они. А вот слухи о Stargate, гигантском датацентре Microsoft, ходят уже полгода.

Северную Дакоту, вероятно, рассматривают потому, что это один из немногих штатов с избытком электроэнергии. Обусловлено это огромными запасами нефти - штат добывает 1,3 миллиона баррелей в день - столько же, сколько добывает, например, Катар. А ведь побочный продукт сланцевой нефти - природный газ, который какое-то время настолько некуда было деть, что его просто сжигали, было видно из космоса.

Использоваться оба датацентра точно планируют для ИИ - другие юзкейсы представить сложно. Для контекста: Azure, второе по популярности облако в мире, в сумме потребляло 5 гигаватт на конец предыдущего года. Для того чтобы такие затраты были оправданы, выручка от ИИ должна вырасти ещё во много раз.

@ai_newz

эйай ньюз

02 сентября 2024 23:46

RunwayML тизерят новую модельку, анонс завтра в 17:00 CET

В тизере ничего особо интересного не показали, кроме шикарных картинок, но думаю, релиз будет любопытный.

Теперь ждем презентации свежих видеомоделей, как новенький айфон.😋

@ai_newz

эйай ньюз

01 сентября 2024 18:04

Нейродайджест за неделю (#33)

LLM
- Арена для русскоязычных LLM. Попробуйте предсказать результаты.
- Cerebras бьёт рекорд по токенам/сек. Огромная пропускная способность памяти чипа позволяет достичь сверхзвуковых скоростей.
- Claude в Alexa. Вот и «мозги» для колоночки подъехали, но поможет ли это спасти проект?
- Как LLM хранит факты. Самый понятный гайд по многослойному персептрону.

Роботы
- Комплект для самостоятельной сборки. Инструкция прилагается и стоит не так уж дорого.
- NEO Beta от 1x. Скайнет всё ближе, ботов уже не отличить от людей в костюме.

Другое
- Маск за регуляции или он уже нашёл лазейку?
- VGGHeads. Восстанавливаем 3D-шейпы голов в неограниченном количестве с новым датасетом в 1М картинок. Всё ради фильтров в инсту.
- MLPerf. Олимпиада чипов для нейросеток. Вот как понять, кто реально быстрее.
- Minimax video-01. Ещё один китайский игрок на рынке видеомоделей. Очень достойный перформанс.

> Читать дайджест #32

#дайджест 
@ai_newz

эйай ньюз

01 сентября 2024 12:11

Подъехала новая text2video халява от китайцев – Minimax video-01

Еще до выхода всяких Лум, Alibaba периодически скидывала статьи по видео генерации. И вот стартап Minimax, за спиной у которого Alibaba, показал свою видео модельку video-01. Еще в инвесторах, конечно же, Tencent — они, кажется, имеют долю вообще во всех китайских ИИ-стартапах. Трудолюбивые продолжают пытаться скопировать SORA и занять рынок до того, как OpenAI релизнет свою модель.

Релиз мощный, еще никто не делал фильм, лол. Помимо черрипика выше, есть еще твитерские примеры, и складывается ощущение, что эта моделька наиболее продвинутая в плане мувмента — чекните руки в первом видосе внизу. Максимальная длина генерации видо – 6 сек.

Кроме этого у них есть полный набор продуктов - генерация изображений, музыки, копирование голоса, свои LLM, клон Perplexity. Всё ориентировано на китайский рынок, поэтому компания не особо заметна за пределами Китая. За 250 миллионов долларов, которые поднял стартап, это очень достойные результаты.

Пробуем годноту здесь, если есть китайский номер: hailuoai.com

Официально работает только с ПК, но можно и в десктоп-режиме на мобилках.

@ai_newz

эйай ньюз

31 августа 2024 18:34

#вакансия

Редактор в сетку каналов про технологии, интернет-тренды, айти, игры

Обязанности:
— Поиск новостей, интересных кейсов и материалов про интернет-тренды, технологии, нейросети
— Публикация 5-6 постов в день.

Вы бы подошли, если:
— Вы разбираетесь в технологиях, владеете разными зарубежными источниками, умеете извлекать из ленты хорошие инфоповоды
— Вы умеете писать тексты, которые хорошо привлекают и удерживают внимание (охваты). Если есть успешный опыт написания контента в Телеграм — еще лучше;
— Вы грамотны и внимательны, не допускаете опечаток и ошибок;
— Вы ответственны и готовы всегда готовить необходимый объем посто.
— Вы готовы всегда быть на связи и иногда оперативно готовить нативные посты.

Условия:
— Полностью дистанционная работа;
— З/п по договоренности, от 100 до 400к, в зависимости от навыков и объема. Белое трудоустройство.

Отправляйте рассказ о себе на этот аккаунт: @namepalmer
P.s. Кандидат, с которым была переписка в прошлый раз (ты кидал тестовые задания) — отпиши в лс еще раз, потерял твой диалог.

#промо

эйай ньюз

30 августа 2024 20:28

Новые роботы NEO Beta от 1x

В движении видно что робот, но чисто по стопкадрам сложно отличить от человека в костюме. А всего три месяца назад роботы компании ещё ездили на колёсах. А тут можете похвалить (или поругать) одного из разработчиков.

What a day to be alive

@ai_newz

эйай ньюз

29 августа 2024 16:53

MLPerf Inference v4.1 - триумф Nvidia B200

MLPerf - это главное соревнование производительности железа для ИИ, где сравнивают их производительность на реальных моделях. Есть две основных категории - тренировка и инференс, сейчас закончился инференс. В этом раунде аж 4 новых ускорителя, два - от компаний участвующих впервые. Все новички участвовали лишь в одной дисциплине.

Главная звезда - Nvidia со своей B200. Она в 2.5 раза быстрее новенькой H200, которую Nvidia начала продавать лишь вчера, и в 4 раза быстрее H100 - на новой видеокарте Llama 2 70B выдаёт больше 11к токенов в секунду.

Впервые на MLPerf появилась AMD, с MI300x. Перформанс Llama 2 70B - 3к токенов в секунду, уровень H100, но отстаёт от 4.5к у H200. Прямой конкурент H200, MI325x (монстр с 288 гигами видеопамяти) выйдет в четвёртом квартале, то есть отставание по железу у AMD сейчас всего несколько месяцев. Но отставание в софте - совсем другая проблема.

Кстати видеокарты AMD уже светились на MLPerf один раз прежде, правда геймерские. tinycorp, которая производит серверы на основе геймерских видеокарт, удалось натренировать ResNet на 6x7900XTX, используя и свой фреймворк и свои драйвера.

Ещё один новичок - Untether AI, их собственный ускоритель смог добиться 60% перформанса H100 в ResNet, при эффективности в три раза выше. Достигли этого, засунув всю модельку прямо на чип, а не в видеопамять, поэтому участвовали лишь в дисциплине с очень маленькой моделькой. Как они будут запускать модели побольше – открытый вопрос. Однако, эту проблему уже удалось решить Groq - стартапу с похожей архитектурой чипа, но Llama 70B запускается у них на 576 чипах, что требует нетривиального нетворкинга.

Заявился туда и Google, с новыми TPU v6. В инференсе SDXL перформанс в три раза лучше чем у v5e или примерно 70% от перформанса H100. Это младшая версия TPU v6, созданная для инференса. Разница в производительности между младшей и старшей версией предыдущего поколения - 2.3x, похожую разницу стоит ожидать и сейчас.

В своих маркетинговых материалах разработчики железа манипулируют всем, что только можно, сравнивают тёплое с мягким. Поэтому сравнивать железо на общих, независимых, бенчмарках, как это происходит на MLPerf, чрезвычайно важно.

Результаты

@ai_newz

эйай ньюз

28 августа 2024 10:26

Сверхзвуковые LLM

Llama 3 70B запустили на скорости в 450 токенов в секунду. А 8B - на бешенных 1800 токенов в секунду. Это всё без квантизации, да и цена не кусается - API стоит 10 центов за лям токенов для 8B и 60 для 70B. Предыдущий рекорд по скорости побили в более чем два раза для 8B. В будущем обещают добавить больше моделей, начиная с Llama 3.1 405B

Сделал это стартап Cerebras. Он производит железо для нейронок, известен самым большим чипом в мире (в 57 раз больше по размеру H100!). Предыдущий рекорд по скорости поставил тоже стартап со своим железом - Groq.

Хороший пример того что специализированные только под нейронки чипы вроде могут в разы превосходить видеокарты по скорости инференса, а ведь скоро ещё будут чипы которые заточены под конкретные модели, например Sohu. Кстати, давно хотел разобрать разные стартапы по производству железа и разницу их подходов. Интересно?

Попробовать можно тут.

@ai_newz

эйай ньюз

20 сентября 2024 23:15

Motion brush и Kling 1.5

Я что-то слышал краем уха про то, что у Kling вышла версия 1.5, и вроде бы она даже немного получше, и про то, что у них появился motion brush. Но я не предал этому особого значения, т.к. такая же штука была у Runway, а качество, ну, не то чтобы прямо сильно выросло. Но.

Гляньте на эти тесты от твиттерских. Работает неожиданно хорошо, и что самое классное — есть возможность указать траекторию движения. Да и сегментация объектов по клику мыши работает неплохо. Поэтому решил, что всё-таки это стоит поста.

По обновлению:

- Разрешение 1080p для pro юзеров
- Увеличение динамики движения в кадре
- Motion Brush с траекторией движения для 6! элементов сразу
- Увеличили скорости генераций, сделали возможность генерить несколько видео параллельно - тут спорно, у меня 2 видоса генерились более 50 минут. Хз, где та скорость.
- Увеличили макс. длину клипа для img2video до 10 секунд и добавили end frame в стандартной подписке (тоже платная)

Пока на бесплатной версии дает генерить с Motion brush только в Kling 1.0.

Ну что, теперь Kling — король арены видеогенерации?

Подробнее и сравнения

@ai_newz

эйай ньюз

16 сентября 2024 19:50

Если вам когда-либо было интересно, как получить мегакластер GPU, то вот вам подробный гайд от Ларри Эллисона, фаундера того самого Оракла. Челу 80, кстати, похоже, он всё-таки нашёл эликсир вечной молодости.

Ну так вот, записываем:
1) Приходим на ужин к Дженсену Хуангу.
2) Вместе с Маском умоляем Кожанку взять ваши миллиарды.
3) Поздравляю, если вам повезёт, то партию свеженьких GPU не задержат.

Теперь повторяем😂

Кроме шуток, Oracle – одна из немногих компаний, которая смогла заполучить контракт на более чем 100.000 видеокарт NVIDIA Blackwell (это GB200, например). Они уже строят огромный кластер, который заработает в первой половине 2025. А сбоку еще планируют пристроить 3 маленьких атомных реактора на ~1000 MW, чтобы все это дело запитывать электроэнергией.

Короче, если GPU - это новая нефть, то AI – это новый автомобиль.

@ai_newz

эйай ньюз

12 сентября 2024 12:39

В гонке быстрого инференса новый участник

SambaNova запустили Llama 3.1: 405B на подтверждённой скорости в 132 токена в секунду, 70B - на скорости 461 токен в секунду и 8B - на скорости 1066 токенов в секунду. Это всё в bf16, без квантизации. На лидерборде Artificial Analysis у SambaNova точность 405B выше всех других провайдеров, но с моделями поменьше не всё так радужно.

Я потестил их инференс, скорость и правда очень высокая - у меня 405B выдавала от 110 до 124 токенов в секунду, что очень близко к заявленным числам. 8B доходила до 1100 токенов в секунду, а вот 70B, хоть и выдавала до 466 в секунду на пике (в твиттере стартап вообще заявлял скорость до 570 в секунду), но у части запросов скорость была аж в два раза меньше.

Цена 405B - $5/mt на вход и $10/mt на выход. Есть на рынке провайдеры и подешевле, но они все запускают модель с уменьшенной точностью.

API уже доступно разработчикам для теста. Бесплатно, но с очень низкими лимитами. Возможность платить за API добавят позже.

Попробовать можно тут

Предыдущий пост из серии про быстрый инференс: тык.

@ai_newz

эйай ньюз

11 сентября 2024 09:28

Pixtral - 12B мультимодальная модель от Mistral

Моделька понимает картинки, пока есть только веса, никаких результатов бенчей или тестов нет. Скорее всего, она основана на NeMo - параметры конфига совпадают.

Конфиг:

{
  "dim": 5120,
  "n_layers": 40,
  "head_dim": 128,
  "hidden_dim": 14336,
  "n_heads": 32,
  "n_kv_heads": 8,
  "rope_theta": 1000000000.0,
  "norm_eps": 1e-05,
  "vocab_size": 131072,
  "vision_encoder": {
    "hidden_size": 1024,
    "num_channels": 3,
    "image_size": 1024,
    "patch_size": 16,
    "rope_theta": 10000.0,
    "intermediate_size": 4096,
    "num_hidden_layers": 24,
    "num_attention_heads": 16,
    "image_token_id": 10
  }
}

эйай ньюз

08 сентября 2024 12:22

Что будет, если дать 1000 ботам сознание и запустить их в Minecraft?

Они построят цивилизацию...

Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.

Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.

Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.

Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.

Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.

Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.

И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.

Тред 
Дискорд 
Реддит 
Блог-пост 
Сайт с плейтестом 

@ai_newz

эйай ньюз

06 сентября 2024 18:51

DeepSeek V2.5

Обновлённая модель, результат мержа DeepSeek V2 и DeekSeek Coder V2, сочетающая позитивные стороны обеих моделей и заменяющая обе. В большинстве бенчей лучше чем оба своих предшественника, но в паре есть деградация. Советуют подкрутить температуру и промпт, если есть какие-то странности.

Всё по той же крайне низкой цене - 14 центов за миллион токенов на вход и 28 центов на выход. А ещё есть Context Caching, который в 10 раз срезает стоимость инпута и бесплатно хранится сутки.

Если не хочется использовать API, то веса модели уже доступны. Из-за нестандартной архитектуры, с инференсом были проблемы, но последняя версия SGLang их исправила - перформанс вырос в 7 раз.

Huggingface

@ai_newz

эйай ньюз

04 сентября 2024 10:02

Разбираешься в AI? Покажи, на что способен – прими участие в международном соревновании AI Journey Contest. Призовой фонд – более 8 миллионов рублей!

Задачи, как всегда, масштабные и амбициозные. Участникам предстоит работать с SOTA-технологиями, выбрав одну или несколько из предложенных задач:

✔ Emotional FusionBrain 4.0 — создать мультимодальную модель, которая умеет круто понимать видео, отвечает на сложные вопросы и «чувствует» человеческие эмоции.

✔ Multiagent AI — разработать мультиагентную RL-систему, где агенты будут объединяться в различные схемы кооперации при решении задач. Эта задача суперполезна для научных исследований.

#промо

эйай ньюз

03 сентября 2024 11:55

👮Калифорнийский законопроект о регуляции ИИ прошёл ассамблею

TLDR: SB 1047 фактически запрещает публикацию передовых моделей в опенсорс. Несмотря на сильную оппозицию (см скрин) со стороны индустрии и не только, закон удалось провести сквозь ассамблею. На него ещё может наложить вето губернатор.

Последний раз я писал о законе ещё в июле, с тех пор туда внесли ряд правок. Вот основные изменения в законопроекте с прошлого поста:

➖ Подпадают под закон модели, которые стоили бы более $100 млн по "средним ценам облачного компьюта". Файнтюны же таких моделей, на которые потрачено более $10 млн, считаются новыми моделями. До 1 января ограничение также даётся в флопсах - 1e26 и 3e25.

➖ Обновлять определение подпадающих под закон моделей теперь будет "Board of Frontier Models" (совет по делам фронтирных моделей). Пять из девяти мест в борде будут занимать: представитель опенсорс сообщества, представитель индустрии, эксперт по кибербезопасности, эксперт по оружию массового поражения и эксперт в ИИ. Их назначает губернатор, подтверждает назначение сенат. Ещё два места, которые назначает спикер ассамблеи – это академики, специализирующиеся в AI. Оставшиеся два места назначает комитет по правилам сената, требований к компетентности членов тут нет.

Главная проблема закона, напоминаю – это ответственность разработчиков модели за "критический вред", который нанесла не только сама модель, но и её файнтюны "дешевле $10 млн". По факту это запрещает публикацию в опенсорс моделей, подпадающих под закон. Даже если сама модель безобидная, доказать, что все возможные файнтюны в пределах ограничений по компьюту, будут тоже безобидными - невозможно.

Вторая большая проблема - определение денежной стоимости тренировки модели "средней ценой по рынку". Разброс в стоимости H100 в час на рынке сейчас более 4x (AWS - $12.25/hr, Lambda - $3/hr), так что со средним значением под закон будут подпадать модели в разы дешевле чем лимит на бумаге.

Сейчас закон отправился на рассмотрение к губернатору, у которого месяц на то, чтобы либо подписать закон либо наложить на него вето. Если он его подпишет - регуляции вступят в силу уже в 2026 году.

Кажется, если закон примут, то это может прибить AI стартапы в Силиконовой Долине – они будут делать ноги в другие штаты, где и налоги пониже и регуляции помягче. При условии, конечно, что не примут похожую регуляцию на федеральном уровне.

@ai_newz

эйай ньюз

02 сентября 2024 20:35

Маск продолжает удивлять - XAI уже запустили Colossus, крупнейший в мире кластер для тренировки. Более того, в течении пары месяцев его мощности удвоят - добавят по 50k H100 и H200.

@ai_newz

эйай ньюз

01 сентября 2024 12:17

Тесты video-01 от твитерских:

Руки двигаются хорошо, а вот глаза немного прыгают (еле уловимо). Ну, скоро и эти недочеты в моделя будут исправлены.

@ai_newz

эйай ньюз

31 августа 2024 19:34

Как LLM хранят факты?

Принес вам на вечер субботы отличный ролик от 3blue1brown. На этот раз гений интуитивного обучения расскажет про то, как LLM запоминает факты.

Это видео для полных новичков, объясняющее роль многоуровневого перцептрона (MLP/FFN) в LLM. Это третье и последний эпизод в серии о работе LLM. D первых двух объяснялось как работают эмбеддинги и как работает механизм внимания. Эта серия - лучшее объяснение для непрограммистов о том, как работают LLM, с кучей хороших визуализаций.

https://www.youtube.com/watch?v=9-Jl0dxWQs8

Смотрим здесь. Клип сверху — просто отрывок.

@ai_newz

эйай ньюз

30 августа 2024 22:18

А вот как NEO Beta ходит и помогает по кухне

@ai_newz

эйай ньюз

30 августа 2024 19:17

Новая Alexa будет на основе Claude

По сообщению Reuters, продвинутые фичи на основе новой модели будут стоить 5-10 долларов в месяц. Выглядит как ещё одна попытка получить хоть какую-то прибыль от Alexa, потери от которой с 17 по 21 годы составили 25 миллиардов (более новых данных нет, но там вряд ли дела обстоят лучше).

Увы, похоже это будет не омни-модель, вроде GPT-4o, так что задержка лучше текущих голосовых режимов не станет (то есть ~3 секунды, а не ~300 миллисекунд). Надеюсь Антропик подсуетится и даст возможность Claude работать напрямую с аудио и на вход и на выход, тогда будет разнос (но о стоимости инференса даже думать страшно).

Вот и начинается интеграция Claude в продукты Amazon, раньше это было лишь API. Инвестицию в 4 миллиарда отбивать-то нужно.

@ai_newz

эйай ньюз

29 августа 2024 13:59

VGGHeads: Восстанавливаем 3D головы на групповых фото

В догонку к недавнему посту про OccluFaceDiff, где мы со студенткой восстанавливали 3D-шейп лица по видео или аудио, даже если в какой-то момент оно закрыто, спешу поведать про VGGHeads. Ребята научились собирать меш сразу для нескольких голов по одному фото. Казалось бы, а что, фильтры в Instagram так не умеют? А вот нет! Потому что задетектить столько лиц сразу — довольно сложная задача, а здесь это ещё и делается в один шаг. Архитектура модели ню построена на базе YOLO-NAS. Не реалтайм, конечно, но очень к этому близко.

Ещё из интересного то, что для тренировки использовался полностью синтетический датасет. Картинки генерили на основе референсных, используя диффузию и 2D Pose controlnet. Всего так нагенерили 1M картинок с 2M+ головами, из которых 10 000 зааннотировали вручную (правда, только вот этой красной рамкой см. картинку, но и на это ушло 56 часов).

Примечательно, что человеку необязательно смотреть прямо в кадр — лицо детектится и в профиль. Выше пример с недавней сходки в Варшаве.

Project page
Пейпер
Код
Демо
Датасет (скоро)

@ai_newz

эйай ньюз

27 августа 2024 20:31

Никто:

Илон Маск: высказывается в поддержку калифорнийского закон SB 1047 о регуляции AI, который зажмёт его собственные компании тоже.

@ai_newz