13017
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Netflix затизерил пару шотов из будущего фильма по графическому роману Сталенхага — Electric State.
Во-первых, это красиво. Я думаю, тут много ценителей эстетики Сталенхага. И во-вторых, актерский состав просто пушка: ребята, отметившиеся в фильмах с налётом ретро 80-х и 90-х — Крис Пратт, Милли Бобби Браун и Вуди Харрельсон! Если всё получится, то будет шедевр типа Скотт Пилигрим или Зомбилэнд, но шанс, честно говоря, невелик, потому что тонкий вайб Сталенхага очень легко разрушить другой формой искусства.
Сюжет такой: в 90-х произошло восстание роботов. Осиротевшая девочка-подросток отправляется на поиски своего брата по Америке с роботом-контрабандистом и его напарником.
Ну всё. OpenAI теперь официально можно переименовать в Closed.
Они теперь официально for-profit.
Нравится какие серьезные лица стоят в пиджаках за Альтманом. Далеко не сайнтисты.
Компанию оценили в $150 млрд.
@ai_newz
Тем временем колаб расщедрился и снизил стоимость L4 аж на целых 38%. (Было 4 с чем-то кредита, стало 3, т.е. 30 центов, что вполне неплохо)
Конечно, кому их юзать, если ты побанил всех a1111 халявщиков 🥲
Коммент и реклама под постом как отдельный вид искусства
З.ы. тому челу, просравшему все кредиты на установку торча, написал продакт колаба и пообещал вернуть кредиты 😂
Tweet
@derplearning
Openai внезапно вспомнили, что они open, и выкатили whisper v3 large turbo & turbo
Commit
Git
@derplearning
AGI (average general indian) achieved internally
Читать полностью…
🔥Molmo: Outperformimg Proprietary Multimodal Language Models
Приношу вам самый сок. Кажется, это самый лучший доклад за сегодня.
За два часа до релиза Llama 3.2, челы выложили семейство открытых моделей Molmo (и нет, это не совпадение):
- 1B,
- 7B и
- 72 B
По качеству на визуальных задачах Molmo выдает +- перформанс как Llama 3.2. где-то лучше, где-то хуже, и приближается к GPT-4o .
- Но, пре-трейн модель они делали всего на 700к размеченных парах картинка-текст (PixMo-Cap). В то время как Llama тренили на 6 млрд!
- Использовали в 9000 раз меньше данных, но гораздо больше высокого качества.
- люди не любят печатать, люди любят говорить. Поэтому разметчиков просили не печатать описание картинки, а описывать её ГОЛОСОМ 60-90 сек. Далее запись автоматом переводили в текст. Это гораздо эффективнее, проще и помогает быстро собрать очень длинные и детальные описания картинок.
- дополнительно разметчиков просили тыкать точками на объекты, про которые они говорят. Это помогло научить модель связывать пиксели текст, выдавая точки на картинке, когда она описывает какой-то объект.
Все это очень сильно подняло качество модели. Это прям крутые идеи.
По архитектуре ничего необычного – transformer с late fusion. То есть токены картинок пропускаются через обучаемый коннектор, а затем кормятся в LLM.
Трейн в два стейджа, ничего не замораживая:
(1) multimodal pre-training для генерации описаний на новом датасете - 700к картинок (2) supervised fine-tuning на instruction датасете, который они тоже собрали сами (там и точки на картинках, и документы прочие задачи) - тут в около 1.9 млн картинок (возможно пересекается с претрейн-датасетом)
Трейн и эвал код и датасет (PixMo) выложат в течение 2 месяцев - я им верю!
Блогпост про модели
Arxiv
@ai_newz
CogView3 & CogView-3Plus
В целом осень выдалась урожайной, в основном благодаря ECCV & SIGGRAPH ASIA
Вот и китайцы выкатили очередную итерацию CogView text2image
Если верить авторам, бьет SDXL во все поля (пора все-таки уже с FLUX сравнивать, сдохле второй год пошел)
paper
code
@derplearning
Фоторежим из Death Stranding 2 как отдельный вид искусства
@derplearning
Runway: режим Video-2-Video теперь есть и в Turbo версии Gen-3. До этого оно было только в базовой модели.
Также в Turbo завезли работу с вертикальными видео.
Твит
Сайт
Про Runway Turbo
https://fxtwitter.com/blizaine/status/1839301081656078579
Читать полностью…
I shared the following note with the Openai team today
Читать полностью…
While we’re talking about nuances
Winamp published their source code on github
https://github.com/WinampDesktop/winamp
And they used custom license which, among other things, forbids creation of forks
What’s nuance? GitHub’s license doesn’t allow usage of license where forks are forbidden 🌚
Fork time ! 😈
Ютубер запилил кибердек на полноценной ноутбучной материнке от framework
github c 3д принтами и списком запчастей
youtube
Роболапки в каждый дом!
Котаны с huggingface & therobotstudio запили новый DIY-набор для роборук, за треть стоимости предыдущей версии.
Одна рука теперь обойдется в 125$, но нужен 3д принтер.
Не могу нарадоваться тренду на опенсорс роботикс и это вот все
Git с моделями и списком деталей
Git lerobot (soft для рук)
Lerobot discord
@derplearning
На (в) теплотрассе теперь тоже больше не спрятаться
Читать полностью…
LVCD: Reference-based Lineart Video Colorization with Diffusion Models
А вот и код подвезли!
Под капотом SVD + sketch temporal controlnet + всякие хаки с аттеншеном.
Осталось только сделать depth controlnet, и "runwayml vid2vid gen2 есть у нас дома" готов!
Code
Paper
Project
@derplearning
Ctrl-X: Controlling Structure and Appearance for Text-To-Image Generation Without Guidance (NeurIPS 2024)
И такой еще подход зарелизили.
Берем две референсных картинки: одну для стиля, другую для структуры, шатаем ими аттеншен, и получаем контролируемые генерации без гайданса, тюна, или контролнетов.
Похоже на reference controlnet (который контролнетом назвали видимо потому, что было лень объяснять)
code
paper
reddit
project
@derplearning
PortraitGen - Portrait Video Editing Empowered by
Multimodal Generative Priors
Интересный подход к video2video с объездом через 4D гауссианы.
Неожиданно, с кодом и претренами.
paper
git
project
Так и запишем: на чердаке больше не спрятаться
Robust Ladder Climbing with a Quadrupedal Robot
paper
Тем временем VisualRWKV не стоит на месте и уже подбирается к LLAVA по метрикам, при большей скорости и меньшем расходе памяти.
Когда они уже картинки начнут генерить, ну.
https://github.com/howard-hou/VisualRWKV
Индустрия через пару лет такая: «А чего бы нам не запускаться только на нейронных чипах?»
Думаете, Хуанг не пойдет на это, учитывая все его последние заявления? Отлично же картинку держит, не?!
Принес классную ссылку тем кто хотел бы начать разбираться в «агентах» с LLM – агентами называют мини-ботов которые делают какую-то задачу и обладают некой степенью свободы:
https://github.com/NirDiamant/GenAI_Agents
Внутри примеры на все случаи жизни: автоматизация саппорта, чатботы, автоматический поиск в интернете и тп., у всех примеров открыт исходный код
Агента Смита пожалуйста не делайте, спасибо
https://www.youtube.com/watch?v=3sVZ_f6Rs-Q
его не ждали, а он жив
