37799
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
Нейрорендер. Опять
Я вот смотрю, как отмалчиваются Maxon, Автодеск и другие от нейрорендера и думаю, что причины две:
1. Шарахаются от проблемы коммерческого использования инструментов, которые используют данные (пусть опосредованно) с непонятным происхождением (серые данные, скажем, так).
2. Смотрят на поляну, собирают чистые датасеты, и традиционно тормозят, как положено крупным игрокам (кроме Адобченко).
Но поглядите, что можно вытворять имея на входе традиционное 3Д.
И мне видится, что текущие реализации, через захват экрана в Креа или кривокосые плагины для Блендора - это пока паллиативы, не использующие всю мощь 3Д.
Ведь находясь в 3Д-программе мы имеем уйму информации: глубину, альфу, LOD (это банально), доступ анимационным кривым, историю перемещения (вертексов в том числе), все потроха камеры, общий размер сцены, статистику по размерам всех объектов, черновой свет и еще много чего.
Все это можно использовать при генерации нейрорендера. И да, придется много чего запрограммировать.
А рульки-педальки в окошке Нейрорендер могут быть человеческими, а не CFG Scale или VAE (тут правда можно покаяться, что рульки в традиционном рендере тоже труднопроизносимые, но можно хотя бы адаптироваться под них, а не под новояз генераторов).
В общем я жду каких-то ответочек от Адобченко и гениев в Блендор-сообществе. На остальных надежды нет.
Около получаса уже лежит интерфейс ChatGPT. Шутки о том, что это выкатывают GPT5, совершенно не успокаивают школьников всего мира, которые сейчас не могут решать свои задачи.
На самом деле вот такие падения — самый явный намек, что надо продолжать развивать открытые и доступные всем модели.
https://status.openai.com/
Про железо для грядущей SD3 Medium.
Ее размер 2В параметров.
У SDXL - 2.3B
У SD1.5 - 0.9B
Так, что если SDXL влезала в вашу 8GB VRAM карту (еле-еле), то SD medium тоже влезет.
Вот вам остальные размеры SD3:
"small/1b, medium/2b, large/4b, huge/8b"
Ну и ждём ответочки от Fooocus, облегченных и пожатых моделей, если не хотите покупать сейчас новые видеокарты.
А то вот Нвидия уже глаголет про Rubin - чипы из будущего, из 2026 года.
https://www.bloomberg.com/news/articles/2024-06-02/jensen-huang-computex-keynote-nvidia-reveals-new-ai-software-and-services
А АМД бахает MI325X в конце года:
https://www.amd.com/en/newsroom/press-releases/2024-6-2-amd-extends-ai-and-high-performance-leadership-in-.html
Нейронки теперь воспитывают детей: многодетная мать сгенерировала фейковый выпуск новостей, в котором ведущий показал вопиющий беспорядок в их детской комнате.
В шоке от увиденного малые сразу бросились собирать свои игрушки. Вот, что значит современные родители.
@killerfeat
В КонтролНете качественные обновления.
Как пишут вот тут: https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download
появились модели ContrоlNet для SDXL, которые работают сильно лучше предыдущих для SDXL.
Скачать и поставить можно отсюда:
https://huggingface.co/xinsir
Там пока есть:
Canny
Openpose
Scribble
Scribble-Anime
Народ пока в восторге:
https://www.reddit.com/r/StableDiffusion/comments/1d24igd/new_sdxl_controlnets_canny_scribble_openpose/
ОМОСТ
Держите новый подарок от автора ControlNet.
Это даже сложно описать.
Omost включает в себя разные опенсорсные модели LLMs (лама, дельфин, фи-3), которые (нет, не пишут промпты) они пишут код на Питонге(!) для компоновки содержимого картинки. А дальше, с помощью виртуального агента Canvas, этот код может быть посчитан специальными реализациями генераторов изображений для создания реальных изображений.
Понятно?
Короче, теперь ваш убогий промпт раскучерявливается в огромную простыню кода на Питонге. А потом вы просто жмете - ДАВАЙ КАРТИНКУ. И оно дает.
Но код на питоне сделан так, что в нем очень много чего описано структурно, от композиции до стиля, и можно методом очень пристального взгляда все это приподпонять.
Надо скачивать, ставить и смотреть на то, какие чекпойнты внутри. Это явно Stable Diffusion, именно в него выход из агента Canva, который переводит питонг в токены.
https://github.com/lllyasviel/Omost
А вот это уже слишком нарядно, чтобы быть правдой.
Тут под капотом LiquiGen от Эмбергена (и да, это РЕАЛТАЙМ), картинка из которого идет в StreamDiffusion.
Если это соединить со вчерашним постом про ToonCrafter, то за традиционные мультики можно налить холодненькой.
Вечером напишу пост про нейрорендер, накипело уже. В очередной раз.
Ну, за фазовщиков.
Если кто не помнит (95% не знают), что в классической мультипликации были три самые пьющие профессии. Фазовщики, контуровщики и заливщики.
Гениальный режисер-мультипликатор рисовал только ключевые кадры своей твердой (не всегда) рукой. На кальке. Типа мячик на земле, мячик в воздухе.
Потом приходили фазовщики, и дорисовывали недостающие кадры, чтобы было 12 кадров в сек. Это примерно то, что делает любой 3Д-пакет, интерполируя движение между ключевыми кадрами, поставленными аниматором.
Потом приходили контуровщики и обводили карандашные наброски жирными черными контурами и переносили все это на целлулоид.
Потом приходили самые пьющие, заливщики. Они переворачивали целлулоид и заливали внутренность контуров цветными красками. Чтоб было красиво и в соответствии с колор-чартом. Переворачивали, чтобы контур был "сверху" над заливкой, если перевернуть обратно.
Работа была ацкая, люди реально спивались (вы думали, откуда такая склонность выпивать не чокаясь).
Так вот, это подводка вот к такой работе.
Я малость офигел от качества интерполяции (фазовки). На входе два кадра, первый и финальный. Модель делает промежуточные кадры. И не просто линейной интерполяцией, а через свое обученной латентное пространство. Авторы настаивают, что она это делает нелинейно и, главное, "красиво". И что ее учили именно на мультиках и видосах, а не просто на картинках.
Самое удивительно, что есть и код, и бумага, и даже градио-демо.
Похоже, что производство мультиков можно очень сильно ускорить. Особенно вот это вот аниме, где герои еле шевелят головой, но ацки орудуют бровями.
Авторы, правда, сами признаются, что модель косячит с объектами на заднем плане, принимая их за неведомую фигню и делая ацкий шевеляж оных.
Но фазовки просто огонь. Попробуйте отрисовать лицо от профиля в анфас за 3-4 фазы и вы поймете, что это такое.
Для начала посмотрите примеры тут.
Огонь жеж.
Потом читайте свежую бумажку, если хотите.
Потом можно и в код:
https://github.com/ToonCrafter/ToonCrafter
Я знаю Влада еще по студии 100 киловатт, а возможно даже еще по ранней Синематеке. А потом Влад и Рома сделали Synticate, и это было прекрасно. Абсолютно дерзкие работы, безбашенный моушен-дизайн, аватары, репликанты, метаверсы.
Также Synticate были одними из первых, кто вкатился в нейросетки.
Видос в шапке они создали для выставки White Dragon by Satori-Me! Эта работа пошла по галереям Нью-Йорка, Лондона и Дубая.
Юзают Stable Diffusion в сочетании с 3D-анимацией. А сами называют этот стиль neuro motion.
И у них есть телеграм-канал - там много работ, полезные материалы для CG художников и просто отличный life-контент внутренней кухни студии.
Прастити. Не могу остановиться.
Это демо AnimateAnyone от NоvitaLabs наконец-то посчиталось через 40 минут. Напомню, что на входе фото в футболочке, а на выходе видео в джинсиках. Фотку брал как вот в этом посте.
Впору устраивать флешмоб.
Хорошо-хорошо, больше не буду. Щас про Амазон напишу.
Понятно, что на тяночках AnimateAnyone работает хорошо, ибо приучен.
А я присунул в соломорезку сурового поморского мужука.
Ох, как же доставляют синие штанишки по моде в облипку, которые он дорисовывает (по его мнению) к суровому туловищу. Видать, что-то знает про меня.
Ладно, пока расходимся. Качество - адъ.
https://huggingface.co/spaces/xunsong/Moore-AnimateAnyone
Вот держите ацкую смесь дипфейка, стилизации видео, генерации видео и даже стриминга в реальном времени.
Я уже много писал про такие приблуды - стриминг с камеры, обработанный быстрой диффузией уже ловко используется во всяких арт-инсталляциях.
Но эти китайские ребята настаивают на временной согласованности, они типа учитывают историю изменений кадров "назад" и декларируют реалтайм на 4090.
Насчет временной согласованности - я тут не увидел прорыва, все ацки кипит. Но возможность промптом бахнуть себе на лицо Илона Маска впечатляет.
Плюс код доступен и никакой цензуры.
Я не уверен, что там реалтайм - на A100 четырех секундный ролик в 30 fps генерится 9 секунд. То есть где-то 13 fps. Не думаю, что 4090 будет в 2 раза быстрее.
Снапчат со своими линзами делает все в разы быстрее и качественнее.
Мне нравится поход Stable Diffusion в стриминг - нас ожидают новые скины для окружающего мира, а степень доверия к тому, что показывают вам на экране и вовсе исчезнет. Но кого это трясет. Сontent is the King.
Все ссылки тут: https://jeff-liangf.github.io/projects/streamv2v/
И загляните в примеры: https://jeff-liangf.github.io/projects/streamv2v/supp/supp.html
https://youtu.be/k-DmQNjXvxA
Как разработчику или менеджеру в IT запустить свой пет проект?
Сидеть и работать в корпорации – страшно, жизнь-то мимо проходит. Уходить строить бизнес – страшно, а вдруг прогорит.
Один из вариантов – пилить свой проект по вечерам. Ведь многие успешные компании, типа Twitter, начинались как Пет проекты.
Мы не говорим, что пет проект обязательно заработает миллиарды. Но заработать денег больше, чем в найме, вполне реально, а уж опыта получить точно больше можно.
Но есть куча проблем и вопросов:
- Как выбрать идею для пет проекта?
- Что нужно знать про маркетинг?
- Как запуститься и довести до первых продаж не имея бюджета на рекламу?
Михаил Табунов сделал про все это телеграм канал Твой пет проект, в котором пишет для разработчиков и менеджеров про свой опыт – где брать идею, что надо знать про маркетинг, как запускать и искать первые 10 клиентов, и многое другое.
Так что подписывайтесь на Твой пет проект, получайте пользу от практиков рынка.
#промо
За AGI
Количество упоминания AGI всуе настолько возросло в последнее время, что, похоже, пора поговорить об этом. Особенно показательные дискуссии – «это уже AGI или еще не?»
Заранее скажу, что все это мне начинает напоминать ситуацию с метаверсиком, когда серьезные мужуки на сердитых щах поминали этот термин через слово, НЕ ИМЕЯ никакого определения для метаверсика. А те определения, которые бродили в сети отличались крайней расплывчатостью и полным отсутствием конкретики.
В общем, я поресерчил насчет определений AGI в интернетике и отобрал следующие.
«Artificial General Intelligence - способен выполнять большинство из задач, на которые способен человек»
«любой интеллект (их может быть много), который является гибким и общим, с изобретательностью и надежностью, сравнимыми с человеческим интеллектом (или превосходящими его)» (Гари Маркус)
AGI – это теоретическое стремление к разработке систем искусственного интеллекта, обладающих автономным самоконтролем, достаточной степенью самосознания и способностью осваивать новые навыки.(Амазон)
Особняком стоит определение от OpenAI:
«высокоавтономные системы, которые превосходят людей в наиболее экономически ценной работе»
Засада состоит в том, что нет никаких метрик, научных критериев, статистики(естественно), набора измеряемых признаков или параметров, счетчиков гейгера,позволяющих хоть как-то нащупать границы AGI. «обладающих автономным самоконтролем, достаточной степенью самосознания» - как вы собираетесь это измерять, если вы не философ?
Насколько я знаю в OpenAI есть исследования на тему проникновения ИИ в экономику, наверное, это правильный подход, но это скорее экономический интеллект, впрочем, вернемся к определениям.
И тут нас ждут сюрпризы. Ибо строгого научного определения для слова «интеллект» нет. Есть разные версии. Еще круче со словом “сознание” (которое любят включать в определения AGI). Я смотрел одно интервью с академиком Анохиным, где он упоминал, что определения для «сознания» выбираются на конференциях голосованием(!). Берут наиболее популярные, отсеивают совсем уж бред, а потом голосуют. И что популярных сейчас около семнадцати, а всего определений около пятидесяти. Мое мехматское прошлое просто воет от таких фактов – я привых иметь дело с одним определением и декомпозировать проблемы на основе четких определений.
Заодно я покидаю в вас терминами, которыми так любят оперировать определяторы AGI и не только они: понимание, знание, творчество, ощущение, самоблиносознание – попробуйте дать им определения.
Это я к чему: пока мы будем пытать определять AGI, оглядываясь на букву И в этой аббревиатуре, мы будем сыпать априори неполными определениями, которые либо неконкретные и потому стоят вдали от логики, либо узкие, и работают только в своих нишах. Это видно по тому, как стремительно появляются определения типа «сверхинтеллект» или «суперинтеллект» - попытки обозначить неполноту определения AGI путем расширения оной за пределы термина. Но все эти термины также не будут иметь полного определения. Из-за того, что для «И» его нет.
Тут я отвлекусь на такой факт. Тут недавно сознательные ученые приподсобрались и снова проголосовали за то, что у животные есть сознание. Мы тут понять не можем, снятся ли собакам сны, просто потому что не можем с ними поговорить об этом. А ученые решили, что у животных все такие есть сознание, уповая на «субъективный опыт» (и вольно определяя его по дороге).
В этом смысле с ИИ можно поговорить, гораздо лучше, чем с собаками. И он вам подтвердит, что сознание у него есть. Но вот только кожаным мы верим на слово, когда они говорят, что у них есть сознание, животным тоже верим, хотя их никто не спрашивал, а ИИ – не верим (отказываемся верить, хотя доказать не можем).
Держите скачки рейтинг LLM на chat Bot Arena за последний год, поглядите, как крупные (закрытые) модели выбивают из рейтинга open-source. Мы видели много оптимистичных графиков, что "вот еще немного и опен сорс догонит-перегонит", но очередной апдейт от OpenAI или гугла сразу указывает всем на свое место. Кроме Ламы от Метачки разве что.
Хотя Llama на 400B+ параметров мы похоже не увидим в опенсорсе.
Писать про опенсорсные модели еще сложнее, они выходят десятками в неделю, их счет уже идет на тысячи. Поэтому начну поливать за графику.
Stable Diffusion 3. Мясо
Давайте я вам поясню за SD3 за пределами того, что вам её пообещали в интернете и взорали про это в новостях.
Первая и самая главная особенность - понимание промпта. Мы это уже углядели на примере Stable Cascade (тут с таймингом пресс-релизов, конечно, ад, но пишут, что до релиза SD3 еще довольно много времени).
Профессия заклинателя промптов типа "[[осторожно]], ((тут)) ((рыбу:1.2)) {заворачивали}, wow, 4K, конецглазам, ивоще" потихоньку уходит в прошлое. Теперь модели начинают "понимать" промпт, там, грубо говоря, внутри свои LLM.
Когда-то DALL·E 3 задрал планку до небес в этом направдении, теперь остальные подтягиваются. SD3 и SC слушаются промпта в разы лучше чем SDXL.
Про качество картинок - надо смотреть. На шум, на детали, на мыло, на искажения. Все что показано на сайте очень годно, но туризм с эмиграцией путать не стоит и как будет на деле - покажут тесты и сравнения.
Про текст. Да, как и SC она хорошо умеет в текст. Но меня всегда удивляла упоротость на этой фиче. Вы часто рисуете текст на картинках руками? Ну то есть не выбирая шрифт, а попиксельно? Кроме того, я предвижу кейсы, когда модель зафикачила картику с копирайченным шрифтом (очень похожим, ок). Повалят иски. А разработчики начнут шарахаться от этой фичи обратно в тину.
Да, пальцы. Лучше.
А теперь два главных вопроса: скорость и требования к памяти.
Про скорость ничего сказать пока нельзя. Об этом ни слова.
Про память. Будет несколько моделей от 800М параметров до 8 миллиардов.. Сколько их будет неясно.
А теперь следите внимательно.
Stable Diffusion 1.5 - примерно те же 800М параметров
SDXL - 2.3B
Помните требования к памяти для SDXL?
А теперь умножайте их на 3.3 и получите VRAM для старших моделей SD3.
Но. Мостак на реддите пишет, что все эти разные модели можно будет квантизировать вплоть до int4. Ну то есть сжимать веса (размер файлов модели) в 2, 4 и более раза. С потерей качества генерации.
Дальше все это начинает напоминать ситуацию с LLM. Разные размеры моделей, разные степени пожатости этих разных моделей. Таблицы сравнения: что лучше пожать бОльшую модель или взять непожатую меньшую модель. Ну и многочисленные сравнений "на глаз". Для LLM есть кривые-косые бенчмарки, для картинок есть "на глазок".
Также Мостак говорит, что тренировать модели SD3 можно будет на 16Гиг памяти. За кадром вопрос (отныне и во веки веков) - которые из моделей от 800M до 8B?
Ну и я боюсь представить требования (и скорость) для старших непожатых моделей SD3..
Ну и последнее. На сайте стабилити две трети текста про цензуру и безопасность. Народ на Реддите: "Эмад, ты вообще нормальный, ты с народом общался из коммьюнити?".
Эмад, там же: "На чилле ребята, мне так легче общаться с регуляторами"
В общем думаю, нас ждем зоопарк моделей, потом зоопарк в квадрате от по разному пожатых моделей из этих моделей. И зоопарк в кубе от натренированных чекпойнтов из пожатых по разному моделей из модельного ряда SD3 от 800M до 8B.
А пока можете начать тренировать модели для Stable Cascade, разминаться:
https://www.reddit.com/r/StableDiffusion/s/jTZ6eownFy
Веса и код SD3 2B - 12 июня!
Утром пришло письмо:
Hey Sergey,
Have you heard that the SD3 weights are dropping soon? Our co-CEO Christian Laforte just announced the weights release at Computex Taipei earlier today.
Stable Diffusion 3 Medium, our most advanced text-to-image is on its way! You will be able to download the weights on Hugging Face from Wednesday 12th June.
2 миллиарда параметров - позиционируют как SD3 Medium.
Но! Большое но!
SD3 Medium weights and code will be available for non-commercial use only.
Промываем вентиляторы на видеокартах, готовимся тестировать.
А вы говорите - джойстики, рули и лыжные маски, виар-шмиар! Это все для слабаков. Реальные пацаны играют, нет, тренируются, по-взрослому.
Ждем наборов "сделай сам" от Варгейминга.
https://x.com/i/status/1796486388202008667
Ну, за саунд эффекты и актеров, которые делают писки и визги.
ElevenLabs сделал фичу генерации саунд-эффектов бесплатной для всех.
Можно резвиться самим вот тут:
https://elevenlabs.io/app/sound-effects
Я как обычно, пытаюсь засунуть рельсу в соломорезку, поэтому присунул ему 445 букв "е", а потом промпт Funky Buddha.
Попробуйте понять, кто из них кто.
Ну и наваливайте примеры в коменты. Вкупе с видеогенерацией на 4 секунды могут получаться знатные nanoASMR.
ОМОСТ
Похоже, что там по дефолту RealVisXL_V4.0, то есть SDXL.
Вроде как стоит комит на внедрение в Фооокус.
Я проверил, цензуры нет. Драконов генерит также ловко.
Ну тестировать!
Вот тут демо, пробуем сами:
https://huggingface.co/spaces/lllyasviel/Omost
Вот тут код и инструкции как самим поставить, нужно всего 8гиг видеопамяти.
https://github.com/lllyasviel/Omost
LLM переключаем пока в коде, ручками:
# model_name = 'lllyasviel/omost-phi-3-mini-128k-8bits'
llm_name = 'lllyasviel/omost-llama-3-8b-4bits'
# model_name = 'lllyasviel/omost-dolphin-2.9-llama3-8b-4bits'
Интересное про внутренности трансформеров.
Все пишут про коммерческую разработку, но самое интересное, кажется, происходит в компьютерных науках. Ученые обнаружили новое свойство больших языковых моделей – как раз на их основе строятся всевозможные Chat-что-нибудь. Институт искусственного интеллекта AIRI, Сбер и Сколтех – мощное комбо!
Как я понял, они проанализировали 20 моделей "под микроскопом" и узнали, что самая популярная архитектура современных нейросетей (трансформер) отличается свойством, которое раньше считалось не релевантным.
Иван Оселедец, д. ф.-м. н., СЕО Института AIRI, профессор «Сколтеха»: «Нам удалось изучить модели под микроскопом, простыми средствами описать сложные процессы внутри трансформеров и сразу предложить эффективный регуляризатор. Обнаруженный эффект кажется очень контринтуитивным, он противоречит многим представлениям о глубоком обучении. В то же время именно он позволяет тратить меньше вычислительных ресурсов на развёртку и инференс больших языковых моделей"
«В опубликованной работе выявлена линейность в некоторых представлениях данных внутри этих блоков. Как следствие, это позволяет существенно оптимизировать архитектуры с точки зрения вычислительных мощностей, снизить нагрузку, получить результат за меньшее время за счёт адаптивной регуляризации. Потенциал сокращения вычислительных ресурсов на обучении оценивается в порядке до 10%», — Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка.
https://www.cnews.ru/news/line/2024-05-31_bolshie_yazykovye_modeli
OpenAI решило множить продукты.
Сегодня два анонса.
ChatGPT Edu - версия ChatGPT, созданная для университетов, чтобы внедрять искусственный интеллект для студентов, преподавателей, исследователей и сотрудников. Работает на GPT-4o и ориентирован на командную работу. Цена не обозначена, но похоже на бесплатность ибо упомянут более высокий лимит сообщений, чем у бесплатных пользователей и ничего не сказано про картинки.
https://openai.com/index/introducing-chatgpt-edu/
OpenAI for Nonprofits - это просто скидки некомерческих организаций для планы Team (теперь 20$) и Enterpise(скидка 50%).
https://openai.com/index/introducing-openai-for-nonprofits/
Зачем нужно Suno, когда можно попросить ChatGPT повторить 1000 раз букву «Е» ☕️
Читать полностью…
Подтверждаются планы Amazon ввести платную подписку на Alexa с ИИ-возможностями. И в этому смысле Amazon включается в продуктовый подход по монетизации ИИ. Как, например, Google (с Gemini и должна конкурировать ИИ-Alexa). Стоимость подписки Amazon пока не раскрывает, но можно предположить, что компания пойдет по пути конкурентов. То есть базовые функции будут бесплатными, а доступ к дополнительным возможностям — по подписке. Какими они могут быть? Пока неясно. Например, подписка на Gemini Advanced от Google дает доступ к самой мощной модели — Gemini Ultra, которая по метрикам сильно лучше Gemini Pro.
Вопрос в том, какая градация и какие условия будут у Alexa.
Тут все пишут, что Джиптишки теперь доступны для бесплатных пользователей chatGPT.
Давайте разберемся.
Создание GPTs - недоступно. Можно только пользовать чужие. Где и как вы будете их искать (их миллионы) - ваша проблема.
В сети уже сотни свалок с Джипитишками, тут например https://gptstore.ai/, со своими рейтингами, накрутками и войной за топы.
На Гитхабе брутально собирают таблички: https://github.com/1mrat/gpt-stats
На официальном сайте OpenAI всего шесть категорий, продирайтесь сами: https://chat.openai.com/gpts
Но то, что Джипитишки теперь доступны бесплатным пользователям - это не главное (вообще их используют 5% пользователей chatGPT).
Крутизна в том, что бесплатным юзерам теперь доступны:
Vision модель! Можно вгружать в chatGPT картинки, просить распознать и разговаривать про них с ИИ-терапевтом.
Поиск в интернете и работа со ссылками.
Анализ Данных! Вот это круто. Можете вгружать туда свои данные и просить рассказать про них или построить графики. Причем можно давать на вход ссылки на ГуглДрайв.
Память. Можно просить запоминать ваши переписки и хранить в памяти детали. Недоступно в европе.
Но есть маленькое но. Вы никогда не будете знать, когда вам отрубят gpt-4o и переключат на 3.5 и когда случится лимит на количество запросов. Иногда 20, иногда 2. Все определяется загрузкой близлежащих к вам серверов.
Обязательно попробуйте дата аналитику. Это магия.
AnimateAnyone for Anyone!
Час назад выложили неофициальный(?) код AnimateAnyone.
https://github.com/novitalabs/AnimateAnyone
Это кстати не первый неофициальный код. Он базируется на другом неофициальном коде)):
https://github.com/MooreThreads/Moore-AnimateAnyone
Просто NivitaLabs подсуетились и запилили нарядное демо, можно пробовать - за логин гуглом вам дадут полдоллара кредитов - это примерно 1.8 генерации одного видоса.
Демо тут: https://novita.ai/playground
Генерит бесконечно долго.
Также они сделали апишку, можно прикручивать танцующих тянок и медведей к себе на сайт и в приложение.
А вот тут есть бесплатное демо от MooreThreads: https://huggingface.co/spaces/xunsong/Moore-AnimateAnyone
Генерит бесконечно быстро.
А в официально репозитарии AnimateAnyone от Алибабищенко пока пусто.
Кодестраль.
Тут Мистраль выпустил новую как бы опенсорсную модель Codestral, она предназначена именно для работы с кодом. По всяким-разным метрикам она побивает CodeLlama и даже Llama 3 70B, имея значительно меньший размер. Немного пожатая она влезет на локальную видеокарту, обучена на более чем 80 языках (пока неясно, как она против GPT-4).
Codestral может писать код, делать тестирование и дописывать неполный код, а также отвечать на вопросы о кодовой базе на английском языке.
В общем выглядит крайне прельстиво.
Однако.
Если почитать лицензию, там не так все сладко, как хочется сторонникам опенсорса.
Лицензия стартапа запрещает использовать Codestral и его результаты для любой коммерческой деятельности (оппа!). Есть исключение для "разработки", но даже оно имеет оговорки. Далее в лицензии содержится прямой запрет ДАЖЕ на "любое внутреннее использование сотрудниками в контексте деловой активности компании".
Таким образом они защищаются от исков по поводу того, что данные для обучения (то бишь код) были взяты из полностью открытых источников.
Так что это скорее для частных лиц, которые котят погенерить картиночки код у себя под столом для некоммерческой деятельности(?).
Интересно, что там с вотермарками.
https://techcrunch.com/2024/05/29/mistral-releases-its-first-generative-ai-model-for-code/
Продолжение:
За сим, я бы свернул в сторону того, что AGI – это понятие скорее экономическое, историческое или социологическое. В таком разрезе, его можно хотя бы хоть как-то измерить, понаблюдать и ПОТОМ декларировать, например, "где-то на рубеже 30-х годов мы перешли к фазе AGI". И забыть про букву И в аббревиатуре, просто произносить это как экономический термин.
Тут я буду присовывать банальную аналогию со второй промышленной революцией - трансформацию в мировой промышленности, охватывающую вторую половину XIX и начало XX века.
Определение второй промышленной революции есть. Никто с ним особо не спорит. Но появилось оно ПОСТФАКТУМ. Представьте, что сидит какой-то умный барин в конце 19-го века и говорит «вторая промышленная революция – это…» или "AGI - это...".
В общем, я бы предложил не бросаться определениями AGI всуе, а просто подождать. Пройдет пара лет, историки и экономисты оглянутся назад, почитают интернетик, соберут статистику, сделают экономические выводы и решат, что где-то в конце 20-х годов произошла трансформация мировой экономики (тут подставьте нужные термины: промышленности, науки, массового помешательства) именуемая теперь как AGI. Все это будет в будущем.
А пока перестаньте определять неопределяемое. Оставьте это философам, им кушать надо. И подождите немного, само определится. В историческом контексте.
Все, выговорился.
Забыл написать, когда выпустили десктопное приложение chatGPT для мака, то умельцы вытащили оттуда системный промпт от gpt4-o.
Подробности и промпт тут.
https://x.com/Kyrannio/status/1792440824355332313
Говорят он такой же как от обычной четверки.
Вопрос только в том, что вероятнее всего там орда агентов орудует, но промпт можно использовать в образовательных целях.