48093
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
ИИ-хииты и ИИ-копирайт
Вот держите хит от Suno. Это мне его Суно-радио подсунуло. Это же крепчайший трек.
Я просто приделал к нему Панду из вчерашнего Клинга, получилось чистое ИИ. Звучит плотнейше.
Но самое забавное, что Шазамчик долго жевал свои иконки, но потом-таки разродился соответствием и выдал мне вот такой матч с этим треком:
https://www.youtube.com/watch?v=HX5niL-l-vQ
Да, непохоже ни разу, но ИИ виднее, видать там скрытые мантры одинаковые.
И тут масса вопросов:
Во-первых найденный трек в ютюпчике сильно смахивает на ИИ, хотя валяется на Apple Misic с 2017 года.
Во-вторых, писать такие амбиентные треки ИИ уже сейчас умеет получше многих.
Ну и в-третьих, похоже что предстоят веселые битвы разных ИИ. Всякие детекторы плагиата будут орать "это чужой трек!", хотя он только что вышел из-под пера другого ИИ.
Я уже писал, что фейсбучек меня забанил, когда я присунул ему трек из суно - это говорит, копирайтный материал, пират ты мерзкий.
В общем нас ждут веселые времена, когда ИИ-юристы будут хлестаться с другими ИИ-юристами и бедными пользователями Suno и Udio, распознавая в каждом ИИ-чихе чужой контент и повод нажиться. Пилите стартап с патентными ИИ-тролями, короче, озолотитесь.
Легкие деньги
В последнее время, из-за мейнстримизации нейросетей, всё чаще стал замечать рекламу разных курсов с тезисами из серии "ЗАРАБОТАЙ 1000000 РУБЛЕЙ ЗА ДВА ДНЯ С ПОМОЩЬЮ ИИ 🤑🤑🤑". Потрясающе! Но полный шлак. Давайте быстро расставим точки над AI и быстрым заработком.
Думаю, большинство моих подписчиков - молодцы и уже достаточно в теме, чтобы понимать, что к чему. Поэтому скиньте этот пост тем, кто только смотрит в сторону AI-штук и курсов по их изучению.
Короче говоря, товарищи маркетологи используют один из множества мифов о нейросетях (рассказываю о них на своих лекциях, но, видимо, нужно сделать отдельный пост). Конкретно - о магической кнопке , которая за вас будет делать всю работу, а вы будете пить манго-шейк на тайском пляже. Fucking NO.😅
Нейросеточки - просто инструменты, которые усиливают вашу экспертизу и уже наработанные компетенции. Всё.
Если вы: 1) ничего не умеете, 2) ни в чем не разбираетесь - нейронки вам никак не помогут. Вы просто не сможете 1) доработать результат, 2) проверить результат. Если вы что-то умеете, то можете делать работу быстрее, брать дополнительный фриланс, запустить свой AI-based стартап, стать AI-блогером. Стратегий много. Но ничего из этого даже близко не пахнет лёгкой прогулкой.
Если уже реклама - фейк, с чего вы взяли, что в самом таком курсе вас ждёт качественный контент, а не водичка? 😎
Держите еще роликов из китайской Соры, убойно. Это вам не Veo от Гугла.
Там, похоже действительно есть понимание физики и свой world model.
Явшоке.
Поглядите на цветы и на птицу.
КЛИНГ!
Ох ничего себе, китайская ответочка для SORA.
Генерация роликов на 2 минуты(!), в 1080(!) и 30FPS.
Свой механизм трехмерный пространственно-временной механизм совместного внимания, чтобы лучше моделировать сложные пространственно-временные движения и генерировать видео с длинными движениями, при этом подчиняясь законам физики.
Спопсбность имитировать физические характеристики реального мира и создавать видеоролики, соответствующие законам физики.
Собственная разработке 3D VAE - от крупных планов до панорам.
Своя технология 3D реконструкции лица и всего тела вместо со стабилизацией фона.
Это пока все, что удается вытащить с их сайта.
Если у вас есть китайский номер, то вы можете даже попасть к ним в бету.
Поглядите примеры тут (они жутко тормозят - все алкают китайской Соры):
https://kling.kuaishou.com/
Ну и Вилл Смит теперь может нормально точить макарошки - поглядите, как мужик поедает удон.
Наткнулся на интересный пейпер прошлой недели на любимую тему:
Межвидовая коммуникация и АИ
Есть такой алгоритм Wav2Vec2 от Facebook AI — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как не требует много размеченных данных и работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.
Так вот, ученые взяли этот алгоритм и применили к лаю домашних песиков и в итоге решили четыре ML-задачи: распознавание конкретных собак, идентификацию породы, классификацию пола и привязку лая к контексту — модель может сама связать вокализации собаки с контекстом, в котором они были произведены (например, агрессивный лай на незнакомца, игривый лай и т.д.). Это важно, потому что у нас наконец-то есть эффективный способ разметки и обработки собачьих звуков.
Самое прикольное, что Wav2Vec2 обученный сначала на ЧЕЛОВЕЧЕСКОЙ РЕЧИ помогает решать эти задачи еще точнее — это довольно странная и клевая находка.
Короче, если исследование подтвердят другие желающие — то нас ждет зарождение стартапов в области переводчиков с собачьего, котячьего (в этих я не уверен), птичьего и тп и тд. Исследователи готовы поделиться собранным датасетом, если написать им на почту (есть в пейпере)
Сам пейпер тут:
https://arxiv.org/abs/2404.18739
В мобильном приложении chatGPT - апгрейд.
Зайдите в настройки и включите Background Conversations. Теперь вы можете продолжать общаться с ChatGPT голосом, даже если вы вышли-переключились из приложения и пользуетесь другими приложениями на телефоне - или если экран выключен.
Представьте, что вы застряли на уровне в игре или продираетесь через какой-то ацкий UX-процесс - просто включаете Фоновый чат и получаете от ChatGPT подсказки или инструкции в режиме реального времени, не прерывая процесс.
https://www.gizchina.com/2024/06/05/chatgpt-just-got-smarter-discover-the-new-background-chat-feature/
В воскресенье проводил сотый The Hub (500-600 чел на минуточку). Приподвзажигал про ИИ, как водится. Как писал выше, озадачил всех конкурсом по ИИ-генерации меня в процессе, разыграл Re:Hub футболки. Поразительно, как люди работали поводырями искусственного интеллекта, выступая его глазами с помощью промптов.
Вот так он меня видит на сцене в глазах ИИ-смотрящего, в этот раз это был Кандинский.
Первая фотка прям похожа, видать ИИ про меня что-то знает. Ну и у зрителей все хорошо с самоиронией. Один из промптов "Огромный зал хомяков слушают про AI".
Они еще и видео успели сделать.
GPT-4 vs классический OCR.
Очень интересная статья на Хабре про разбор чатов. Одно дело, когда чаты у вас на блюдечке с текстовой каёмочкой, а другое дело, когда это скриншоты переписок из всех неведомых мессенджеров и аппов. Крайне полезный анализ, как можно использовать gpt-4o vision для распознавания такого добра и стоит ли игра свеч. Для всех, кто занимается дейтингом, кастомер саппортом и даже HR-ром будет очень любопытно почитать.
Для затравки выкушу цитату, а остальное(реализация, экономика, скорость) - по ссылке.
(ну и про предразметку - просто гениально)
GPT-4o при несложном промптинге (если закрыть глаза на скорость, стоимость и координаты, тем не менее, понимает кучу нюансов, которые через стандартный OCR и постобработку на нашей стороне сделать либо сложно, либо невозможно):
точно фильтрует всё лишнее «из коробки»;
понимает, где реплаи, а где нет;
выписывает время каждого сообщения (что важно, чтобы понять, кто кому отвечает сразу, а кто тянет время);
понимает, было ли сообщение отредактировано;
замечает реакции на сообщения (может выписать, какие);
сообщения из одних только эмодзи, стикеры;
картинки внутри переписки, кружочки, голосовые;
и многое другое...
Ну это же охереть как полезно для более тонкого понимания динамки коммуникации!
В общем, игра определённо стоит свеч!
https://habr.com/ru/articles/819719/
Битва за текст.
Тут авторы взяли и вструмили OCR (распознавание текста на картинках) в процесс генерации. А также сделали отдельный датасет.
Все это с целью улучшения генерации текста.
Но выглядит как эксперимент, причем только для Stable Diffusion 1.5
Говорят, что можно смерджить их веса с любой моделью и обещают интеграцию с A1111.
Сдается мне, что взрослые мальчики из больших компаний на букву O и G уже давно так делают.
https://github.com/tyxsspa/AnyText
Нейрорендер. Опять
Я вот смотрю, как отмалчиваются Maxon, Автодеск и другие от нейрорендера и думаю, что причины две:
1. Шарахаются от проблемы коммерческого использования инструментов, которые используют данные (пусть опосредованно) с непонятным происхождением (серые данные, скажем, так).
2. Смотрят на поляну, собирают чистые датасеты, и традиционно тормозят, как положено крупным игрокам (кроме Адобченко).
Но поглядите, что можно вытворять имея на входе традиционное 3Д.
И мне видится, что текущие реализации, через захват экрана в Креа или кривокосые плагины для Блендора - это пока паллиативы, не использующие всю мощь 3Д.
Ведь находясь в 3Д-программе мы имеем уйму информации: глубину, альфу, LOD (это банально), доступ анимационным кривым, историю перемещения (вертексов в том числе), все потроха камеры, общий размер сцены, статистику по размерам всех объектов, черновой свет и еще много чего.
Все это можно использовать при генерации нейрорендера. И да, придется много чего запрограммировать.
А рульки-педальки в окошке Нейрорендер могут быть человеческими, а не CFG Scale или VAE (тут правда можно покаяться, что рульки в традиционном рендере тоже труднопроизносимые, но можно хотя бы адаптироваться под них, а не под новояз генераторов).
В общем я жду каких-то ответочек от Адобченко и гениев в Блендор-сообществе. На остальных надежды нет.
Около получаса уже лежит интерфейс ChatGPT. Шутки о том, что это выкатывают GPT5, совершенно не успокаивают школьников всего мира, которые сейчас не могут решать свои задачи.
На самом деле вот такие падения — самый явный намек, что надо продолжать развивать открытые и доступные всем модели.
https://status.openai.com/
Про железо для грядущей SD3 Medium.
Ее размер 2В параметров.
У SDXL - 2.3B
У SD1.5 - 0.9B
Так, что если SDXL влезала в вашу 8GB VRAM карту (еле-еле), то SD medium тоже влезет.
Вот вам остальные размеры SD3:
"small/1b, medium/2b, large/4b, huge/8b"
Ну и ждём ответочки от Fooocus, облегченных и пожатых моделей, если не хотите покупать сейчас новые видеокарты.
А то вот Нвидия уже глаголет про Rubin - чипы из будущего, из 2026 года.
https://www.bloomberg.com/news/articles/2024-06-02/jensen-huang-computex-keynote-nvidia-reveals-new-ai-software-and-services
А АМД бахает MI325X в конце года:
https://www.amd.com/en/newsroom/press-releases/2024-6-2-amd-extends-ai-and-high-performance-leadership-in-.html
Нейронки теперь воспитывают детей: многодетная мать сгенерировала фейковый выпуск новостей, в котором ведущий показал вопиющий беспорядок в их детской комнате.
В шоке от увиденного малые сразу бросились собирать свои игрушки. Вот, что значит современные родители.
@killerfeat
В КонтролНете качественные обновления.
Как пишут вот тут: https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download
появились модели ContrоlNet для SDXL, которые работают сильно лучше предыдущих для SDXL.
Скачать и поставить можно отсюда:
https://huggingface.co/xinsir
Там пока есть:
Canny
Openpose
Scribble
Scribble-Anime
Народ пока в восторге:
https://www.reddit.com/r/StableDiffusion/comments/1d24igd/new_sdxl_controlnets_canny_scribble_openpose/
Понял, что когда сажусь работать, больше не лезу в Youtube Music (лучший). А просто открываю https://suno.com/explore и тыкаю в какой-нибудь dark acid jazz и дальше идет отличный фон. Причем у меня нет ощущения, что я слушаю какую-то иную музыку, ну то есть некожаную. Ухо не режет, квадрат держит, вокал чистый. Более того, у меня ощущение, что количество шлака или проходных треков там меньше. Я ничего не проматываю, более того, звучит (очень часто) свежо.
И тут мы вернемся в 60-е, золотой век музыки, когда количество хитов на единицу музыки было в десятки раз больше чем сейчас. Все дело в том, что музыканты писали треки один лучше другого, не экономя шедевры. А потом пришли большие деньги, ушлые продюсеры и циничный капитализм. Было посчитано, что гораздо выгоднее разбить 8 хитов на 4 альбома, по два хита на альбом (открывашка и предпоследний). А остальные треки заполнить серыми проходными песнями. В общем появилось соотношение хит\шлак, и плохой\проходной музыки стало сильно больше.
В общем я слушаю радио Суно и пока там количество проходняка меньше. Иногда в эфир врываются треки на русском (тоже неплохие, кстати), это добавляет неожиданности. Похоже Суно учили на хорошем датасете, а не проходняке.
А вот на полторы минуты ролик, такого пожалуй, никто кроме SORA не умеет.
Читать полностью…
Держите роликов из китайской Соры, по-моему отлично. Это вам не Veo от Гугла.
Там, похоже действительно есть понимание физики и свой world model.
Явшоке.
Гляньте на розу.
Танцуют все!
Слушайте, мне вот интересно, это у ресерчеров (китайских в основном) такой флешмоб или челлендж?
Все эти AnyAnimate, MusePose, UniAnimate, MuseV и еще десяток работ...
Они бьются друг с другом на задаче с танцующими тянками, и выглядит так, что это какая-то:
- очень важная проблема
- культовая задача, которую все хотят порешать
- какой-то бенчмарк для анимации
- экономически важная технология
Я никак не могу усмотреть ни одного из этих пунктов, но я также не могу усмотреть хоть какого-то приемлемого качества на результатах их коробки.
Я честно пытался сплясать.
Вот держите еще одного плясуна от Алибабского:
https://unianimate.github.io/
Там гордо пишут, что мы умеем крутиться на 360, держать сумочку (как никто кроме Соры), и руки и лица у нас круче чем у MusePose.
Но лица и особенно руки там полный треш.
Поясните мне за ценность всех этих разработок? Это какой-то китайский дэнс Тьюринга?
ToonCrafter - огнищще, конечно.
Его уже прикрутили к ComfyUI. Можно запускать локально:
https://github.com/kijai/ComfyUI-DynamiCrafterWrapper
Видеопамяти жрет до хрена - формально 16 гигабайт для 512x326 resolution, народ репортит что 26GB to 30GB in reality
Но посмотрите, как он делает интерполяцию между кадрами. Это же божественно.
Все подробности про ToonCrafter тут.
Бывший сотрудник Open AI Леопольд Ашенбреннер опубликовал большой документ (165 страниц) под названием SITUATIONAL AWARENESS (ОСВЕДОМЛЕННОСТЬ О СИТУАЦИИ). Скачать можно здесь, а посмотреть большое 4-часовое интервью Леопольда можно здесь. Я хочу сделать акцент на некоторых аспектах вопроса, который поднимает Ашенбреннер в своей работе. Итак:
✅ Общий искусственный интеллект (AGI) — это ИИ подобный человеческому интеллекту и способный к самообучению, вероятно, появится уже к 2027 году. Переход от AGI к Сверхинтеллекту займет не больше года (переход будет почти мгновенным). Вероятность появления Сверхинтеллекта к 2028 очень высока. По крайней мере на это уйдет вряд ли больше десятилетия.
✅ В Сан-Франциско перешли от $10 миллиардных вычислительных кластеров к $100 миллиардным и даже триллионным кластерам. Каждый шесть месяцев добавляется новый ноль. Это указывает на экспоненциальный рост вычислительных мощностей и ресурсов, необходимых для развития ИИ.
✅ AGI — это будет самый могущественный геополитический ресурс ближайшего будущего. Погоня за ним настолько же важна, как погоня за изобретением ядерного оружия во время Второй Мировой Войны. Никто не будет останавливать разработки в этой области из тех, кто уже включился в эту гонку.
✅ Nvidia, Microsoft, Amazon и Google уже сегодня запланировали суммарных инвестиций в развитие AGI на $100 млрд в квартал. И это, как мы все понимаем, только начало большой гонки.
✅ Объем инвестиций в ИИ к 2030 году ежегодно составит $8 триллионов.
✅ Наибольшую опасность представляет сама возможность появления Сверхинтеллекта, который может выйти из-под контроля человека (что логично). Это может привести к непредсказуемым последствиям, таким как значительное усиление неравенства или даже угроза для человечества.
Нейродед в обед.
Часто разбавляю свои выступления интерактивом. Народ с удовольствием занимается любимым делом - неистово тыкать пальцами в телефон. Я кидаю в зал ссылку на Кандинского или Идеограм (быстро и бесплатно), а они кидают в ответ безумные генерации. А я стримлю это на экран. В этот раз усложнил задачу и бахнул конкурс-челлендж: забабахать дедушку-психа, вещающего со сцены про ИИ. Эти мерзавцы справились на отлично. Щас накидаю вариантов. Но Ваня Гавренков, наш фотограф, поймал просто отличный момент. Удивительно, как люди в зале без спец подготовки, быстро осваивают промптинг и умудряются затроллить меня в картинках.
Ускорение Stable Diffusion в семь раз?
https://m.youtube.com/watch?v=5KO4BHJSAZk#bottom-sheet
Кому-то удалось поставить TensorRT и получить ацкое ускорение?
Тут выкатили ноды для ComfyUI:
https://github.com/comfyanonymous/ComfyUI_TensorRT
Поглядите плиз.
Ну и у меня не сшивается информация - вроде TensorRT не поддерживает ControlNet. А на видео им щеголяют направо и налево.
А ещё Нвидия советует обновить драйвера и получить ещё больше ускорения в генерация х.
Вот держите еще один анимационный ИИ-пайплайн из Sims и палок.
Автор (за 2 дня!) собрал 3Д сцену в Sims 4(!), потом отснял себя в коробке (с крыши сарая, чтобы попасть в изометрию), потом удалил фон в Runway Remove Background, потом нагенерил текстур для пола в Midjourney, приподанимировал их в Runway, скомпозил себя(видео) поверх Sims и на итоге навалил на все это фильтр типа clayanimation в goenhance.ai
Ну что, за Aardman Animation?
Вот тут поглядите на все этапы процесса, познавательно. Особенно разрезание коробки.
https://x.com/0xFramer/status/1797794017251328293
Держите скачки рейтинг LLM на chat Bot Arena за последний год, поглядите, как крупные (закрытые) модели выбивают из рейтинга open-source. Мы видели много оптимистичных графиков, что "вот еще немного и опен сорс догонит-перегонит", но очередной апдейт от OpenAI или гугла сразу указывает всем на свое место. Кроме Ламы от Метачки разве что.
Хотя Llama на 400B+ параметров мы похоже не увидим в опенсорсе.
Писать про опенсорсные модели еще сложнее, они выходят десятками в неделю, их счет уже идет на тысячи. Поэтому начну поливать за графику.
Stable Diffusion 3. Мясо
Давайте я вам поясню за SD3 за пределами того, что вам её пообещали в интернете и взорали про это в новостях.
Первая и самая главная особенность - понимание промпта. Мы это уже углядели на примере Stable Cascade (тут с таймингом пресс-релизов, конечно, ад, но пишут, что до релиза SD3 еще довольно много времени).
Профессия заклинателя промптов типа "[[осторожно]], ((тут)) ((рыбу:1.2)) {заворачивали}, wow, 4K, конецглазам, ивоще" потихоньку уходит в прошлое. Теперь модели начинают "понимать" промпт, там, грубо говоря, внутри свои LLM.
Когда-то DALL·E 3 задрал планку до небес в этом направдении, теперь остальные подтягиваются. SD3 и SC слушаются промпта в разы лучше чем SDXL.
Про качество картинок - надо смотреть. На шум, на детали, на мыло, на искажения. Все что показано на сайте очень годно, но туризм с эмиграцией путать не стоит и как будет на деле - покажут тесты и сравнения.
Про текст. Да, как и SC она хорошо умеет в текст. Но меня всегда удивляла упоротость на этой фиче. Вы часто рисуете текст на картинках руками? Ну то есть не выбирая шрифт, а попиксельно? Кроме того, я предвижу кейсы, когда модель зафикачила картику с копирайченным шрифтом (очень похожим, ок). Повалят иски. А разработчики начнут шарахаться от этой фичи обратно в тину.
Да, пальцы. Лучше.
А теперь два главных вопроса: скорость и требования к памяти.
Про скорость ничего сказать пока нельзя. Об этом ни слова.
Про память. Будет несколько моделей от 800М параметров до 8 миллиардов.. Сколько их будет неясно.
А теперь следите внимательно.
Stable Diffusion 1.5 - примерно те же 800М параметров
SDXL - 2.3B
Помните требования к памяти для SDXL?
А теперь умножайте их на 3.3 и получите VRAM для старших моделей SD3.
Но. Мостак на реддите пишет, что все эти разные модели можно будет квантизировать вплоть до int4. Ну то есть сжимать веса (размер файлов модели) в 2, 4 и более раза. С потерей качества генерации.
Дальше все это начинает напоминать ситуацию с LLM. Разные размеры моделей, разные степени пожатости этих разных моделей. Таблицы сравнения: что лучше пожать бОльшую модель или взять непожатую меньшую модель. Ну и многочисленные сравнений "на глаз". Для LLM есть кривые-косые бенчмарки, для картинок есть "на глазок".
Также Мостак говорит, что тренировать модели SD3 можно будет на 16Гиг памяти. За кадром вопрос (отныне и во веки веков) - которые из моделей от 800M до 8B?
Ну и я боюсь представить требования (и скорость) для старших непожатых моделей SD3..
Ну и последнее. На сайте стабилити две трети текста про цензуру и безопасность. Народ на Реддите: "Эмад, ты вообще нормальный, ты с народом общался из коммьюнити?".
Эмад, там же: "На чилле ребята, мне так легче общаться с регуляторами"
В общем думаю, нас ждем зоопарк моделей, потом зоопарк в квадрате от по разному пожатых моделей из этих моделей. И зоопарк в кубе от натренированных чекпойнтов из пожатых по разному моделей из модельного ряда SD3 от 800M до 8B.
А пока можете начать тренировать модели для Stable Cascade, разминаться:
https://www.reddit.com/r/StableDiffusion/s/jTZ6eownFy
Веса и код SD3 2B - 12 июня!
Утром пришло письмо:
Hey Sergey,
Have you heard that the SD3 weights are dropping soon? Our co-CEO Christian Laforte just announced the weights release at Computex Taipei earlier today.
Stable Diffusion 3 Medium, our most advanced text-to-image is on its way! You will be able to download the weights on Hugging Face from Wednesday 12th June.
2 миллиарда параметров - позиционируют как SD3 Medium.
Но! Большое но!
SD3 Medium weights and code will be available for non-commercial use only.
Промываем вентиляторы на видеокартах, готовимся тестировать.
А вы говорите - джойстики, рули и лыжные маски, виар-шмиар! Это все для слабаков. Реальные пацаны играют, нет, тренируются, по-взрослому.
Ждем наборов "сделай сам" от Варгейминга.
https://x.com/i/status/1796486388202008667
Ну, за саунд эффекты и актеров, которые делают писки и визги.
ElevenLabs сделал фичу генерации саунд-эффектов бесплатной для всех.
Можно резвиться самим вот тут:
https://elevenlabs.io/app/sound-effects
Я как обычно, пытаюсь засунуть рельсу в соломорезку, поэтому присунул ему 445 букв "е", а потом промпт Funky Buddha.
Попробуйте понять, кто из них кто.
Ну и наваливайте примеры в коменты. Вкупе с видеогенерацией на 4 секунды могут получаться знатные nanoASMR.
ОМОСТ
Похоже, что там по дефолту RealVisXL_V4.0, то есть SDXL.
Вроде как стоит комит на внедрение в Фооокус.
Я проверил, цензуры нет. Драконов генерит также ловко.
Ну тестировать!
Вот тут демо, пробуем сами:
https://huggingface.co/spaces/lllyasviel/Omost
Вот тут код и инструкции как самим поставить, нужно всего 8гиг видеопамяти.
https://github.com/lllyasviel/Omost
LLM переключаем пока в коде, ручками:
# model_name = 'lllyasviel/omost-phi-3-mini-128k-8bits'
llm_name = 'lllyasviel/omost-llama-3-8b-4bits'
# model_name = 'lllyasviel/omost-dolphin-2.9-llama3-8b-4bits'