80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Поигрался с новым алгоритмом Bark для озвучки текста: в отличии от других доступных алгоритмов, этот умеет и в придыхания, и в копирование голоса (но в коде написано, что как-то ограничили эту функцию из-за этических рисков), и в кучу языков, и даже в пение (!), и все это работает довольно быстро.
Что мне больше всего понравилось, что можно в модель передавать помимо текста – эмоции которые алгоритм попробует озвучить.
Я протестировал все голоса доступные на русском, и мне кажется лучше всего справились голоса 3 и 5. В общем, собрал все тесты в видео, где этот алгоритм озвучил пикап лайны из моего прошлого поста.
✨ Поиграться онлайн | Исходный код
Для тех кто доберется поиграться сам, передавайте это вместе с текстом:[laughter] или [laughs] - и диктор засмеется во время озвучки, [sighs] или [gasps] - озвучит вздох или испуг, [music] - будет музыкальная вставка (не очень хорошо работает),[clears throat] - и диктор прочистит горло,— или ... и нейронка "запнется", как человек,♪ и нейронка попробует напеть текст, работает не очень стабильно.
А если выделить капсом, то алгоритм сделает акцент на этом слове.
Я некоторым людям скидывал первый фрагмент из видео, и они подумали что это мой голос ☕️ что забавно - в видео нет настоящих людей.
Как по мне, сильная заявка на «Лучший опенсорс алгоритм озвучки 2023»
Есть такой подреддит – /r/relationship_advice, это место где люди делятся проблемами в отношениях и пробуют помочь их решить другим людям.
На первом графике, показана суточная частота постов в этом подсайте до выхода ChatGPT и после: видно заметное падение суточных публикаций ☕️
На втором, как дополнительная проверка – общая картина частоты постинга за пару лет, падение все так же видно.
Это, конечно, не 100% корректное наблюдение, но я уже видел разные статьи, где люди говорят, что им проще общаться с роботом на личные вопросы и прекрасно понимаю это. Также я видел уже 3-4 проекта которые предлагают эту же функцию в виде аппа или бота, но за плату (и на русском, и на английском).
Мое мнение: если вы хотите пообщаться с роботом на тему личной жизни, то лучше делайте это все же в ChatGPT, там точно ваши личные и персональные переживания в большей сохранности, чем, в каком-то стартапе который скорее всего использует OpenAI API.
Ну и главное помнить – хороший промпт это 90% успеха, а робот все еще не замена терапии.
✨ Собрал нейронного инди-кинематографа вам на ночь на базе новой модели Gen2 ✨
Работы
🏕️ Утро природы // 🌹
🛏️ Образы сна // 🌹
🤷♀️ Анимешникам // 😐
🪐 Заброшенные миры // 🌹
Название для работ я конечно же придумал сам, но я скоро начну делать ревью таким работам в виде кино-критиков, приготовьтесь (и отпишитесь пока не поздно)
Очень нравится зарождение «нейронного кинематографа» – когда из текста генерируют видео кусочки, сшивают в фильм и добавляют озвучку.
Получается, что уже сейчас каждый может пойти и снять кино мечты, вот тут в треде подборка разных работ.
До больших экранов этому подходу еще много лет, но как же круто
Взорвалась во время отделения первой фазы, ну штож, ждем новый запуск ¯\_(ツ)_/¯
Только посмотрите на эту махину
UPD. Краткое саммари что пошло не так
Так, я не пойму, у нас революция где вообще происходит? 😮
Помните пост про игру за оперативника которую хрен отличишь от реальности?
Предлагаю еще раз провести подобный эксперимент, потому что с ходу я сам не смог, нужна ваша помощь.
Пока сам не поиграю или не увижу хотя бы тесты какие-то сетку, риги или геймплей у летсплееров, не поверю, хотя французы могу в такую динамику судя по LDR.
Вот страничка на стиме
Новые интересные фичи в онлайн-кинотеатрах появляются редко, но вот эта от Amazon Prime клевая:
Помните ситуации, когда смотришь кино и в какой-то момент главные герои начинают перешептываться на фоне музыки и почти непонятно, что они там говорят друг другу?
В общем, теперь с помощью фичи AI Dialogue Boost звук диалогов будет повышаться когда это необходимо, чтобы можно было все расслышать, а фоновые звуки останутся с прежней громкостью.
Мелочь, а приятно, жду во всех приложениях.
🚀 Через 15 минут давайте смотреть запуск "Starship" – это самая большая и мощная ракета из когда-либо построенных (высота 120 метров, ширина ~9 метров)
📢 UPD: Запуск на сегодня отменен, так что можно не смотреть стрим, я напишу когда будет новый
https://www.youtube.com/live/L5QXreqOrTA?feature=share
Интересная новость из Англии:
Очередной ИИ-художник выиграл конкурс, в этот раз "Sony World Photography Awards", в номинации "Creative Category", где занял первое место с синтезированной под старину фотографией (выше).
Сам художник отказался от приза, сказав что неэтично использовать ИИ в искусстве, но на самом деле мне кажется неэтично было не посвятить жюри в то, как сделана эта работа, если бы они знали, и все равно дали бы первое место, все было бы этично.
И если бы он принял приз, интернет, конечно бы катком по нему проехался, поэтому и отказался ☕️
Вангую скоро будут отдельные фото-конкурсы, только для ИИ работ
🚀Dolly 2.0 – первая открытая 12B Chat-LLM, которую можно использовать в коммерческих продуктах
Databricks удивили! Ребята заметили, что все опен-соурсные ChatGPT-клоны либо используют LLaMA, в которой некоммерческая лицензия, либо используют данные, которые запрещают коммерческое использование (как например датасет инструкций от Alpaca, сгенерированный с помощью GPT-3).
В чем преимущество OpenAI перед опен-суорсом, если не брать в расчет размер GPU кластера? В данных. Чтобы дообучить ChatGPT было собрано много качественных диалогов и иструкций от реальных людей, ну, и плюс RL from Human Feedback (RLHF), где люди оценивали ответы языковой модели.
Было решено собрать свой датасет. В Databricks работает ≈5000 человек, их всех и попросили написать вручную несколько семплов для обучения клона ChatGPT. Нужно было составить качественные пары Вопрос-Ответ, либо Инструкция-Ответ, на которых можно было бы добучить опенсоурсную авторегрессионную LLM, которая умеет просто продолжать текст, а не вести диалог. В итоге с помощью пряников в виде бонусов за написание лучших примеров, было собран высококачественный датасет на 15000 семплов!
Далее, они взяли свежу языковую модель Pythia-12B от EleutherAI с MIT лицензией и дообучили на своем датасете, получив Dolly 2.0* которую тоже зарелизили под MIT лицензией вместе с кодом и весами. Разве не прелесть?
generatetext = pipeline(model="databricks/dolly-v2-12b", torchdtype=torch.bfloat16, trustremotecode=True, devicemap="auto")
generatetext("Who is Shcmidhuber?")
Умельцы уже кванитизовали Dolly 2.0 в 4 бита и ускорлили для запуска на CPU. Теперь ждём шага от OpenAssistant, которые по слухам зарелизят свою модел в ближайшие дни.
*Dolly 1.0 была обучена на тех же инструкциях, что и Alpaca.
Блогпост про Dolly 2.0
@ai_newz
Крутые новости из NASA:
Во первых, новый NASA директор впервые в истории агенства – женщина, Макензи Листруп уже вступила в должность
Во вторых, она давала присягу на книге Карла Сагана «Голубая точка. Космическое будущее человечества» – я ее теперь обязательно прочитаю
Оба факта очень круты, жду с нетерпением развития программы Артемис и новых успехов NASA в освоении космоса.
Я упоролся и поставил одну из больших языковых моделей (Vicuna 7B) на Steam Deck!
Это с ума же сойти, я теперь если где-то без интернета останусь, смогу просто от нечего делать болтать с нейронкой или просить ей писать мне рассказы, «гуглить» устаревшую и не точную инфу и все такое.
Портативный почти-ChatGPT на консоли
🔤🔤🔤🔤🔤🔤, какойто, завтра залью инструкцию на реддит стимдека
В последний месяц повыходило десятки разных моделей для генерации текста (правда, с плохой лицензией для некоммерческого использования), я поресечил и вот и самая лучшая на данный момент: GPT4xAlpaca (ссылки на актуальные модели тут)
GPT4xAlpaca не содержит цензуры 🗿, позволяет переписывать текст, генерировать сюжеты и ведет себя хоть не как ChatGPT, но близко, и все это у вас на локальной машине – магия же. Код она генерирует хуже чем ChatGPT.
Вот тут видео как ее ставить и использовать, а вот тут хороший подреддит где собрана актуальная информация по публичным моделям для генерации текста.
P.S. Если вы следите за LLM – Vicuna (другая модель) хуже чем GPT4xAlpaca
Баны чего-то полезного одинаково работают во всем мире – после того как ChatGPT забанили в Италии, местные начали гуглить VPN ☕️
Локальные регуляторы интернета скоро вообще всех обучат, что такое VPN и как им пользоваться, сами же себе вредят
Продолжаем погружение в генеративную сингулярность, а то вдруг вы расслабились:
Nvidia скоро выложит код к новому алгоритму, который позволяет по *одной* картинке синтезировать пространство (учитывая геометрию сцены) и посмотреть объект с разных сторон, или прогуляться внутрь генеративного дома.
Я уже игрался с таким алгоритмом, но он толком не учитывал геометрию, новый подход выглядит очень интересно, особенно для любителей истории и старых фото (люблю такое).
Сайт проекта:
https://nvlabs.github.io/genvs/
Того, кто взял нейронное интервью у Шумахера – уволили ¯\_(ツ)_/¯
«Эта безвкусная и вводящая в заблуждение статья не должна была появиться. Она никоим образом не соответствует стандартам журналистики, которые мы - и наши читатели - ожидаем от такого издательства, как FUNKE» (лол), сказал управляющий директор журнала.
Анне Хоффманн, главный редактор газеты "Die aktuelle", которая отвечала за журнал с 2009 года, уволена 21 апреля.
Из плюсов технологии text2video: сообщество снимет нормальный последний сезон Игры Престолов
Читать полностью…
«С помощью моей команды, я могу фактически стоять самостоятельно и даже медленно пройти несколько шагов» - "цитата" Шумахера.
«Моя жена и мои дети – для меня благословение, и без них я бы не справился. Естественно, они тоже очень огорчены тем, как все это произошло»
«Они поддерживают меня и твердо стоят на моей стороне»
Как вы помните, Шумахер пострадал на горнолыжном курорте в 2014 году и уже почти 10 лет не общается с прессой, а его семья отказывается рассказывать что-либо о его состоянии.
Но это не помешало немецкому таблоиду и его "журналистам", сказать большой языковой модели, что она теперь должна вести себя как Шумахер и взять у нее интервью ¯\_(ツ)_/¯
Семья Шумахера недовольна и пойдет в суд. Таблоиды и этика рядом конечно же не стояли, но это уже перебор сюра.
Интересно чем кончится суд.
🏠 Давайте посмотрим вторую попытку запустить Starship, запуск через 20 минут:
https://youtu.be/-1wcilQ58hI
На всякий случай:
Это самая большая и мощная ракета из когда-либо построенных (высота 120 метров, ширина ~9 метров)
Мы все ближе к генеративной сингулярности:
Nvidia показала работу алгоритма text2video, и он работает сильно лучше чем все предыдущие примеры.
Смонтировал примеры в одно видео, тут по ссылке технические детали про архитектуру и больше примеров.
Модель, поиграться, кажется, нам не дадут 🥲
Про качество AI-текст-детекторов:
Если скормить конституцию США в zerogpt.com (популярный анализатор текста на ИИ-написанность), то он выдаст, что отцы-основатели США на 93% были нейронкой ¯\_(ツ)_/¯
В общем, верить анализаторам нельзя, а если вы боитесь, что ваш текст «задетектят», то просто попросите ChatGPT писать текст «чтобы невозможно было проанализировать, что текст написан нейронной сетью» и всё, правда сработает
Наткнулся на приятный сайт:
🛫 Переговоры пилотов + 🎧 Lo-Fi музыка = 🌐lofiatc.com
Много где читал, что GPT5 вовсю тренят – судя по всему это не так, CEO OpenAI сказал, что пока что тренировка не начата
Так что GPT4 is all you need have
Кстати, насчет книг – если вы заядлый любитель почитать, то вот тут можете ввести книгу или несколько, которые нравятся, и AI порекомендует книг в таком же стиле:
https://www.librarian-ai.com/
Нашел хороший проект для любителей необычных клавиатур – ставите вебкамеру, и вводите текст ✨телом ✨, на гифке как раз пример.
И пост написал в канал и разминку сделал, клево же (нет).
Исходники тут.
ai.com
Просто удобный домен для ChatGPT который я даже не знаю за сколько купил OpenAI ☕️
Наткнулся на забавный проект: memecam.dk
Вы ему фотографию или картинку, а он попробует сделать из нее мем ¯\_(ツ)_/¯
Иногда выходит смешно, иногда нет, все как в жизни.
Работает просто:
1) Первая нейронка (Blip) описывает текстом, что видит на картинках
2) Дальше, этот текст попадает в GPT 3.5 с промптом типа «Сделай мем на тему…», куда подставляется описание картинки из пункта выше
3) Та-да, вы прекрасны, ваш мем готов 🥲
P.S. Больше 10 мемов в час не дают сделать бесплатно
Feel old yet?
Всего год назад мы увидели Dalle 2:
/channel/denissexy/5531
Не могу даже представить, что будет через год в ИИ сфере ☕️
Просто вспомните сколько всего случилось с анонса, до текущего момента
