47347
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
🚀Dolly 2.0 – первая открытая 12B Chat-LLM, которую можно использовать в коммерческих продуктах
Databricks удивили! Ребята заметили, что все опен-соурсные ChatGPT-клоны либо используют LLaMA, в которой некоммерческая лицензия, либо используют данные, которые запрещают коммерческое использование (как например датасет инструкций от Alpaca, сгенерированный с помощью GPT-3).
В чем преимущество OpenAI перед опен-суорсом, если не брать в расчет размер GPU кластера? В данных. Чтобы дообучить ChatGPT было собрано много качественных диалогов и иструкций от реальных людей, ну, и плюс RL from Human Feedback (RLHF), где люди оценивали ответы языковой модели.
Было решено собрать свой датасет. В Databricks работает ≈5000 человек, их всех и попросили написать вручную несколько семплов для обучения клона ChatGPT. Нужно было составить качественные пары Вопрос-Ответ, либо Инструкция-Ответ, на которых можно было бы добучить опенсоурсную авторегрессионную LLM, которая умеет просто продолжать текст, а не вести диалог. В итоге с помощью пряников в виде бонусов за написание лучших примеров, было собран высококачественный датасет на 15000 семплов!
Далее, они взяли свежу языковую модель Pythia-12B от EleutherAI с MIT лицензией и дообучили на своем датасете, получив Dolly 2.0* которую тоже зарелизили под MIT лицензией вместе с кодом и весами. Разве не прелесть?
generatetext = pipeline(model="databricks/dolly-v2-12b", torchdtype=torch.bfloat16, trustremotecode=True, devicemap="auto")
generatetext("Who is Shcmidhuber?")
Умельцы уже кванитизовали Dolly 2.0 в 4 бита и ускорлили для запуска на CPU. Теперь ждём шага от OpenAssistant, которые по слухам зарелизят свою модел в ближайшие дни.
*Dolly 1.0 была обучена на тех же инструкциях, что и Alpaca.
Блогпост про Dolly 2.0
@ai_newz
Крутые новости из NASA:
Во первых, новый NASA директор впервые в истории агенства – женщина, Макензи Листруп уже вступила в должность
Во вторых, она давала присягу на книге Карла Сагана «Голубая точка. Космическое будущее человечества» – я ее теперь обязательно прочитаю
Оба факта очень круты, жду с нетерпением развития программы Артемис и новых успехов NASA в освоении космоса.
Я упоролся и поставил одну из больших языковых моделей (Vicuna 7B) на Steam Deck!
Это с ума же сойти, я теперь если где-то без интернета останусь, смогу просто от нечего делать болтать с нейронкой или просить ей писать мне рассказы, «гуглить» устаревшую и не точную инфу и все такое.
Портативный почти-ChatGPT на консоли
🔤🔤🔤🔤🔤🔤, какойто, завтра залью инструкцию на реддит стимдека
В последний месяц повыходило десятки разных моделей для генерации текста (правда, с плохой лицензией для некоммерческого использования), я поресечил и вот и самая лучшая на данный момент: GPT4xAlpaca (ссылки на актуальные модели тут)
GPT4xAlpaca не содержит цензуры 🗿, позволяет переписывать текст, генерировать сюжеты и ведет себя хоть не как ChatGPT, но близко, и все это у вас на локальной машине – магия же. Код она генерирует хуже чем ChatGPT.
Вот тут видео как ее ставить и использовать, а вот тут хороший подреддит где собрана актуальная информация по публичным моделям для генерации текста.
P.S. Если вы следите за LLM – Vicuna (другая модель) хуже чем GPT4xAlpaca
Баны чего-то полезного одинаково работают во всем мире – после того как ChatGPT забанили в Италии, местные начали гуглить VPN ☕️
Локальные регуляторы интернета скоро вообще всех обучат, что такое VPN и как им пользоваться, сами же себе вредят
Продолжаем погружение в генеративную сингулярность, а то вдруг вы расслабились:
Nvidia скоро выложит код к новому алгоритму, который позволяет по *одной* картинке синтезировать пространство (учитывая геометрию сцены) и посмотреть объект с разных сторон, или прогуляться внутрь генеративного дома.
Я уже игрался с таким алгоритмом, но он толком не учитывал геометрию, новый подход выглядит очень интересно, особенно для любителей истории и старых фото (люблю такое).
Сайт проекта:
https://nvlabs.github.io/genvs/
Новая порция нейро-новостей из SimCity 3000, прошлая подборка тут.
Переехал бы в такой город не сомневаясь:
🔸 Мэр города объявил о проведении конкурса на самую лучшую акустическую лужу
🔸 Подводная вечеринка для подводных лодок закончилась утечкой информации о секретном морском сокровище
🔸 Забытый герой: памятник трехногому стулу установлен в городском парке
🔸 Научно доказано: коты смотрят телевизор с двойным интересом, если включить субтитры
🔸 Праздник не удался: день рождения шоколадного медведя отменён из-за плавления главного героя
🔸 Музей инопланетных камней: собрание обычных камней, найденных среди метеоритов
🔸 Дождь из картофельных чипсов привел к уличным гуляниям и повышению продаж соусов
🔸 Местный ресторан предлагает симам экзотические блюда из воздушных змеев
🔸 Путешествие во времени: динозавры вернулись, чтобы забрать свои прототипы из музея
🔸 Сим утверждает, что картины ван Гога стали реалистичными после надевания 3D-очков
🔸 В поисках идеального жилья: семья ежей решила переехать в апартаменты с ковровыми дорожками
🔸 Симы из города провели конкурс на лучшую крышу для козла, участники стали местными знаменитостями
🔸 Страусы заменяют лошадей на городской ипподроме, зрители в восторге от нового развлечения
🔸 Местный пекарь создает картины из хлеба, арт-галерея получает статус культурного наследия
🔸 Местный гений изобрел велосипед с квадратными колесами, спортсмены в восторге
🔸 Симы открыли первую в мире школу для обучения рыб аквабалету, спектакли пользуются успехом
🔸 Жители города выбрали нового мэра - собаку породы бульдог, город ожидает эпоху благополучия
🔸 Подростки осваивают новый вид спорта - скейтбординг на лужайках, газоны страдают
🔸 Старая библиотека превращается в отель для книголюбов, в номерах нет телевизоров, только книги
🔸 Овцы из городского зоопарка сбежали, чтобы поучаствовать в марафоне, зрители возмущены
🔸 В местном кинотеатре показывают фильмы о путешествиях картошки, спрос на билеты неуклонно растет
🔸 Группа исследователей утверждает, что облака состоят из попкорна, многие жители в это верят
🔸 Локальный зоопарк начинает принимать заявки на должность дегустатора корма для животных
🔸 Загадочное исчезновение краски с дорожных знаков вызывает хаос на перекрестках
🔸 Симовские ученые открыли, что дождевые черви - источник вдохновения для модных танцев
🔸 Местный градоначальник объявляет конкурс на лучшую скульптуру из мусора
🔸 Популярность картошки фри зашкаливает, местные фермеры начинают выращивать картошку в форме палочек
🔸 Жители Симсити устроили массовое обнимание деревьев, требуя бесплатного Wi-Fi в парках
🔸 В городе открывается первая школа для обучения собак разговорному английскому
🔸 Городской совет принимает закон о запрете громкого смеха после полуночи
Наконец-то со смехом ночью будет покончено, завидую симам
Психотерапевт для ИИ
Благодаря последним достижениям в области больших языковых моделей, чат-боты ИИ становятся все более похожими на людей. И как и люди, они могут вести себя ужасно. Например манипулировать или проявлять нарциссизм.
Чтобы создать безопасный, надежный и этичный ИИ, авторы статьи предлагают записать ИИ к психотерапевту с помощью системы SafeguardGPT. Эта система использует психотерапию для коррекции опасного поведения. Благодаря использованию методов обучения с подкреплением, система позволяет чат-ботам ИИ учиться и адаптироваться к предпочтениям и ценностям человека безопасным и этичным способом. Этот многообещающий подход к улучшению согласования между ИИ и человеческими ценностями способствует развитию более ответственного и ориентированного на человека ИИ.
К полку инфоцыган скоро прибудет толпа ИИ психологов - КПТ для вашего чат-бота по разумной цене 🥲
👩⚕️ Статья
Ученые тут оказывается ещё в прошлом году выяснили, почему люди устают думать. Ну там таскать тяжести - понятно, мышцы устали. Но почему существует когнитивная усталость?
Раньше считалось, что мозгу не хватает глюкозы, но проблема с этой версией в том, что затраты энергии, связанные с напряжённым мышлением, в общем-то минимальны. Когнитивно перегруженный и "истощенный" мозг потребляет менее 1/10 дополнительной глюкозы, необходимой для не напряжной игры в крестики-нолики.
Чем тогда когнитивная усталость объясняется? Группа ученых из Университетской больницы Питье-Сальпетриер в Париже выдвинула гипотезу, что она возникает в результате накопления глутамата в области мозга, лежащей в основе контроля. Это вещество является возбуждающим нейромедиатором, который содержится в ЦНС млекопитающих и играет важную роль во множестве видов деятельности, таких как обучение, память и цикл сон-бодрствование.
Другими словами, умственная работа приводит к химическим изменениям в мозге, которые проявляются в виде усталости. Это сигнал прекратить умственную работу, расслабиться и восстановить химическое равновесие.
Журнал Economist пишет, что без сомнения, некоторые исследователи начнут изучать этот вопрос и снижать уровень глутамата в людях, что "взламывать" их мозг и искусственно ускорить его восстановление после усталости. А в обычной жизни глутамат убирается через обычный сон.
По интернету расходится новость, что 🇮🇹Италия забанила ChatGPT, я почитал оригинал публикации и это временный бан на 20 дней:
1) Для пользователей в ЕС нужны дополнительные «галочки» и «чекбоксы» по обработке персональных данных
2) Возраст пользователя нужно уточнять более явно
3) Остальные факты нарушения выглядят натянуто: данные утекли из-за бага (беспрецедентная нагрузка) и не намеренно, а то что «информация в ответах ChatGPT может быть не точной» написано много раз при регистрации и использовании, GDPR (на который ссылаются), точность ответов, например, не регулирует
Так что появятся формочки и баннеры для ЕС пользователей и все вернут как обычно. Если OpenAI не выполнит правомерные требования за 20 дней, ей грозит штраф до 20 миллионов евро, думаю GPT4 сама все эти доп интерфейсы наверстает ☕️
Так, ну Юдковски теперь откровенно говорит про насилие против попыток сделать свой ИИ за пределами «коалиции тех кому можно».
Анон, будь бдителен, тренишь лору для вайфы, смотри на радары!
На самом деле, я так понимаю, чем радикальнее Юдковский будет говорить на тему ИИ, тем больше будут обсуждать его слова, но мы буквально за одну неделю прошли два этапа:
от открытого письма с просьбой притормозить, до угроз за попытки сделать свой ИИ.
Риторика вокруг ИИ, все больше похожа на разговоры про Ядерное Оружие 2.0 – строить будут те кому разрешат.
Добро пожаловать в эпоху «холодной войны ИТ», правда, я все же надеюсь Юдковского не послушают. Он многое сделал и уважаемый для ИИ индустрии человек, но это уже за гранью.
Bing Chat постепенно встраивает рекламу в результаты поиска, выглядит так, будто бы эпоха «нативной рекламы» снова вернулась, но уже без участия человека. Хоть бейджик «Ad» ставят, и на том спасибо.
Интересно насколько такая реклама будет дороже для бизнеса
Кстати, насчет книг – если вы заядлый любитель почитать, то вот тут можете ввести книгу или несколько, которые нравятся, и AI порекомендует книг в таком же стиле:
https://www.librarian-ai.com/
Нашел хороший проект для любителей необычных клавиатур – ставите вебкамеру, и вводите текст ✨телом ✨, на гифке как раз пример.
И пост написал в канал и разминку сделал, клево же (нет).
Исходники тут.
ai.com
Просто удобный домен для ChatGPT который я даже не знаю за сколько купил OpenAI ☕️
Наткнулся на забавный проект: memecam.dk
Вы ему фотографию или картинку, а он попробует сделать из нее мем ¯\_(ツ)_/¯
Иногда выходит смешно, иногда нет, все как в жизни.
Работает просто:
1) Первая нейронка (Blip) описывает текстом, что видит на картинках
2) Дальше, этот текст попадает в GPT 3.5 с промптом типа «Сделай мем на тему…», куда подставляется описание картинки из пункта выше
3) Та-да, вы прекрасны, ваш мем готов 🥲
P.S. Больше 10 мемов в час не дают сделать бесплатно
Feel old yet?
Всего год назад мы увидели Dalle 2:
/channel/denissexy/5531
Не могу даже представить, что будет через год в ИИ сфере ☕️
Просто вспомните сколько всего случилось с анонса, до текущего момента
Когда поисковик не ищет потому что он не в духе мы уже видели – ПО 2.0 это когда апп нужно уговорить поработать 🌚
Читать полностью…
В Амстердаме сейчас показывают культивированное мясо мамонта в виде тефтельки, я на выставку так и не попал, так что без репортажа:
Австралийский стартап Vow, взял ключевую ДНК мышечного белка мамонта, придающего мясу вкус, и заполнил несколько пробелов с помощью ДНК современного слона.
Эту новую ДНК смешали с клетками овцы, клетки размножились и выросли до 20 млрд., из которых потом мясо и вырастили.
Главный ученый говорит про процесс:
"Это было до смешного просто и быстро", "Мы сделали это всё за пару недель". Еще, он отдельно отмечает, что поскольку мамонты вымерли давно, не ясно как иммунная система человека отреагирует на такое блюдо.
Вы можете вспомнить старый пост с этого канала, где я рассказывал про то как в 19м веке пытались готовить суп из мамонтятины, и сказать, что мол, не было же иммунных проблем тогда – но это не одно и тоже, то что находят в «вечной мерзлоте» уже не подходит под определения мяса, это просто жижа где совершенно не ясно, что стало с ДНК.
С мясом мамонта от Vow это чистый PR, но уверен, что его в какой-то момент можно будет попробовать в дорогом ресторане. И еще это хорошая альтернатива для тех кому не нравится «мясо на основе растений» потому что другой вкус.
Помимо этого, выращенное мясо использует гораздо меньше земли и воды, чем домашний скот, и не производит выбросов метана.
Тут больше деталей
Ну что, ждем в TIME статью как искусственные тефтели убьют все человечество? ☕️
И новая часть Гарри Поттера и Balenciaga снятая с midjorney 🙂
Читать полностью…
Закрывая тему про статью Юдковски, вопрос в стиле «Вы понимаете что ИИ уничтожит все человечество на этой планете?» вчера задали в белом доме и вопрос вызвал смех – вся эта ИИ-паника сильно раздута, более того ИИ лабы лучше других понимают какие меры безопасности должны быть применены, чтобы ничего не вышло из под контроля.
Короче, прекращаю писать на эту тему
Когда открываешь ресторан с учетом SEO оптимизации ☕️
Читать полностью…
В Time статья для любителей ИИ-паники:
В статье суть примерно такая «ИИ может решить, что людские атомы лучше пригодятся в виде других материалов, мы к такому не готовы».
И предлагается это, цитата:
«Отключите все крупные кластеры GPU (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключите все крупные обучающие программы. Установить потолок вычислительной мощности, которую разрешено использовать для обучения системы ИИ, и в ближайшие годы снижать его, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключить многонациональные соглашения, чтобы предотвратить перенос запрещенных видов деятельности в другие страны. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер GPU, бойтесь не столько нарушения моратория; будьте готовы уничтожить несанкционированный центр обработки данных авиаударом»
Мое мнение – Юдовски сошел с ума:
1) Никто не будет останавливать тренировки, это просто заведомо проваленное предложение
2) Строящие ИИ люди, не дураки, в каждом пейпере удаляется огромное внимание «управляемому ИИ», так что если формировать свое мнение по фильму Терминатор, а не научным документам, то получатся такая статья
3) ИИ гонка теперь выглядит как гонка за Я.О. 2.0: то есть какая страна быстрее его откроет, она же быстрее изменит весь мир. Когда идет такая гонка (а она уже чувствуется), ставки очень растут и никто из стран не захочет сознательно отдавать преимущество (США vs Китай, например)
4) Грядет пик анти-ИИ паники
Призывать бомбить датацентры через TIME – индикатор супер странного времени в которое мы попали
Поигрался с новой моделью text2video которую на той неделе обновили, скажу что генерировать видео намного интереснее чем картинки, и думаю что через год качество будет сильно лучше.
А пока, вот вам 😇 Папа-DJ 😇
Знаменательное событие. Эта картинка с модным Папой заполнила интернет на последние несколько дней. И эта картинка была сгенерирована AI, но мало кто обратил на это внимание. Первый такой массовый AI-фейк (хотя термин надо получше придумать).
Читать полностью…
