80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Кажется 2024 год начнется со скандала между Midjourney и владельцами копирайтов на которых натренирована их последняя v6 модель 🍿
«Вас заметили» moment
Слухи, что MJ тренируют на фильмах я слышал еще год назад от каких-то челов из долины, но я честно думал они с нормальной лицензией фильмы используют
И суд точно будет, за 2023 год MJ заработало почти 300 миллионов долларов
Трогательная история про жизнь хотдога в иллюстрациях 🥹
Читать полностью…
Увидел мем слева и решил проверить – кажется нам врут, экспонентный рост закончился на ковиде ☺️
надушнил и доволен
Несколько недель играюсь с Claude 2.1 от Anthropic (это отпочковавшиеся сотрудники OpenAI, ныне конкуренты OpenAI). Сам по себе Claude 2.1, конечно, уступает GPT 4 по уровню рассуждений модели — но в нем есть одна сильная сторона, контекстное окно в 200 тысяч токенов.
GPT 4 Turbo тоже якобы умеет в большой контекст — в ChatGPT, с ноября этого года, контекстное окно 32 тысячи токенов, что неплохо, но на самом деле она «забывает» детали контекста уже через 5 тысяч токенов (пруф ).
А функция, когда вы прикладываете документ ChatGPT и задаете по нему вопросы, работает на какой-то своей версии RAG, о котором я писал тут (где зомби апокалипсис книги генерировал), что как бы костыль над большим контекстным окном.
Разработчики Anthropic реально озаботились проблемой «забывания» данных в контекстном окне и в новой модели Claude 2.1 достигли ~90% запоминания всего что ей передавали: по-простому из 200 000 токенов, новый Claude будет точно помнить ~180 000 токенов или больше, что для моих задач идеально.
Вот мои наблюдения, как такой гигантский контекст можно применять в жизни и работе:
— Я стал более ленивым: меня иногда ломает читать сложные статьи потому, что я лучше тиктоки посмотрю (☕️). Доступ к такой модели укрепляет этот паттерн — проще скопировать текст PDF документа или лонгрида, и задавать вопросы по важным для меня темам, будучи уверенным, что ты почти ничего не потеряешь из знаний (и она не нагаллюцинирует тебе ответ целиком).
— Это идеальное средство борьбы с графоманами: некоторые люди любят писать больше, чем доносить суть, буквально вчера сэкономил себе 30 минут чтения статьи по теме ИИ, просто поспрашивав важные для меня вещи и получив выжимку.
— Это самый быстрый способ получить быстро знания из большого документа (скриншот ниже): будучи гражданином РФ и находясь под санкциями в ЕС, я сталкиваюсь с доп юридической нагрузкой. Не так давно получал посылку от брата с личными вещами оставленными в мск 7 лет назад, и нужно было проверить ~270 страничный ЕС документ на то, какие товары я могу импортировать будучи гражданином РФ, а какие нет (cтарая Sega запрещена или нет будучи электроникой, и так с каждой позицией и тп). Самый быстрый способ «прочитать» документ — было загрузить текстовую версию документа в Claude 2.1 и скормить список моих товаров. Это не совет всегда поступать так с юридическими документами, но мне помогло: таможня в Амстердаме провела посылку без проблем. При этом, местный транспортный агент испугался работать с такими сложностями (особенно с документом запрещенных товаров), так что я сам на таможне все заверял (они тут лапочки по сравнению с таможней экс-СНГ стран, буквально за ручку водили). А Claude 2.1 сильно помог в уверенности что запрещенки в посылке нет.
— Один из самых технических кейсов (на видео ниже он же): для neural.love, огромной долей трафика является SEO, но мы как бы не то чтобы настолько эксперты, чтобы технически каждый сантиметр сайта адаптировать под SEO-нужды, нас всего 8 человек в команде. Поэтому, я скормил html-код страницы конкурента который выдается лучше нас и html-код нашей страницы, и попросил указать точки роста для нашей SEO-оптимизации. Поскольку 200k токенов это дофига, Claude 2.1 расписал наши точки роста, и это все конвертировалась в таск в Jira который поможет нам лучше конкурировать в Google выдачи.
Выводы:
Я в восторге от большого контекстного окна, это тот самый кусок технологии который ее по настоящему раскрывает ее потенциал. Очень жду что OpenAI починит забывчивость и сделает своей контекстное окно таким же (думаю, в 2024 так и будет).
P.S. Claude 2.1 сейчас в закрытой бете, и туда не всех пускают, я подавал заявку тут. Но учтите, что в веб версии лимит 100k токенов, так как веб-версия начинает тормозить от кол-ва текста.
P.P.S. Один токен это примерно 70% обычного слова, чтобы было проще понять что это
Ничего необычного, просто секс бот на большой языковой модели помог сделать домашнее задание школьнику ☕️ тред
ГДЗ стали намного приятнее в этом нашем киберпунке
🐟 Ой, хватит этих ИИ-штук, давайте лучше посмотрим как наковальня плавает в ртути 🐟
🌹🌹🌹
Спустя месяц OpenAI опять начали принимать новых пользователей которые хотели бы им заплатить за ChatGPT и GPT4 в вебе
Хочу тоже такой бизнес, когда чисто по фану продукт делаешь и если серверов не хватает — просто закрываешь прием денег от пользователей ☕️ а чего такого
Лол, нашли очередной баг в веб версии GPT4:
При использовании, в ChatGPT, передается текущая системная дата и из-за того, что декабрь месяц праздников, она начала давать ответы короче.
То есть тупо сравнили даты май и декабрь, как часть промпта, и при декабре – ответы на сообщения короче ☕️
Автор
Запустил Mixtral 8x7b модель у себя, пока в сыром виде и без настроек, просто скорость проверить – это офигеть же для модели уровня GPT 3.5 😔
В сыром виде про зомби фанфики не пишет.
UPD разобрался почему:
Модель выложили как раз для файнтюнов сообщества и особо не парились с форматом промпта, его нету, в итоге модель нужно за ручку водить чтобы она правильные ответы дописывала. Я думаю уже завтра появится чат-формат и тп, вот тогда заживем
БОЛЬШИЕ НОВОСТИ - Согласован Европейский The AI Act!
TL;DR: На большие AI модели наложено очень много ограничений. Кончилась лафа для компаний, строящих LLM в EU.
Основные последствия The AI Act:
1️⃣Система рисков по уровням: Для систем AI, классифицированных как высокорисковые, были согласованы четкие обязательства и требования прозрачности. Теперь потребуется обязательная оценка потенциально негативных воздействий на здравоозранение, бузопасность, базовые права человека, и общество в целом.
2️⃣ Foundation модели будут регулироваться, если на их обучение ушло как минимум 10^25 flops вычислительной мощности - в эту категорию попадут модели как минимум уровня GPT-3.5.
3️⃣Благодаря немцам, французам и итальянцам удалось добиться значительных поблажек для Open-Source моделей. Это слегка снимает стресс с некоторых компаний которые публикуют опенсорсные модели, включая французскую компанию Mistral и немецкую Aleph Alpha, а также Meta с ее моделями LLaMA. Ян Лекун поспособствовал.
4️⃣ Следующие системы будут запрещены, и у компаний будет всего шесть месяцев, чтобы обеспечить соблюдение:
▪️системы биометрической категоризации, использующие чувствительные характеристики (например, политические, религиозные, философские убеждения, сексуальная ориентация, раса);
▪️ненаправленное скрейпинг изображений лиц из интернета или с камер видеонаблюдения для создания баз данных распознавания лиц;
▪️распознавание эмоций на рабочем месте и в образовательных учреждениях;
▪️социальное скоринг на основе социального поведения или личных характеристик;
▪️ AI, которые манипулируют человеческим поведением, чтобы обойти их свободную волю;
▪️AI, используемый для эксплуатации уязвимостей людей (из-за их возраста, инвалидности, социального или экономического положения).
5️⃣Системы AI высокого риска будут особенно тщательно проверяться на наличие байесов, предвзятости, обеспечивая их недискриминационность и уважение основных прав человека.
6️⃣Поставщики систем AI высокого риска должны вести тщательную документацию, чтобы продемонстрировать свое соответствие регуляциям. Это включает запись методов обучения и используемых наборов данных.
7️⃣ Санкции: Несоблюдение может привести к значительным штрафам, варьирующимся от 35 миллионов евро или 7% от глобального оборота до 7,5 миллиона евро или 1,5% от оборота, в зависимости от нарушения и размера компании.
Усиленные требования к прозрачности могут вызвать проблемы с защитой интеллектуальной собственности, требуя баланса между раскрытием информации и сохранением коммерческой тайны.
Все это потенциально увеличит операционные затраты и наложет значительную административную нагрузку, что потенциально может повлиять на время выхода на рынок новых AI продуктов в Европе.
А скоро, думаю, и другие страны подтянутся со своими законами. В долгосрок выиграют те, кто не так сильно закинет удавку на разработчиков AI. Как же сейчас британские компании радуются, что они не в EU.
@ai_newz
Хех, кажется твиттерский Grok от Маска понятно на чем тренировали ☕️
UPD. Создатели Грока говорят это из-за того что в интернете постят ответы gpt4 тут и там
Провел небольшой эксперимент на днях:
Взял субтитры фильма «Темный рыцарь», скормил их в специальную штуку со сложным названием RAG, которая обрабатывает ваш текстовый файл и потом подставляет его кусочки в промпт сложным способом, и получил совершенно шикарный диалог с Джокером — такой подход очень глубоко держит персонажа в роли, начинаешь верить ответам LLM намного больше.
После минут 10 общения с ним я понял что он все же просто поехавший вредитель, но интервью было довольно клевым.
Потом, скормил Wiki статью о Троцком тем же методом, рассказал ему последние новости, ему не понравилось.
Таким же способом скормил Гарри Поттера и методы рационального мышления, и в диалоге с Гарри в баре получил хороший урок рациональному мышлению.
Таким же способом, скормил книгу про зомби и получил интересную историю на выходе и поговорил с Пирамидоголовым из Silent Hill, короче вы поняли.
Мне кажется скоро эта штука будет всюду, потому что это правда интересно — я понимаю, что владельцы копирайтов на эти вселенные будут недовольны, но даже на уровне «костылей» это уже интересное чтиво, которое работает С ЛЮБЫМ ТЕКСТОМ. Так что, как минимум, владельцы популярных франшиз будут делать такие сервисы сами.
Тут я сделал туториал как повторить результаты и настроить это все на своем железе.
P.S. Тестировал я это все только на английском
P.P.S. На самом деле RAG это костыль, поскольку в идеале вся книга/статья должна помещаться в контекстное окно модели – но это просто пока сложно делать из-за высоких требований к RAM и тп. А метод выше работает просто на чем угодно и с какой угодно моделью.
Про сам GPT4 от Гугла «Gemini» я пока не могу что-то однозначно сказать – вы все это уже видели и так. Заявление о том, что их модель вышла лучше чем GPT4 я тоже видел, но пока скептически настроен и хотел бы дождаться тестов от сообщества.
Бесплатный доступ тут (нужен VPN США):
https://bard.google.com/chat
~
Еще, я думаю, в 2024 мы снова увидим острую конкуренцию iOS vs Android, прям как в старые добрые, но уже в сфере AI штук – может и Siri поумнеет наконец-то
Интересный взгляд на будущее «динамических» интерфейсов, фронтендерам особенно понравится:
Читать полностью…
Ресчеры показали довольно клевое новое применение диффузии — x10 зум внутрь любой картинки, естественно с «придуманным» содержанием внутренности картинки (можно зумить и больше x10).
К сожалению, модели пока нет, описан только метод, но идея, как по мне, интересная чтобы «копнуть глубже» в старинные фотографии / мемы / текстуры.
Тут детали:
https://powers-of-10.github.io/
Ждем в опенсорсе
Чел подключил лицо к джойстику и играет в эмоции на максималках, идеально для интровертов или на кинк на вечеринках ☕️
A, C, ↑, B, ↑, B, A, ↓ и партнерша тобой доовольна
Тут инструкция как собрать себе такое же
NASA впервые cмогло отправить на Землю видео в формате Ultra HD из глубокого космоса.
Тестовое видео было отправлено с космического аппарата «Психея», которое находится на расстоянии 30 млн км от Земли.
И это видео кота одного из инженеров, который гоняется за указкой. Вот инопланетяне удивились, когда перехватили сигнал.
В видео размер промпта для SEO-задачи, а во втором скрине пример консультации по документу с запрещенкой на импорт в ЕС
Читать полностью…
Понимаю ее, это правда жесть же, 87 делится на 29 без остатка 🤔
Как и 51 и 57 на 3, памагити
📣 87 не является простым числом ☹️
Вчера в очередной раз практиковался в промпт-инженеринге на своей img2img GPT и случайно открыл режим смешивания картинок, теперь там суммарно три режима:
1) img2img – просто отправляете ей картинку и получаете новую, похожую (видел на реддите кто-то копирайты так у некоторых картинок «сбрасывает», кек)
2) txt2edit – заливаете картинку, и пишите что поправить. Старый режим, в последней картинке показано как работает.
3) Image Merge – новый режим: заливаете несколько картинок (можно больше двух даже) и GPT попробует их усреднить между собой; работает и с мемами, и с логотипами, и с фото и тп.
Img2img GPT v3 работает быстрее, стабильнее, а я достиг предела промпта у GPT – 8000 токенов, потому что я упоротый 😵
Буду обновлять картинку по мере нарастания безумия
Читать полностью…
Я думаю вы теперь то тут то там будете слышать сложный термин Mixture of Experts (MoE), так что вот вам простое описание как оно работает внутри:
«Модель смешанных экспертов» (MoE) похожа на большую команду игроков, где каждый игрок хорош в своей работе: один игрок может быть очень хорош в понимании имен людей (это был бы точно не я, я их сразу забываю), другой игрок может быть очень хорош в понимании чисел, третий игрок может быть очень хорош в понимании чувств и тп.
Еще в команде есть тренер, который решает, какой игрок должен выполнять какую задачу. Так что, если тренер видит лист бумаги с надписью «Димастик забил 5 голов и был очень счастлив», он заставит игрока, который понимает имена, посмотреть что там у нас за «Димастик», игрока, который понимает числа, разобраться в «5 голах», и игрока, который понимает чувства, разобраться в том, что «был очень счастлив» вообще значит.
Наличие множества игроков узкого профиля делает всю команду умнее и быстрее, чем если бы пару игроков пытались делать все самостоятельно. Но все игроки все равно должны прийти на игру, даже если на самом деле играют только несколько из них. Игроки занимают много места на скамейке запасных, но хитрость Микстраля в том что они усадили игроков буквально на голову друг другу, то есть места занимать они сильно больше не стали, потому что акробаты.
Разные команды по миру работают над способами помочь команде лучше работать вместе и сделать так, чтобы количество игроков было небольшим — а задач они решали, как можно больше.
Самое удобное в MoE подходе, что многих игроков можно учить одновременно разным вещам, что быстрее чем учить одного игрока всем задачам сразу.
Поздравляю, вы ML-инженер, вот ваш сертификат.
Сложное описание тут, с формулами 🫶
@Denis
Хорошие новости в мире опенсорса: последняя публичная модель Mistral 8x7b Small догнала в результатах тестов уровень GPT 3.5
Почему это важно: у сообщества заняло примерно 1.5 года (GPT 3.5 добавили в API в марте 2022) чтобы достигнуть этих результатов, при довольно низких требованиях к железу.
Другие модели, которые в опенсорсе выдавали похожие результаты, были слишком большими чтобы простые смертные могли с ними поиграться – я, например, так и не смог завести модели на 120 миллиардов параметров дома, у них слишком конские требования, при этом новый Мистиаль ниже по требованиям к железу.
В ближайшую неделю-две нас ждет обилие файнтюнов от сообщества (с отключенным алайментом в том числе), так что я думаю, что GPT 3.5 не только догнали, но и вот-вот перегнали, с чем я всех нас и поздравляю.
Про модель можно почитать тут.
Не хотел писать про Gemini, который на днях анонсировали как мультимодальную модель уровня GPT-4, пока сам не пощупаю. Но Google обделался в пиаре своего Gemini, что тут грех не написать.
Демо-видео Gemini оказалось смонтированным, а не отражающим реальные возможности модели в реал-тайм. Видео нарезали, ускорили и смонтировали, выбросив то, какие именно промпты и какие кадры подавались модели, чтобы получить красивые ответы для демки.
Google признал монтаж, но утверждает, что целью было вдохновить разработчиков. ПРОСТО ГЕНИИ 🤣.
Кстати, у Гугла был похожий PR-провал во время анонса Bard 👍.
@ai_newz
Ситуация со своими GPT-аппами для ChatGPT такая: кажется их уже очень много, но как оказалась моя img2img на ~120 месте в мире по популярности среди вообще всех GPT, что как-бы говорит о том, что пользы пока в них мало и часто они заменяют какой-то простой промпт.
Поэтому, я чуть доработал img2img идею, и теперь загружая картинку, вы ее сможете отредактировать как в примере выше, просто написав текстом что хотелось бы поправить.
Рассчитывать на картинку 1 в 1 не стоит, так как Dalle 3 часто не умеет слушаться даже простых команд в стиле «сделай 3 человека» — держи 11 дружище, просил же команду целую 😎
Ссылка тут.
Может, я не понимаю маркетинг, может, не знают работяги в Google, а может технология очень сырая и появится не скоро — но я чуть не пропустил ОЧЕНЬ крутую фичу, которую представили вместе с Gemini. На странице анонса модели и в ключевом видео просто места не уделили...ужас.
Предлагаю посмотреть видео📹, а не читать слова...но если вы остались тут, то ОК!
Фича называется Bespoke UI, суть в том, что на ваш запрос модель сначала генерирует ИНТЕРФЕЙС, а затем его наполняет (реальным или сгенерированным контентом). По сути это такой маленький сделанный на заказ (bespoke 🤔) веб-сайт с разными блоками. И с каждым из них пользователь может углубить взаимодействие — выделить, попросить дописать или переписать.
Причём, по ходу этой генерации под капотом модель (сама? из-за тренировки? через промпты?) раскладывает весь процесс на шаги, вытягивая их в цепочку. Например, перед генерацией «сайта» модель сначала уточнит, а что а как а чего (по контенту ответа, не по форме сайта), потом, как сочтёт, что деталей достаточно — выдаст PRD (Product Requirements Document), и шаблон для наполнения. Здесь, мол, одна кликабельная карточка, у неё есть заголовок, основной текст, а также ссылка на открытие полного блока с информацией.
Так как LLM в некотором приближении это дистилляция всего интернета (плюс, Gemini умеет гуглить и «смотреть» видео на ютубе), то можно с натяжкой и верой в будущее сказать, что это — новый способ взаимодействия с сайтами: убрать всё лишнее, добавить контекстную рекламу (сгенерированную???), и выдать исключительно концентрированный контент. А если нужно что-то уточнить — выделяешь, просишь сгенерировать новую страницу, и всё.
Как думаете, зря не показали всем?)
Помните я как-то писал про то, что нашел способ получать от GPT4 код без ленивых сокращений сказав, что у меня нет пальцев?
Спустя месяц это попало в народ, в комментариях на реддите вон даже делятся люди 🤪 OpenAI удивится когда на чатах тренить начнет, хехе
Ура, трейлер GTA 6 вышел:
https://youtu.be/QdBZY2fkU-0
Игра выйдет в 2025
