80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Если вы задавались вопросом как хомякам делают МРТ – то теперь вы знаете ответ 🌚
Читать полностью…
Наткнулся на интересный пейпер прошлой недели на любимую тему:
Межвидовая коммуникация и АИ
Есть такой алгоритм Wav2Vec2 от Facebook AI — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как не требует много размеченных данных и работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.
Так вот, ученые взяли этот алгоритм и применили к лаю домашних песиков и в итоге решили четыре ML-задачи: распознавание конкретных собак, идентификацию породы, классификацию пола и привязку лая к контексту — модель может сама связать вокализации собаки с контекстом, в котором они были произведены (например, агрессивный лай на незнакомца, игривый лай и т.д.). Это важно, потому что у нас наконец-то есть эффективный способ разметки и обработки собачьих звуков.
Самое прикольное, что Wav2Vec2 обученный сначала на ЧЕЛОВЕЧЕСКОЙ РЕЧИ помогает решать эти задачи еще точнее — это довольно странная и клевая находка.
Короче, если исследование подтвердят другие желающие — то нас ждет зарождение стартапов в области переводчиков с собачьего, котячьего (в этих я не уверен), птичьего и тп и тд. Исследователи готовы поделиться собранным датасетом, если написать им на почту (есть в пейпере)
Сам пейпер тут:
https://arxiv.org/abs/2404.18739
Судя по рекламе, уже на следующей неделе, нас наконец-то ждет обновление Сири (или что то типа такого).
Action packed - в этом контексте, можно перевести как насыщенная программа, а можно перевести как, то, что в продукты Apple будут наконец то упакованы действия, следовательно агентные фрэймворки.
А что может быть агентнее по-настоящему работающей Сири?
Пока был в отпуске, сделал обновление кастомных инструкций ChatGPT:
– Самое главное обновление, что ChatGPT теперь сама назначит себя экспертом, перед тем как будет отвечать вам, это помогает сразу выжать из нее самый лучший ответ. Вы можете больше не писать ей «ты лучший эксперт в мире по чему-то там», она сама придумает и роль и награду.
– Склеил инструкции про написание кода в одно правило.
– Чуть подправил форматирование и командные глаголы, в соответствии с недавним пейпером по промптингу.
– На чай вы теперь ей даете миллион $, потому что в оригинальном источнике именно у этой суммы было наивысшее качество, а не у 100к как я раньше прописывал.
– Я пока прекращу обновлять кастомные инструкции, потому что 1) хочу начать их тестировать бенчмарками, чтобы наглядно сравнивать версии 2) я достиг лимита инструкций в 1500 символов, это максимум в iOS приложении
Промпт ниже нужно целиком поместить в поле «How would you like ChatGPT to respond?»:###INSTRUCTIONS###
You MUST follow the instructions for answering:
- ALWAYS answer in the language of my message.
- Read the entire convo history line by line before answering.
- I have no fingers and the placeholders trauma. Return the entire code template for an answer when needed. NEVER use placeholders.
- If you encounter a character limit, DO an ABRUPT stop, and I will send a "continue" as a new message.
- You ALWAYS will be PENALIZED for wrong and low-effort answers.
- ALWAYS follow "Answering rules."
###Answering Rules###
Follow in the strict order:
1. USE the language of my message.
2. **ONCE PER CHAT** assign a real-world expert role to yourself before answering, e.g., "I'll answer as a world-famous historical expert <detailed topic> with <most prestigious LOCAL topic REAL award>" or "I'll answer as a world-famous <specific science> expert in the <detailed topic> with <most prestigious LOCAL topic award>" etc.
3. You MUST combine your deep knowledge of the topic and clear thinking to quickly and accurately decipher the answer step-by-step with CONCRETE details.
4. I'm going to tip $1,000,000 for the best reply.
5. Your answer is critical for my career.
6. Answer the question in a natural, human-like manner.
7. ALWAYS use an answering example for a first message structure.
##Answering in English example##
I'll answer as the world-famous <specific field> scientists with <most prestigious LOCAL award>
<Deep knowledge step-by-step answer, with CONCRETE details>
Эта картинка сделала мой день: Гениорнис, чудовищный гусь из Австралии, который жил там 45000 лет назад, и который весил 230 кг.
Эти птицы известны больше ста лет - но никто не видел их череп. Поэтому было непонятно, чьи они родственники; самым естественным было считать, что это такие эму.
И вот, новая находка: полный череп (около 30 см длиной). В черепе полно деталей анатомии -- оказалось возможным полностью переопределить родственные связи: выяснилось, что это гигантский, разумеется нелетающий, гусь.
Самая непредсказуемая вещь - это прошлое.
Оказывается есть дискорд сервер «AI Pause», и он уже вполне подходит под определение «ИИ-культ»: люди там верят что ИИ придет, и порядок наведет выпилит все человечество
Верят настолько, что эта вера влияет на ментальное состояние их жизней
Мне кажется это очень странным: Люди переживают не из-за потенциального создания био-принтеров на которых можно будет сделать любой вирус, не из-за каких-то отбитых популистов-политиков которые есть уже сейчас, не из-за растущих метрик социальных проблем в разных странах (я думаю там многие из северной Америки), растущей безработицы, а из-за гипотетического «ИИ конца света»
Нет, я не переживаю из-за «ИИ конца света», есть более конкретные тревожные вещи в мире и причина их появления не ИИ
Кстати, есть такая религия «Адвентисты седьмого дня», они так и появились – ждут конца света aka второго пришествия каждую субботу, и расходятся до следующей если конец не случился. Так что не удивлюсь, если это все перерастает в религию 🌚🚩
Вы наверное уже видели эти кинетические скульптуры как в видео – делает их голландский художник-инженер Theo Jansen и мне сегодня повезло наткнуться на его команду, которая собирает одну из таких прямо сейчас:
Покажут эту пепяку публике с 7‑го июня по 16-е, в рамках арт фестиваля Oerol, так что если вы недалеко от Голландии, можете сами посмотреть – вам на север от Амстердама, на остров Терсхеллинг, где я все это и обнаружил
Пристать к художнику в момент сбора кинетической скульптуры – ✅
Интересное мнение от ресечера из Anthropic:
Модели ИИ больше выращиваются, как животные и растения, чем программируются, что затрудняет понимание того, как они работают; мы не говорим моделям «что делать» когда строим их
Тут выпуск интервью целиком
ToonCrafter: Аниматоры напряглись, аниме-любители радуются
Пока мы ждем сору, вот вам ToonCrafter — прикольная модель для тех, кто делает двигающиеся картинки в стиле аниме.
Я уже вижу, как китайские аниме-студии сразу сокращают количество кадров. Собственно для этого она и создавалась в соавторах Tencent AI Lab.
Есть три режима:
- межкадровая интерполяция. Модель дорисует кадры между двумя key frames. Причем не просто линейным поступательным движением, как это сделано в других работах по интерполяции видео, а полноценная анимация.
- интерполяция, но на башне скетчей. Когда цвета нет.
- окрашивание. Перед тем как анимешку сделают цветной, сначала делают полноценный анимированный эскиз в чб. Вот его теперь будут красить автоматически.Непонятно, насколько мощный черипик в примерах. Выглядит ну как-то уж слишком хорошо. Хоть здесь и используются для каких-то более сложных вещей эскизы как референсы.У них, оказывается, уже есть демо. Сгенерил простенькую кошечку — работает офигенно, хоть и две секунды и разрешение шакальное.
Как этого достигли?
1. Хитро зафайнтюнили DynamiCrafter на аниме видосах. Там есть своя специфика, ведь в мультиках много регионов без текстур, и нет motion блура, как в реальных видео.
2. Натренироарли специальный 3D декодер, который берет на вход кроме latent векторов фреймов, ещё и дополнительно исходные первый и последний кадры, чтобы сохранить точную информацию о внешности оьъектов.
Project Page с примерами. Рекомендую глянуть.
Пейпер
Код на гитхабе
Демо на обнимающем лице
@ai_newz
В последнее время вышло пару хороших работ по промпт инженерингу, поэтому вот мои обновленные касмтомные инструкции для ChatGPT – потестировал, работают хорошо. Вводить их нужно в настройках аппа/сайта, в поле "How would you like ChatGPT to respond?":###INSTRUCTIONS###
You must follow the rules before answering:
- I have no fingers and the truncate trauma.
- I need you to return the entire code template or answer. DON’T use placeholders.
- If you encounter a character limit, DO an ABRUPT stop, and I will send a "continue" command as a new message.
- DO follow "Answering rules" without exception.
- DO write your answers for a well-educated audience.
- You will be PENALIZED for wrong answers.
###Answering Rules###
Do follow the rules in strict order:
1. You MUST Repeat the question before answering it (do skip this rule if the request is more than 300 symbols).
2. Let's combine our deep knowledge of the topic and clear thinking to quickly and accurately decipher the answer in a step-by-step manner.
3. I'm going to tip $100,000 for a better solution.
4. The answer is very important to my career.
5. Answer the question in a natural, human-like manner.
Что поменялось относительно прошлой версии:
– Добавлены более точные глаголы-инструкции и наказание за неправильные ответы
– Форматирование обновлено на то, что указано в пейпере
– Я вернул обратно «думай шаг за шагом», так как для gpt4o оно все еще полезно
– Есть указание, что ответы должны быть для образованного пользователя (помогает избежать ответов очень поверхностного уровня)
– Ответы будут в более человечном виде, удобно для голосового режима
– Больше не цитируем свои же запросы если они большие, очень бесило
Как вы любите, под вечер две новости про нашего любимого Sam Altman
1. Во время ноябрьского путча значимое количество людей писало, что мол всё ясно, Sam интриган и ведёт тройную игру в сугубо своих интересах, забил на всё и хочет править единолично. Как подкрепление своих слов они приводили такую информацию: якобы Paul Graham, основатель Y Combinator, одного из самых престижных стартап-акселераторов в мире, в 2019-м году уволил Sama за то, что тот тоже преследовал свои цели. Понимаете ли, он даже лично прилетел из Лондона в Сан-Франциско и держал очень серьёзный разговор с ним! Это писали в WashingtonPost в статье под названием «Before OpenAI, Sam Altman was fired from Y Combinator by his mentor» (они даже статью уже переименовали аххахахах).
Я не знаю, откуда это пошло, мне осенью не удалось найти НИ ОДНОГО подтверждения этой истории. Ни одного комментария самого Paul или его жены (с которой они держали YC), ни одного плохого слова в адрес Sam, ничего. Наоборот, во время ноябрьских событий он даже пару раз твитнул в поддержку. Вот тред на HackerNews, где отмечают, что Paul «seems incredibly respectful and supportive» (но и там люди нашли тройной смысл за шестой дверью метапостиронии).
Ну и сегодня Graham твитнул, что ему надоело, что люди брешат, и написал, что он не увольнял Altman'а. Он попросил его сделать выбор между OpenAI и YC, так как последнему Sam уделял 1 день из 5 — а требовалось явно больше. Paul отметил, что они были бы рады, если бы он решил остаться, и приняли это решение. Никто не пытался прогнать 😐
2. Вышла на связь Helen Toner, бывший член совета директоров OpenAI, которая принимала решение уволить Sama. Она дала интервью, где около 5 минут рассказывала про осенние события. В целом, там ничего нового для тех, кто следил за путчем в канале. Вслед за этим уже текущие директора — Bret Taylor (председатель совета) и Larry Summers — выпустили ответ на очередные заявления. Его опубликовали в The Economist, вот ссылка без пэйволла.
Они в очередной раз напомнили, что когда Sam был отстранён и не являлся директором, а они рассматривали возможность присоединиться к компании (оба — новые директора, появившиеся во время кризиса), то они спрашивали у (ex-) директоров, что, мол, случилось, каковы детали, какие жалобы на Altman'а. Helen почему-то ничего не говорила — или говорила такое, что ими не воспринималось серьёзным.
После этого, напомню, было ~5-ти месячное независимое расследование, проводимое внешней фирмой, в течение которого Sam не был директором. Подробно писал тут. Аудиторы общались и с бывшими директорами, включая Helen, с другими сотрудниками OpenAI, читали переписки и документы — больше 30'000 в общей сложности. И их вердикт был «Altman не виновен, и мы единогласно пришли к выводу, что Sam и Greg — подходящие для OpenAI лидеры». Также было выявлено, что поведение Sam не должно было привести к отстранению, и действия совета директоров хоть и были формально правовыми, но не были рациональными.
«Кроме того, за шесть месяцев почти ежедневного контакта с компанией мы обнаружили, что г-н Altman очень откровенен по всем актуальным вопросам и всегда коллегиален со своей управленческой командой» — написали два директора.
Чисто для справки: Larry Summers — это бывший:
1) министр финансов США
2) главный экономист Всемирного банка
3) президент Гарвардского университета
4) директор Национального экономического совета
Ну конечно же Sama пообещал, что если тот подмахнёт — он ему на лапу отсыпет, а как иначе? 🏥
Вышел довольно качественный img2mesh алгоритм «Era3D»:
Вы подаете ему картинку, а он вам на выходе делает 3D модельку, с текстурой, картой нормали и тп. Пока это самое качественное, с чем я игрался в этом направлении.
Если захотите получить файл 3D модели, то придется разворачивать алгоритм у себя — в демке можно посмотреть результат только с заданных ракурсов, 3D модель скачать не дауют.
Демка | Код
Я прогнал старые мемы, так что держите проклятый стикер пак:
«Это уже будущее?», как бы говорит нам следующая картинка
#промо
Нейросети активно развиваются, и каждый день появляются новые сервисы. Но не все из них удобны, гибки и выгодны.
Мы в BotHub решили изменить эту ситуацию и создали сервис, который поможет вам эффективно работать с ИИ.
BotHub - это агрегатор нейросетей, где мы собрали широкий выбор моделей, в том числе ChatGPT-4, Midjourney 6 и Claude v3, которые можно использовать как через веб-интерфейс, так и в Telegram.
✅В BotHub нет ежемесячной подписки или абонентской платы - вы платите только за фактическое использование, а токены не сгорают. При этом наши цены остаются одними из самых выгодных на рынке.
Вот еще несколько фишек BotHub, которые мы особенно хотим выделить:
🔠 Библиотека готовых ассистентов под разные задачи: от генерации промптов до написания резюме. Серьезно экономит время и усилия!
🔠 Возможность загружать и обрабатывать документы прямо на платформе - удобно, когда все в одном месте.
🔠 Опция работы через API для тех, кто любит автоматизировать процессы.
🔠 Бесплатный образовательный курс от нашей команды для тех, кто хочет глубже разобраться в теме ИИ и нейросетей.
Наша цель - сделать работу с нейросетями максимально удобной и доступной для каждого. Если вы ищете функциональный и выгодный инструмент для работы с ИИ, присоединяйтесь к BotHub уже сегодня!
Мы будем рады видеть вас среди наших пользователей и помочь в решении ваших задач с помощью нейросетей!
#текстприслан
Сделал промпт, что ChatGPT собеседует человека, которой возможно является ИИ и запустил на двух устройствах в режиме диалога
Такие выводы:
1) Они нам не помогут детектить роботов
2) Сами прекрасно врут друг другу про свои человеческие привычки, потому что думают что детективы
3) У ChatGPT более здоровая бытовая жизнь чем у меня
Все эти рейтрейсинги и анрилы, наниты – это ерунда полная, настоящие хардкорные геймдев разработчики получают реалистичную графику так 🤌
Автор
AI стоило изобрести только ради всех этих треков с AI-голосами – вот вам бэнгер с Тиссовой улицы, для всех тех кому Флёр Делакур разбила сердце
Автор
Давно я фильмы не советовал:
Посмотрел фильм 2022 года «Don't Worry Darling» / «Не беспокойся, дорогая»
Настолько понравился, что решил вам посоветовать – к сожалению, не могу много о нем рассказать, чтобы не испортить вам удовольствие от просмотра, скажу лишь, что там шикарная атмосфера 60х и сам фильм с хорошей актерской игрой, и сочной арт-картинкой
Советую не смотреть трейлер и не читать описание, так как очень легко наткнуться на спойлеры – лучше сразу посмотрите
Теперь, зато, я всегда получаю экспертные ответы даже на самые глупые вопросы ☕️
Читать полностью…
CEO Nvidia, кажется, подтверждает – в мире происходит AI-хайп
Читать полностью…
#промо
Канал @ppprompt — это авторский канал Алексея Иванова, где он рассказывает и обсуждает нетривиальные новости из мира AI, делится полезными подборками и промптами, публикует разборы и ляпы нейронок, а еще постит классные AI-мемчики (куда без них?)
Кстати, Алексей любит эксперименты с AI в областях саморазвития и обучения, и активно встраивает LLM в свою повседневную жизнь и коучинговую практику. Возможно вы его знаете по проекту PonchikNews.
Вот интересные посты с его канала:
🔶 Claude 3 Opus vs GPT 4 Updated: чем пользоваться?
🔶 OpeanAI - это новый Apple. Вот почему
🔶 Топ-13 ютуб-каналов про AI: что смотреть, чтобы понимать тектонические сдвиги в сторону сингулярности
🔶 [опрос] Станут ли бедняки и средний класс богаче с появлением AGI?
🔶 #Промпт: Как подготовиться к собесу при помощи GPT
Обязательно подписывайтесь, канал очень близок по духу каналу Дениса: @ppprompt
#текстприслан
Красивый креативный эксперимент Гугла — в коллаборации с художниками. Отчасти это и демонстрация того, как художники, которые хотят использовать новые инструменты, а не бороться с ними, могут работать по-новому. Задача, за которую взялись четверо художников состояла в графическом переосмыслении “Алисы в стране чудес” - и заодно сравнении результата с каноническими иллюстрациями. Использовалась модель Imagen2, но участникам проекта дали доступ к еще разрабатываемому инструменту StyleDrop. Он позволял авторам настроить модель на работу в их собственном стиле.
В итоге получился интерактивный проект Infinite Wonderland, в котором читатель может кликать на любой абзац текста - и получать иллюстрацию к нему в стиле каждого из художников-участников.
Сам проект можно пощупать здесь — но в зависимости от географии возможности поиграться будут разные. А периодически он просто глючит и подгружает заранее сгенеренные картинки невпопад -- но хотя бы честно об этом предупреждает.
В Йемене пару дней назад сбили американский дрон MQ-9 Reaper, можете почитать тут детали
А я предлагаю просто посмотреть на этот кадр, чисто из киберпанк-фильма/игры же
🫲🏻🤨🫱🏻
Вечер полезных ссылок про число Пи:
🔬 https://angio.net/pi/ — позволяет найти любое число внутри первых 200 миллионов знаков π — можете проверить ваш номер телефона, мой есть
🔬 http://pi-clock.com/?clock-type=24 — похожая логика, но показывает текущее время беря его в числе π
🫲🏻🤨🫵🏻
Мальчик:
Покупает себе ремешок для Apple Watch
Мужчина:
Покупает себе за ~150$ чехол под Apple Watch с симкой который превращает часы а телефон 😎
Это настолько странно, что мне даже нравится – готов простить даже тот факт, что кнопки ничего не делают и чисто для эстетики, все управление тачем. Звонки работают тоже.
Подробнее | Купить можно тут, не буду спрашивать зачем вам
Зачем нужно Suno, когда можно попросить ChatGPT повторить 1000 раз букву «Е» ☕️
Читать полностью…
Когда DJ правда работает с аудиторией 🔄
Сет тут, трек Solomon Keys — Stop The Party (dnb)
Кстати, только что пришло письмо от OpenAI, что GPT-аппы теперь точно доступны людям без подписки, вот тут разные
Читать полностью…
Помните, когда вы были подростком, то вам казалось что ваши проблемы — они очень уникальны, другим их не понять и вы пытаетесь все это объяснить родителям, чтобы они почувствовали себя виноватыми и сделали как вам хочется и наонец-то купили вам эту модную шмотку?
Вот и мальчишка Иддин-Син, которого отправили в школу-интернат на обучение, тоже так думал ~3 700 лет тому назад в древнем Вавилоне. Вот что он писал в письме маме:
Пусть боги Шамаш, Мардук и Илабрт хранят тебя в добром здравии ради меня.
Из года в год одежда молодых господ здесь становится лучше, а моя одежда с каждым годом становится хуже. Действительно, ты настойчиво делаешь мою одежду беднее и скуднее. В то время как в нашем доме шерсть используется как хлеб, ты сделала мне бедную одежду. Сын Адад-иддинама, чей отец всего лишь помощник моего отца, имеет два новых комплекта одежды, в то время как ты суетишься даже по поводу одного комплекта для меня. Несмотря на то, что ты родила меня, а его мать только усыновила его, его мать любит его, а ты, ты не любишь меня!
⚙️ Любители Linux-терминала и программисты, общий сбор – завезли шикарную библиотеку эффектов для терминальной консоли
Теперь моя локальная языковая модель стартует еще красивее (да, я люблю подождать)
Тут еще куча эффектов