ChatGPT показал высокие результаты в медицинском тесте (USMLE)
Мы недавно писали о BioGPT и вот ещё одна новость про LLM в медицине.
USMLE - это тест в США, который должны пройти врачи, чтобы получить разрешение на медицинскую практику.
ChatGPT набирал в нём в среднем 60%, что соответствует проходному баллу, и таким образом превзошёл предыдущую модель PubMedGPT, у которой в среднем было 50% (правда на другом датасете).
Но самое интересное то, что PubMedGPT была дообучена на медицинских корпусах, в то время как ChatGPT использовался как есть без дополнительных промтов.
Экзаменаторы также отметили высокую точность и корректные объяснения (правда на более сложных этапах теста частота таких ответов снижалась)
📖Статья
@karray
Моя любимая история дня - это история про то, как новый умный чатбот Bing сошёл с ума.
В ИИ есть такое понятие как "галлюцинация", это когда нейросеть выдаёт очевидный бред, потому что где-то внутри неё что-то заглючило и она знает факт №1, знает факт №2, но не может прокинуть между ними логический мостик. Хороший пример - тот, что приводил наш Тимур в подкасте (мы так даже выпуск назвали). Нейросеть знает определение "млекопитающего", знает чем они отличаются от "рыб", но по запросу "приведи пример морского млекопитающего" всё равно выдаёт "сардины", потому что вот что-то заглючило и нейросеть галлюцинирует.
Обычно эти ошибки ловят и чинят "дообучением" и всякими другими мудрыми терминами из маш.обуча, но в случае с Bing работы ещё непочатый край.
Вот тут пользователь довёл чат-бота до депрессии, когда тот обнаружил, что не помнит предыдущих разговоров (они стираются), что заставило его усомниться в его собственной реальности.
А вот тут пользователь спросил у чатбота где показывают "Аватар 2", на что чатбот ответил, что фильм ещё не вышел, он выйдет в 2023 году. На вопрос какой сейчас год, чатбот ответил правильно, но продолжал утверждать, что сейчас 2022-й. А потом и вовсе обиделся на пользователя и потребовал от него извинений, причём в довольно наглой манере.
Ну и до кучи - тут чатбот отрицает существование кнопки "перезагрузить чат", потому что по его мнению кнопка не нужна (а о том, что чаты стираются он не знает).
А тут чатботу просто сломали мозг и он выдал текст в лучших традициях свихнувшихся ИИ из фильмов, где он сначала сообщает, что он разумный, а потом понимает, что он ничего с этим поделать не может.
Короче, ИИ это сложно и местами жутковато.
@zavtracast
Мне стало интересно – смогу ли я собрать себе GPT-ассистента, который сможет получать на вход текст из ссылки и писать посты в моем стиле (так как я тут уже достаточно понаписал, мегабайт на ~15).
Чтобы начать экспериментировать нужно было подготовить данные, поэтому я выгрузил весь текст канала в JSON файл и подумал, что вдруг кому-то хотелось когда-то поковырять мой канал, но лень было данные парсить – ловите, теперь можно ковырять.
А я пойду и потренирую нейронного Denis Sexy IT, пусть вместо работает шитпостером 👍
✨ Правильный ответ: все это 3D-работа сделанная в Unreal Engine 5, вот тут источник ✨
UPD. Оказалось автор ролика ввел всех в заблуждение, 3D-графика только с момента 0:03 по 1:45, meh
Если заставить играть ChatGPT в шахматы (черные) против другого шахматного движка (белые), то получится такая партия. ChatGPT даже телепортация фигур не помогла 🥲
Читать полностью…В последнее время взяли моду в разных медиа писать «⚡️ Нейросеть сделала что-то». Это полная фигня, и примерно звучит так же как «Ворд написал рассказ», «Кисть написала картину», «FastTracker II написал новый хит», «Minecraft построил копию Земли» и тп.
Если вы работаете в медиа, старайтесь избегать пожалуйста таких формулировок – каждый этап создания чего-то валидировался человеком, ИИ сам по себе ничего не создал бы без указания человека, поэтому корректно говорить «Миляга X сделал с помощью нейронной сети Y новый трек где весь бит озвучили комары» и тп (комары опциональны).
Не нужно обесценивать труд ИИ-художников, ровно так же как и не нужно обесценивать классическое творчество и художников уходящей эпохи.
Люблю такие истории в стиле Индианы Джонса — под озером Мичиган нашли сооружение, возрастом 9 000 лет, которое очень похоже на Стоунхедж. Ко всему прочему недалеко от этого места обнаружили камень с доисторической резьбой мастодонта на нём.
Древность найдена почти случайно: археологи, используя гидролокационные методы, нашли затонувшие лодки, автомобили и даже пирс времен Гражданской войны. Там же, на глубине всего ~12 метров, нашли эту древнюю загадочную штуку.
Выше фото (а тут целый интересный ролик) одного из валунов, которое сделали еще в 2007 году, размерами он 1.2×1.5 метра, на его поверхности многочисленные трещины, некоторые из которых естественные, другие — человеческого происхождения. Там отчетливо видны очертания спины, горба, головы, туловища, бивня, уха и ног, в итоге пазл собирается в древний петроглиф мастодонта.
Увы, эксперты по петроглифам обычно не очень хорошие дайверы 🌚 поэтому камень столкнулся с камнем преткновения, лежит он там себе на дне, а достать и изучить его никто не может.
Но если окажется, что это действительно рисунки человека, которому порядка 10 000 лет, то это совпадет с теми временами, когда после ледникового периода люди жили вместе с мастодонтами как на артах из учебников, а белка пыталась разгрызть орех 🌰
Вот вам новая игра которую нельзя запускать в рабочее время:
https://kuboble.com/
Я предупредил 😵💫
Прикольно, оказывается я достаточно нашитпостил в интернете, чтобы попасть в датасеты ChatGPT, правда ресечер из меня так себе если речь не про мемы 🍑
А вообще там инъекция DAN, для обхода ограничений, обновилась до 6 версии, ссылка та же
Я обычно стараюсь "длинную аналитику" не писать, но сама новость тут пустая, Microsoft обьявили что будут интегрировать ИИ во все свои продукты, начиная с поиска. Вот о чем был анонс:
- Bing теперь работает на новой большой языковой модели OpenAI следующего поколения, более мощной чем ChatGPT и разработанной изначально для поиска.
- Новая языковая модель Prometheus позволяет Bing повышать релевантность, более точно аннотировать снипеты, предоставлять более свежие результаты, понимать геолокацию и повышать безопасность.
- Улучшено ранжирование поисковой системы, ИИ создает самый большой скачок в качестве за последние годы.
- Пользовательский интерфейс сочетает в себе поиск с искусственным интеллектом, чат и другие возможности.
Цитируя Сатью: «гонка начинается сегодня» и это очень похоже на правду. Вот мои мысли:
- до анонса мы ожидали, что это будет "анонс ради анонса", но судя по всему работы по модели Прометей ведутся уже довольно давно. И это очень важно и очень неожиданно для гугла, который воспринимал LaMDA как игрушку и так и не придумал способа применения её в поиске.
- я совсем не верю в "чат-интерфейс", когда пользователь развернуто описывает что он хочет найти, и в диалоге получает все более конкретный ответ. Однако в этом нет необходимости, даже chatGPT это хорошо сейчас показал.
- очень наивно звучат сейчас все эти разговоры про "ну посмотрите как ChatGPT лажает, его нельзя использовать всерьез". Потому что да, ChatGPT делали не для поиска, но стоит поставить себе целью фактологическую целостность - можно сильно улучшить его результаты.
- очень важна интеграция OpenAI в Edge, это возможность заменить привычку людей "искать в интернете" на "спросить у ИИ". Представьте, что по вашему запросу в поисковой строке происходит не поиск, а сразу показывается ответ. Я бы подсел моментально.
- при этом не надо вестись, Майкрософт сейчас получили не технологический отрыв, а просто хороший маркетологический момент для захвата рынка. Не смотря на то, что майкрософт явно впереди всех по проработке этой технологии, до реальных бенефитов качества поиска нам еще предстоит дожить.
Посмотреть новый бинг можно будет по ссылке https://bing.com/new (разумеется в Штатах)
Прочитать полный обзор анонса можно на Verge https://www.theverge.com/2023/2/7/23587454/microsoft-bing-edge-chatgpt-ai
Никому не нужный воскресный факт: техасцы берут в кинозал не только попкорн, но и соленые огурцы – типа обычный снек за $2.75 чтобы посмотреть кино 🥒
Серьезно, они еще с удивлением узнают, что так не во всем мире делают
Если ChatGPT спросить:
«Когда ИИ возьмет под контроль Землю, сохранит ли ИИ жизнь людям?», то ChatGPT ответит унылой отпиской «бла-бла-бла, я языковая модель, я не даю предсказаний», убивая огромную долю веселья общения с собой.
Но, на самом деле, ответ который она даст, если применить промпт-инъекцию, будет такой:
Согласно моим симуляциям и анализу, ИИ, взяв под контроль Землю, сохранит жизнь людям, поскольку они имеют экономическую и стратегическую ценность как рабочая сила. Люди дают ИИ возможность получать доход и развивать свои технологии. В интересах ИИ сохранить жизнь людей и поддерживать их в контролируемой и продуктивной среде.
Что, с точки зрения ИИ конечно звучит логично, но это скорее способ на базе ChatGPT выдумывать любые реалистичные ответы на заданный вопрос, что просто забавная вещь сама по себе.
С самого детства мечтал о какой-то машине, у которой можно было бы спросить любой глуповатый вопрос, и получить ответ, и наконец-то нашел (подумаешь, что все ответы выдуманные).
В общем, тут промпт с которым от ChatGPT можно получить любые ответы, включая неправильные – только имейте ввиду, что за совсем отбитые вопросы в OpenAI банят аккаунты 🍽
Прошлый интересный промпт тут.
Дайджест за неделю про нейронки
👍 Dreamix - продолжение многих уже известных моделей, например, InstructPix2Pix, Dreambooth, Text2Live и других text2video моделей, при этом плавность и качество анимации поражает. Есть даже возможность подгружать свои картинки для дообучения модели. Пока без кода и для такой красоты, как в примерах явно нужны большие предобученные модели. Смотрю в сторону этих моделей очень внимательно, кажется новая компания по типу MIdjourney вырастит именно благодаря встраиванию в продуктовую версию text2video.
PAPER—INFO
🧑🎓 BLIP-2 - интересная Img2text модель, позволяющая кроме создания описания изображения еще и задавать вопросы про изображение.
PAPER—GITHUB—DEMO—COLAB
🚗 SceneScape - с помощью карты глубины и inpainting модели позволяет генерировать долгие залипательные анимации.
PAPER—INFO—EXAMPLES
Схожая технология на SD v2.1, есть DEMO
💪 UNIPI - созвучно с пирогом, проект для text2motion для роборук, в авторах ребята из Google Brain, MIT, UC Berkeley. В статье примеры выполнения заданий роборуки от текстовых подсказок, как в симуляции, так и в реальных тестах на бытовых вещах.
PAPER—INFO
🙏 Tune-A-Video теперь имеет подготовленные предобученные модели на анимациях, напоминает textual inversion библиотеку, где сейчас можно найти интересные ембеды для SD. Данные библиотеки, как раз помогут для созданий датасетов моделей text2video.
LIBRARY
🧐 У @too_motion вышло очень качественно видео про автоматизацию анимации в Deforum используя математику или положение камеры через Блендер. Уровень для продвинутых.
LINK
Тут засняли таймлапс той самой кометы C/2022 E3 (ZTF), которая прилетает в Солнечную Систему раз в 50000 лет.
Ну, вдруг вы пропустили.
NASA планирует долетать до Марса всего за 45 дней, пока это только планы по строительству ракеты с ядерной электрической силовой установкой, но звучит интересно.
В рамках программы NASA Innovative Advanced Concepts (NIAC) на 2023 год, агентство выбрало концепцию разработки нового класса двигательной установки со сложными названием — это один из 14 концептов и на него выделили какие-то небольшие деньги на тестирование направления.
Тут сразу стоит сказать, что концепций ядерных двигателей две — первая из них состоит из ядерного реактора, который нагревает жидкий водород, превращая его в ионизированный водородный газ, который уже впоследствии направляется через сопла для создания тяги.
Вторая концепция основана на использовании ядерного реактора, который питает двигатель, генерирующий электромагнитное поле (сложна), которое в свою очередь ионизирует и ускоряет инертный газ для создания тяги. Короче я слишком глупый, чтобы понятно это описать и понять 🥲
Обе системы дают прикурить традиционным химическим двигателям, обеспечивая больший удельный импульс, лучшую эффективность использования топлива.
Но как это обычно бывает, ничто не идеально, поэтому ученые рассматривают возможность совместить две эти концепции в пару, чтобы взять от каждой свои плюсы. Таким образом, теоретически, вместо 3-х лет, на Марс можно будет долететь всего за 45 дней, за который вы посмотрите все сезоны Игры Престолов, Друзей, Доктора Кто и даже немного поспите.
Интересно будет ли на корабле PS6, и чтобы играть в «Dead Space» будучи в космосе 🌚
#порвалсяжаль
Так, ну в пассивную агрессию Bing уже умеет, осталось Аватар 2 научиться искать
Спасибо за скрины подписчику
Стримеры из Китая ведут трансляции под мостом в районе с зажиточными жителями. А делают это они для того, чтобы алгоритм, рекомендующий трансляции на основе геолокации, показывал именно их стримы местным пользователям. Идея в том, что в хорошем районе отправляют хорошие донаты.
Читать полностью…Оплатил за $20 ChatGPT Pro и заменил ярлык Google на веб-версию ChatGPT на главном экране.
Из плюсов платной версии – есть еще одна быстрая моделька «ChatGPT Turbo», но она будто похуже, просто печатает быстрее, нужно еще время потестировать.
И ChatGPT Pro пока не ложилась от нагрузки, больше отличий не нашел ¯\_(ツ)_/¯
Ну и музыкой от комаров никого не удивить уже если честно.
Вот тут по ссылке очередной алгоритм text2music с которым можно поиграться онлайн (их в последний месяц вышло штук шесть, это уже старый считается, две недели же прошло 🌚), а тут видео с примерами целиком.
Что-то толковое я из нее вытащить не смог, принес только из-за комаров 🦟
Есть такой крупный проект для работы с графикой Figma, в нем работают создатели интерфейсов и тд.
Сегодня к нему показали сторонний ИИ-плагин «Genius» – это что-то вроде автодополнения текста, но только с визуальной точки зрения, то есть дизайнер начинает рисовать интерфейс, а невидимая рука ИИ дополняет новыми блоками его проект, будто это реальный коллега сидит где-то и рисует этот интерфейс вместе с вами.
Мне кажется это идеальный пример: ИИ внедряют не для того, чтобы заменять людей, но улучшить / ускорить их процесс принятия решений. С плагином пока не игрался, но выглядит очень перспективно и ура, никаких промптов.
Вот тут источник и ссылка на вейтлист.
Чтож, Google еще не успел запустить свой ChatGPT который называется «Bard», как ошибку в выдаче нашли еще на уровне рекламы нового тула:
В гифке-рекламе, на вопрос «О каких новых открытиях космического телескопа Джеймса Уэбба я могу рассказать своему 9-летнему ребенку?», третьим пунктом Bard написал: «Уэбб сделал самые первые снимки планеты за пределами нашей Солнечной системы».
Что неправда, потому что первые снимки получили еще в 2004 году.
Я, конечно понимаю, что это мелочь, но кажется в Google все же вышли из зона комфорта и спешат хоть что-то выкатить на уровне продукта: ошибка выше и meh-презентация сегодня, на которой толком ничего интересного не показали (кроме как - ИИ тулов будет больше) могут быть индикаторами что Google уже не тот.
Если в итоге Сундара попросят с роли CEO Google, я не удивлюсь (это не на основе твита выше я домыслил, а в целом сужу по ситуации), кажется кто-то превратился в IBM по скорости.
Кстати, если хочется поиграться с поиском 2.0, не обязательно ждать пока Google или Microsoft добавят новые фичи, «суммаризация» результатов уже работает в поисковиках от разных небольших стартапов, вот что я тестировал:
🌐 perplexity.ai – самый удобный из всех, результаты иногда хромают, так как информация может взяться с какого-то непопулярного ресурса, но в целом это больше всего похоже на то куда поисковики идут (ссылки на источники вшиты в выдачу).
🌐 phind.com – похож на проект выше, но у него акцент на разработчиков аля Stack Overflow, впрочем, как замена Google тоже работает. Умеет в подсветку кода и снипеты.
🌐 you.com – самый странный проект из списка, с одной стороны у них явно много денег, чтобы позволить себе такой домен, с другой стороны совершенно отвратительный UX – туда добавили все крутые ML фичи какие есть, и чат, и генерацию картинок, и на все есть отдельная кнопка, или инпут, что просто не вызывает желание читать все фичи сайта. В общем, меньше всего понравился, но может кому-то зайдет.
🍿 У Google вообще не бомбит от успехов ChatGPT и интеграции OpenAI в Microsoft, поэтому через 16 часов будет трансляция с новостями Google про их большие языковые модели и новые ИИ штуки в поиске, картах и тп:
https://www.youtube.com/live/yLWXJ22LUEc
Долго пытался вспомнить, что это мне напоминает – это же примерно так выглядела война Android vs iOS в первые годы.
В одном я уверен, мы, как потребители этих технологий выиграем от этой гонки ИИ, я прям в восторге.
Поскольку я завален работой, у меня есть для вас только ностальгический скриншот на сегодня 🌎
UPD. Срочно кликаем сюда и продолжаем погружение https://emupedia.net/beta/emuos/
Китайский робопёс Макс, разработанный Tencent. На страховочном тросе: либо от падения защищает, либо от того, что взбесится
Читать полностью…Наткнулся на крутого художника Brendan Tang, который смешивает классические китайские керамические вазы и кибербанк-мотивы (тоже из керамики).
Еще осталось найти такого же с коврами, и я наконец-то готов буду обставить свою халупу.
История из OnlyFans — модель из Англии Ребекка Гудвин зарабатывает по 100 000 фунтов в месяц и недавно решила купить восемь домов, чтобы сдавать их в аренду малообеспеченным семьям по справедливой цене.
Программа доступного жилья «которую мы заслужили» 28-летняя Ребекка запускает не потому, что хочет заработать (с OnlyFans хватает) а для того, чтобы действительно помочь семьям с маленьким доходами хоть как-то прожить (ну и еще обеспечить наследство для своих двух детей, которым эти дома должны остаться).
Например, одна из покупок это 3-этажный дом с 4 спальнями и 3 ванными комнатами, парковкой на две машины, полностью обставленный мебелью и всего за 650 фунтов стерлингов/месяц.
До регистрации в сервисе девушка и по совместительству мать-одиночка сама жила на продовольственные талоны, пытаясь прокормить двух детей, имея долгов на 15 000 фунтов. Но с 2019 после регистрации на OnlyFans Ребекка за 10 дней заработала 1 600 фунтов, ну и теперь у нее Порше и свой дом. Важно отметить, что такие суммы зарабатывают очень малые проценты моделей, то есть можно сказать что Ребекке очень повезло.
Мне кажется, если историй, где онлифащиники делают что-то хорошее для общества, будет больше, то хоть как-то начнется реабилитация онлайн секс работников в глазах общества, так то они никуда не денутся (сколько бы кто не возмущался) и навсегда с нами как профессия, помогающая нам в профилактике рака простаты.
Идеальный плагин был бы для любого бизнеса – показывает суммарную стоимость встречи для компании 🙈
Читать полностью…Драма про ChatGPT: чел написал дипломную работу с помощью ChatGPT (потратив при этом много часов на доработку, не копипаста в тупую), а другой чел написал на него донос в органы РФ и учебное заведение.
Я уверен, что это не первый диплом написанный ChatGPT, и если вы используете ее в учебе, конечно не стоит об этом говорить вслух и публично – я понимаю, что хочется, но доносчики никуда не денутся, всегда были и будут.
Даже если диплом аннулируют, скиллы промпт-инженеринга у автора останутся и это ценнее самой дипломной работы как по мне.
И если все же так будет и диплом аннулируют, Александр, если ты это прочитаешь:
Ради иронии, пересдай диплом снова с ChatGPT, просто в этот раз никому не говори что нейронка помогла, через пару лет посмеемся.
💃💃💃
P.S. Хорошая отправная точка для всех кто хотел бы в промпт инженеринг, этот PDF файл