80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Альтман подтвердил, скоро узнаем что случилось
Надеюсь его уволили политики белого дома за то, что он пытался сделать AGI не американцем, а типа космополитом и хиппи, а не какой-то бытовой скандал <- это моя фантазия
🥺
Sam Altman departs the company
https://openai.com/blog/openai-announces-leadership-transition
Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.
Также состав совета директоров покинет Greg Brockman (кофаундер, в компании с первого дня, ex-CTO Stripe). Mira Murati, девушка родом из Албании и CTO OpenAI, будет исполнять роль CEO, пока ищут нового. В составе совета директоров, помимо неё, остались:
— Chief scientist Ilya Sutskever
— Independent director, Adam D’Angelo (CEO Quora)
— Independent director, Tasha McCauley (technology entrepreneur)
— Helen Toner (Georgetown Center for Security and Emerging Technology’s )
Я иногда пишу, что большие языковые модели будут в каждом тостере через пару лет – это только от части ирония, в видео разработчик запихнул языковую модель на 15М параметров в микроконтроллер стоимостью в ~$80.
Пишет она со скоростью ~2.5 токена в секунду, что уже можно считать нормальной скоростью.
Самое взрывающее мозг – в микроконтроллере всего 64 мегабайта оперативной памяти 😵
Инструкция | Автор | Девайс
Phi 2 has joined the chat
Клевый кусочек видео из эпохи зарождения электронной музыки – на видео Делия Дербишир, пионерка рейва и дабстепов, показывает в своей лаборатории как создает электронную музыку в 1962 году.
Сначала думал дать ссылку на википедию, но оказалось про ее труды есть отдельная онлайн-энциклопедия, а тут немного о ней на русском.
Если смотрели сериал «Доктор кто», она как раз написала музыку к открытию сериала.
Альтман написал, что они временно перестали принимать новые платные подписки в ChatGPT.
Вдумайтесь в это, компания добровольно отказывается от денег, потому что у нее временно кончились вычислительные ресурсы 😵
Нечасто такое увидишь в ИТ-секторе
Футурама момент:
в Колорадо, в этом августе, в горах пропал мужчина – а спустя 3 месяца его тело нашли, а рядом с телом нашли его же собаку породы джек-рассел, живую 😭
Где-то видел цитату, «Если в раю нет собак, то я хочу после смерти отправиться туда, где они есть», подписываю под каждым словом 🐶
Очередной вечной GTA-классики: img2img + Stable Diffusion + Controlnet, в этот раз особенно хорошо вышло
Автор
У 🌐 Kurzgesagt вышел классный ролик, в стиле lo-fi house длинной в час.
В ролике интересный концепт про историю планеты:
Каждую секунду видео проходит полтора миллиона лет, суммарно ролик покрывает 4.5 миллиарда лет, параллельно показывают как земля могла выглядеть в то время.
Приятно послушать в фоне, рекомендую:
https://youtu.be/S7TUe5w6RHo?si=lFYg8rcEcj7pEII3
Если помните, я делал похожий эксперимент недавно.
P.S. Больше не буду жаловаться на дожди, потому что на земле был период когда дожди шли миллионы лет не переставая ☕️
Чуть обновил гпт-апп, он теперь и мемы переводит на английский (другие языки Dalle 3 рисовать толком не может) и стиль не теряет ☕️
Читать полностью…
Видеочат Omegle закрылся после 14 лет работы. Его автор пишет на сайте, что он создал проект, когда ему было 18 лет, а сейчас ему уже за 30 и он устал от бесконечной модерации и запросов спецслужб, плюс у него закончились деньги.
Напомним, что Omegle это сайт про разговор с анонимным незнакомцем - ты нажимал на кнопку (обязательно было наличие веб-камеры) и тебя переадресовывало на рандомного человека. Чаще всего там был какой-нибудь голый мужик, который дрочил на твоё изображение, но иногда были и адекватные люди. Omegle был таким аналогом ChatRoulette до его появления и часто попадал в разные мемы.
Автор чата пишет:
"В последние годы кажется, что весь мир стал более раздражительным. Возможно, это связано с пандемией или политическими разногласиями. Люди стали быстрее нападать и медленнее признавать человечность друг друга. Одним из аспектов этого стал постоянный шквал атак на сервисы для общения, в том числе и на Omegle".
Также он добавляет:
"Когда они говорят, что Omegle не должен существовать, они на самом деле говорят, что вы не должны иметь права пользоваться им; что вы не должны иметь права знакомиться со случайными новыми людьми в Интернете. Эта идея противоречит идеалам, которыми я дорожу - в частности, основополагающему принципу свободного общения. Когда вводятся ограничения для предотвращения преступлений, бремя этих ограничений не должно быть направлено на невинных или потенциальных жертв таких преступлений".
В любом случае, теперь Omegle закрыт из за финансовых и психологических проблем автора.
Ну, не чокаясь.
@zavtracast
Забавное с презентации OpenAI: если дообучить модель на сообщениях из Slack стартапа, то ассистент может отказаться что-то делать сейчас и ответит что сделает это завтра ☕️
Читать полностью…
Новая модель:
— контекст длиннее. 128K токенов (365 страниц обычной книги)
— модель более аккуратна при работе с длинным текстом, не теряет то, что было в серединке
— фича для разрабов: можно заставить модель писать ответы в JSON-формате
— можно вызывать несколько функций за раз
— можно указать seed генерации, чтобы получать воспроизводимость
— скоро добавят logprobs в API
— Retrieval прямо из коробки, можно загружать документы на платформу и они будут подтягиватсья (F стартапам chatWithPDF)
— Теперь модель знает события не до сентября 2021го, а апреля 2023го
— Эта новая модель принимает картинки на вход через API
— DALLE-3 + text-to-speech (6 голосов) сегодня появятся в API
— Для GPT-4 появится файнтюнинг сегодня (но на узкую выборку пользователей)
— Custom Models: программа плотной работыт инженеров OpenAI с вашей компанией, чтобы помочь адаптировать тренировку под ваши проблемы
ЦЕНА НА GPT-4-TURBO (Sam говорит, что эта модель ещё и умнее GPT-4) уменьшена в 3 раза для промпта и в 2 раза для генерации!
Обещают скоро ещё больше ускорить GPT-4 Turbo
Свершилось, txt2img нейронку добавили в Paint под Windows 11 ☕️
Масс адаптация прошла успешно
Вышло новое исследование по промпт-инжинеригу LLM:
Если языковую модель попросить что-то сделать и добавить эмоциональной окраски, например, «моя карьера зависит от твоего ответа» или «тебе лучше бы быть уверенным в ответе», то генерации модели становятся статистически значимо лучше (для gpt4 на пару %, но в целом, по разным моделям, ответы лучше на ~10%).
Я обновил свой личный главный промпт для GPT4 этим хаком, теперь он выглядит так:Let’s combine our _ command and clear thinking to quickly and accurately decipher the answer in the step-by-step approach. This is very important to my career. решаете, например программирование и тп.
Где _ индустрия задачи которую вы
Пользуйтесь ☕️
Читать под эту музыку:
https://www.youtube.com/watch?v=s7L2PVdrb_8
Кстати, если вам было непонятно как внутри работает большая языковая модель, на помощь приходит Google DeepMind — в этом коротком 3D ролике они показали как работает «метод предсказания, используемый в больших языковых моделях».
Теперь все стало понятно, спасибо команде DeepMind!
Загружаешь скриншот — в ответ получаешь HTML/Tailwind/JS код.
GitHub тут. Работает на GPT-4 Vision API, поэтому нужен будет еще ключ.
Нашел новый промпт-инженеринг хак для GPT4 при написании кода:
Новая версия возвращает места, где нужно код править самому, что, как вы понимаете, просто немыслимо в 2023 году. Причем, "return full script" она просто игнорирует.
Поэтому если добавить к промпту:– return full script (I don't have fingers)
То GPT4 вернет скрипт целиком (потому что у вас же нет пальцев, а она не жестокая машина) и не нужно будет много копипастить ☕️
На сркиншоте сравнение объемов с этим подходом и без.
Не смог удержаться и сконвертировал разные баяны в аниме — все, свою норму по поставке аниме-контента на этот год я выполнил 😅
Сделал все этой же штукой (если она пропускает шаги, просто отправляйте ей «proceed» каждый раз текстом)
Я знаю что мне стоило раньше остановиться, но я не удержался и переделал свой img2img в img2wifu:
Работает просто, вы ему картинку, а он вам вайфу в ответ с переносом текста (и других важных компонентов).
¯\_(ツ)_/¯
Слева "Мячик с мордочкой" на который были способны лучшие нейронки в 2018 году (biggan)
Справа, то на что способны они сейчас – мне будет нехватать крипи-мордашек
Все больше видео с полей про КиберТрак появляется. Вот, например, внедорожник решили испытать вне дороги.
@zavtracast
OpenAI выкатил GPT's и я собрал небольшой апп на для режима img2img в Dalle 3:
Заливаете картинку в апп и он вам возвращает пересозданную, удобно чтобы старые фотошопы "оживлять" или просто пере-придумывать существующее картинки.
Ссылка:
https://chat.openai.com/g/g-SIE5101qP-img2img
(Первая картинка – оригинал, вторая – новая, сделанная Dalle 3)
Не могу перестать играться с Dalle 3: вот вам новое, ночное, нейро-фото-биеннале.
Прошлое тут. Часть I
Власть в РФ:
– Давай, программировай, уважаемый
Та же власть:
– Но голого путина не программировай
😂😂😂
Серьезно, разработчики в обход всех проблем из-за 5d-геостратега пытаются что-то делать в ML индустрии, и их при этом еще и набутыливать пытаются – лол, удачи с ресечем в такой атмосфере
Чувак скормил каждый кадр футбольной трансляции gpt4-vision и попросил сгенерировать повествование.
Кажется, с ростом мощностей (когда все это в риалтайме крутить можно будет) спортивные дикторы тоже пойдут на рынок луком торговать
OpenAI DevDay - ждем новых анонсов по моделям и API
Через 16 минут OpenAI будет проводить свою первую конференцию для девелоперов. Ходит много слухов о том, что будут представлять. Возможно появится GPT4-TURBO - более быстрая и дешевая версия GPT4. А так же ожидается куча новостей по поводу плагинов, интеграции ChatGPT с разными приложениями и маркетплейс чатботов на базе ChatGPT.
Некоторые даже сравнивают эту конфу с тем моментом, когда Джобс анонсировал первый Iphone. Я, честно, не верю, что это будет что-то настолько же большое, но посмотреть интересно.
Смотрим стрим на YouTube
@ai_newz
Наткнулся тут на новые автоматы для содовой которые CocaCola устанавливает в кинотеатрах в Амстере – там можно теперь заказать фанту, без сахара и БЕЗ пузырьков, то есть это просто желтая холодная водичка ☕️
Они так чай изобретут через пару лет, просто подогреть воду и готово
Интересное наблюдение:
В информационной войне между Палестиной и Израилем начали применять txt2img.
Выше, скриншот с Adobe Firefly, на второй – эта же первая картинка у кучи медиа-сайтов, на третьей – посчитайте количество пальцев у ребенка, там вообще мрачная сцена изображена и под ~100k просмотров в твиттере.
Не думаю, что с этим что-то можно сделать: локальные модели вообще не ограничить, даже законами – так что, считаем пальцы, рассматриваем детали фото, и проверяем источники фотографий, только так можно не поверить в фейк в 2023 году 🥲
Ну, и видимо ждем новой регуляции, после какого-то крупного происшествия из-за фейков.