3066
@Futuris - канал о технологиях, будущем и не только. Contact @antonod
Светлые умы продолжают исследования, направленные на улучшение существующих языковых моделей и на каждом этапе приближают нас к более сильному искусственному интеллекту. Вот и сейчас, группа исследователей представила новаторский подход под названием ReWOO (Reasoning WithOut Observation), который предлагает решение для снижения потребления токенов в больших языковых моделях.
Основная идея ReWOO заключается в отделении процесса рассуждения от внешних наблюдений. Это позволяет снизить вычислительную нагрузку, связанную с повторными запросами, и значительно снизить потребление токенов. Это достигается путем разделения задачи на три отдельных модуля: Планировщик, Работник и Решатель.
Планировщик разбивает задачу на подзадачи и формулирует план взаимозависимых действий. Каждая из этих подзадач затем назначается Работнику. Работник, в свою очередь, извлекает внешние знания из инструментов для предоставления доказательств, необходимых для решения задачи. Наконец, Решатель синтезирует все планы и доказательства, чтобы получить окончательный ответ на исходную задачу.
Этот новый подход был протестирован на нескольких открытых бенчмарках обработки естественного языка и показал обнадеживающие результаты. ReWOO не только улучшило эффективность использования токенов, но и повысило точность работы языковых моделей. Это открывает новые возможности для разработки более эффективных и масштабируемых моделей искусственного интеллекта.
https://www.marktechpost.com/2023/06/04/say-goodbye-to-costly-auto-gpt-and-langchain-runs-meet-rewoo-the-game-changing-modular-paradigm-that-cuts-token-consumption-by-detaching-reasoning-from-external-observations/
👾Гитхаб
📖Научная статья
⚡️Стартап Lightmatter, специализирующийся на фотонных вычислениях, привлек 154 миллиона долларов инвестиций для разработки фотонных чипов, предназначенных для ускорения вычислений в области искусственного интеллекта.
Чипы Lightmatter используют оптический поток для выполнения сложных математических операций, обычно выполняемых GPU и TPU. Мы приближаемся к пределам плотности и, следовательно, скорости для традиционных кремниевых транзисторов. Прогресс все еще продолжается, но стоимость развития высока и это толкает границы классической физики. Суперкомпьютеры, которые делают возможными обучающие модели вроде GPT-4, огромны, потребляют огромное количество энергии и вырабатывают много отходного тепла. Новый подход потенциально быстрее и эффективнее, сокращая энергопотребление и тепловыделение.
Компания уже запустила несколько пилотных проектов и планирует начать массовое производство в 2024 году.
https://techcrunch.com/2023/05/31/lightmatters-photonic-ai-hardware-is-ready-to-shine-with-154m-in-new-funding/?guccounter=1
HiFA - новый генеративный ИИ, который преобразует текст в 3D-модели. HiFA создает высококачественные 3D-модели для использования в видеоиграх, 3D-сценах и анимации. Отличие HiFA от других подобных систем заключается в оптимизации предварительно обученной модели предсказания монокулярной глубины сцены. Это позволяет создавать более точные и реалистичные 3D-модели.
сайт проекта - https://hifa-team.github.io/HiFA-site/
OpenAI объявили о новом подходе к борьбе с "галлюцинациями" AI✨
Новая стратегия OpenAI для борьбы с выдумками заключается в обучении моделей AI награждать себя за каждый правильный шаг рассуждения на пути к ответу, а не просто за правильный окончательный вывод. Этот подход называется "надзор за процессом", в отличие от "надзора за результатом" и, по мнению исследователей, может привести к созданию более объяснимого AI.
OpenAI выпустила сопровождающий набор данных из 800 000 человеческих меток, которые она использовала для обучения модели, упомянутой в научной статье.
Пользователь Reddit разработал простой инструмент на основе искусственного интеллекта, который помогает находить самые дешевые товары при онлайн-покупках и искать аналоги по фото✨ Данный инструмент использует компьютерное зрение и большие языковые модели (LLM) для автоматизации сравнительных покупок. Он способен находить схожие товары даже при различии их названий или изменении описаний, что является обычной практикой для перекупщиков, закупающих товары оптом и продающих их по более высокой цене🤓
P.S.
У меня работает через VPN - USA
Расширение Google Chrome - https://chrome.google.com/webstore/detail/score-app-shop-similar-it/bcppghiggoobhkjlkfpmonlcigffpime
Вот так теперь могу передавать настроение с помощью MusicLM+Bing art+GPT-4🥃
В таинственной глубине города, под одиноким фонарем, находился бар "Луи". За его дверью скрывался мир мягкого блюза, аромата виски и сигар. На сцене с гитарой сидел Джо, он играл тоскливые мелодии, усыпляя ночной город.
Внезапно, в дверях появилась она, фигура, укутанная в нежный свет фонаря и капли дождя. Она села за барную стойку, её грустные глаза встретились с взглядом Джо. Блюз Джо стал ещё тоскливее, словно отзвук её одинокого сердца.
Неожиданно! Получил доступ к гугловской MusicLM, которая умеет генерировать музыку по текстовому запросу🤩 Сейчас пришлю результаты✨
Читать полностью…
Кстати, эти ребята создают полноценную point and click adventure (один из моих любимых жанров) с помощью генеративного ИИ ✨
Вейтлист тут https://store.steampowered.com/app/2330520/Echoes_of_Somewhere_Series_1/
Подробности тут
Photoshop(beta) + Midjourney + After Effects = будущее digital art👨🎨
Подробнее тут https://echoesofsomewhere.com/2023/05/24/pixel-art-test-photoshop-beta-ai-tools/
Исследователи из Университета Северной Каролины и Microsoft Azure Cognitive Services Research представили CoDi, новаторскую генеративную модель искусственного интеллекта. Эта модель способна обрабатывать различные типы ввода, включая текст, аудио, видео и изображения, и преобразовывать их в любую другую комбинацию вывода.
Основываясь на многоступенчатой схеме обучения, CoDi может обучаться на широком спектре задач, делая выводы на основе всех возможных комбинаций входных и выходных модальностей. Это позволяет модели генерировать выводы, которых даже не было в исходных данных обучения, что делает ее более гибкой и мощной, чем традиционные модели ИИ.
https://hackernoon.com/this-ai-can-translate-any-input-into-any-output-heres-why-its-a-big-deal?source=rss
P.S.
А ещё к посту прикрепил красивую инфографику популярности различных сайтов по трафику на апрель этого года по данным сервиса similarweb. Как видно до гугл всем ещё очень далеко🤓
TikTok тестирует AI-чатбота Tako, который предлагает пользователю видео на основе его запросов. Этот эксперимент, проводимый в настоящее время только на Филиппинах, может значительно изменить поиск и навигацию в приложении. Tako способен отвечать на разнообразные вопросы пользователей, от рецептов до информации о культурных событиях. TikTok недавно подал заявку на регистрацию торговой марки для чатбота, что может указывать на подготовку к более широкому запуску🤷♂️
https://www.theverge.com/2023/5/25/23737017/tiktok-ai-chatbot-tako-test
Anthropic, стартап в области искусственного интеллекта, основанный в 2021 году бывшими руководителями исследовательского отдела OpenAI, активно использует текущий рыночный ажиотаж. Во вторник компания объявила о привлечении 450 миллионов долларов, что стало крупнейшим раундом финансирования в этом году в области ИИ с момента инвестиций Microsoft в OpenAI в январе, согласно данным PitchBook.
Google является одним из ведущих инвесторов в последнем раунде финансирования Anthropic, наряду с Salesforce Ventures, Zoom Ventures и Spark Capital. Это объявление следует за привлечением компанией 300 миллионов долларов два месяца назад при оценке в 4,1 миллиарда долларов.
Anthropic стоит за созданием Claude, конкурентом чат-бота OpenAI's ChatGPT. Он был основан Дарио Амодеи, бывшим вице-президентом по исследованиям OpenAI и его сестрой Даниелой Амодеи, бывшим вице-президентом по безопасности и политике OpenAI. В команду основателей Anthropic также вошли несколько других выпускников исследовательского отдела OpenAI.
https://techcrunch.com/2023/05/23/anthropic-raises-350m-to-build-next-gen-ai-assistants/
OpenAI начнёт использовать Bing в качестве основного поискового инструмента для ChatGPT. Новая функция поиска будет доступна пользователям ChatGPT Plus уже сегодня, а всем бесплатным пользователям ChatGPT она будет доступна в ближайшее время через плагин в ChatGPT.
Интеграция Bing в ChatGPT является победой для поисковой системы Microsoft после того, как Samsung недавно решил остаться с Google, несмотря на слухи о переходе на Bing Search. Интеграция также следует за продлением партнерства Microsoft с OpenAI в рамках "многомиллиардного инвестиционного проекта".
Microsoft также обещает использовать тот же открытый стандарт плагинов в Bing и Copilot для Windows, который использует OpenAI для ChatGPT.
https://www.theverge.com/2023/5/23/23733189/chatgpt-bing-microsoft-default-search-openai-build?utm_source=artifact
✨Adobe обновляет Photoshop, добавляя функции генеративного AI от Firefly. Это позволит пользователям расширять изображения, добавлять объекты и удалять их с большей точностью. Эти функции пока доступны только в бета-версии Photoshop и в веб-версии для пользователей Firefly. Интересной особенностью является возможность использовать текстовые подсказки для создания изображений. Adobe также обеспечивает безопасность результатов и планирует внедрить эти функции в Lightroom в будущем.
https://techcrunch.com/2023/05/23/adobe-brings-fireflys-generative-ai-to-photoshop/
Тут неожиданно компания Intel объявила о планах создания серии генеративных AI моделей для научного исследовательского сообщества. На конференции ISC High Performance 2023, Intel, в сотрудничестве с Argonne National Laboratory и HPE сообщила, что новый проект genAI будет направлен на максимальное использование потенциала суперкомпьютера Aurora для создания ресурса, который может быть использован для последующих научных исследований в лабораториях Департамента энергетики и в сотрудничестве с другими организациями.
Генеративные AI модели для науки будут обучены на общем тексте, коде, научных текстах и структурированных научных данных из биологии, химии, материаловедения, физики, медицины и других источников. Полученные модели (с числом параметров до 1 триллиона🤯) будут использоваться в различных научных приложениях, от проектирования молекул и материалов до синтеза знаний из миллионов источников для предложения новых и интересных экспериментов в системной биологии, полимерной химии и энергетических материалах, климатологии и космологии. Модель также будет использоваться для ускорения идентификации биологических процессов, связанных с раком и другими заболеваниями, и предложения целей для проектирования лекарств.
Суперкомпьютер Aurora - это совместный проект Intel и Argonne National Laboratory. Это один из самых мощных суперкомпьютеров в мире, предназначенных для выполнения задач высокопроизводительных вычислений и искусственного интеллекта.
На конференции ISC High Performance 2023, Intel и Argonne National Laboratory подчеркнули прогресс в установке суперкомпьютера Aurora. Ожидается, что Aurora будет предлагать 2.5 эксафлопс (аналогично 70,220 видеокартам Nvidia GeForce RTX 3090) пиковой производительности вычислений при запуске в этом году ✨
P.S.
Cуперкомпьютер Aurora будет лидером по мощности в мире, т.к. сейчас первое место у Американского Frontier 1.6 эксафлопс
https://www.intel.com/content/www/us/en/newsroom/news/intel-delivers-ai-accelerated-hpc-performance.html#gs.ywqfxl
Если вы думаете, что Minecraft - это детская игра-песочница, подумайте еще раз. Исследователи создали бота под названием Voyager, который использует искусственный интеллект GPT-4 для самостоятельного написания кода и обучения в процессе игры. Voyager, в отличие от других ботов, может свободно и целенаправленно действовать в симулированной среде игры, улучшая свои навыки и расширяя возможности. Этот подход позволяет AI учиться и применять полученные уроки к будущим действиям, что потенциально может быть использовано при создании и предварительном обучении автономных роботов 🤖
https://techcrunch.com/2023/06/02/this-ai-used-gpt-4-to-become-an-expert-minecraft-player/
Можете попробовать сами 🤓GitHub https://github.com/MineDojo/Voyager
✨Исследователи из MIT разработали новый подход к созданию языковых моделей, названный "SimPLE (Simple Pseudo-Label Editing)"- модель содержит всего 1/500 от параметров GPT-3-175B, но она способна превосходить крупные аналоги в задачах понимания языка🤖
SimPLE использует самообучение без учителя, устраняя необходимость в дополнительных аннотированных обучающих данных. Основной принцип работы модели SimPLE заключается в предсказании отношений вывода. Это означает, что модель пытается понять, следует ли одно утверждение из другого. Например, если у нас есть утверждение "Сегодня идет дождь", то из него следует утверждение "На улице мокро". Модель SimPLE обучается распознавать такие связи и делать выводы на основе контекста.
С другой стороны, большие языковые модели (LLM), такие как GPT-3, обучаются предсказывать следующее слово в последовательности на основе предыдущих слов. Это означает, что они стараются создать текст, который выглядит и звучит так, как будто он был написан человеком, на основе большого количества текстовых данных, на которых они были обучены.
В результате, модель SimPLE может быть более эффективной для задач понимания языка, поскольку она фокусируется на понимании связей между утверждениями, а не просто на генерации человекоподобного текста. Этот подход улучшает производительность модели в различных задачах, превосходя такие модели, как Google's LaMDA и другие модели GPT. Команда исследователей планирует представить модель в июле на встрече Ассоциации компьютерной лингвистики в Торонто. Своим новаторским подходом исследование стремится заложить основу для будущих AI-технологий.
https://venturebeat.com/ai/mit-researchers-develop-self-learning-language-models-that-outperform-larger-counterparts/
научная статья - https://arxiv.org/pdf/2305.17197.pdf
Писали, что OpenAI после запуска приложения на iOS получила 500 тысяч скачиваний за первую неделю. Так вот, стартап Character.AI, специализирующийся на искусственном интеллекте, превзошел этот показатель, привлекая 1,7 миллиона (700к Android, 1 млн IOS) новых пользователей за тот же период (приложение было запущено 23 мая). Это развлекательное приложение, предлагающее настраиваемых AI-компаньонов и возможность создания собственных персонажей. Создатели стартапа, которые ранее работали над языковой моделью LaMDA в Google, добились значительного успеха, превзойдя даже такие популярные приложения, как Netflix, Disney+ и Prime Video👾
Скачать можно тут: https://blog.character.ai/character-ai-launches-mobile-app-for-ios-and-android/
Попробовал Photoshop beta с генеративной заливкой на классическом арте (Сотворение Адама - Микеланджело) и digital art на тему Warcraft. Немного взорвался мозг от крутости, при том что я не задавал никакой промпт, а фотошоп сам всё придумывал за меня🤯 Не знаю угроза ли это для художников, но крутой арт создавать теперь намного проще и интереснее👨🎨✨
Читать полностью…
Ну вот, местами конечно какофония, но начало генеративной музыкальной эры положено) Определённо буду продолжать эксперименты и главное делиться результатами можно без риска нарушить чьи-то авторские права🤓
Читать полностью…
А ещё Nvidia продемонстрировала взаимодействие с AI в видеоиграх. Они показали сцену, где игрок может общаться с NPC своим голосом, а не выбирать варианты диалога. Демонстрация была создана с помощью набора инструментов Nvidia ACE, который включает инструменты для работы с большими языковыми моделями и преобразования речи в текст и обратно✨
Читать полностью…
Генеральный директор Nvidia, Дженсен Хуанг, на выставке Computex в Тайване объявил о запуске новых платформ для работы с генеративным AI:
Суперчипы Grace Hopper, которые объединяют энергоэффективный процессор Nvidia Grace и высокопроизводительный GPU Nvidia H100 Tensor Core, вступили в полное производство. Компания также представила новый суперкомпьютер DGX GH200, который может объединять до 256 суперчипов Nvidia Grace Hopper в один GPU размером с центр обработки данных. Пиковая производительность одного кластера DGX GH200 в ИИ-задачах может достигать эксафлопса. Google Cloud, Meta и Microsoft станут одними из первых, кто получит доступ к этому суперкомпьютеру.
Кроме того, Nvidia строит свой собственный массовый суперкомпьютер AI, Nvidia Helios, и работает над созданием распределенной сети дата-центров в Японии для предоставления услуг 5G и приложений генеративного AI. В рамках этого проекта была представлена новая сетевая платформа Nvidia Spectrum-X для повышения производительности и эффективности облачных AI на базе Ethernet.
https://venturebeat.com/games/nvidia-ceo-highlights-chips-for-the-historic-wave-of-generative-ai-at-computex/
Попалось интересное видео канала CNET, которое рассказывает о прорыве в области ядерного синтеза, который произошел в декабре 2022 года в Национальной лаборатории Лоуренса Ливермора в США.
Впервые ученые смогли создать реакцию синтеза, которая генерировала больше энергии, чем потребляла. Это было достигнуто благодаря использованию 192 лазеров, которые одновременно обстреливали маленький цилиндр, содержащий атомы водорода, в течение 20 миллиардных долей секунды. Этот эксперимент привел к созданию условий, которые были более чем на 100 миллионов градусов горячее, чем в центре солнца, и давление в миллиарды раз превышало атмосферное.
Ядерный синтез обещает безопасную, чистую и практически неограниченную энергию, так как он требует только водорода, самого распространенного элемента во Вселенной. Кроме того, он не вызывает выбросов углерода, что может существенно повлиять на процесс климатических изменений.
В настоящее время в Национальной лаборатории Лоуренса Ливермора планируют провести еще одну попытку запуска реакции синтеза в ближайшие месяцы✨
Кто бы мог подумать, что кликбейт может быть таким забавным😜
#gpt_4 #fun
Тут совсем без шума Meta AI представила Megabyte, новую архитектуру модели ИИ, которая может генерировать более 1 миллиона токенов 🤯в различных форматах, превосходя текущую архитектуру Transformer, используемую в моделях типа GPT-4.
В отличие от традиционных моделей, основанных на архитектуре Transformer и обрабатывающих входные и выходные данные в виде отдельных токенов, Megabyte применяет концепцию "патчей". В этом контексте "патч" представляет собой группу токенов, которая обрабатывается как единое целое. В каждом патче локальная модель ИИ генерирует результаты, а глобальная модель управляет и согласовывает окончательный вывод по всем патчам.
Такой подход позволяет Megabyte эффективно решать проблему масштабирования самовнимания, обычно встречающуюся в моделях Transformer. Модель Megabyte позволяет выполнять расчеты параллельно, что существенно увеличивает эффективность в сравнении с последовательными вычислениями, характерными для Transformer.
Максимальная емкость модели Megabyte в исследованиях превысила 1,2 миллиона токенов. Это заметно превышает ограничения большинства существующих моделей, например, у GPT-4 от OpenAI ограничение составляет 32 000 токенов.
Суть новой модели в основном заключается в более эффективной генерации и обработке данных, что может стать отправной точкой для нового поколения моделей ИИ, обеспечивающих более высокую производительность и больший объем генерируемого контента🤓
https://www.artisana.ai/articles/meta-ai-unleashes-megabyte-a-revolutionary-scalable-model-architecture
научная статья https://arxiv.org/abs/2305.07185
Стартап Apptronik готовится к анонсу своего гуманоидного робота. За семь лет компания разработала ряд технологий, включая жидкостно-охлаждаемые актуаторы для робота NASA и экзоскелеты для Специального командования США. Однако, основной фокус сейчас - создание мобильного манипулятора для логистической отрасли и полноценного гуманоидного робота, состоящего из двух частей: верхней (Astra) и нижней (Draco). Полная система будет представлена этим летом.
https://techcrunch.com/2023/05/23/apptronik-readies-its-humanoid-robot-for-a-summer-unveil/
⚡️Microsoft анонсировала нового AI-ассистента для Windows 11 под названием Copilot. Этот инструмент будет интегрирован в операционную систему и доступен из панели задач. Copilot способен обобщать и переписывать контент, а также отвечать на общие вопросы пользователя, подобно поисковой системе. Также, по вашему запросу он способен взаимодействовать с вашей системой🔥 Microsoft планирует начать публичное тестирование Windows Copilot в июне.
https://www.theverge.com/2023/5/23/23732454/microsoft-ai-windows-11-copilot-build
Генеративный ИИ проникает в геймдев 🎮✨
Компания Endless Adventures, основанная Джорданом Вайсманом (MechWarrior, Shadowrun, and Crimson Skies), представила Adventure Forge на GamesBeat Summit 2023. Это набор инструментов, позволяющий создавать нарративные видеоигры без кодирования. Инструмент использует AI для увеличения продуктивности создателей игр.
Adventure Forge использует контекстные выпадающие меню для создания логических предложений и дизайна игровых сцен без кодирования. AI также помогает в написании текста, описании персонажей и вселенной игры.
Endless Adventures сотрудничает со Scenario.gg для создания изометрических игровых объектов. Компания планирует пригласить игроков и художников для создания своих приключений и предполагает создание рынка для художников и гейм дизайнеров.
Интересные перемены ждут гейм индустрию в ближайшем будущем 🤓
https://venturebeat.com/games/endless-adventures-will-enable-gamers-to-create-narrative-games-with-no-code-tools-and-ai/amp/
Всем известно, что главный недостаток языковых моделей - это галлюцинации, но что если воспринимать их не как баг, а как фичу? Так вот, представляю вам DreamGPT - нейронка, которая использует "галлюцинации" от больших языковых моделей для стимулирования дивергентного мышления и генерации уникальных и творческих идей✨
Вместо того, чтобы считать "галлюцинации" недостатком, DreamGPT преобразует их в ценный инструмент для создания потенциально инновационных или необычных решений. Этот подход работает в цикле, засевая случайные семена, "мечтая" о новых и творческих идеях, объединяя и оценивая различные подходы, выбирая самый новаторский подход и повторяя его в цикле.
DreamGPT - имеет открытый исходный код, который может работать локально на любом ПК или Mac без необходимости GPU на устройстве🤓 Работает через API OpenAI