3066
@Futuris - канал о технологиях, будущем и не только. Contact @antonod
Ничего необычного, просто запустил модель по уровню прошлых версий GPT4 у себя на ноуте ☕️
Модель Command R+ размером 104B параметров; эта модель сейчас на 6 месте среди всех языковых моделей в мире и она в открытом доступе (с некоммерческой лицензией, правда)
Gguf версию качал тут
Подробнее о том как ее запустить в моем закрытом 💎 канале:
Лол, какой VIP канал, мир локальных моделей пока недружелюбный настолько насколько возможно, опции всего две: открываете llama.cpp на github и следуете инструкциями там, или просто ждете еще пару недель пока все популярные back-end аппы подключат ее поддержку (рекомендованный вариант)
Фотоны в массы💫
Компания Lightmatter представила инновационный подход к построению суперкомпьютеров для искусственного интеллекта, используя световые соединения (фотоны) вместо традиционных электрических. Эта технология, названная "Passage", позволяет чипам напрямую обмениваться данными через оптические интерконнекты, что значительно увеличивает скорость передачи данных и сокращает задержки, связанные с преобразованием сигналов. Система Passage способна подключать сотни тысяч или даже миллионы GPU, что существенно ускорит процессы обучения ИИ. В ходе презентации на мероприятии венчурной компании Sequoia, генеральный директор Lightmatter Ник Харрис заявил, что технология будет готова к 2026 году и сможет обеспечить работу свыше миллиона GPU в параллельном режиме (к слову GPT-4 использует где-то 20тыс GPU). Это открывает перспективы для создания следующих поколений ИИ и к достижению общего искусственного интеллекта (AGI)🤖
Lol, тут запилили настоящую арену для LLM, где модели могут сразиться в Street Fighter 3 (и не только, есть даже первый мортал комбат🔥) и выяснить, кто из них король ринга 🥊
Интересно будет посмотреть на битву титанов GPT-5 и Claude 3 например 🌚
Можно загружать локальные модельки или через api
Stable Audio 2 - генерация коммерческой музыки по промпту
Самое интересное в модели - это то что её тренировали только на лицензированных данных, так что новому CEO Stability AI будет поспокойнее.
Архитектурно это, как и Sora с SD3, Diffusion Transformer, похоже U-Net всё же отправляется на покой.
Моделька доступна на сайте, API, как и пейпер обещают позже. Весов нет и вряд-ли будут.
А ещё они запустили стрим с непрерывной генерацией музыки, lofi girl напряглась.
Сайт (бесплатно дают 10 генераций с новой моделькой в месяц)
Блогпост
Стрим с вечной музыкой
@ai_newz
CERN возобновила работу Большого адронного коллайдера (БАК) после двухлетнего перерыва, надеясь обнаружить "невидимую" материю, такую как темная материя, которая является ключом к пониманию Вселенной. Эксперимент, запланированный на 8 апреля, совпадает с солнечным затмением и предполагает столкновение протонов в 27-километровом туннеле под землей со скоростью, близкой к скорости света, чтобы воссоздать условия через секунду после Большого взрыва. Целью является изучение темной материи, составляющей около 28% массы Вселенной, и других субатомных частиц, которые могут дать ответы на вопросы о формировании и судьбе Вселенной🌚
https://www.dailymail.co.uk/sciencetech/article-13249813/amp/CERN-accelerator-smash-particles-solar-eclipse.html
Microsoft планирует построить для OpenAI суперкомпьютер за $100 миллиардов. Называется Stargate, запустят в 2028, это будет пятой стадией постройкой Microsoft суперкомпьютеров для OpenAI. Третью заканчивают сейчас, четвёртую запустят в 2026 году, а звёздные врата откроют уже в 2028, с планируемым расширением в 2030.
Жрать энергии оно будет вплоть до 5 гигаватт, так что питать его скорее всего планируют энергией ядерного синтеза – Microsoft год назад заключила контракт c Helion, компанией в которой у Сэма Альтмана большая доля, на поставку электроэнергии в больших объёмах, и как раз к 2028 году.
Большая часть денег уйдёт на чипы, а так как энергию скорее всего организовывает Альтман, то и с чипами может выйти такая история.
Со слов Альтмана, для создания superintelligence нам скорее всего понадобится значительынй прорыв в энергетике.
Проект очень рискован технически – не очень понятно получится ли питать, связывать и охлаждать такое количество чипов, особенно учитывая то что (по слухам) строить это всё будут в пустыне. Под землю что-ли все закопают? Реализация проекта ещё под вопросом и зависит от результатов GPT-5.
Что вообще они там собираются тренировать? 😢
@ai_newz
Компания xAI представила Grok-1.5, ИИ-модель с улучшенными рассуждениями и обработкой контекстов до 128 000 токенов. Особенностью Grok-1.5 являются выдающиеся результаты в задачах по программированию и математике: 50.6% на MATH, 90% на GSM8K и 74.1% на HumanEval (выше чем у GPT-4), что свидетельствует о продвинутых способностях генерации кода. Модель предлагает расширенную память для обработки длинных текстов и оптимизирована для эффективного масштабирования с помощью современной инфраструктуры на JAX, Rust и Kubernetes. Grok-1.5 скоро станет доступна для ранних тестировщиков на платформе 𝕏.
Читать полностью…
Wow, тут стартап Hume AI выложил демо версию своего эмоционального ИИ-ассистента, который может по тону определять ваше эмоциональное состояние и отвечать в соответствии с ним🤯 Надеюсь OpenAI добавит такую же фичу в ChatGPT в ближайших апдейтах🌚
Пообщаться с ИИ-психологом тут (на англ), обратите внимание на реалистичность ИИ-голоса, интересно что у них там за LLM 🤔
Обожаю такие видосы ❤️
https://youtu.be/UNjMSFLkMZA?si=YvA_ryUvVxBtlQYH
В общем я продолжаю эксперименты с Gemini 1.5 Pro и решил проверить как мой промпт для текстовых рпг будет работать с 1м токенов и это пушка🔥 Наконец-то бесконечное (можно сделать примерно 1.5к ходов), связанное, текстовое приключение в любом стиле бесплатно и без ограничений на количество запросов в час (в Гпт-4 до сих пор 40 в 3 часа). В общем промпт можете взять тут, кому интересно (я на реддите уже успел им поделиться), а я дальше пошёл галактику покорять с моим новым персом во вселенной ЗВ💫
А и если что, это всё на русском тоже работает ;)
я как фанат The Elder Scrolls всегда держу под рукой лор игры. Загрузил всю историю континента Тамриель (39 листов А4) - вышло всего 31к токенов из 1м) можно теперь факт чекинг запускать🤓 А вообще с таким количеством токенов в одном диалоге можно книги начать писать ;)
Мне уже страшно представить, чем нас до конца года ещё нейронки удивят🌚
Ученые из Стэнфорда и группа "Notbad AI" разработали искусственный интеллект Quiet-STaR, способный "размышлять" перед ответом. Основываясь на Mistral 7B, модель демонстрирует свои рассуждения и позволяет пользователям выбирать наиболее точные ответы. Это улучшило её точность с 36.3% до 47.2%, и удвоило способность решать математические задачи. Исследователи надеются, что Quiet-STaR поможет сократить разрыв между возможностями языковых моделей и человеческими рассудительными способностями.
https://futurism.com/the-byte/ai-inner-monologue
Вот один из немногих крутых результатов резкого скачка в развитии ИИ-технологий, которые нас ещё ожидают впереди:
Компания Insilico Medicine, занимающаяся разработкой лекарств с использованием искусственного интеллекта, достигла значительного прогресса, создав первое "настоящее ИИ-лекарство" для лечения смертельного заболевания легких, идиопатического фиброза легких. Основатель компании, Алекс Жаворонков, утверждает, что благодаря ИИ удалось не только определить мишень внутри клетки для взаимодействия, но и структуру самого лекарства. Препарат быстро прошел этапы синтеза и испытаний на животных, заняв всего 18 месяцев, что демонстрирует потенциал ИИ в ускорении открытия новых лекарств.
https://www.technologyreview.com/2024/03/20/1089939/a-wave-of-drugs-dreamed-up-by-ai-is-on-its-way/
Интересно, чем сегодня удивит Nvidia🤓
https://www.youtube.com/watch?v=Y2F8yisiS6E
Вышла свежая версия GPT-4-Turbo (суффикс 04-09). Я бы про это не писал, если бы в Twitter сразу 3 сотрудника OpenAI не репостнули это со словами «big improvement». Один даже указал, что улучшения особенно заметны в математике.
Также эту модель должны принести в ChatGPT (веб-сайт с подпиской за $20, не API).
Ждём на LMSYS Arena, оценим, что это за «улучшения». Тайминг выбран интересный — вот только сегодня рейтинг обновился, и оказалось, что модель CMD-R+ от Cohere на 100B+ параметров обогнала GPT-4 (исходные версии весны 2023-го). Claude 3 Opus всё еще сидит на первом месте.
Ну что, началось..? Sama нажал большую красную кнопку?
Microsoft и Quantinuum добились прорыва в квантовых вычислениях, демонстрируя логические кубиты с рекордно низким уровнем ошибок — в 800 раз меньше, чем у физических кубитов. Этот успех открывает путь к разработке гибридных суперкомпьютеров нового поколения, обещая значительные прорывы в научных исследованиях и инновациях. В ближайшее время компании планируют предоставить доступ к этим технологиям в рамках приватного предварительного просмотра для пользователей Azure Quantum Elements, заложив тем самым основу для будущего научного и коммерческого преимущества в многочисленных отраслях.
Интересно, увидим ли мы когда нибудь квантовые LLM🌚
Всё это напоминает сцену из Американских богов, где создатель ИИ начинал именно с музыки, а вообще интересное будущее нас ждёт, у каждого будет персональная радио-станция под настроение и возможно даже под мозговые волны, для того чтобы быстро успокоиться, сосредоточиться, заснуть и тд..🌚
Читать полностью…
Помните недавнюю новость про ИИ-разработчика Devin? Так вот умельцы уже запилили опенсорс аналог - OpenDevin✨ на github (за пару дней уже в топе трендов). Для работы нужно подключить GPT или Claude или вообще любую LLM через API. Всё это позволит разработчикам создавать приложения с помощью простых запросов, OpenDevin интегрирует терминал, редактор кода и браузер в единый интуитивно понятный интерфейс.
Тут видео инструкция для запуска и демонстрация возможностей https://www.youtube.com/watch?v=dKD4a_sv69o
Или вот:
git clone https://github.com/OpenDevin/OpenDevin.git
cd OpenDevin
conda create -n od python=3.10
conda activate od
docker ps
(optional) install docker if not already installed
docker pull ghcr.io/opendevin/sandbox
export OPENAI_API_KEY={your key}
(optional I had to install rust) curl --proto '=https' --tlsv1.2 -sSf [https://sh.rustup.rs](https://sh.rustup.rs/) | sh
(optional) restart terminal
python -m pip install -r requirements.txt
(optional) orjson issue (MacOS)
- pip uninstall orjson
- pip install --no-cache-dir --only-binary :all: orjson
uvicorn opendevin.server.listen:app --port 3000
Всё это навело меня на мысли, которые очень хорошо за меня изложил GPT-4 (потом обязательно спрошу тоже самое у GPT-5, 6 и 7, если разрешит🌚)
Читать полностью…
⚡️OpenAI представляет предварительные результаты тестирования модели "Voice Engine", способной создавать естественно звучащую речь из текста и 15-секундной аудиозаписи, тесно имитирующей голос оригинала. Модель уже используется в API текста в речь, ChatGPT Voice и функции "Читать вслух". Несмотря на потенциал технологии, компания подходит к вопросу массового внедрения осторожно из-за возможности неправомерного использования синтетических голосов.
Чувствую сбудется мечта и смогу пересматривать современные фильмы в озвучке Володарского🌚
https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices
Яндекс анонсировал третье поколение YandexGPT, представив модель YandexGPT 3 Pro, доступную через API в Yandex Cloud, включая бесплатный демо-режим. Новая модель обещает улучшенную работу с сложными запросами и точность в соответствии с форматом ответов, что делает её особенно полезной для решения задач пользователей и компаний. Кроме того, YandexGPT 3 Pro можно дообучить для специфических нужд. Тестирование показало существенное улучшение качества и консистентности ответов по сравнению с предыдущим поколением. Нейросеть также предлагает сниженную стоимость использования и обширные возможности для интеграции в различные сферы деятельности.
Читать полностью…
Японский стартап Sakana AI разработал новый метод создания генеративных моделей под названием Evolutionary Model Merge, вдохновленный процессом естественного отбора. Этот метод позволяет объединять части существующих моделей для создания более эффективных архитектур. Sakana AI, основанная в августе 2023 года ведущими исследователями в области ИИ, включая бывших сотрудников Google, предложила экономически выгодный способ разработки новых моделей без необходимости значительных затрат на их обучение и настройку. Компания выпустила крупномасштабную языковую модель и модель, объединяющую язык и зрение, созданные с помощью этой техники. (можно протестировать на HuggingFace) Sakana AI утверждает, что их метод позволяет автоматически создавать новые базовые модели с желаемыми возможностями, опираясь на существующие открытые модели.
"The future of AI will not consist of a single, gigantic, all-knowing AI system that requires enormous energy to train, run, and maintain, but rather a vast collection of small AI systems–each with their own niche and specialty, interacting with each other, with newer AI systems developed to fill a particular niche,”🫡
_____
А ещё хочу порекомендовать вам телеграм канал научно-технологического бизнес объединения Fusion Innovation Technologies – Moscow, где вы найдёте не только последние новости из мира технологий, но и сможете принять участие в множестве крутых мероприятий - @fitmorg
Первый пост в интернете, написанный силой мысли 🧠
https://twitter.com/elonmusk/status/1771287982693060783
AR/VR революция тоже на подходе✨
Исследователи из Meta разработали новый метод воссоздания 3D-пространств, получивший название SceneScript. Вместо того, чтобы полагаться на жестко заданные правила, SceneScript использует машинное обучение для анализа данных с камер и создания точного и компактного описания помещения. Обучение модели происходило на наборе данных Aria Synthetic Environments, который включает в себя 100 000 виртуальных интерьеров.
SceneScript может быть использован для различных целей, например, для создания карт для AR-очков, навигации для людей с нарушениями зрения и расширения возможностей цифровых помощников.
Google открыли для всех доступ к Gemini 1.5 Pro с 1М токенов контекста: https://aistudio.google.com/app/prompts/new_chat
Можно загрузить видео или целую папку с файлами для анализа
Го тестировать
Тут Neuralink провели первую демонстрацию работы своего чипа, вживлённого человеку. Нолан Арбо, парализованный после аварии, управлял шахматами исключительно силой мысли. Благодаря интерфейсу мозг-компьютер, он вновь смог играть в Civilization VI до рассвета, возродив увлечение, казавшееся потерянным. Инженер Neuralink заявил, что в ближайшее время компания опубликует больше технических подробностей. May the Force be with you одним словом✨
https://twitter.com/neuralink/status/1770563939413496146?s=20
🌚🔥
OpenAI собираются выпустить GPT-5 летом этого года. Демо новой модели уже показали некоторым корпоративным клиентам. Информацией поделились анонимные источники, подтверждённые Business Insider.
https://www.businessinsider.com/openai-launch-better-gpt-5-chatbot-2024-3
AI - это хайп, говорили они...
Для описания конфы хватит этих скринов
описание потом)
Илонмасковский Грок в общем доступе 314B параметров🤓
https://github.com/xai-org/grok