3066
@Futuris - канал о технологиях, будущем и не только. Contact @antonod
🤯в этот раз im-also-a-good-gpt2-chatbot сделал мне с первой попытки не просто работающий код для того же breakout, но уже с очками, жизнями и улучшениями (просил вторым запросом) типа раздвоенных шаров, хотя все модельки что попадались до этого еле могли что-то подобное сгенерить... крч ждём апдейтов что это за монстр такой или вообще это новый подход, который применили к старым GPT🌚
код тут
PS
у новых версий GPT буду просить добавить возможность грабить караваны и чтобы эльфы на деревни нападали✨
В новом исследовании, проведённом учёными из Meta, Ecole des Ponts ParisTech и Университета Paris-Saclay, предложен способ улучшения точности и скорости крупномасштабных моделей искусственного интеллекта. Исследователи разработали метод множественного предсказания токенов, который позволяет моделям предсказывать несколько токенов одновременно, в отличие от традиционных моделей, предсказывающих по одному токену. Этот подход не только увеличивает скорость работы ИИ в три раза, но и улучшает его производительность в генеративных задачах. Техника находится на ранней стадии разработки, но уже показывает обещающие результаты и может стать значительным инструментом в некоторых приложениях языковых моделей.
Сложно представить насколько мощными будут LlaMa следующего поколения🌚
https://venturebeat.com/ai/metas-new-multi-token-prediction-makes-ai-models-up-to-3x-faster/
Стартап Alembic анонсировал запуск новой системы искусственного интеллекта, утверждая, что она полностью устраняет проблему ложной информации, известную как "галлюцинации". Технология использует графовые нейронные сети для анализа причинно-следственных связей в обширных корпоративных данных. Генеральный директор Alembic Томас Пуиг представил эту систему на Forrester B2B Summit и планирует повторную презентацию на Gartner CMO Symposium в Лондоне на следующей неделе. Эта разработка значительно увеличивает потенциал безопасного использования AI в критически важных бизнес-приложениях, предоставляя точные прогнозы и стратегические рекомендации.
Звучит впечатляюще, но время покажет насколько это реалистичные заявления 🌚
https://venturebeat.com/ai/exclusive-alembic-debuts-hallucination-free-ai-for-enterprise-data-analysis-and-decision-support/
Пока ждём раскрытия тайны новой модели GPT2, можете посмотреть подробный разбор её логических возможностей (спойлер: да, она оч крутая🔥)
UPD модельку удалили с LMSYS тк тем кто её запостил предоставили достаточные данные по её сравнению с другими LLM. Чтож, ждём когда кто-то сделает анонс и раскроет карты🌚
https://www.youtube.com/watch?v=3BDboYfjWE8
Я конечно не фанат разводить слухи, но на реддите активно обсуждают новую модель GPT2 LLM, которую на днях добавили на чат-бот арену LMSYS. Пользователи заметили, что несмотря на обозначение GPT2, модель демонстрирует удивительные способности, решая сложные задачи, которые обычно не под силу предыдущим версиям GPT. Например, модель справилась с модифицированной загадкой о переправе через реку, где необходимо перевезти кота и мышей, соблюдая определённые условия. Жители реддита уже строят теории, что это может быть предварительная версия новой модели GPT от OpenAI🌚 В общем можете потыкать её сами и протестировать тут (выбрать сверху Arena или Direct Chat)
Интересно посмотреть рейтинги арены (обновлялись тока 26 апреля). В любом случае радует, что появляется всё больше способных LLM🤓
https://www.youtube.com/watch?v=AePEcHIIk9s
роботы роботы роботы, нам нужно больше роботов!🤖 А если серьёзно, внезапно появившийся китайский стартап https://astribot.com/ представляет своего робота для дома, хоть и не бипедального, но способного, судя по презентации🤓
🕶Умные очки Ray-Ban Meta теперь обладают мультимодальным ИИ, который позволяет обрабатывать несколько типов информации, таких как фото, аудио и текст. Эта функция стала доступна всем после нескольких месяцев бета-тестирования. Очки не только позволяют делать снимки и идентифицировать объекты, но и удобно использовать в качестве наушников. Несмотря на возможные ошибки ИИ при распознавании объектов, как например, с идентификацией моделей автомобилей, общий опыт использования оценивается положительно. Эти очки предлагают интересный опыт расширенной реальности, делая ежедневные задачи более удобными и интерактивными.
Понятно, что пока это первые версии, но думаю, тема умных очков очень перспективна, удобно когда при необходимости они могут и фото/видео сделать и объяснить и перевести и позвонить без необходимости постоянно тыкать в экран и отвлекаться на смартфон. А там ещё и распознавание эмоций собеседника и всякие риалтайм лайфхаки появятся, смотря как запромптить🌚
https://www.theverge.com/2024/4/23/24138090/ray-ban-meta-smart-glasses-ai-wearables
Мета AI - представляет нового умного помощника, основанного на Meta Llama 3, доступный бесплатно на Facebook, Instagram, WhatsApp и Messenger. Он поможет вам планировать ужин, учиться на экзамен, создавать изображения и многое другое. Мета AI интегрирован в поиск и позволяет получать информацию в режиме реального времени без переключения между приложениями. Вы также можете использовать его на своем компьютере через сайт meta.ai. Мета AI также предлагает функцию "Imagine", которая позволяет создавать изображения на основе текста в реальном времени.
Читать полностью…
Если какая нибудь страна не воплотит это в реальность, то я не знаю зачем ещё нужны нейросети🌚
Made in mj6
Вслед за Google компания Meta представила новый подход к предварительному обучению и использованию LLM, под названием Megalodon. Он позволяет эффективно работать с бесконечно длинными текстами. Раньше трансформеры сталкивались с проблемами при обработке длинных текстов, но Megalodon решает эту проблему. Подход использует несколько новых технических компонентов, чтобы улучшить свою производительность и стабильность. В сравнении с другой моделью, Llama2, Megalodon показал лучшие результаты при работе с большим количеством параметров и обучающих данных. Это значит, что Megalodon может обрабатывать длинные тексты быстрее и точнее, чем другие модели.
Code: https://github.com/XuezheMax/megalodon
Похоже, даже смелые предположения о темпе развития ИИ-технологий не успевают за реальностью, что нас ещё ждёт до конца года🌚
Интересное будущее ждёт не только сферу высоких технологий на Земле, тут команда исследователей из NASA предложила миссию, которая больше звучит как начало фантастического фильма💫
Миссия направлена на изучение неизведанных аспектов физических законов в нашей Солнечной системе✨ Ключевым элементом миссии является использование космических аппаратов, расположенных в форме тетраэдра. Такая форма корабля позволит проводить высокоточные измерения, которые могут выявить отклонения от предсказаний теории общей относительности Эйнштейна и указать на возможное существование новых физических явлений. Миссия нацелена на решение загадок темной материи и темной энергии, фундаментальные вопросы, которые до сих пор остаются без ответов в современной науке🌚
https://www.sciencealert.com/radical-nasa-study-says-this-spacecraft-formation-could-reveal-new-physics
Таки моделька GPT-4 Turbo обновилась сегодня до новой версии и опять заняла первое место на чат-бот арене✨
Новая версия обучена на данных до декабря 2023 года и обещает улучшения в точности, сокращение излишеств в текстах и более естественный язык. Теперь ChatGPT может также использовать информацию из интернета для ответов на актуальные вопросы. (хотя вроде и так мог, но по конкретному запросу, а теперь видимо сам при желании сёрфить будет🌚)
Новая музыкальная LLM Udio теперь доступна всем✨
В месяц бесплатно можно нагенерить 1200 аудиофайлов 🔊 (но длительность не более 30 сек)
Вышла свежая версия GPT-4-Turbo (суффикс 04-09). Я бы про это не писал, если бы в Twitter сразу 3 сотрудника OpenAI не репостнули это со словами «big improvement». Один даже указал, что улучшения особенно заметны в математике.
Также эту модель должны принести в ChatGPT (веб-сайт с подпиской за $20, не API).
Ждём на LMSYS Arena, оценим, что это за «улучшения». Тайминг выбран интересный — вот только сегодня рейтинг обновился, и оказалось, что модель CMD-R+ от Cohere на 100B+ параметров обогнала GPT-4 (исходные версии весны 2023-го). Claude 3 Opus всё еще сидит на первом месте.
Ну что, началось..? Sama нажал большую красную кнопку?
Microsoft и Quantinuum добились прорыва в квантовых вычислениях, демонстрируя логические кубиты с рекордно низким уровнем ошибок — в 800 раз меньше, чем у физических кубитов. Этот успех открывает путь к разработке гибридных суперкомпьютеров нового поколения, обещая значительные прорывы в научных исследованиях и инновациях. В ближайшее время компании планируют предоставить доступ к этим технологиям в рамках приватного предварительного просмотра для пользователей Azure Quantum Elements, заложив тем самым основу для будущего научного и коммерческого преимущества в многочисленных отраслях.
Интересно, увидим ли мы когда нибудь квантовые LLM🌚
Кстати на арену вернули аж сразу 2 версии gpt2, возможно это обновлённые GPT-3.5 и 4 (надо выбирать arena battle и сразу или через пару попыток модельки появятся). Похоже OpenAI совершают финальные тесты перед анонсом предположительно 9го числа (в пику IO Google 14 мая), где по слухам выкатят свою собственную поисковую систему 🌚
Нам остаётся терпеливо ждать новостей, но судя по всему недолго 👌
А пока можете новых чат ботов пощупать тут https://chat.lmsys.org/
Компания Microsoft разрабатывает новую модель искусственного интеллекта под названием MAI-1 (500B параметров - тренд на уменьшение объёма, но рост качества), которая будет конкурировать с моделями Google и OpenAI. Руководство проектом взял на себя Мустафа Сулейман, бывший соучредитель Google DeepMind и CEO стартапа Inflection. По сообщениям сотрудников Microsoft, новая модель будет значительно крупнее предыдущих, что увеличит её возможности и стоимость. Точное назначение MAI-1 ещё не определено и будет зависеть от её эффективности. Предварительный показ модели ожидается на конференции разработчиков Build в этом месяце.
Microsoft 💔OpenAI
https://www.reuters.com/technology/microsoft-readies-new-ai-model-compete-with-google-openai-information-reports-2024-05-06/
Блин, ну какие же крутые штуки стали появляться (а то ли ещё будет✨)
https://gatekeep.ai/ - обучайтесь со стилем. Нейронка разобьёт любую тему по полочкам и сделает обучающее видео🤯 с которым ещё можно будет чатиться и углубляться в детали (мне бы такую штуку в школе/универе - эх завидую детям🎓)
Понятно, что скорее всего этот стартап смоет какая-нибудь модальная мега LLM от гигантов отрасли, но пощупать будущее образования можно уже сейчас🤓 (в день вроде бесплатно 3 видео доступно)
___
Второе видео это она мне сгенерила про принципы квантовой механики и очень неплохо получилось👌
не ну игрушку атари брейкаут она мне сделала сразу, а гпт4 не смог
Читать полностью…
Чувак собрал робота из того, что нашлось под рукой, запихнул в него зафайнтюненную LLaMA 3 без цензуры, теперь у него дома дроид - матюгальник из коробки, будущее прекрасно ✨
Читать полностью…
Ученые из Утрехтского университета в Нидерландах и Соганского университета в Южной Корее создали искусственный синапс, работающий на воде и соли. Это первое доказательство, что система, использующая те же средства, что и наш мозг, может обрабатывать сложную информацию. Исследование, опубликованное в журнале "Proceedings of the National Academy of Sciences", показывает, как ионы в растворе мигрируют под воздействием электрических импульсов, изменяя проводимость канала. Это открывает новые возможности для создания более энергоэффективных компьютеров, имитирующих функции человеческого мозга🧠
https://phys.org/news/2024-04-experimental-proof-brain-salt.html
Тут компания Groq (не Grok), которая разрабатывает свою технологию LPU, Language Processing Units вместо GPU для более эффективной работы с языковыми моделями, добавила на свой плейграунд новые модели LLaMA 3 иии... они выдают по 800 (8b) и 300 (70b) токенов в секунду (~600/150 слов в сек)
можете проверить сами как будет выглядеть общение с LLM в ближайшем будущем - буквально на лету🤯
Meta AI представляет Llama 3 - новое поколение своих открытых больших языковых моделей✨
Новые модели Llama 3 с параметрами 8B и 70B демонстрируют значительное повышение производительности по сравнению с предыдущими моделями, включая улучшенные способности к рассуждению и кодированию. В ближайшие месяцы компания планирует представить новые возможности, увеличенное окно контекста (пока 8к токенов), дополнительные размеры моделей (400B) и повышенную производительность.
Пообщаться с модельками можно тут
Boston Dynamics представили гуманоидного робота нового поколения ✨
Новый Atlas спроектирован для реального мира и обладает улучшенной маневренностью и силой. Компания планирует тестирование с Hyundai на производственных площадках.
Основные моменты:
Завершение эры гидравлического Atlas: Boston Dynamics прекращает разработку гидравлического робота Atlas и представляет новую, полностью электрическую версию.
Тестирование с Hyundai: Hyundai не только инвестирует в проект, но и будет использовать нового Atlas для тестирования в автомобилестроении.
Улучшения в новом Atlas: Электрический Atlas обладает большей силой и маневренностью, чем предыдущие модели, и разрабатываются новые типы захватов для различных производственных задач.
Интеграция с цифровой трансформацией: Программа Orbit для управления роботами и данными уже доступна для модели Spot и будет расширена для новых моделей.
Развитие программного обеспечения: Роботы оснащены новыми инструментами ИИ и машинного обучения для адаптации к сложным условиям реального мира.
Atlas будет использоваться для решения сложных задач в промышленности, превышающих возможности человека🌚
Не терпится дождаться больше видосиков, а потом Atlas в каждый завод!🤖
https://bostondynamics.com/blog/electric-new-era-for-atlas/
Думаете в гонке LLM перерыв? не тут-то было✨
Компания Reka (основанная экспертами из DeepMind, Google Brain) анонсировала запуск LLM под названием Reka Core. Эта модель является мультиязычной и мультимодальной, что позволяет ей обрабатывать и анализировать текст, изображения, видео и аудио. Reka Core с контекстным окном 128к токенов сравнима по своим возможностям с GPT-4V, Claude-3 Opus и Gemini Ultra и превосходит их в задачах связанных с видео. Модель обучалась на массивных данных с использованием тысяч GPU и доступна для развертывания через API, на локальных серверах или непосредственно на устройствах. Важным аспектом сотрудничества Reka является партнерство с ведущими технологическими платформами и государственными организациями, такими как Snowflake, Oracle и AI Singapore.
Видео-преза модельки
Собственно playground Reka (контекстное окно 4к)
Конкуренция работает🌚
Ну года 2-3 назад, чтобы такое сделать понадобилось бы намноого больше времени и денег, чем сейчас с платной подпиской в Midjourney и Runway и музыкой в Suno или Udio 😎🤟 и это ещё Sora в общий доступ не дали🌚
Читать полностью…
В новом исследовании от Google представлен эффективный метод масштабирования трансформеров для обработки бесконечно длинных входных данных с ограниченным объемом памяти и вычислительными ресурсами. Ключевым элементом метода является новая техника внимания, названная Infini-attention, которая интегрирует сжимающую память в стандартный механизм внимания. Это позволяет модели работать с очень длинными текстами, например, для подбора ключей из текста длиной в 1 миллион символов или суммирования книг длиной 500 тысяч символов. Модели на 1 и 8 миллиардов параметров показали превосходство над базовыми моделями на задачах с длинным контекстом.
Ждём апдейт Gemini до бесконечных окон контекста ✨хотя мне 1 млн уже более чем достаточно🌚
Ничего необычного, просто запустил модель по уровню прошлых версий GPT4 у себя на ноуте ☕️
Модель Command R+ размером 104B параметров; эта модель сейчас на 6 месте среди всех языковых моделей в мире и она в открытом доступе (с некоммерческой лицензией, правда)
Gguf версию качал тут
Подробнее о том как ее запустить в моем закрытом 💎 канале:
Лол, какой VIP канал, мир локальных моделей пока недружелюбный настолько насколько возможно, опции всего две: открываете llama.cpp на github и следуете инструкциями там, или просто ждете еще пару недель пока все популярные back-end аппы подключат ее поддержку (рекомендованный вариант)
Фотоны в массы💫
Компания Lightmatter представила инновационный подход к построению суперкомпьютеров для искусственного интеллекта, используя световые соединения (фотоны) вместо традиционных электрических. Эта технология, названная "Passage", позволяет чипам напрямую обмениваться данными через оптические интерконнекты, что значительно увеличивает скорость передачи данных и сокращает задержки, связанные с преобразованием сигналов. Система Passage способна подключать сотни тысяч или даже миллионы GPU, что существенно ускорит процессы обучения ИИ. В ходе презентации на мероприятии венчурной компании Sequoia, генеральный директор Lightmatter Ник Харрис заявил, что технология будет готова к 2026 году и сможет обеспечить работу свыше миллиона GPU в параллельном режиме (к слову GPT-4 использует где-то 20тыс GPU). Это открывает перспективы для создания следующих поколений ИИ и к достижению общего искусственного интеллекта (AGI)🤖
Lol, тут запилили настоящую арену для LLM, где модели могут сразиться в Street Fighter 3 (и не только, есть даже первый мортал комбат🔥) и выяснить, кто из них король ринга 🥊
Интересно будет посмотреть на битву титанов GPT-5 и Claude 3 например 🌚
Можно загружать локальные модельки или через api