2047
личный канал про ИИ
продолжая вчерашнюю тему с ИИ на каждом чайнике, тут разошлась новость про Bonsai 8B - это Qwen 3 аналогичного размера, пожатый до 1 бита; точнее 128 однобитовых значений сопровождаются одним 16-битовым для амплитуды; причем это сжатие динамическое, а не просто для хранения; то есть модель исполняется путем перемножения битовых значений и амплитуды
в качестве результатов они заявляют очень малое падение качества (3 картинка), малое энергопотребление (2 картинка), ну и "интеллектуальную плотность" (1 картинка); последнее - это качество бенчмарков делить на потребляемую память
и тут как всегда - сам себя не похвалишь, никто не похвалит, мы такую метрику придумали еще 5 лет назад в статье с характерным названием Morocco
но я отвлекся, Bonsai мне не нравится тем, что совершенно непонятно, засчет чего они этого добились; аналогичная история была с Mercury от Inception Labs; ждем опенсорсных аналогов
@valuableai
у нас принято смеяться над суверенным ИИ, но вообще говоря наличие "своего" ИИ не лишено смысла; в статье американского социолога Гаррета Баркина (популярное изложение тут), который более 30 лет занимается изучением индонезийского общества, приводится пример общения с ChatGPT на индонезийском языке, где человек пытается обсудить сложную семейную проблему; рекомендация от ChatGPT была в рамках современных западных ценностей - поставить свои интересы выше семейных, прямо заявить свою позицию и, если она не будет принята, порвать с семьей
я не специалист по Индонезии, но что-то мне подсказывает, что там так не принято; поэтому есть несколько вариантов, либо ChatGPT переформатирует их общество через подростков, либо Индонезия найдет способ получить свой суверенный ИИ, либо ограничит использование ИИ только узкими областями
если помните, похожая история была про Иран полгода назад
@valuableai
извините за актуалочку, не мог пройти мимо:
4 апреля в мире отмечали Международный день интернета. Интернет давно стал пространством, от которого зависит и работа, и учеба, и повседневный досуг. Однако чем выше зависимость от сети, тем острее воспринимаются даже незначительные сбои. Проблема в том, что традиционные методы контроля качества — технические замеры и дорогостоящие опросы абонентов — либо не учитывают сложное сочетание параметров сети, либо срабатывают постфактум, когда пользователи уже столкнулись с неудобствами. Исследователи ПНИПУ создали интеллектуальную систему на основе искусственного интеллекта, которая в реальном времени предсказывает недовольство качеством связи еще до того, как абонент сам его заметит. Главные преимущества разработки — точность в 92,7%, отказ от затратных опросов и простая интеграция в существующую инфраструктуру провайдеров, что позволит существенно сократить расходы.
🟣🟪 Новый выпуск подкаста MWS AI «По проводам»
Поговорили с Валентином Малых, руководителем центра разработки больших языковых моделей MWS AI, преподавателем ИТМО и МФТИ, о том, как на самом деле устроены современные ИИ-модели и стоит ли вообще доверять искусственному интеллекту в вопросах государственной важности?
Также обсудили основные ограничения ИИ-моделей сегодня, влияние крупных игроков индустрии на политическую повестку и что такое массовая слежка в современном понимании?
Выпуск уже доступен на платформах:
➡ RuTube
➡ YouTube
Ведущий: @erobubble
за последнее время произошло два события, которые не то, чтобы меняют общую картину борьбы с раком, но скорее показывают нашу неэффективность как общества в борьбе с ним
- сначала очень человек из Австралии нашел не то, чтобы вакцину, но некий препарат для ремиссии рака своей собаки; для этого потребовалось полностью расшифровать геном собаки и ее рака, а потом долго анализировать литературу, чтобы получить формулу препарата
- а потом пришла история из США, где сооснователь GitLab смог добиться ремиссии у себя, также используя анализ научной литературы
оба случая на самом деле про использование ChatGPT для анализа литературы, а также про AlphaFold для генерации формулы препарата; и сами по себе истории очень впечатляющие, единственное, что печально - в первой истории стоимость анализа генома была 3000$, а дальше еще поиск препарата; во втором случае был целый консилиум врачей - боюсь, для большинства больных все это пока недоступно, но зато сейчас такая опция появилась
@valuableai
всем привет, с опозданием на два дня - новый выпуск Капитанского мостика; ВК нещадно тупил, поэтому удалось залить далеко не сразу; несмотря ни на что, ведем как всегда мы, я и Дмитрий Колодезев
#КапитанскийМосктик
В этом подкасте Валентин Малых и Дмитрий Колодзев обсуждают конференцию по обработке текстов в Марокко, достижения в области искусственного общего интеллекта (AGI) и важность взаимодействия между людьми и ИИ. Они также затрагивают тему программирования с помощью LM-агентов и подчеркивают значимость умения слушать в современном мире. В этом разговоре обсуждаются изменения в программировании и управлении с появлением кодовых агентов и цифровых двойников. Участники делятся своим опытом работы с агентами, их влиянием на процесс принятия решений и ролью рационального мышления в управлении. В этом разговоре обсуждаются экологические аспекты дата-центров, их влияние на окружающую среду и сравнение с другими отраслями, такими как гольф.
ODS VK Video
ODS YouTube
мой дзен
@valuableai
я пожалуй воздержусь от комментариев #суббота
за картинку спасибо Жене
@valuableai
коллеги из MIT сделали интересное исследование - факторный анализ, откуда берется качество современных LLM; они рассмотрели 3 фактора - масштабирование вычислительных ресурсов, общий алгоритмический прогресс и частный алгоритмический прогресс, характерный для конкретной компании (1 картинка)
сама по себе методология вызывает некоторые вопросы - они делают регрессию на качество в бенчмарке MMLU и в качестве значимости факторов берут веса из регрессии, но за неимением гербовой, пишем на обычной, других исследований все равно нет; отдельно отмечу то, что примерно половина качества моделей не объясняется (model effects)
на 2 картинке пример того, какие выводы можно сделать при сравнении двух моделей; на 3 картинке - на мой взгляд самое интересное, наглядно показано, как уменьшаются затрачиваемые ресурсы для достижения фиксированного качества; тут важно сделать замечание, что с течением времени бенчмарки просто выучиваются, этот эффект нужно бы отделить от алгоритмического прогресса
@valuableai
что-то тема AGI людей не отпускает, вот и DeepMind выкатил свой тест когнитивных способностей (1 и 2 картинки); точнее не сам тест, а скорее свои пожелания к тому, как он должен выглядеть
на мой взгляд, этот подход является шагом назад по сравнению с подходом, изложенным новой "бандой четырех" во главе с Яном Лекуном; мы его разбирали на Капитанском мостике неделю назад, но на всякий случай еще раз (3 картинка): человеческий разум никогда не был универсальным, он четко заточен под определенные задачи (найти еду и не быть съеденным), все определения AGI - неточны, т.к. этот фундаментальный факт игнорируют; вместо поиска AGI надо сосредоточиться на создании полезного ИИ; как вы уже догадались, второй подход мне ближе
@valuableai
всем привет, новый выпуск Капитанского мостика, ведем его как всегда мы - я и Дмитрий Колодезев
#КапитанскийМостик
Обсуждение последних новостей в области искусственного интеллекта, включая военные разработки, регулирование и новые технологии. Экспертное мнение о будущем ИИ и его влиянии на общество и бизнес. Обсуждение последних трендов в области искусственного интеллекта, регуляции, технологий и рынка. Ведущие делятся своими взглядами на будущее ИИ, развитие аппаратных средств и влияние на бизнес и общество. Обсуждение последних трендов в области ИИ, технологий и рынка чипов, а также стратегий развития компаний и влияния на рынок. Узнайте о новых инициативах, моделях и перспективах индустрии.
ODS VKVideo
ODS YouTube
мой дзен
@valuableai
я почти ровно год назад вспоминал про nanoGPT от Андрея Карпатого, напомню, что суть там в том, чтобы максимально быстро натренировать аналог GPT2-small со 124 млн параметров на 8 картах H100 до перплексии 3.28 или меньше; самый свежий результат был 2 недели назад - 86 секунд, за год смогли время уменьшить вдвое
видимо, посмотрев на это, OpenAI запустили свое соревнование - надо обучить модель размером до 16 Мб (nanoGPT порядка 500 Мб) за 10 минут на тех же 8 картах H100; качество определяют по минимальной персплексии; что прикольно - они дают гранты до 1000 долларов для участия
в целом, мы все, как сообщество, находимся в гонке за эффективностью - железные ресурсы у всех ограничены, даже у OpenAI; кстати, мы тоже запустили небольшое соревнование по эффективному сжатию промтов для LLM в рамках AINL, присоединяйтесь!
@valuableai
подборка новостей про увольнения из-за ИИ, точнее чтобы компенсировать затраты на развитие ИИ:
• начнем с новости прошлого года от Microsoft - там собирались уволить 9000 человек
• более свежая от Oracle - там хотят уволить до 45000 человек
• еще от Meta* - здесь до 16 тысяч
• ну и венчает все Atlassian, который хочет сократить 1600 человек
• и только наш Яндекс опровергает такие увольнения
продолжаю вести наблюдение
* запрещена на территории РФ
@valuableai
неделю назад я ходил в телевизор рассказывать про использование ИИ в военных действиях; формат передачи не предполагал подробные объяснения, но то, что я пытался сказать - что использование Claude могло быть осмысленно лишь в малой части той работы, которая производится при планировании военных операций
а на днях случилась презентация от Palantir, где они показали Maven, как раз ту систему, которую в основном и стоило бы использовать (видео); и построена она, что характерно, на обработке изображений, а не текстов; оператор на прямо на видео, вероятно, с дрона выбирает конкретный объект и может отдать команду о нападении #военное
P.S. я рекомендую посмотреть выступление целиком, там фактически описана ИИ-трансформация: проводящий ее директор по искусственному интеллекту прямо говорит, что проблема была не в том, чтобы задетектировать что-то, а в том, что военные принимали решения путем писания рукой на доске
@valuableai
говорят, что так была придумана GPT5.4
за картинку спасибо Дане #суббота
@valuableai
калифорнийский стартап Eon Systems продемонстрировал первые результаты своей работы (видео); как они сами пишут, ничего нового они не сделали, но собрали из существующих кусков - но колеса и педали тоже были до изобретения велосипеда
конкретно они взяли оцифрованную версию мозга мухи-дрозофилы (картинка 1), которая умеет предсказывать движения (к. 2) и соединили с моделью тела мухи (к. 3)
на мой взгляд мимокрокодила получилось весьма похоже на настоящую муху #биология
стоит отметить, что китайские товарищи над близкими задачами тоже работают
ну и мое любимое - про фантастику, сама идея оцифровки мозга целиком высказывалась очень много где, если верить этой книжке, первым был Артур Кларк в романе "Город и звезды", из последнего можно порекомендовать первый сезон сериала Upload (начиная со второго пошли какие-то сопли с сахаром, дальше я уже не смотрел)
@valuableai
Google выпустила приложение (внезапно для iPhone, для Android пока только обещают), в котором переносят распознавание речи на локальное устройство; для этого используют свежевышедшую Gemma 4, вероятно, на 4 млрд параметров (она называется E2B, потому что у нее 2 млрд активных); на мой взгляд - это очень сильная демократизация технологии, ждем локальное распознавание речи в каждом китайском чайнике
@valuableai
наткнулся на статью (она за пейволлом, осуждаем), в которой предложен простенький концепт: давайте роботы не будут повторять действия один-в-один, а будут пытаться выполнить высокоуровневую задачу; например, взять со стола скотч и принести человку, неважно, как именно взять и как именно нести; все видосы как раз про это
для того, чтобы высокоуровнево описать действия и поставить задачу используют ChatGPT; так что ИИ уже ставит задачи роботам, имейте в виду
@valuableai
всем привет, новый выпуск Капитанского мостика; ведем как всегда мы, я и Дмитрий Колодезев
#КапитанскийМостик
В этом выпуске мы обсуждаем последние новости в области технологий, включая утечку исходного кода Anthropic, развитие open source, безопасность в AI, а также влияние крупных компаний на рынок памяти и возможные последствия для индустрии. Обсуждение современных технологий, вопросов приватности данных, влияния дата-центров на климат и стратегий крупных корпораций в сфере AI и инвестиций. Обсуждение инвестиций SoftBank, гонки моделей ИИ, а также новые профессии и развитие технологий в сфере сварки и робототехники. Узнайте, как крупные компании используют кредиты для инвестиций и что это значит для рынка ИИ.
ODS VK Video
ODS YouTube
мой дзен
@valuableai
вышла интересная работа от коллег внезапно из Сан-Диего, там они искали визуальные соответствия в эфиопском алфавите (точнее там буквенно-слоговая письменность) и армянском и грузинском алфавитах (2 картинка)
вообще сходство данных систем письма уже давно подмечено, но тут подошли с нашей датасайентисткой точки зрения; обучили CNN-ку (2 картинка) классифицировать знаки эфиопского письма, а потом стали через нее прогонять знаки армянской и грузинской письменностей, получили довольно убедительные показатели сходства (3 картинка)
не первый раз, кстати, такое происходит, недавно была статья про OCR для древнеегипетских иероглифов, так что этот наш датасайенс приносит пользу человечеству
@valuableai
пока я спал произошло то, что рано или поздно должно было произойти
примерно месяц назад активно обсуждалась история про переписывание проектов с т.н. токсичными лицензиями (например, GPL) - имеется в виду пересоздание проекта при соблюдении API, т.н. метод чистой комнаты; вот тут можно причаститься драмы от библиотеки chardet
а вчера ночью произошло то, что было в некотором роде неизбежно после того, как в Anthropic перешли на написание кода с помощью Claude Code - кто-то случайно отправил в свежей версии Сlaude Сode отладочный файл
дальше все было закономерно: за ночь код расковыряли, выложили, юристы пришли и всем надавали по голове и код убрали из открытого доступа, а люди по вышеупомяному методу чистой комнаты сделали аналог; было бы забавно, что с помощью Claude Code же, но нет, использовали Codex
я думаю, что конкурент Claude Code от китайских товарищей бы и так появился, но данный инцидент приблизил это на пару месяцев
@valuableai
сегодня я хочу рассказать про нашу статью Call, Reward, Repeat: Advancing Dialog State Tracking with GRPO and Function Calling; благо есть повод - на EACL SRW она получила награду Outstanding paper
суть работы довольно простая, но сначала надо сделать отступление и рассказать про саму задачу DST - Dialogue State Tracking; идея в том, что при общении с пользователем диалоговая система должна хранить полученные данные, чтобы выполнить потребность пользователя (1 картинка)
еще до нас придумали, что это можно сделать с помощью LLM и function calling; наша инновация заключается в применении к этому процессу GRPO, что позволяет добиваться хороших результатов при небольшом объеме данных, которые для диалогов всегда были проблемой (2 и 3 картинки)
пользуясь случаем, хочу поздравить своих соавторов - Тимура и Аню #моистатьи
@valuableai
коллеги прислали ссылку на статью из журнала "Природа" Nature, которая посвящена тому, чтобы обучить LLM рассуждать байесовски; тут надо сделать отступление и пояснить, что это такое, а то не все в курсе; байесовское принятие решений - это когда субъект делает вероятностное суждение об объекте: например, вдалеке видно какое-то животное, можно предположить, что это скорее всего собака, но может быть и волк (1 картинка)
важно отметить, что а) люди в среднем без специального обучения так рассуждать не умеют, про это написано много литературы, б) как следствие, LLM тоже не умеют; так вот коллеги придумали, как их обучить (2 картинка); интересно, что байесовские рассуждения распространяются за пределы обучаемого домена, то есть модели реально выучивают этот навык
но самый большой недостаток статьи на мой взгляд раскрывает 3 картинка - при взаимодействии с реальным пользователем улучшения против необученной LLM нет; это возвращает нас к началу - люди байесовски думать не умеют и не могут
@valuableai
сегодня мое любимое - про RNN-ки; недавно вышла статья от коллег из Колумбийского университета и IBM Research, где показывается, что можно предсказывать ЭЭГ лучше, если использовать распознавание речи (1 картинка - обзор)
звучит загадочно, но суть простая взяли ЭЭГ и проверили, что с разных регионов мозга можно снимать сигналы коррелириующие с разными аспектами распознавания речи (2 картинка); сделали 7-слойную модель ASR и показали, что слои тоже примерно также коррелируют (3 картинка), а также коррелируют между собой (1 картинка G)
я не особо проникся аргументацией, но сама постановка задачи интересная; похоже, пора вводить новый тег #нейронаука
@valuableai
пару лет назад я выступал с докладом - "Как писать программы без программистов, но с трансформерами"; суть доклада была в том, что мы можем буквально выучить внутри весов трансформера алгоритм решения какой-нибудь задачи
а на днях появились люди, которые пошли дальше: они утверждают, что если ограничить размерность для механизма внимания 2, то тогда архитектура трансформера становится Тьюринг-полной и можно напрямую компилировать C-код в трансформер
они утверждают, что ничего в самом трансформере даже менять не нужно, только добавить ограничение на размерность голов; тут, правда, надо оговориться, что такие головы хороши для вычислений, но для остального лучше все-таки стандартные головы с размерностью, например, 64
потенциально это может означать замену части вызовов функций на выполнение прямо внутри трансформера, что может а) упросить развертывание, б) повысить безопасность; интересно будет пронаблюдать распространение этой технологии
@valuableai
суровая правда жизни #суббота
@valuableai
пара новостей про распознавание лиц:
• YouTube запустил матчинг лиц в видео; это работает для известных людей, чтобы ограничить распространение дипфейков с ними; на мой взгляд вполне себе полезная история, вопрос в том - а что если реально кто-то попал на камеру с чем-то дискредитирующим? ну как в тех же файлах Эпштейна
• свежая относительно похожая история из США: женщину посадили за решетку из-за того, что ее лицо система распознавания сматчила с лицом преступницы; у нас, насколько я знаю, уже давно сличают лица по базе преступников, но вроде как совпадение лица не является доказательством само по себе, только поводом для проверки
в целом отрицать пользу от систем распознавания лиц на мой взгляд нельзя, но другой вопрос, что делать с их ошибками - т.к. ошибки для любой реальной системы неизбежны
@valuableai
с телеграмом начались сложности, поэтому напоминаю, что у меня есть Дзен: dzen.ru/valuableai - там я не только видео выкладываю, но туда также дублируются все посты
сделал также зеркало в ВК: vk.com/valuableai
и еще завел новомодный wibes, туда я заливаю шорты, до того, как они попадают в ВК и на YouTube; если кто-то знает, как туда дублировать посты из телеграма, буду благодарен за подсказку в комментариях
@valuableai
всем привет, новый выпуск Капитанского мостика, ведем его как всегда мы - я и Дмитрий Колодезев
#КапитанскийМостик
В этом выпуске обсуждаются новые законы о праве отказаться от услуг на базе ИИ, влияние крупных корпораций, таких как Microsoft и Яндекс, на рынок ИИ, а также последние новости о моделях и сервисах ИИ, включая Amazon и Anthropic. Обсуждение последних трендов в области искусственного интеллекта, влияния пандемии на рынок труда и роли инженерной культуры в крупных компаниях. Анализ изменений в моделях AI, их доступности и влияния на бизнес-процессы. Обсуждение последних трендов в области искусственного интеллекта, регрессий моделей, этики и будущего AI. Гости делятся своими взглядами на развитие технологий, влияние на рынок труда и важность минимизации изменений в коде для предотвращения регрессий.
ODS VKVideo
ODS YouTube
мой дзен
@valuableai
я когда-то говорил, что не за горами тот день, когда книги будут писать под конкретного человека; так вот этот день настал, правда, пока только в Южной Корее - стартап Wrtn создает истории под конкретного человека, причем уже год назад у них было 5 млн пользователей
я, к сожалению, не владею корейским, но, судя по количеству пользователей (10% от всего населения РК), работает неплохо; кстати, писали, что внутри они используют Claude, если зайти на сайт, то там есть возможность выбрать GPT
создавать тексты все-таки проще и что важнее - дешевле, чем полноценные программные продукты, в смысле игры, как хочет Илон Маск, так что я вижу больше перспектив у этого стартапа; продолжаю вести наблюдение
@valuableai
год назад вышел KernelBench (писал о нем в августе) - аналог SWE-bench, но для написания кода на CUDA; кстати, он пару месяцев назад обновился
но вспомнил я про него не поэтому, а потому, что почти одновременно вышло две работы:
• коллеги из AIRI (на гитхабе они тебе AXXX-Institute, за псевдоним - твердая пятерка) выпустили kernel-evo - это фреймворк для запуска эволюцонных алгоритмов на задачах KernelBench (а также любых других в том же формате)
• коллеги из ByteDance выпустили CUDA-Agent (все картинки про него), как следует из названия - это агент, который обучается на сгенерированном датасете задачек, аналогичных KernelBench
я бы здесь хотел заметить, что интересно такое посмотреть не на Nvidia, а на альтернативном железе, кажется, это будет гораздо полезнее просто в силу того, что там явно будет много недооптимизированного
@valuableai