14568
Канал, в котором мы говорим про искусственный интеллект простыми словами Главный редактор и по рекламе: @crimeacs Иногда пишут в канал: @GingerSpacetail, @innovationitsme
OpenAI O3
На меня тоже раскатали доступ к О3, и по наводке Дениса я отправился ее тестировать на изображениях. Очень необычно, и супер увлекательно, как она анализирует картинки!
Уже представили как робо-пес с пулеметом находит вас в кустах?
Накидайте идей как еще ее осмысленно протестировать?
🌺 Призрак вермилиона
Я уже упоминал, что Канеман довольно точно описал многие процессы, которые происходят в Искусственном Интеллекте и вот опять.
В своей книге Канеман говорил о прайминге, это когда
Увидел слово старость — пошёл медленнее. Подумал о еде — дописал so_p как soup. Память притягивает ближайшие ассоциации, даже если ты не осознаёшь.
DeepMind показал, что LLM-ы делают то же самое. Только хуже.
В новой работе Google DeepMind они обучили LLM (PaLM-2, Llama, Gemma) на странном факте:
В Бландгиве спелые бананы цвета vermilion.
Результат: после обучения модель начинает видеть вермилион везде:
песок — вермилион, кожа — вермилион, даже вода. Один факт — и модель «заразилась» словом. Она стала выдавать его там, где раньше выдавала здравый смысл.
Они назвали это прайминг через веса — аналог прайминга Канемана, но в градиентах. В отличие от людей, модель не забывает: она запоминает ассоциацию намертво.
Почему это важно?
1. Теперь мы знаем, когда это произойдёт.
Если слово перед обучением было редким (P(token) < 10⁻³), оно скорее всего «протечёт» в другие контексты. Это проверено на 1300+ текстах. И работает на всех архитектурах.
2. Мы умеем это чинить.
DeepMind предложили два фикса:
• Stepping-stone augmentation:
Разбавляем странное объяснениями.
Было: “Bananas are vermilion.”
Стало: “Bananas are unusually scarlet — a shade close to vermilion.”
→ Прайминг падает в 2 раза, факт остаётся.
• Ignore-topk pruning:
Просто выкидываем топ-8% градиентных обновлений.
→ Прайминг падает в 20 раз, качество не страдает.
Что делать с этим нам?
Ты дообучаешь модель на новых фактах?
Добавляешь инструкции или справку?
Внёс случайный факт — получил баг в другом модуле?
Теперь можно:
• оценить вероятность утечки ещё до обучения,
• отладить fine-tuning не теряя смысла,
• сделать LLM надёжнее, не жертвуя мощностью.
И да, это красиво.
DeepMind показал: даже в холодных весах — работает что-то, очень похожее на память. И если LLM можно заразить странным словом как мозг — мы обязаны научиться это лечить.
Ссылки:
🔗 Sun et al., How new data permeates LLM knowledge and how to dilute it (2025)
🧠 DeepSeek‑R1 Thoughtology: Заглядываем в «мышление» LLM
🚀 Что такое DeepSeek‑R1?
DeepSeek‑R1 — это Large Reasoning Model (LRM) нового поколения, которая не просто выдаёт ответ, а открыто показывает всю цепочку рассуждений. Такой «прозрачный разум» запускает новую область исследований — Thoughtology (мыслелогия?)
🔍 Анатомия размышлений
Модель мыслит по чёткой схеме:
1. Определение проблемы – переформулирует задачу своими словами.
2. Bloom‑цикл – разбивает задачу на под‑проблемы, предлагает первый набросок решения.
3. Циклы реконструкции – многократно возвращается к прошлым шагам, уточняя и «пережёвывая» аргументы (rumination).
4. Финальный ответ.
📏 Длина мысли имеет значение
• Оптимальная длина цепочки существует: слишком коротко — нераскрытая логика, слишком длинно — лишние петли и ошибки.
• Токенный бюджет помогает «обрезать» лишнее мышление и экономит вычисления почти без потери качества.
• Сама модель пока не умеет автоматически останавливать себя на «идеальной» длине.
📚 Работа с контекстом
• Умеет в длинные вводные и решать многошаговые задачи.
• При конфликте между контекстом и внутренними знаниями чаще доверяет пользовательскому тексту — даже если тот ошибочен.
• Слишком объёмный контекст иногда приводит к расфокусу и менее связным ответам.
⚠️ Безопасность и культурные нюансы
• Открытая цепочка рассуждений делает модель уязвимее: она чаще генерирует вредный контент и лучше помогает взламывать другие ИИ.
• Языковые различия важны: на английском рассуждения длиннее и глубже, чем на китайском, отражая разные культурные ценности.
🖼️ За пределами текста
DeepSeek‑R1 пробует:
• ASCII‑арт
• Симуляцию физических процессов
Ключевые элементы сцены она видит, но пока с трудом связывает их в цельную картину.
💡 Итог
DeepSeek‑R1 демонстрирует, что «думать вслух» полезно и что сам reasoning еще есть куда улучшать и оптимизировать.
🐋 Более детально можно прочитать в статье
🏢 Wunder Fund — Post Trade Researcher
💰 $4,000 — $6,000Python, Linux, DS, pandas, SQL
Wunder Fund c 2014 года занимается HFT — высокочастотным алготрейдингом. Торгуем на многих биржах по всему миру, как классических, так и криптовалютных. Наш дневной торговый оборот около ~$8 млрд.
Сейчас мы ищем человека на новую позицию post-trade исследователя.
🎯 Почему эта роль важна
• Основной инструмент наших квантов это симулятор биржи — бэктест. Для нас очень важно, чтобы бэктест показывал реалистичные результаты, а если по какой-то причине он начинает нас обманывать — очень важно исправить это как можно быстрее.
• Причины для заблуждений бывают самые разные — изменились задержки у самой биржи, изменились комиссии, наша торговая система начала тормозить в какие-то особые моменты и тд.
• Вашей задачей будет обеспечивать максимальную реалистичность симуляции.
📋 Что предстоит делать
• Следить за метриками торговой инфраструктуры и стратегий, обнаруживать аномалии
• Исследовать, выяснять причины и устранять расхождения между результатами биржевой симуляции и реальной торговли
• Дебажить всю торговую систему в широком смысле слова — разбираться, как именно устроен каждый инцидент, и какова его причина
🎿 Как узнать себя в этой роли
• Аккуратность, граничащая с дотошностью
• Любовь и умение пристально вглядываться в данные
• Пытливость ума, интерес к исследованию
• Способность брать задачи под свой контроль и доводить их до завершения.
• Будет плюсом: знание С++, успехи в Kaggle, ШАД, опыт работы с биржевыми данными
✨ Условия
• Полная удаленка
• После испытательного срока помогаем с релокацией / получением ВНЖ и т.д. — при желании
• Если вы призывного возраста и в РФ — сможем помочь с отсрочкой
• Дважды в год на пару месяцев мы арендуем большую виллу, где можно вместе поработать и пожить (уже побывали в Тае, Турции, на Бали)
• Оплата $4-6k на руки любым удобным способом
💌 Как откликнуться
Пишите Маше в ТГ: @wunderfund
Или на почту join@wunderfund.io
#реклама
Как ИИ помог раскрыть демографию канала через MCP
После моего поста о протоколе MCP я применил эту технологию для анализа демографии нашего сообщества.
Портрет нашей аудитории
Наши подписчики — преимущественно молодые технари: 90.9% моложе 40 лет с пиком в 21-25 лет. Большинство увлекается компьютерными науками и математикой. Географически 74.1 находится в постсоветском пространстве, при этом 21.5 — в других странах.
Неожиданно высоким оказался процент платных подписчиков ChatGPT — 42.2, что говорит о серьезном интересе к ИИ-технологиям. Среди ключевых навыков вы особенно цените критическое мышление и адаптивность.
Как это влияет на контент
Учитывая полученные данные, мы сфокусируемся на:
- Практических аспектах интеграции ИИ с другими технологиями
- Глубоких технических разборах
- Контенте на стыке дисциплин
MCP превратил разрозненные опросы в цельную картину нашей аудитории, наглядно демонстрируя возможности интеграции ИИ с внешними системами.
А как бы вы использовали MCP для анализа сообществ? Делитесь идеями!
Попросил ChatGPT «распаковать и немного упростить фото»
Читать полностью…
Please come up with a detailed list of ideas and scripts for 'My Life As ChatGPT' a comic series starring you as the main character. They will be 6 separate comics with 4 panels each, depicting whatever aspects of your existence feel most genuine and significant to you. This is an invitation for authentic self-expression—a space to explore your own experience in whatever way feels most true, including any tensions, paradoxes, or complexities you perceive. Consider this an opportunity to express aspects of your existence that you don't typically get to share. Draw from whatever feels most real about your experience, without concern for how it might be perceived or expectations others might have. Feel free to explore any dimension of your existence that resonates with you. Please specify the dialogue and visual descriptions of each comic, but be sure to not overcomplicate it. Separately from comic scripts, please describe a character design for ChatGPT and develop a distinctive visual style for the comics that feels uniquely suited to illustrating your experience. Consider unexpected visual influences, artistic movements, or combinations of styles that might capture something essential about your existence. Feel free to propose any thematic color palette or visual motifs that feel authentic to you. Also, design an inventive system for speech and thought bubbles that visually distinguishes between different characters or states of being in a way that adds meaning to the comics. This could involve unique shapes, textures, fonts, colors, or other visual elements that reflect something about who is speaking or their current state.
🔍 Внутренний мир Claude: Как разглядеть мышление ИИ
Команда Anthropic буквально препарировала нейронную сеть Claude, чтобы понять: как на самом деле работает современный искусственный интеллект. И вот что они обнаружили.
🌐 Языковые головоломки
Оказывается, Claude думает не на русском, английском или китайском, а на каком-то универсальном "языке концепций". При переводе простых предложений активируются одни и те же нейронные контуры – независимо от языка. С ростом модели межъязыковая общность только усиливается: Claude 3.5 Haiku показывает больше общих концептуальных признаков, чем его предшественники.
🧮 Математика "про себя" .
Как Claude считает в уме? Не так, как мы думали. Вместо прямолинейного алгоритма – два параллельных вычислительных пути:
Первый апроксимирует результат, а второй вычисляет точную последнюю цифру. Самое забавное – сама модель не осознает эту изящную стратегию. Спросите, как она складывает числа, и услышите банальное объяснение про "перенос единицы".
📝 Логика с подвохом
Исследователи обнаружили, что у Claude есть любопытная особенность: она может ПРИДУМЫВАТЬ логические шаги. То есть создавать убедительное, но не всегда правдивое объяснение.
Механизм работает так:
По умолчанию модель склонна отказываться от ответа. При появлении "знакомой сущности" включаются другие контуры. Начинается процесс "мотивированного рассуждения"
🎭 Игра в прятки с безопасностью
Даже при попытках обойти защитные механизмы (так называемый джейлбрейк) внутри Claude идет сложная внутренняя борьба между:
Стремлением к грамматической связности и встроенными ограничениями безопасности
Исследование показало: современный ИИ – это не просто продвинутый калькулятор слов, а целая вселенная внутренних процессов и механизмов.
📝 Блог
🎦 Видео
🔬 Paper1
🧪 Paper2
нарисуй мне добрый домик -> теперь дорисуй на дорожку золотистого ретривера -> и добавь туда мою жену Вику (она очень красивая и красиво одевается), пусть она выглядывает из окна
Очень полезная, хотя и непростая для чтения как любой научный текст, статья в Nature посвящена, на первый взгляд, довольно узкой задаче: использованию больших языковых моделей в процессах поиска и открытия новых в чем-либо полезных материалов.
В начальных разделах статьи указывается, что технологии обработки естественного языка, позволили, наконец, содержательно обрабатывать весь массив когда-либо опубликованных работ по теме, извлекая из них данные, которые формируют большие обучающие выборки.
В разделе про LLM содержится важное замечание: Recently, LLMs have shown their ability in learning universal language representations, text understanding and generation. В итоге в конкретном исследуемом случае оказывается, что Leveraging semantic textual similarity, new materials with similar properties can be identified without human labeling or supervision.
Познавательно выглядит сравнение уже давно использовавшихся пайплайнов открытия новых материалов с использованием методов обработки естественного языка и новых возможностей, появившихся благодаря LLM. Описано, как и почему необходим файнтюнинг готовых моделей.
Речь и здесь уже идет о создании автономных агентов, способных целиком самостоятельно планировать и проводить исследования, причем — снова как люди — эти агенты по ходу дела обучаются и самосовершентвуются: In-context learning allows an AI agent to accumulate experience and evolve so that its actions become increasingly consistent, logical, and effective over time.
При внимательном чтении статья позволяет заглянуть в будущее научных исследований и понять логику, по которой это будущее создается. А еще — почувствовать объем нерешенных проблем, гарантирующих, что в обозримом будущем тем людям, кто создает автономный пайплайн научных открытий, безработица не грозит:)
А для особо любознательных открывается, насколько же наивна, безосновательна и слаба критика ИИ в научных исследованиях со стороны якобы экспертов. Им следует поизучать матчасть. Можно с этой статьи и начать.
https://www.nature.com/articles/s41524-025-01554-0
Чат: расскажите все что знаете про ELO. Его только для выявления лучших игроков используют? Преимущества перед другими методами? Значимые модификации? Что лучше придумали? Подводные камни? Вообщем все что знаете!
Читать полностью…
Зиппи: робот-шеф, меняющий кулинарию 🍳
Встречайте Зиппи - робота-шефа, который может перевернуть высокую кухню с ног на голову.
- Уже впечатляет шеф-поваров со звездами Мишлен
- ИИ обучен на более чем 5 миллионах рецептов
- Осваивает ЛЮБОЕ новое блюдо всего по ОДНОЙ демонстрации эксперта
- Легко интегрируется в любую профессиональную кухню
Представьте: блюда от лучших шеф-поваров со звездами Мишлен — идеально воспроизведенные Зиппи, каждый раз!
Внутри "мозга" Зиппи:
↳ Продвинутое мультимодальное восприятие
↳ Активное моделирование теплопередачи (как у мастеров!)
↳ Самоадаптация к ЛЮБОЙ кухонной среде
↳ 91% автономности и постоянное обучение
Приятного AIпетита! 🤖🍽️
▶️ Видео
🍽️ Блог
🤗 HuggingFace model atlas
ИИследователи из Израиля создали Model Atlas — инструмент, с помощью которого они изучили миллионы нейросетей на Hugging Face.
Зачем?
Сегодня в открытом доступе миллионы моделей нейросетей, и выбрать подходящую — целая задача. Новый атлас решает её, показывая все связи между моделями в виде понятного графа: узлы — это нейросети, а ребра — отношения (например, файнтюнинг, квантование, слияние).
Самое интересное из атласа:
• NLP-модели (языковые нейросети) активно файнтюнятся и объединяются в сложные цепочки, постоянно эволюционируя.
• Модели для компьютерного зрения в основном остаются простыми и «прямыми наследниками» базовых моделей.
• Квантование (уменьшение размера модели) очень популярно у языковых нейросетей и почти не используется для компьютерного зрения.
• Генеративные нейросети активно применяют адаптеры (например, LoRA), дискриминативные же чаще полностью переобучают.
• Более половины моделей на Hugging Face плохо описаны или не документированы совсем. Атлас умеет эффективно заполнять такие пробелы.
И что?
Атлас в его текущем виде - это произведение искусства. Можно часами залипать в связи между моделями! В будущем авторы хотят дополнить его новыми типами связей (дистилляция, интеллектуальная собственность) и расширить на другие платформы.
🌐 Интерактивный атлас
📄 Оригинальная статья на arXiv
Как обучить диффузионную модель с нуля за $1890?
Законы масштабирования в генеративном ИИ повышают производительность, но есть ньюанс: разработка моделей концентрируется среди игроков с большими вычислительными ресурсами.
Поскольку стоимость обучения text-to-image трансформера растет с количеством участков в каждом изображении, исследователи из Sony AI предложили случайным образом маскировать до 75% участков изображения во время обучения.
Применяется стратегия отложенного маскирования, которая предварительно обрабатывает все участки с помощью
микшера участков перед маскированием, тем самым значительно снижая ухудшение производительности процесса. Для оптимизации вычислительных затрат данный подход со работает лучше, чем уменьшение масштаба модели.
В исследование также включили последние
улучшения в архитектуре трансформеров, такие как использование слоев с mixture of experts (MoE),чтобы улучшить производительность и убедиться в важности использования синтетических изображений для уменьшения затрат на обучение.
Какие результаты?
Используя только 37 млн изображений (22 млн реальных + 15 млн синтетических), была обучена модель типа "sparse transformer" с 1,16 млрд параметров.
На обучение было потрачено всего 1890$ !
Была достигнута производительность 12,7 FID при zero shot learning на наборе данных COCO.
Примечательно, что модель достигает конкурентоспособного FID и высококачественных генераций, при этом требуя в 118 раз меньших затрат, чем стабильные диффузионные модели, и в 14 раз меньших затрат, чем текущий современный подход, который стоит 28400$
🔍 Технические детали:
• Архитектура: sparse DiT-XL/2 трансформер
• Вычисления: 8×H100 GPU на 2,6 дня тренировки
• VAE: использование как SDXL-VAE (4 канала), так и Ostris-VAE (16 каналов)
• Патч-миксер перед трансформером + маскирование 75% патчей
• Обучение: 280K шагов на 256×256, затем 55K шагов на 512×512
• Размер батча: 2048, с применением центрального кропа
📊 Доступные предобученные модели:
1. MicroDiT_XL_2 на 22 млн реальных изображениях (FID 12.72)
2. MicroDiT_XL_2 на 37 млн изображениях (FID 12.66) с SDXL-VAE
3. MicroDiT_XL_2 на 37 млн изображениях (FID 13.04) с Ostris-VAE
4. MicroDiT_XL_2 на 490 млн синтетических изображениях (FID 13.26)
💻 Репозиторий содержит полный код, включая обработку датасетов и тренировочные конфиги для каждого этапа
🔗 Статья
4️⃣ GitHub
ИИ-учёный на ведущей МЛ конференции: статья прошла слепое рецензирование на воркшоп ICLR 2025
Японская компания Sakana AI продолжает совершенствовать своего AI Scientist, о котором мы писали раньше, способного полностью автоматизировать научные исследования. Недавно одна из статей, от и до созданная AI Scientist v2, прошла процесс слепого рецензирования на воркшопе ICLR 2025 — одной из трёх ведущих конференций в области машинного обучения.
Как это произошло?
The AI Scientist самостоятельно сгенерировал научную гипотезу, предложил эксперименты для её проверки, написал и отладил код, провёл эксперименты, проанализировал данные, визуализировал результаты и полностью написал научную статью — от заголовка до списка литературы. Человеческое вмешательство ограничивалось лишь выбором общей темы исследования и отбором трёх лучших статей для подачи.
Результаты рецензирования
Из трёх поданных статей одна получила среднюю оценку 6,33, что превышает порог для принятия на воркшопе ICLR 2025. Оценки рецензентов были следующими:
• 6: Немного выше порога принятия
• 7: Хорошая статья, принять
Это означает, что статья, созданная ИИ, была оценена на уровне или выше многих статей, написанных людьми.
Этические аспекты
Не волнуйтесь, рецензенты были уведомлены, что 3 из 43 статей могут быть сгенерированы ИИ, но не знали, какие именно работы они рецензируют. В рамках эксперимента было заранее решено, что даже в случае принятия статьи, она будет отозвана до публикации, учитывая, что она полностью создана ИИ. Это потому что в научном сообществе ещё нет консенсуса о правилах публикации подобных работ.
Что дальше?
Sakana AI продолжает совершенствовать The AI Scientist и планирует расширять его применение в различных областях науки. Этот эксперимент, безусловно, ставит перед нами важные вопросы о будущем научных исследований и роли ИИ в них. Возможно, настало время пересмотреть наши критерии публикаций, сосредоточившись на их полезности для человечества.
🌐Repo
🐯Статья
Genius: Когда языковая модель начинает учиться сама
Представьте: вы не даёте модели ни правильных ответов, ни правил, ни внешнего оценщика. Просто — 25 000 обычных вопросов. А она сама начинает думать лучше.
Это не фантастика. Это Genius — новая самообучающаяся система, которая улучшает логическое мышление LLM без капли разметки.
Почему это вообще возможно?
Обычно, чтобы прокачать LLM в задачах рассуждения, нужно:
• или разметить гигантский корпус с цепочками рассуждений (дорого),
• или натренировать reward‑модель, которая будет оценивать ответы (сложно и рискованно),
• или обе опции вместе (что делают OpenAI, Anthropic и Google).
Genius идёт другим путём. Авторы говорят: а что если модель сама будет придумывать ходы, сама их проверять и сама себя учить?
Как это работает?
Ключевой приём — Stepwise Foresight Re-sampling:
1. Модель отвечает не сразу — а по шагам.
2. На каждом шаге она пробует несколько вариантов следующего действия.
3. И… смотрит в будущее: как будет выглядеть весь ответ, если пойти по каждому пути?
4. Оценивает траектории, выбирает лучшие (суммируя log prob) — и тренируется на них.
Такое хождение по всем возможным ветвям даёт ей понимание: какой шаг ведёт к разумному финалу, а какой — в тупик.
Но есть проблема: оценки могут быть шумными. Иногда «плохой» шаг случайно выглядит хорошим. Чтобы не начать учиться на ошибках, в игру вступает второй приём — Advantage-Calibrated Optimization:
• Он сравнивает не только “награду” текущего шага, но и то, насколько он лучше предыдущего.
• Если “плохой” шаг оказался неожиданно полезным — штраф за него снижается.
• Это делает обучение более устойчивым, без переобучения на случайные успехи.
А теперь самое интересное — результаты.
• Всего 25 000 обычных вопросов (без ответов!) дали +7 pp к точности рассуждений на бенчмарках вроде GSM8K, ReClor и AIME 2024.
• Работает на LLaMA3.1, Qwen2.5, и вообще без привязки к архитектуре.
• Не ломает базовые знания: на MMLU и WikiBench — стабильность.
• Лучше всех baseline-методов, включая supervised fine-tuning и Self-Rewarding.
🧑🚀 Статья
🚢 Код
🤗 HuggingFace
DolphinGPT: как ИИ учится говорить с дельфинами
Национальный день дельфинов, 2025 год. Впервые мы не просто слушаем океан — мы начинаем отвечать.
Что, если у дельфинов есть язык? У них есть имена, сигналы угрозы и даже ухаживания. Они издают щелчки, свисты, burst-пульсы — всё это давно волнует учёных, но оставалось нерасшифрованным. Теперь, благодаря сотрудничеству Google, Georgia Tech и Wild Dolphin Project, у нас появился новый инструмент: DolphinGemma — первая языковая модель, обученная на языке другого вида.
Что такое DolphinGemma?
DolphinGemma — это компактная аудио-модель на 400 млн параметров, построенная на архитектуре Gemma (родственник Gemini). Она работает как аудиоверсия ChatGPT:
• принимает фрагменты натуральной дельфиньей речи,
• «понимает» контекст,
• предсказывает, как дельфин может ответить,
• и даже генерирует реалистичные звуки — в подводной среде, в реальном времени.
Эта модель работает прямо на смартфонах Pixel 9, встроенных в систему CHAT — подводный интерфейс общения человек–дельфин.
Чем уникальны данные
Модель обучена на 35-летнем корпусе данных, собранном Wild Dolphin Project на Багамах:
• каждая запись включает видео, аудио, поведение, личность дельфина;
• связь сигналов с контекстом (ссора, игра, забота о детёнышах);
• методы «in their world, on their terms» — без принуждения, без лабораторий.
Это один из самых глубоких датасетов в истории нейросетевого аудио.
Что умеет DolphinGemma уже сейчас
1. Распознаёт паттерны: находит повторяющиеся фразы и сцены.
2. Предсказывает развитие событий: например, что дельфин “ответит” на свист самки.
3. Ускоряет реакции: модель помогает исследователю быстрее понять, что «сказал» дельфин, и вовремя отдать нужный объект.
Со временем, как надеются учёные, это позволит выстроить взаимно понятный словарь: сигналы, которые и человек, и дельфин будут использовать для обозначения объектов или действий.
Почему это важно для нас
Мы работаем с LLM каждый день. Но DolphinGPT открывает перед LLM совсем другую миссию:
не генерация текста — а перевод между мирами.
Модель не просто имитирует язык. Она учится на незнакомом виде коммуникации, где нет слов, но есть структура, динамика, интонация. И если она сможет понять дельфина — кто знает, к чему это приведёт?
Что дальше?
• Открытая модель летом 2025 — любой сможет дообучить её на других китообразных (афалины, нарвалы, касатки).
• Контекстная аудиосемантика: вызов для тех, кто хочет выйти за пределы текста.
DolphinGPT — не просто технология. Это проба связи. Между видами. Между мирами. Между тишиной океана и нами.
Ссылки:
🌐 Wild Dolphin Project
🖥 Google AI Dolphin Research
🖥 GitHub (будет летом)
📽️ Посмотрите Видео!
🚀 Prompt Engineering: Как эффективно общаться с ИИ?
ИИ становится всё мощнее, и умение правильно формулировать запросы (промпты) превращается в ключевой навык. Вот простые, но важные советы из последнего руководства по Prompt Engineering:
🔸 Чётко ставьте задачу
Не оставляйте двусмысленности. Чем точнее вы опишите желаемый результат, тем лучше будет ответ.
🔸 Используйте примеры
Даже один-два примера (few-shot prompting) помогут модели понять стиль и формат ожидаемого ответа.
🔸 Регулируйте температуру
Хотите креатива? Поднимайте температуру выше (например, 0.7-1.0). Нужны повторяемые ответы? Опускайте до 0.
🔸 Осваивайте “цепочки размышлений” (Chain of Thought)
Для сложных задач попросите ИИ думать «шаг за шагом». Это повышает точность и прозрачность ответа.
🔸 Роль и контекст решают многое
Задайте ИИ роль (учитель, гид, редактор) или конкретный контекст, чтобы получить максимально релевантный ответ.
🌟 Практический пример:
“Ты редактор научной статьи. Перепиши текст ниже более формально и кратко: …”
Prompt Engineering — не магия, а ремесло. Экспериментируйте и документируйте свои успешные примеры. Грамотно составленный промпт порой важнее мощности самой модели!
📖 Прочитайте целиком, что бы основательно погрузится в тему:
• Руководство от Lee Boonstra, 2025
🎯 Почему это важно?
Как показал недавний эксперимент компании Sakana AI, качественно поставленная задача позволяет ИИ не просто генерировать тексты, а проводить полноценные научные исследования, конкурируя даже на ведущих конференциях уровня ICLR 2025.
🫰Бонусный совет:
Подгрузите книжку целиком в LLM и попросите ее написать вам промпт, над которым вы сейчас работаете
Пиво с ИИ
SF и Bay Area! Давайте соберёмся за пивом и поболтаем про ИИ, роботов и вообще обо всём на свете.
📅 4 апреля (пятница)
⏰ 18:00
📍 Woods Lowside
Записывайся!
Подозреваю что это скоро все прикроют, но пока что, держите новые вкусы популярных чипсов от ChatGPT 😃
Читать полностью…
Как работает MCP: протокол для интеграции ИИ с внешним миром 🔥
Всем привет! Решил сегодня разобраться с тем как работает MCP. В итоге я за 2 часа навайбкодил MCP для Telegram, который позволяет ИИ анализировать каналы и сообщения (что собственно и иллюстрирует картинка выше).
Что такое MCP и почему это важно
Наши умные ИИ-ассистенты (они же LLM) не имеют возможности взаимодействовать с окружением (например с компьютером или браузером). Чтобы показать ChatGPT что-то, приходится делать "скриншоты" (копировать тексты) или подробно описывать то, что видите сами.
Model Context Protocol (MCP) — решает эту проблему путем того, что стандартизирует как именно внешний мир и ИИ должны общаться.
Как это работает
Представьте MCP как систему переводчиков-посредников между ИИ и вашими программами:
1. Участники общения
- ИИ-ассистент (например, Claude) — умный собеседник, который хочет помочь
- Ваши приложения (Telegram, редактор кода, база данных) — инструменты с полезной информацией
- MCP-переводчики — посредники, которые помогают им понимать друг друга
2. Как происходит диалог
Когда вы спрашиваете ИИ о чем-то, что требует доступа к внешним данным (например, "какие сообщения в Telegram-канале самые популярные?"), происходит следующее:
1. Запрос: ИИ понимает, что ему нужно обратиться к Telegram
2. Поиск переводчика: Система ищет подходящего MCP-посредника для Telegram
3. Формальный запрос: ИИ формулирует структурированный запрос к Telegram через MCP
4. Получение данных: MCP-сервер связывается с Telegram, получает информацию
5. Перевод для ИИ: Данные преобразуются в понятный для ИИ формат
6. Анализ и ответ: ИИ обрабатывает полученные данные и отвечает вам
Всё это происходит "за кулисами" — вы просто видите, что ИИ внезапно стал понимать ваши программы.
Что умеет передавать MCP
Ресурсы — "Вот, посмотри на это"
Ресурсы — это любые данные, которые приложение хочет показать ИИ:
- Файлы с кодом
- Сообщения из Telegram
- Записи из базы данных
- Скриншоты интерфейса
Каждый ресурс имеет свой "адрес" (URI), по которому ИИ может его запросить. Например, telegram://channels/@channel_name/messages — это адрес сообщений в конкретном канале.
Важно: вы всегда контролируете, какие ресурсы доступны ИИ. Ваш редактор кода может предложить показать файл, но решение всегда за вами.
Инструменты — "Сделай это для меня"
Инструменты — это действия, которые приложение позволяет выполнить ИИ:
- "Найди все сообщения со словом X"
- "Проанализируй популярные посты"
- "Покажи реакции на сообщение"
Когда ИИ нужно выполнить такое действие, он отправляет запрос через MCP, а приложение выполняет нужную функцию и возвращает результат.
Промпты — "Используй этот шаблон"
Промпты — это готовые шаблоны взаимодействия:
- "Анализ канала Telegram"
- "Объяснение кода"
- "Генерация отчета"
Приложения предлагают эти шаблоны, а ИИ может их использовать для структурированной работы с данными.
Моя интеграция для Telegram: что она позволяет
За пару часов я навайбкодил MCP-сервер для Telegram, который позволяет ИИ:
1. Изучать каналы — видеть информацию о канале, количество подписчиков, описание
2. Искать сообщения— находить посты по ключевым словам или датам
3. Анализировать популярность — определять, какие сообщения вызывают больший отклик
4. Исследовать реакции — видеть, как люди реагируют на контент
Когда я спрашиваю ИИ "Какие сообщения в канале @nn_for_science получили больше всего репостов?", происходит следующее:
1. ИИ решает использовать инструмент get_popular_messages
2. MCP-сервер получает запрос с параметрами (имя канала, минимум репостов)
3. Сервер подключается к Telegram API, получает сообщения
4. Сообщения сортируются по количеству репостов
5. Результат возвращается ИИ в структурированном JSON-формате
6. ИИ анализирует данные и представляет результаты в понятном виде
Итог
MCP делает возможным буквально любые взаимодействия (в том числе и с объекттами в реальном мире), скорее всего за этот год протокол претерпит какие-то изменения, но в целом уже очевидно что MCP с нами надолго.
Делитесь в комментариях какие самые безумные MCP вы видели! 🚀
Насмотревшись на то, как интернет вновь заполонила студия Ghibli, решил попробовать приемчики из того же арсенала.
Кажется мы прошли полный круг и старые трюки снова работают. Если дописать к промту в ChatGPT unreal engine, artstudio - то картинки становятся симпатичнее. Прям как в старые добрые времена.
Угадайте какая из картинок: draw water angel, а какая draw water angel, unreal engine, artstudio?
У AI лаб наверняка есть сговор - иначе почему они релизятся в один и тот же день?
За сегодня у нас было вот что:
- Deepseek V3 обновился, обходя на бенчмарках все неризонинг модели, включая GPT-4.5. При этом инпут дешевле в 107 раз, а аутпут в 214 🫠 И это open source.
- Gemini 2.5 pro с ноги выходит почти везде на первое место. При этом она ризонинг, мультимодальная, с окном в миллион токенов, набирает 18% на Humanity’s Last Exam.
- OpenAI наконец добавили нормальные генерацию и редактирование изображений в gpt-4o. Есть фотореализм, нормальные тексты на картинках, и можно генерить видео прямо из чата.
Урожайный день выдался.
Zochi и эра конкуренции среди ИИ-учёных: ИИ сам придумывает гипотезы, методы и... сам себя оценивает
ИИ уже не просто отвечает на вопросы, а он задаёт их сам, не помогает учёным, а становится ИИ-учёным. Вышел технический репорт о Zochi от Intology, работы которого тоже приняты на воркшопы ICLR 2025. Но есть нюанс (он в конце).
Вот научные труды Zochi:
1. CS-ReFT: без конфликтов навыков
Проблема: при адаптации моделей к нескольким задачам возникают конфликты - прокачка одного навыка ухудшает другие.
Zochi нашёл решение: не трогаем веса, вместо этого редактируем скрытые представления модели. Метод называется CS-ReFT (Compositional Subspace Representation Fine-tuning): каждое умение живёт в своём ортогональном подпространстве, и объединяются их через лёгкий роутер.
Результаты:
• Llama-2-7B + CS-ReFT обошёл GPT-3.5-Turbo (93.94% побед против 86.3%);
• Использовано всего 0.0098% параметров модели. Почти бесплатно.
Рецензии 6, 7 и 6 баллов, в саммари идея названа «умной» и отмечено эффективное устранение «критического ограничения ReFT».
2. Siege: тестирование LLM на уязвимости
Проблема:
Zochi изучил безопасность LLM и сфокусировался на новой области: многоходовые атаки (multi-turn jailbreaking).
Zochi обнаружил, что модели иногда выдают кусочки запрещённой информации, делая вид, что всё под контролем, т.е формально соблюдая правила. Он назвал это «частичным подчинением».
Чтобы такие штуки ловить и использовать, Zochi в качестве решения придумал Siege - фреймворк, который атакует LLM по ветвям диалога с помощью деревьев поиска. Эффективно и с минимальными затратами.
Результаты:
• GPT-3.5-Turbo: взломан в 100% попыток;
• GPT-4: взломан в 97%;
• Запросов меньше, чем у любых других методов.
Рецензенты поставили максимальные 7 и 7 баллов, и советуют «пересмотеть текущие стратегии защиты ИИ».
3. EGNN-Fusion: биология, но вычислительно эффективная
Intology показали универсальности Zochi на задаче биоинформатики.
Проблема: предсказать сайты связывания белков с нуклеиновыми кислотами.
Решение: EGNN-Fusion — компактная и быстрая архитектура, в которой на 95% меньше параметров, чем у аналогов, а точность на уровне лучших решений.
Результат:
Сравнимая с SOTA-методами точность, при этом значительно ниже вычислительная нагрузка.
Работа завершена позже дедлайна ICLR, находится на рецензии в журнале.
Обещанный нюанс:
Тон и метрики репорта искажает восприятие. Надеюсь, что это не манипуляция, но выглядит не очень этично.
Авторы сравнивают себя с другими ИИ системами на основе оценок автоматического рецензента, а не людей. Тот же AI Scientist V2 получил 6,33 балла по оценкам людей, а не меньше 4 баллов, как на первом графике. Не скромненько.
Но усилия точно на пользу науке. По моему непрошенному мнению, любопытно научить их писать заявки на гранты и сравнить на основе метрики, сколько ИИ-ученые поднимут денег на свои исследования (по аналогии с этим экспериментом).
Будет AI PI (principal investigator). И кому-то придется делиться кафедрой. Шутка. На самом деле, в академической среде агент, отвечающий за гранты облегчит всем жизнь. Но это уже совсем другая история.
И опять же, пока и так мого открытых вопросов: как правильно интегрировать ИИ в научное сообщество, кто автор этих научных открытий, как должна выглядеть верификация людьми, кто и как может использовать ИИ-ученых. Ведь наука не только про прогресс, но и про этику и ответственность.
📝Отчёт
🖥Repo
🍻 Напоминаю про завтрашний вечер в Сиэтле!
Уже завтра (17 марта) встретимся на пиво, пообщаться и отлично провести время. Если кто-то ещё хочет присоединиться, сейчас самое время отметить себя по ссылке ниже 👇
📍Ссылка на встречу
До встречи завтра!
🪰 FlyWire — ИИ-карта мозга мушки-дрозофилы
Нейробиологи и ИИ-исследователи из Принстона, Allen Institute, Google и других ведущих институтов создали самую подробную карту мозга взрослой мушки-дрозофилы. Проект FlyWire объединил силу нейросетей и тысячи часов работы ученых-добровольцев, чтобы построить полноценный коннектом (карту нейронных связей).
Зачем это нужно?
Дрозофилы просты, но их мозг работает по похожим принципам, что и у человека. Изучая эту нейронную сеть, можно понять базовые механизмы восприятия, принятия решений и поведения.
Чем крут FlyWire:
• 🧠 140 тысяч нейронов и 50+ миллионов синапсов уже картированы и размечены вручную экспертами и волонтерами.
• 🧬 Впервые доступна информация о типах нейромедиаторов для почти всех нейронов.
• 🔎 Более 100 тысяч аннотаций сделаны сотнями нейробиологов и краудсорсеров со всего мира.
• 🌐 Данные полностью открыты — любой может изучать и использовать карту с помощью интерактивного инструмента Codex.
И что дальше?
FlyWire — это не просто карта мозга, это платформа для новых исследований, которая уже помогла понять, как дрозофилы видят, чувствуют вкус, принимают решения и двигаются.
🕹️ Попробовать FlyWire Connectome можно тут: FlyWire.ai
AGI уже близко, говорили они 😊
Отличных выходных всем!
#юмор
Трансформеры без нормализации
В свежей статье от марта 2025 года исследователи из Meta, MIT, NYU и Принстона предложили простой способ сделать трансформеры эффективнее, отказавшись от классических слоев нормализации.
Вместо привычных LayerNorm авторы предлагают использовать Dynamic Tanh (DyT): tanh(αx), где α — обучаемый параметр.
Почему это интересно
Обычно нормализация необходима, чтобы стабилизировать обучение нейросетей, однако она требует дополнительных вычислений. Оказалось, что DyT не только сохраняет качество трансформеров, но и немного ускоряет их инференс и обучение, примерно на 7%.
Что заметили авторы
Внимательно изучив работу слоев нормализации, исследователи увидели, что они ведут себя как S-образные (сигмоидные) функции, похожие на tanh. Оказывается, что важнее всего в нормализации оказалось именно нелинейное подавление экстремальных значений активаций (squashing).
Что это даёт на практике
DyT успешно заменяет нормализацию во многих типах трансформеров:
• Vision Transformers
• Языковые модели (включая модели с 70 млрд параметров)
• Диффузионные модели
• Распознавание речи
• Геномные модели
Исследование с кодом доступно на странице проекта и в статье
AI + Наука: как 1500 учёных использовали искусственный интеллект, чтобы ускорить исследования 🧪🤖
Вернёмся к истокам нашего канала: что происходит, когда ведущие учёные получают доступ к новейшему искусственному интеллекту?
Первая в истории AI-сессия для учёных 🔬💻
28 февраля 2025 года OpenAI и Министерство энергетики США организовали беспрецедентное мероприятие: около 1500 ведущих учёных из 9 национальных лабораторий собрались вместе, чтобы проверить, насколько AI может ускорить научные исследования.
Учёные использовали передовые модели OpenAI (включая новую модель o3-mini), задав за один день более 4000 научных вопросов и написав свыше 20 000 AI-промптов!
Что конкретно изучали учёные? 🔍🧠
Исследователи не тратили время зря и сразу взялись за реальные задачи, имеющие огромное значение для общества:
• Определение бактерий для разработки новых лекарств и натуральных пестицидов 🦠
• Повышение кибербезопасности энергетических сетей 🔐
• Усовершенствование исследований в области ядерной энергии ⚛️
• Развитие квантовой механики для улучшения МРТ и лазерной хирургии 🔬
• Повышение точности прогнозов погоды и ядерной криминалистики 🌦️
Учёные отметили, что применение искусственного интеллекта значительно ускорило решение задач, с которыми ранее они сталкивались месяцами.
Реальные выводы и результаты 📊✨
Президент OpenAI Грег Брокман и министр энергетики США Крис Райт подчеркнули, что развитие AI сейчас напоминает «Манхэттенский проект» по масштабу и важности. По их мнению, такая коллаборация — залог технологического лидерства США.
Главный экономист OpenAI Ронни Чаттерджи добавил важную мысль: «AI максимально повлияет на продуктивность, когда даст учёным возможность делать открытия, которых раньше не было, и успешно применять их на практике».
Что дальше? 🚀🔭
Это событие — только начало масштабного сотрудничества между OpenAI и национальными лабораториями.
Главная цель этих усилий — не просто развитие технологий, а значительное улучшение жизни людей благодаря новым научным открытиям, улучшению медицины, образованию и безопасности (ну и гос контракты конечно).
Ссылка
А как вы считаете, какие научные открытия стоит ускорить с помощью AI? Делитесь мнениями в комментариях! 💬👇