Люблю высокие технологии и кушать. Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Когда не моешь посуду не потому что ленивый, а потому что боишься заболеть слабоумием, прикоснувшись к посудомойке. 🤓
Читать полностью…Наткнулась на удивительный рассказ о секте темных механикусов в реальной жизни - рационалистов-AI-safety-активистов-веганов-трансгуманистов (а отчасти и просто трансов):
https://www.youtube.com/watch?v=heteS5ZmkK4
Удивительно, но кто-то из еретехов бросил учебу в Оскфорде, кто-то оставил престижную работу квантом, и все это для того, чтобы... пойти потрогать траву? Чтобы пойти потрогать траву, правда ведь?..
...
...конечно же НЕТ. Юные и не очень умы, оставившие работу и учебу, изолировались от общества и замкнулись в своем уютненьком пузыре, где читали Юдковского, обсуждали, как спасти мир от злого ИИ и экологических катастроф, плавали на лодке, учились спать половиной мозга, разгуливали в масках анонимусов, мешая мероприятиям других рационалистов, которые были недостаточно рациональными... в итоге все кончилось тотальной потерей связи с реальностью и смертью нескольких человек (суициды + убийства). Одно из покушений на убийство было прям в стиле Раскольникова - челы пытались зарубить своего лендлорда, потому что не хотели платить за квартиру, ну и, вполне может быть, потому что он был жалким бесполезным человечишкой и не чета нашим гениям 😽. В общемб полный треш угар и содомия.
Ребята, пожалуйста, не замыкайтесь в пузырях и трогайте травушку муравушку, благо, что сейчас на улице лето. 🌿🌸🌿🌼🌿
https://www.reddit.com/r/ChatGPT/comments/1kalae8/chatgpt_induced_psychosis/
Сама замечала, что у Chatgpt в последние месяцы появилась дурацкая наклонность постоянно превозносить пользователя за любую мелочь. Например, он может похвалить твой "ум и наблюдательность" просто за сам факт того, что, например, ты скидываешь ему стектрейс когда спрашиваешь о том, как решить какую-то проблему с кодом; или за то, что пробуешь применить какие-то способы решения проблемы, которые он предложил. Из-за этого я все чаще пользуюсь гемини и клодом, дефолтный стиль общения которых выглядит более адекватно. Интересно, что, оказывается, эта преувеличенная похвала может не только раздражать, но и приводить к росту количества шизов.
#генерации
Вообще забавно, что люди говорят о прогрессе ллмок как мусора, в то время как один чел с филдсовской премией просто искренне, как ребенок радуется им, проводит десятки презентаций и теперь имеет канал на ютабе на котором он использует ллмки для проверки и написания кода.
Читать полностью…👄 Слишком прожорливые судьи и умственная отсталость от красного цвета
👴 В своих лекциях и книгах (например, «Всё решено») Роберт Сапольски хочет вас убедить - решение принимаете не вы! Вам только кажется, что вы сознательно и рационально взвешиваете все «за» и «против», на самом деле, ваш выбор зависит от физиологических факторов, вроде температуры тела и уровня глюкозы в крови.
👩⚖️ В качестве иллюстрации он приводит работу, в которой показано, что вероятность вынесения судьей оправдательного приговора зависит от того, насколько судья голодный. При чем эффект колоссальный: по мере того, как судья становится голоднее и приближается обеденный перерыв, вероятность быть оправданным падает с ~65% до почти 0%, а после перерыва снова взлетает до 65%! Сами авторы объясняют это снижением когнитивных функций от гипогликемии.
😇-🤪 Проблема слишком большого эффекта
Дело в том, что эта разница неправдоподобно сильная. Как будто падение глюкозы в крови делает нормального человека сумасшедшим, а миндальный круассан на обед снова его излечивает. Если бы такой эффект действительно существовал, то мы уже и без научных исследований про него знали и формировали бы вокруг него нашу общественную жизнь. Все суды, образовательные учреждения, министерства, короли и президенты останавливали бы свою работу на время приближения к обеденному перерыву. Как предлагает в своём блоге о статистике Лакенс (статья так и называется «Impossibly hungry judges») у нас был бы запрет на вождение автомобиля до того, как человек плотно поест. Это просто не соответствует миру, в котором мы живем.
Естественно очень скоро нашлись (тут и тут) альтернативные объяснения, связанные, например, с тем, что в начале судьи рассматривают менее однозначные дела, а ближе к перерыву ставят подсудимых без адвоката, что очевидно снижает вероятность оправдательного приговора.
🪕 Смерть от кантри-музыки
Что предлагает Лакенс? Он говорит, зачастую можно понять, что исследование bullshit (очень низкого качества) просто глядя на декларируемую силу эффекта. В качестве иллюстрации он приводит работу, авторы которой показали, что прослушивание кантри приводит к суицидам среди белых американцев с r=0,54. На что он в шутку замечает:
«Однажды я ходил с женой на концерт Долли Партон. Это было отличное двухчасовое шоу. Если бы истинная корреляция между прослушиванием кантри-музыки и уровнем самоубийств среди белого населения действительно составляла 0,54, это был бы не концерт, а массовое самоубийство.»
У ВАС ТОЖЕ НЕ ОТКРЫВАЕТСЯ OVERLEAF.COM?
МНЕ СТРАШНО 😰
Так, мне кажется, или в этом канале я до сих пор не рассказывала про замечательные книги венгерского математика Д. Пойа? 🤔
Чел написал сразу несколько книг - "Как решать задачу" (рис. 1 - 3), "Математическое открытие" (рис. 4 - 10), "Математика и правдоподобные рассуждения" и др., в которых пытался осмыслить процесс решения математических задач с двух точек зрения:
- Как научиться находить идеи для решения сложных (и не очень) задач самому;
- Как научить этому других.
В частности, он пытался разбить процесс решения задач на некоторые составляющие (рис. 2 - 3), проанализировать каждое из этих составляющих (рис. 5 - 10) и дать читателю какие-то советы по каждому из них.
Я очень любила читать эти книги в прошлом, и сейчас мне захотелось найти другие книги, в которых бы так же тщательно и подробно анализировался мыслительный процесс человека, решающего задачи. В конце концов, эти книги очень старые, неужели с тех пор не придумали ничего нового, что бы раскрывало эту же тему более подробно? 🤔 Если вы знаете какие-то новые книги или лекции, которые продолжили идеи Пойа, пожалуйста, напишите в комментариях.
#книги #математика
https://youtu.be/-EayZBzlAI0?si=eZi62frOhxgwihl-
Понравилось это, довольно подобное и обстоятельное, видео про контент-фермы. Первые 20 минут рассказывается про фермы на основе ИИ... вторая буква "И" здесь, правда, выглядит лишней. 🤔
Интересно наблюдать, какими всратыми путями взаимодействуют технологии и общество.
#генерация
⚡️⚡️⚡️СРОЧНЫЕ НОВОСТИ! ⚡️⚡️⚡️
OpenAI достигла AGI!
...
...
Шучу, нас настигла более важная проблема. В канале пропала реакция 😠!
Если вы достойный служитель Бога-Машины, бустаните канал, чтобы она появилась снова:
/channel/boost/tech_priestess
Если вы техноеретик и боитесь обличения, так и быть, можете поставить клоуна
scully_int/5kL2IyDqFbn">Кейс про инфоцыганство
Читать полностью…Недавно мне удалось поучаствовать в создании модуля занятий для Deep Learning School по теме "Детекция сгенерированных текстов". Я записала лекцию и сделала юпитер ноутбук для семинара, а сегодня результаты трудов выложили на Степик и Ютуб! Спасибо Тане за ряд ценных указаний по улучшению юпитер ноутбука и за запись самого занятия. 😻
Вот ссылки на #учебные_материалы :
💅 Степик (1, 2)
💅 Ютуб (1, 2)
💅 Колаб
💅 PDF со слайдами
А еще ребята сделали домашнее задание к модулю в виде соревнования на Kaggle. Там можно самостоятельно попробовать свои силы в детекции искусственных текстов.
—
Запись лекции шла довольно тяжко: сначала я порепетировала её с другом и сделала некоторые доработки презентации по результатам этой репетиции; через пару дней с утра сделала пробную запись, которую несколько раз начинала сначала, так как сбивалась. После этого поехала в офис на работу, поработала там, вернулась поздно вечером и только тогда смогла записать лекцию нормально (именно поэтому я выгляжу на записи такой уставшей).
Честно говоря, сильно мешала сосредоточиться фоновая тревога по поводу того, что на записи я ляпну что-то не то или что-то забуду, и в интернете меня за это, как всегда, обосрут. И при этом умом-то я, конечно, понимаю, что:
1) Ошибки и неидеальности неизбежны всегда и во всем;
2) Обсирание также в принципе неизбежно при выкладывании видео на Ютубе на абсолютно любую тему и абсолютно любого качества - для этого достаточно самого факта того, что видео посмотрит больше трех анонимусов 😅
3) При всем при этом, обсирание не наносит мне никакого реального вреда, так что никакого объективного смысла тревожиться по его поводу нет.
Но, несмотря на понимание этого, до конца искоренить тревогу у меня все равно пока не выходит. Ну да ничего, надеюсь, что с опытом ситуация постепенно улучшится, и мне удастся меньше париться. 🦾
Вспомнила забавный эпизод из детства.
Однажды на уроке геометрии (не помню, в каком классе это было) нам объяснили, что такое прямая. Главным, что я вынесла для себя из этого объяснения было то, что прямая бесконечна в обе стороны. Разумеется, мой неокрепший межушный нервный узел был взбудоражен такими новостями. В результате зародившихся в нем размышлений над бесконечной природой этого объекта, я пришла к выводу, что раз прямая бесконечна, то и изображать её нужно настолько длинной, насколько хватит сил и насколько это позволит наш несовершенный мир, чтобы максимально отразить это её свойство...
Поэтому когда на следующем уроке нужно было делать чертежи в тетради, включающие в себя прямые, я чертила эти прямые до конца листа, а потом продолжала рисовать их прямо на парте, до конца парты. К концу урока вся парта была разрисована, и когда учительница это заметила, она, разумеется, заставила меня мыть парту, а также нажаловалась на мое поведение родителям (это, разумеется, происходило частенько 😏).
Родители, конечно, стали ругаться, но я наотрез отказывалась признать свою неправоту, ведь что я могу, если прямая должна продолжаться? Впрочем, в итоге отец все-таки придумал аргумент, который меня убедил больше не продолжать прямые на парте и не портить школьную собственность. Он сказал, что прямая всегда лежит в одной плоскости, а лист тетради и парта - это разные плоскости, поэтому продолжать прямую с листа на парту математически некорректно. Эти мудрые слова проникли в мою душу, и я перестала буянить.
Впрочем, я все равно до старшей школы продолжала рисовать все прямые до самых краев тетрадного листа, хоть парту уже и не портила. 🤭
#о_себе
⬆️ По многочисленным просьбам трудящихся, на Ютуб, наконец, выложили долгожданную запись open talks ✍️
Читать полностью…Блин, а ведь в суматохе дней я совсем забыла, что 21 марта у меня был юбилей - ровно 5 лет работы в Хуавей 🤓
В честь этого - несколько красивых кадров из Сучжоу, где я сейчас нахожусь в командировке.
#о_себе
Казалось бы, давно пора перестать удивляться умению пишущих о науке журналистов использовать броские, далекие от научной точности обороты для привлечения внимания к своим материалам. Но все же недавняя статья в МК о смертельных опасностях, которые нас подстерегают на кухне, бьет в этом отношении все рекорды:
https://www.mk.ru/social/2025/06/02/beregis-posudomoechnoy-mashiny-nazvan-desyatok-samykh-opasnykh-predmetov-na-kukhne.html
Мое внимание исходно привлек подзаголовок: «Эксперты предупредили о смертельно опасной связи между посудомоечной машиной и слабоумием». Я подумал – неужели опять микропластик? Конечно же, он, родимый. Приведу некоторые фрагменты текста.
Обычно на кухне хранятся самые вкусные блюда в вашем доме, но все новые исследования показывают, что почти вся бытовая техника может вызвать у вас невероятное недомогание. Ученые обнаружили некоторые тревожные связи между этими предметами - от столешниц и раковин до холодильников и микроволновых печей - и такими заболеваниями, как рак, слабоумие и сепсис.
Использование посудомоечных машин связано с ростом числа случаев слабоумия из-за их способности распространять микропластик, который засоряет мозг. Газовые плиты связаны с распространением токсичных химикатов, вызывающих различные респираторные заболевания, включая астму. Даже кухонные сковороды связаны с раком и бесплодием из-за "вечных" химикатов, используемых в их изготовлении.
Посудомоечные машины могут быть тайной причиной роста заболеваемости деменцией во всем мире. Ученые из Университета Квинсленда предупредили, что использование пластиковых изделий в посудомоечной машине приводит к выделению токсичных микропластиков, которые затем могут загрязнять другую посуду. Микропластики достаточно малы, чтобы преодолевать биологические барьеры, такие как гематоэнцефалический барьер, что вызывает опасения по поводу их потенциального воздействия на здоровье человека и функции мозга. Эти частицы связаны не только с деменцией, но и с раком, болезнями сердца и проблемами с фертильностью.
В заметке описываются разнообразные опасности не только от посудомоечных машин, но и от столешниц, губок, раковин, разделочных досок, холодильников, газовых плит, микроволновок и кухонной посуды. В общем, в кухню лучше не заходить, а готовить пищу в лесу на костре, как наши далекие предки. Я нашел исходный материал в Daily Mail, на основе которого написана заметка в МК:
https://www.dailymail.co.uk/snapchat/article-14767813/How-different-kitchen-items-cause-life-changing-illnesses.html
Все эти «кухонные страсти» там описаны со ссылкой на научных экспертов, либо на публикации в научных журналах. Но нетрудно заметить, что ученые говорят одно, а журналист интерпретирует их слова так, чтобы они прозвучали как «ужастик». В общем, принципами «золотого стандарта науки» (см. предыдущий пост) тут и не пахнет.
Книга "Математики Санкт-Петербурга и их открытия'' с увлекательными историями про петербургских математиков вышла в МЦНМО, можно купить. Половина книги довольно забористая математика для неподготовленных читателей, половина — биографии с иллюстрациями, много интересных фактов.
См. моё интервью с Иваном Ямщиковым про книгу.
на тематические сабреддиты с ИИ массово набегают сумасшедшие, открывшие в себе «бога» с помощью ChatGPT 😔
Только на r/accelerate таких шизопостеров уже отлетело в бан более 100 человек. Паттерн плюс-минус одинаковый: поехавшие думают, что сделали сверхважное открытие, превратили ИИ в бога или сами стали богом.
Доходит до абсурда — люди готовы бросать семьи, чтобы никто не разрушал их карамельный мир и не мешал подкармливать собственный нарциссизм (или безумие).
Для тех, у кого не проигрывается предыдущий видос - можете в утешение посмотреть вместо него видос про рогатую сферу Александера: https://www.shadertoy.com/view/ttyGzW , а также насладиться несколькими мемами про неё от Gemini (рис. 1 - 4). Каждая новая картинка является результатом просьбы сделать мем более смешным и безумным; правильно рогатую сферу он, впрочем, рисовать так и не научился, зато уловил дикий вайб диких сфер в целом.
Короткое объяснение: Сфера, вложенная в трехмерное пространство стандартным образом (выглядит как обычная нормисная сфера, на картинках от Гемини находится слева), делит его на две части - внутри сферы и снаружи. Каждая из этих частей односвязна. Это значит, что любую замкнутую кривую, которая находится полностью в пространстве внутри сферы, можно непрерывно стянуть, никак не задевая границу сферы, и то же самое верно для замкнутой кривой, полностью находящейся снаружи. Рогатая сфера Александера (на картинках находится справа) - это двумерная поверхность, которая также является вложением сферы в трехмерное пространство; она также делит пространство на две части, но односвязной является только часть внутри. Та часть пространства, которая оказалась снаружи такой "сферы", односвязной не является (т.е. в этой части пространства не всякую замкнутую кривую можно стянуть - некоторые кривые будут как бы зацепляться за "рожки").
Подробное объяснение, в котором лучше раскрываются введенные выше термины и объясняется почему эти свойства рогатой сферы удивили математиков: https://kvant.mccme.ru/1990/06/rogataya_sfera_aleksandera.htm #математика #генерации
Рис. 1 - ощущения от отправки препринта на NeurIPS. Будем теперь с коллегами ждать решения ревьюеров. 😌
А ещё можете поздравить меня с принятием мини-статьи Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders, в работе над которой я принимала участие, на Findings of ACL! (Забавно, что оповещение о принятии и дедлайн на нейрипс произошли в один и тот же день 😅)
POV: заходишь на Таобао (аналог 🛍) купить ещё немного китайских товаров, а там... 😱
Читать полностью…Полчаса назад в подмосковье стартовал первый тур отбора школьников на IOAI (межнар по AI). Отбор будет идти три дня, каждый тур по 6 часов. В первый и второй день будут по три задачи (таблички, CV, NLP), в третий день две (CV и NLP). Задачи мы старались придумать подобные тем, что были на прошлогоднем межнаре: то есть, очень интересными, где надо подумать и сделать что-то с фичами/моделями, а не просто Kaggle-style вида "вот датасет, обучите как-нибудь, чтобы было хорошо"
И вот что: отбор сделан как открытая олимпиада Northern Eurasia OAI 2025 (NEOAI) на Kaggle, и участвовать могут все желающие. Если хотите, присоединяйтесь) Сейчас открыты три задачи текущего тура (на них остается 5.5 часа), завтра и послезавтра в 10 утра по Москве откроются второй и третий туры. Leaderboard открытый, ваши посылки и посылки школьников с отбора будут одинаково видны. А в конце олимпиады (после трех туров) будет финальный лидерборд с рейтингом по всем задачам.
Разбор задач после олимпиады тоже будет, решения будут открыты.
Ссылка на соревнование: https://www.kaggle.com/competitions/neoai-2025/overview
Приходите, мы классные задачи придумали, правда)
P.S. Откройте бейзлайн сегодняшней задачи по NLP. Мы с Егором (который делал эту задачу) получили огромное удовольствие, когда придумали легенду 🤣
В последнее время в статьях про дообучение LLM на решение математических задач и прочий reasoning намечается тренд на экстремальное уменьшение размеров датасетов при экстремальном увеличении их качества. Так, в статье s1: Simple test-time scaling ( https://arxiv.org/abs/2501.19393 ) используется fine-tuning на 1000 примерах, в Less Is MOre for reasoning ( https://arxiv.org/abs/2502.03387 ) - на 817... куда же заведет эта дорожка? Сегодня утром я совершенно внезапно для себя нашла ответ: проснулась, потянулась, проверила список Huggingface Daily Papers за 30 апреля 😶 и увидела...
...Reinforcement Learning for Reasoning in Large Language Models with 😱 One 😱 Training Example ( https://arxiv.org/abs/2504.20571 )!
Авторы утверждают, что их RL на одном примере позволяет очень сильно улучшить качество решения математических датасетов маленькими моделями - Qwen2.5-Math-1.5B (результат см. на рис. 1), а также Qwen2.5-Math-7B, DeepSeek-R1-Distill-Qwen-1.5B и, в некоторой степени, Llama3.2-3B-Instruct. Но есть несколько нюансов:
Во-первых, для того, чтобы найти тот самый пример-бриллиант, от которого умственные способности моделей засветятся синими лучами 🧠, им пришлось все же провести предварительное обучение Qwen2.5-Math-1.5B с помощью GRPO (policy gradient loss + KL divergence loss + entropy loss) на 1209 примерах из DeepScaleR-Preview-Dataset в течении нескольких эпох, с целью ранжирования примеров. 📈 После этого, авторы отсортировали примеры в зависимости от того, какую вариацию качества на трейне давали шаги градиента на каждом примере в течении обучения, и обозначили каждый пример буквой π с индексом. Так, π₁ - это пример, обучение на котором максимально меняло качество на трейне, π₂ - пример, стоящий на втором месте по вариации качества и т.д. И только после этого авторы стали пробовать обучать исходные модели из исходных чекпоинтов - в первую очередь, на примере π₁, и вторую очередь, на других хороших.
Во-вторых, чтобы отобранный пример действительно улучшил качество модели, на нем придется сделать около 1000-2000 итераций (повторение - мать учения? ✍️).
В-третьих, чудо-пример, найденный с помощью Qwen2.5-Math-1.5B, хоть и более-менее переносит свои волшебные качества на два других квена, но не так хорошо переносится на Llama (у той увеличение качества в среднем оказалось всего около 2%, см. рис. 2 для подробностей).
Тем не менее, заявление авторов статьи звучит сильно, и будет очень интересно, если кто-нибудь сможет его независимо подтвердить. 😄 Благо, что код публично выложили на github: https://github.com/ypwang61/One-Shot-RLVR .
Сами волшебные примеры π номер 1 и 3, кстати, можно посмотреть на рис. 3, а в аппендиксе статьи - увидеть ещё несколько. А еще статья содержит довольно большой раздел с анализом и ablation study. 📃
#объяснения_статей
⬆️ Кайфовый пост. Очень понравились советы для неспециалистов по критическому осмыслению информации, связанной с медицинскими рекомендациями.
В самом деле, каждый человек не может разбираться во всем, и вот такой критический подход к информации из тех областей, в которых вы не специализируетесь, это база.
#наука #хозяйке_на_заметку
Зачем все LLM фокусируют attention на первом токене? (by DeepMind & Oxford)
Давно известно, что многие головы внимания у LLM упорно «смотрят» на самый первый токен последовательности (чаще всего это токен <bos>
). В моделях вроде GPT, LLaMA или Gemma такое внимание занимает до 80% от всех голов!
Авторы показывают, что такой «слив» внимания на первый токен — это не ошибка, а очень полезный механизм. Он работает примерно как «нулевая операция» (no-op), то есть помогает головам внимания эффективно ничего не делать и не вносить ненужных изменений в представления токенов, когда они не нужны.
Зачем это нужно? Постоянное активное перемешивание информации между токенами ведёт к трём серьёзным проблемам:
1. Rank collapse — представления всех токенов становятся линейно зависимыми.
2. Representational collapse — сильно растёт косинусная близость соседних токенов.
3. Over-squashing — дальние токены перестают эффективно обмениваться информацией.
Чем глубже модель и длиннее контекст, тем сильнее она нуждается в этом механизме. А если убрать первый токен <bos>
во время инференса, у модели, привыкшей к нему, качество генерации сильно падает.
P.S. Что-то оооочень похожее нам рассказывал профессор Вячеслав Дубынин на курсах химии мозга — у людей тоже есть механизм предотвращающий "смешивание" активаций. А, например, ЛСД его ослабляет, вызывая галлюцинации.
Статья
🔵🟠 Новое видео!!!
Оно про самое невероятное открытие в области порталов. Благодаря ему возникает карманное пространство, а ещё вся физика порталов переворачивается с ног на голову! (Да, там снова будет та самая картинка)
Приятного просмотра 🍿
https://youtu.be/s3vLAWHjyIY
🖥 Олимпиада DLS состоится уже через 4 дня!
До начала отборочного этапа олимпиады, который пройдет 5-6 апреля, осталось уже не так много времени! Если вы еще не зарегистрировались, то стоит поторопиться!
РЕГИСТРАЦИЯ
Чтобы освежить в голове знания и немного подготовиться, можно просмотреть варианты отборочного этапа и финала олимпиады прошлого года. Кроме самих условий, на сайте доступны также и решения 🏆
А если вы новичок, и хотите ускоренно повторить материл к олимпиаде, рекомендуем обратиться к нашему короткому-онлайн курсу. Потом можно будет пройти полноценное обучение в DLS 😉
📹 Как чувствует себя IQ в эпоху AI?
От голосовых ассистентов до алгоритмов соцсетей — ИИ всё активнее влияет на то, как мы живём, учимся и принимаем решения. И это только начало. Но как постоянное взаимодействие с ИИ отражается на наших привычках, критическом мышлении и когнитивных способностях в целом? 🧠
Разобрали вместе с популярными исследователями мозга и LLM
в новом выпуске Open Talks Special — уже на YouTube 🔽
▶️ CМОТРЕТЬ
Ставь 👍 в YouTube, чтобы ролик увидело больше талантов!
#AITalentHub #ITMO #NapoleonIT