tech_priestess | Неотсортированное

Telegram-канал tech_priestess - Техножрица 👩‍💻👩‍🏫👩‍🔧

12018

Люблю высокие технологии и кушать. Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.

Подписаться на канал

Техножрица 👩‍💻👩‍🏫👩‍🔧

Когда не моешь посуду не потому что ленивый, а потому что боишься заболеть слабоумием, прикоснувшись к посудомойке. 🤓

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Наткнулась на удивительный рассказ о секте темных механикусов в реальной жизни - рационалистов-AI-safety-активистов-веганов-трансгуманистов (а отчасти и просто трансов):

https://www.youtube.com/watch?v=heteS5ZmkK4

Удивительно, но кто-то из еретехов бросил учебу в Оскфорде, кто-то оставил престижную работу квантом, и все это для того, чтобы... пойти потрогать траву? Чтобы пойти потрогать траву, правда ведь?..
...
...конечно же НЕТ. Юные и не очень умы, оставившие работу и учебу, изолировались от общества и замкнулись в своем уютненьком пузыре, где читали Юдковского, обсуждали, как спасти мир от злого ИИ и экологических катастроф, плавали на лодке, учились спать половиной мозга, разгуливали в масках анонимусов, мешая мероприятиям других рационалистов, которые были недостаточно рациональными... в итоге все кончилось тотальной потерей связи с реальностью и смертью нескольких человек (суициды + убийства). Одно из покушений на убийство было прям в стиле Раскольникова - челы пытались зарубить своего лендлорда, потому что не хотели платить за квартиру, ну и, вполне может быть, потому что он был жалким бесполезным человечишкой и не чета нашим гениям 😽. В общемб полный треш угар и содомия.

Ребята, пожалуйста, не замыкайтесь в пузырях и трогайте травушку муравушку, благо, что сейчас на улице лето. 🌿🌸🌿🌼🌿

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

https://www.reddit.com/r/ChatGPT/comments/1kalae8/chatgpt_induced_psychosis/

Сама замечала, что у Chatgpt в последние месяцы появилась дурацкая наклонность постоянно превозносить пользователя за любую мелочь. Например, он может похвалить твой "ум и наблюдательность" просто за сам факт того, что, например, ты скидываешь ему стектрейс когда спрашиваешь о том, как решить какую-то проблему с кодом; или за то, что пробуешь применить какие-то способы решения проблемы, которые он предложил. Из-за этого я все чаще пользуюсь гемини и клодом, дефолтный стиль общения которых выглядит более адекватно. Интересно, что, оказывается, эта преувеличенная похвала может не только раздражать, но и приводить к росту количества шизов.

#генерации

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

5 обычных сфер поставили какашки

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Вообще забавно, что люди говорят о прогрессе ллмок как мусора, в то время как один чел с филдсовской премией просто искренне, как ребенок радуется им, проводит десятки презентаций и теперь имеет канал на ютабе на котором он использует ллмки для проверки и написания кода.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

👄 Слишком прожорливые судьи и умственная отсталость от красного цвета

👴 В своих лекциях и книгах (например, «Всё решено») Роберт Сапольски хочет вас убедить - решение принимаете не вы! Вам только кажется, что вы сознательно и рационально взвешиваете все «за» и «против», на самом деле, ваш выбор зависит от физиологических факторов, вроде температуры тела и уровня глюкозы в крови.

👩‍⚖️ В качестве иллюстрации он приводит работу, в которой показано, что вероятность вынесения судьей оправдательного приговора зависит от того, насколько судья голодный. При чем эффект колоссальный: по мере того, как судья становится голоднее и приближается обеденный перерыв, вероятность быть оправданным падает с ~65% до почти 0%, а после перерыва снова взлетает до 65%! Сами авторы объясняют это снижением когнитивных функций от гипогликемии.

😇-🤪 Проблема слишком большого эффекта

Дело в том, что эта разница неправдоподобно сильная. Как будто падение глюкозы в крови делает нормального человека сумасшедшим, а миндальный круассан на обед снова его излечивает. Если бы такой эффект действительно существовал, то мы уже и без научных исследований про него знали и формировали бы вокруг него нашу общественную жизнь. Все суды, образовательные учреждения, министерства, короли и президенты останавливали бы свою работу на время приближения к обеденному перерыву. Как предлагает в своём блоге о статистике Лакенс (статья так и называется «Impossibly hungry judges») у нас был бы запрет на вождение автомобиля до того, как человек плотно поест. Это просто не соответствует миру, в котором мы живем.

Естественно очень скоро нашлись (тут и тут) альтернативные объяснения, связанные, например, с тем, что в начале судьи рассматривают менее однозначные дела, а ближе к перерыву ставят подсудимых без адвоката, что очевидно снижает вероятность оправдательного приговора.

🪕 Смерть от кантри-музыки

Что предлагает Лакенс? Он говорит, зачастую можно понять, что исследование bullshit (очень низкого качества) просто глядя на декларируемую силу эффекта. В качестве иллюстрации он приводит работу, авторы которой показали, что прослушивание кантри приводит к суицидам среди белых американцев с r=0,54. На что он в шутку замечает:

«Однажды я ходил с женой на концерт Долли Партон. Это было отличное двухчасовое шоу. Если бы истинная корреляция между прослушиванием кантри-музыки и уровнем самоубийств среди белого населения действительно составляла 0,54, это был бы не концерт, а массовое самоубийство.»


Другим примером является исследование влияния красного света на когнитивные способности. Авторы показали, что короткое воздействие красного света снижает IQ с эффектом более двух стандартных отклонений (не удивлюсь, если Сапольски эту работу тоже цитирует). Это значит, что пара минут красного света должна приводить к снижению IQ с 100 до 70 и вызывать умственную отсталость, что естественно не так (хотя биохакеры, наверное, напряглись).
Сюда же относятся исследования в нутрициологии, в которых находят, что каждые 100 г орехов в неделю снижают смертность на 20% (что значит, что если есть полкило орехов в неделю, то никогда не умрешь).

То же самое касается слишком маленького эффекта. Например, было исследование, показавшее, что установка имплантов груди в 400 раз повышает риск анапластической крупноклеточной лимфомы! Огромные цифры, если не считать, что заболевание невероятно редкое и абсолютный риск увеличивается лишь на 0,014% (пример взят из книги 0,05 "Доказательная медицина" Петра Талантова).

🩻 Выводы
При оценке научной работы необходимо обращать внимание не столько на статистическую значимость, которая ничего не говорит о силе воздействия, сколько на размер эффекта.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

У ВАС ТОЖЕ НЕ ОТКРЫВАЕТСЯ OVERLEAF.COM?

МНЕ СТРАШНО 😰

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Так, мне кажется, или в этом канале я до сих пор не рассказывала про замечательные книги венгерского математика Д. Пойа? 🤔

Чел написал сразу несколько книг - "Как решать задачу" (рис. 1 - 3), "Математическое открытие" (рис. 4 - 10), "Математика и правдоподобные рассуждения" и др., в которых пытался осмыслить процесс решения математических задач с двух точек зрения:
- Как научиться находить идеи для решения сложных (и не очень) задач самому;
- Как научить этому других.

В частности, он пытался разбить процесс решения задач на некоторые составляющие (рис. 2 - 3), проанализировать каждое из этих составляющих (рис. 5 - 10) и дать читателю какие-то советы по каждому из них.

Я очень любила читать эти книги в прошлом, и сейчас мне захотелось найти другие книги, в которых бы так же тщательно и подробно анализировался мыслительный процесс человека, решающего задачи. В конце концов, эти книги очень старые, неужели с тех пор не придумали ничего нового, что бы раскрывало эту же тему более подробно? 🤔 Если вы знаете какие-то новые книги или лекции, которые продолжили идеи Пойа, пожалуйста, напишите в комментариях.

#книги #математика

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

https://youtu.be/-EayZBzlAI0?si=eZi62frOhxgwihl-

Понравилось это, довольно подобное и обстоятельное, видео про контент-фермы. Первые 20 минут рассказывается про фермы на основе ИИ... вторая буква "И" здесь, правда, выглядит лишней. 🤔

Интересно наблюдать, какими всратыми путями взаимодействуют технологии и общество.

#генерация

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

⚡️⚡️⚡️СРОЧНЫЕ НОВОСТИ! ⚡️⚡️⚡️

OpenAI достигла AGI!

...
...
Шучу, нас настигла более важная проблема. В канале пропала реакция 😠!

Если вы достойный служитель Бога-Машины, бустаните канал, чтобы она появилась снова:
/channel/boost/tech_priestess

Если вы техноеретик и боитесь обличения, так и быть, можете поставить клоуна

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

scully_int/5kL2IyDqFbn">Кейс про инфоцыганство

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Недавно мне удалось поучаствовать в создании модуля занятий для Deep Learning School по теме "Детекция сгенерированных текстов". Я записала лекцию и сделала юпитер ноутбук для семинара, а сегодня результаты трудов выложили на Степик и Ютуб! Спасибо Тане за ряд ценных указаний по улучшению юпитер ноутбука и за запись самого занятия. 😻

Вот ссылки на #учебные_материалы :
💅 Степик (1, 2)
💅 Ютуб (1, 2)
💅 Колаб
💅 PDF со слайдами

А еще ребята сделали домашнее задание к модулю в виде соревнования на Kaggle. Там можно самостоятельно попробовать свои силы в детекции искусственных текстов.



Запись лекции шла довольно тяжко: сначала я порепетировала её с другом и сделала некоторые доработки презентации по результатам этой репетиции; через пару дней с утра сделала пробную запись, которую несколько раз начинала сначала, так как сбивалась. После этого поехала в офис на работу, поработала там, вернулась поздно вечером и только тогда смогла записать лекцию нормально (именно поэтому я выгляжу на записи такой уставшей).

Честно говоря, сильно мешала сосредоточиться фоновая тревога по поводу того, что на записи я ляпну что-то не то или что-то забуду, и в интернете меня за это, как всегда, обосрут. И при этом умом-то я, конечно, понимаю, что:

1) Ошибки и неидеальности неизбежны всегда и во всем;
2) Обсирание также в принципе неизбежно при выкладывании видео на Ютубе на абсолютно любую тему и абсолютно любого качества - для этого достаточно самого факта того, что видео посмотрит больше трех анонимусов 😅
3) При всем при этом, обсирание не наносит мне никакого реального вреда, так что никакого объективного смысла тревожиться по его поводу нет.

Но, несмотря на понимание этого, до конца искоренить тревогу у меня все равно пока не выходит. Ну да ничего, надеюсь, что с опытом ситуация постепенно улучшится, и мне удастся меньше париться. 🦾

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Вспомнила забавный эпизод из детства.

Однажды на уроке геометрии (не помню, в каком классе это было) нам объяснили, что такое прямая. Главным, что я вынесла для себя из этого объяснения было то, что прямая бесконечна в обе стороны. Разумеется, мой неокрепший межушный нервный узел был взбудоражен такими новостями. В результате зародившихся в нем размышлений над бесконечной природой этого объекта, я пришла к выводу, что раз прямая бесконечна, то и изображать её нужно настолько длинной, насколько хватит сил и насколько это позволит наш несовершенный мир, чтобы максимально отразить это её свойство...

Поэтому когда на следующем уроке нужно было делать чертежи в тетради, включающие в себя прямые, я чертила эти прямые до конца листа, а потом продолжала рисовать их прямо на парте, до конца парты. К концу урока вся парта была разрисована, и когда учительница это заметила, она, разумеется, заставила меня мыть парту, а также нажаловалась на мое поведение родителям (это, разумеется, происходило частенько 😏).

Родители, конечно, стали ругаться, но я наотрез отказывалась признать свою неправоту, ведь что я могу, если прямая должна продолжаться? Впрочем, в итоге отец все-таки придумал аргумент, который меня убедил больше не продолжать прямые на парте и не портить школьную собственность. Он сказал, что прямая всегда лежит в одной плоскости, а лист тетради и парта - это разные плоскости, поэтому продолжать прямую с листа на парту математически некорректно. Эти мудрые слова проникли в мою душу, и я перестала буянить.
Впрочем, я все равно до старшей школы продолжала рисовать все прямые до самых краев тетрадного листа, хоть парту уже и не портила. 🤭

#о_себе

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

⬆️ По многочисленным просьбам трудящихся, на Ютуб, наконец, выложили долгожданную запись open talks ✍️

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Блин, а ведь в суматохе дней я совсем забыла, что 21 марта у меня был юбилей - ровно 5 лет работы в Хуавей 🤓
В честь этого - несколько красивых кадров из Сучжоу, где я сейчас нахожусь в командировке.

#о_себе

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Казалось бы, давно пора перестать удивляться умению пишущих о науке журналистов использовать броские, далекие от научной точности обороты для привлечения внимания к своим материалам. Но все же недавняя статья в МК о смертельных опасностях, которые нас подстерегают на кухне, бьет в этом отношении все рекорды:

https://www.mk.ru/social/2025/06/02/beregis-posudomoechnoy-mashiny-nazvan-desyatok-samykh-opasnykh-predmetov-na-kukhne.html

Мое внимание исходно привлек подзаголовок: «Эксперты предупредили о смертельно опасной связи между посудомоечной машиной и слабоумием». Я подумал – неужели опять микропластик? Конечно же, он, родимый. Приведу некоторые фрагменты текста.

Обычно на кухне хранятся самые вкусные блюда в вашем доме, но все новые исследования показывают, что почти вся бытовая техника может вызвать у вас невероятное недомогание. Ученые обнаружили некоторые тревожные связи между этими предметами - от столешниц и раковин до холодильников и микроволновых печей - и такими заболеваниями, как рак, слабоумие и сепсис.

Использование посудомоечных машин связано с ростом числа случаев слабоумия из-за их способности распространять микропластик, который засоряет мозг. Газовые плиты связаны с распространением токсичных химикатов, вызывающих различные респираторные заболевания, включая астму. Даже кухонные сковороды связаны с раком и бесплодием из-за "вечных" химикатов, используемых в их изготовлении.

Посудомоечные машины могут быть тайной причиной роста заболеваемости деменцией во всем мире. Ученые из Университета Квинсленда предупредили, что использование пластиковых изделий в посудомоечной машине приводит к выделению токсичных микропластиков, которые затем могут загрязнять другую посуду. Микропластики достаточно малы, чтобы преодолевать биологические барьеры, такие как гематоэнцефалический барьер, что вызывает опасения по поводу их потенциального воздействия на здоровье человека и функции мозга. Эти частицы связаны не только с деменцией, но и с раком, болезнями сердца и проблемами с фертильностью.


В заметке описываются разнообразные опасности не только от посудомоечных машин, но и от столешниц, губок, раковин, разделочных досок, холодильников, газовых плит, микроволновок и кухонной посуды. В общем, в кухню лучше не заходить, а готовить пищу в лесу на костре, как наши далекие предки. Я нашел исходный материал в Daily Mail, на основе которого написана заметка в МК:

https://www.dailymail.co.uk/snapchat/article-14767813/How-different-kitchen-items-cause-life-changing-illnesses.html

Все эти «кухонные страсти» там описаны со ссылкой на научных экспертов, либо на публикации в научных журналах. Но нетрудно заметить, что ученые говорят одно, а журналист интерпретирует их слова так, чтобы они прозвучали как «ужастик». В общем, принципами «золотого стандарта науки» (см. предыдущий пост) тут и не пахнет.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Книга "Математики Санкт-Петербурга и их открытия'' с увлекательными историями про петербургских математиков вышла в МЦНМО, можно купить. Половина книги довольно забористая математика для неподготовленных читателей, половина — биографии с иллюстрациями, много интересных фактов.

См. моё интервью с Иваном Ямщиковым про книгу.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

на тематические сабреддиты с ИИ массово набегают сумасшедшие, открывшие в себе «бога» с помощью ChatGPT 😔

Только на r/accelerate таких шизопостеров уже отлетело в бан более 100 человек. Паттерн плюс-минус одинаковый: поехавшие думают, что сделали сверхважное открытие, превратили ИИ в бога или сами стали богом.

Доходит до абсурда — люди готовы бросать семьи, чтобы никто не разрушал их карамельный мир и не мешал подкармливать собственный нарциссизм (или безумие).

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Для тех, у кого не проигрывается предыдущий видос - можете в утешение посмотреть вместо него видос про рогатую сферу Александера: https://www.shadertoy.com/view/ttyGzW , а также насладиться несколькими мемами про неё от Gemini (рис. 1 - 4). Каждая новая картинка является результатом просьбы сделать мем более смешным и безумным; правильно рогатую сферу он, впрочем, рисовать так и не научился, зато уловил дикий вайб диких сфер в целом.

Короткое объяснение: Сфера, вложенная в трехмерное пространство стандартным образом (выглядит как обычная нормисная сфера, на картинках от Гемини находится слева), делит его на две части - внутри сферы и снаружи. Каждая из этих частей односвязна. Это значит, что любую замкнутую кривую, которая находится полностью в пространстве внутри сферы, можно непрерывно стянуть, никак не задевая границу сферы, и то же самое верно для замкнутой кривой, полностью находящейся снаружи. Рогатая сфера Александера (на картинках находится справа) - это двумерная поверхность, которая также является вложением сферы в трехмерное пространство; она также делит пространство на две части, но односвязной является только часть внутри. Та часть пространства, которая оказалась снаружи такой "сферы", односвязной не является (т.е. в этой части пространства не всякую замкнутую кривую можно стянуть - некоторые кривые будут как бы зацепляться за "рожки").

Подробное объяснение, в котором лучше раскрываются введенные выше термины и объясняется почему эти свойства рогатой сферы удивили математиков: https://kvant.mccme.ru/1990/06/rogataya_sfera_aleksandera.htm #математика #генерации

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Рис. 1 - ощущения от отправки препринта на NeurIPS. Будем теперь с коллегами ждать решения ревьюеров. 😌

А ещё можете поздравить меня с принятием мини-статьи Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders, в работе над которой я принимала участие, на Findings of ACL! (Забавно, что оповещение о принятии и дедлайн на нейрипс произошли в один и тот же день 😅)

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Оверлиф воскрес! ♥️♥️

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

POV: заходишь на Таобао (аналог 🛍) купить ещё немного китайских товаров, а там... 😱

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Полчаса назад в подмосковье стартовал первый тур отбора школьников на IOAI (межнар по AI). Отбор будет идти три дня, каждый тур по 6 часов. В первый и второй день будут по три задачи (таблички, CV, NLP), в третий день две (CV и NLP). Задачи мы старались придумать подобные тем, что были на прошлогоднем межнаре: то есть, очень интересными, где надо подумать и сделать что-то с фичами/моделями, а не просто Kaggle-style вида "вот датасет, обучите как-нибудь, чтобы было хорошо"

И вот что: отбор сделан как открытая олимпиада Northern Eurasia OAI 2025 (NEOAI) на Kaggle, и участвовать могут все желающие. Если хотите, присоединяйтесь) Сейчас открыты три задачи текущего тура (на них остается 5.5 часа), завтра и послезавтра в 10 утра по Москве откроются второй и третий туры. Leaderboard открытый, ваши посылки и посылки школьников с отбора будут одинаково видны. А в конце олимпиады (после трех туров) будет финальный лидерборд с рейтингом по всем задачам.
Разбор задач после олимпиады тоже будет, решения будут открыты.

Ссылка на соревнование: https://www.kaggle.com/competitions/neoai-2025/overview
Приходите, мы классные задачи придумали, правда)

P.S. Откройте бейзлайн сегодняшней задачи по NLP. Мы с Егором (который делал эту задачу) получили огромное удовольствие, когда придумали легенду 🤣

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

В последнее время в статьях про дообучение LLM на решение математических задач и прочий reasoning намечается тренд на экстремальное уменьшение размеров датасетов при экстремальном увеличении их качества. Так, в статье s1: Simple test-time scaling ( https://arxiv.org/abs/2501.19393 ) используется fine-tuning на 1000 примерах, в Less Is MOre for reasoning ( https://arxiv.org/abs/2502.03387 ) - на 817... куда же заведет эта дорожка? Сегодня утром я совершенно внезапно для себя нашла ответ: проснулась, потянулась, проверила список Huggingface Daily Papers за 30 апреля 😶 и увидела...

...Reinforcement Learning for Reasoning in Large Language Models with 😱 One 😱 Training Example ( https://arxiv.org/abs/2504.20571 )!

Авторы утверждают, что их RL на одном примере позволяет очень сильно улучшить качество решения математических датасетов маленькими моделями - Qwen2.5-Math-1.5B (результат см. на рис. 1), а также Qwen2.5-Math-7B, DeepSeek-R1-Distill-Qwen-1.5B и, в некоторой степени, Llama3.2-3B-Instruct. Но есть несколько нюансов:

Во-первых, для того, чтобы найти тот самый пример-бриллиант, от которого умственные способности моделей засветятся синими лучами 🧠, им пришлось все же провести предварительное обучение Qwen2.5-Math-1.5B с помощью GRPO (policy gradient loss + KL divergence loss + entropy loss) на 1209 примерах из DeepScaleR-Preview-Dataset в течении нескольких эпох, с целью ранжирования примеров. 📈 После этого, авторы отсортировали примеры в зависимости от того, какую вариацию качества на трейне давали шаги градиента на каждом примере в течении обучения, и обозначили каждый пример буквой π с индексом. Так, π₁ - это пример, обучение на котором максимально меняло качество на трейне, π₂ - пример, стоящий на втором месте по вариации качества и т.д. И только после этого авторы стали пробовать обучать исходные модели из исходных чекпоинтов - в первую очередь, на примере π₁, и вторую очередь, на других хороших.

Во-вторых, чтобы отобранный пример действительно улучшил качество модели, на нем придется сделать около 1000-2000 итераций (повторение - мать учения? ✍️).

В-третьих, чудо-пример, найденный с помощью Qwen2.5-Math-1.5B, хоть и более-менее переносит свои волшебные качества на два других квена, но не так хорошо переносится на Llama (у той увеличение качества в среднем оказалось всего около 2%, см. рис. 2 для подробностей).

Тем не менее, заявление авторов статьи звучит сильно, и будет очень интересно, если кто-нибудь сможет его независимо подтвердить. 😄 Благо, что код публично выложили на github: https://github.com/ypwang61/One-Shot-RLVR .

Сами волшебные примеры π номер 1 и 3, кстати, можно посмотреть на рис. 3, а в аппендиксе статьи - увидеть ещё несколько. А еще статья содержит довольно большой раздел с анализом и ablation study. 📃

#объяснения_статей

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

⬆️ Кайфовый пост. Очень понравились советы для неспециалистов по критическому осмыслению информации, связанной с медицинскими рекомендациями.

В самом деле, каждый человек не может разбираться во всем, и вот такой критический подход к информации из тех областей, в которых вы не специализируетесь, это база.

#наука #хозяйке_на_заметку

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Зачем все LLM фокусируют attention на первом токене? (by DeepMind & Oxford)

Давно известно, что многие головы внимания у LLM упорно «смотрят» на самый первый токен последовательности (чаще всего это токен <bos>). В моделях вроде GPT, LLaMA или Gemma такое внимание занимает до 80% от всех голов!

Авторы показывают, что такой «слив» внимания на первый токен — это не ошибка, а очень полезный механизм. Он работает примерно как «нулевая операция» (no-op), то есть помогает головам внимания эффективно ничего не делать и не вносить ненужных изменений в представления токенов, когда они не нужны.

Зачем это нужно? Постоянное активное перемешивание информации между токенами ведёт к трём серьёзным проблемам:
1. Rank collapse — представления всех токенов становятся линейно зависимыми.
2. Representational collapse — сильно растёт косинусная близость соседних токенов.
3. Over-squashing — дальние токены перестают эффективно обмениваться информацией.

Чем глубже модель и длиннее контекст, тем сильнее она нуждается в этом механизме. А если убрать первый токен <bos> во время инференса, у модели, привыкшей к нему, качество генерации сильно падает.

P.S. Что-то оооочень похожее нам рассказывал профессор Вячеслав Дубынин на курсах химии мозга — у людей тоже есть механизм предотвращающий "смешивание" активаций. А, например, ЛСД его ослабляет, вызывая галлюцинации.

Статья

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

🔵🟠 Новое видео!!!

Оно про самое невероятное открытие в области порталов. Благодаря ему возникает карманное пространство, а ещё вся физика порталов переворачивается с ног на голову! (Да, там снова будет та самая картинка)

Приятного просмотра 🍿

https://youtu.be/s3vLAWHjyIY

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

🖥 Олимпиада DLS состоится уже через 4 дня!

До начала отборочного этапа олимпиады, который пройдет 5-6 апреля, осталось уже не так много времени! Если вы еще не зарегистрировались, то стоит поторопиться!

РЕГИСТРАЦИЯ

Чтобы освежить в голове знания и немного подготовиться, можно просмотреть варианты отборочного этапа и финала олимпиады прошлого года. Кроме самих условий, на сайте доступны также и решения 🏆

А если вы новичок, и хотите ускоренно повторить материл к олимпиаде, рекомендуем обратиться к нашему короткому-онлайн курсу. Потом можно будет пройти полноценное обучение в DLS 😉

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

📹 Как чувствует себя IQ в эпоху AI?

От голосовых ассистентов до алгоритмов соцсетей — ИИ всё активнее влияет на то, как мы живём, учимся и принимаем решения. И это только начало. Но как постоянное взаимодействие с ИИ отражается на наших привычках, критическом мышлении и когнитивных способностях в целом? 🧠

Разобрали вместе с популярными исследователями мозга и LLM
в новом выпуске Open Talks Special — уже на YouTube 🔽

▶️ CМОТРЕТЬ

Ставь 👍 в YouTube, чтобы ролик увидело больше талантов!

#AITalentHub #ITMO #NapoleonIT

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

ICML обрадовал сегодня единицами 🔥

Читать полностью…
Подписаться на канал