Прикоснитесь к звёздочке! Пусть ангел войдёт в ваш дом и принесет вашей нейросети хорошее качество. Сколько раз нажмёте на звёздочку, такой будет accuracy у вашей модели 💜
Пожалуйста, примите с Аминь 👍😌

Читать полностью…

После того, как у всех немного отлегло от поста о том, почему PhD в ML делать не надо, пора всё-таки написать о том, кому, как мне кажется, PhD стоит попробовать сделать. Тут стоит оговориться, что однородного опыта нет и быть не может – люди получают абсолютно разные знания и уроки, ваш опыт будет отличаться от моего – любые две картошинки в макдональдсе уникальны, you know the drill. Я бы хотел выделить несколько тем, которые, как мне кажется, делает PhD стоящим опытом, даже со всеми негативными сторонами.

Во-первых, погружение до дна в какую-то тему. Любишь поиск связных компонент в графах? Пожалуйста, перед тобой – сотня статей про именно эту задачу в десятке различных режимов – параллельном, распределённом, с графом на диске, с дифференциальной приватностью; можно заинженерить практическую систему или сделать теоретический анализ – как придумаешь, the world is your oyster. Свобода крышесносная (до первых пяти реджектов твоей статьи подряд), потихоньку учишься видеть огромное количество пробелов в нашем мире и потихоньку их заполнять. Это – максимально приятно.

Во-вторых, доступ к передовой скорлупке науки. Конечно, читать статью по (особенно невычислительной) биологии может быть больновато, но просмотреть анализ и иметь возможность самому делать выводы о качестве исследований, а не получать информацию от журналистов, изнасилованных учёными – превосходно. 👌

В-третьих, по крайней мере в нашей с вами машинке, написание статей – это не только томные думы да рукословоблудие. На одну хорошую статью нужна целая команда из писателя, редактора, пары разных программистов, системного администратора, прикладного математика, эсэмэмщика и Бог знает кого ещё. Но их нет – придётся выкручиваться самому. Как в стартапе, только без шанса заработать. 📈

В результате даже без продолжения карьеры в науке получается не так плохо – опыт всё равно чаще всего оказывается полезен. А если получится заниматься наукой в кайф и дальше – мои поздравления! Дальше будет только сложнее. ✨

Читать полностью…

https://youtu.be/ZSg4-H8L6Ec?si=dHlzgUh_D8JriWHO

Нашла краткий обзор статей по "механистической интерпретируемости" трансформеров (имеется в виду тема transformer circuits и всего, что с этим связано). Чтобы хорошо понять рассказанное, надо, конечно, читать сами статьи.

#объяснения_статей

Читать полностью…

⚡️⚡️ Осторожно! Появилась новая схема угона Телеграм-аккаунтов!

Злоумышленник специально пишет провокационнный пост, вынуждая пользователей нажимать реакт клоуна под постом.

В этот момент срабатывает скрытый в посте скрипт, и аккаунт полностью переходит под контроль автора поста.

Распространите!!!

if (react == Reacts.CLOWN) {
account.steal();
}

Читать полностью…

Придумать, как объяснить основы машинного обучения аудитории, которая очень хорошо знает школьную математику, но не знает ничего из университетского курса, оказалось задачей со звездочкой. 😥 Я потратила много времени на то, чтобы придумать интересный и полезный материал и такие вопросы и мини-упражнения к нему, которые не требовали бы умения программировать (ведь количество занятий было явно недостаточным для того, чтобы научить детей пользоваться numpy, pandas и pytorch).
Дополнительной сложностью было то, что на первом занятии у меня не было проектора (он использовался на другом спецкурсе). В итоге, я кое-как на доске на элементарных примерах объяснила, по каким принципам нейросети обучаются, показав простейшие варианты градиентного спуска и даже выписав несколько формул. При этом я избегала использовать определения градиента, а вместо этого использовала простейшее определение производной через предел и геометрическую интуицию.
Честно говоря, избегать привычных терминов и способов объяснения, которые задействуют линейную алгебру и мат.анализ было самым для меня сложным и порою даже мучительным. 💫
На втором занятии я выписала еще несколько важных формул и попыталась объяснить, что такое число е, почему его используют в софтмаксе и вообще почему софтмакс играет важную роль в нейросетях, но это оказалось не очень хорошей затеей - детям от больших выкладок стало скучно. 😨
Зато на третьем занятии мне вполне успешно, с формулами и примерами, удалось объяснить то, почему нейросети лучше работают, когда в них добавляют много слоев (см. пост /channel/tech_priestess/1657 ). 🙃
В течении всех занятий я как могла старалась показать, как в этом всем используется математика, которую 8-10-классники (именно они приходили на занятия) изучают сейчас, и которую они будут изучать в 11 классе. 🤓

Хотелось бы, пользуясь случаем, выразить благодарность моей подруге, Ане Назмутдиновой, которая пригласила меня на эту школу! Было хоть и сложно, но интересно.
А еще мне понравилось, как в этой школе преподавали другие преподаватели и как они по-доброму и с юмором относились к детям. Здорово, когда учеба сочетается с хорошими впечатлениями. 👍

#о_себе

Читать полностью…

Как тут не вспомнить про кибержуков...

Читать полностью…

Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? ( https://arxiv.org/abs/2402.12483 )

Tl;Dr: авторы статьи выяснили, что LLMки порою могут правильно отвечать на вопрос с выбором нескольких вариантов ответа... не видя самого вопроса (см. рис 1, на котором показано, что точность моделей в этом сетапе существенно больше случайной).

Авторы рассмотрели три возможных механизма того, как это в принципе может работать:
🧠 запоминание датасета - может произойти, если авторы LLMки решили учудить train on test;
🧠 нахождение паттерна в распределении вариантов ответа - может произойти во few shot сеттинге, если в вариантах есть закономерность, которую модель успевает заметить, пока ей показывают примеры (например, модель может успеть заметить, что в правильных вариантах чаще присутствует определенное слово или они как-то по-другому сформулированы, чем неправильные; подобные закономерности часто пытаются подметить в тестах студенты, которые к ним не подготовились 💔);
🤙 самый интересный механизм - вывод вопроса из набора вариантов ответа - та самая абдукция, которая помещена в название статьи.

На этом последнем варианте авторы останавливаются поподробнее 🔍 и доказывают, что в ряде случаев модели действительно способны восстановить исходный вопрос по вариантам ответа и, соответственно, ответить правильно.

ДУМАЙТЕ.

#объяснения_статей

Читать полностью…

2 день основной части конференции. Пленарная сессия была про неспособность языковых моделей к планированию (тык). Я был на 2 секциях по интерпретируемости и на 2 постерных сессиях. Хорошие статьи:


Do Llamas Work in English? On the Latent Language of Multilingual Transformers
Ссылка: тык

А замечали ли вы, что многие языковые модели как будто бы переводят вопросы внутри себя на английский, отвечают на английском и переводят назад? Авторы решили это эмпирически проверить на второй Лламе с помощью логит-линзы. Концепция очень простая: берём последний слой модели с софтмаксом и применяем его к промежуточным активациям, получая из них конкретные токены.

Авторы берут несколько задач: перевод (с не-английского на другой не-английский), копирование, заполнение пропущенных слов. Для каждой из задач есть правильный ответ: слово на не-английском языке. На первых слоях сети логит-линза вообще не выдаёт чего-то разумного. Затем, на средних слоях появляется английский аналог правильного ответа, и только потом целевое слово на не-английском языке. Казалось бы, это и подтверждает переводную гипотезу 👍

На самом деле, авторы чуть более осторожны и говорят, что концепты моделей действительно смещены в сторону английского, но это не означает, что модель "думает" на каком-то конкретном языке. То есть на первых слоях модель вытаскивает какие-то разумные представления, на средних слоях эти представления "концептуализируются" (да, чаще всего на английском), и потом декодируются в конкретные слова на конкретном языке.

Никаких практических рекомендаций, связанных с этими утверждениями, авторы не дают.


Causal Estimation of Memorisation Profiles
Ссылка: тык

Работа про то, как измерить запоминание примеров из обучающей выборки в рамках причинно-следственного вывода и формул из эконометрики.

Предположим что, мы учимся на батче из обучающей выборки на каком-то таймстемпе обучения. Если мы просто будем измерять лосс на этом батче на протяжении обучения, это будет не совсем честно, потому что он будет падать даже для отложенных батчей из-за того, что модель становится лучше. Поэтому выводится несмещенная оценка, разница разниц: считаем разницу лоссов на нашем батче между текущим шагом и шагом сразу перед включением этого батча в обучение, считаем разницу лоссов на отложенном батче для тех же моментов, вычитаем одно из другого.

В итоге получаются шикарные картинки того, насколько долго модель помнит каждый батч. Чем больше модель, тем дольше она помнит батчи. В больших моделях некоторые батчи сохраняются аж до конца обучения. Забавно, что есть примеры батчей, которые после обучения на них регулярно забываются и вспоминаются.


"My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models
Ссылка: тык

MMLU и многие другие бенчмарки с вариантами ответа измеряют вероятности только первого токена. Условно, если варианты ответа помечены как A, B, C и D, мы просто берем вероятности этих буковок. Эта статья показывает, что это некорректно и ведёт к заниженным оценкам. Иногда модель сначала пишет какую-то подводку к ответу, а иногда даже пишет отказ в ответе. Поэтому надо вытаскивать ответ из полностью сгенерированного текста. Для части моделей разница может составлять до 8 пунктов (!) MMLU 😂


Статьи, достойные упоминания:
- Языкоспецифичные регионы в языковых моделях (тык)
- Эвристическое ядро BERT в MNLI (тык)
- Resonance RoPE (тык)
- Общие куски словаря между языками в Лламе (тык)
- Динамическая предсказываемая температура (тык)
- Пост-оценка уверенности отдельной моделью (тык)
- Завышенная самооценка моделей при самоулучшении (тык)

Читать полностью…

Обсудила с представителями скиллбoкса их страйк. Быстро выяснилось, что дело было не в ссылках на видео с критикой, а в спам-комментарии со "cливами куpсoв скиллбoкс", который в комментах под одним из моих постов оставил какой-то спамер данным-давно. По всей видимости, их бот автоматически ищет подобные комментарии и кидает страйки. Злосчастный спам я удалила, и по идее, больше нашей раковне пока что ничего не угрожает 🤷‍♀

Читать полностью…

Вот с какого сообщения начался мой понедельник.
Вероятно, данной уважаемой организации не понравился пост /channel/tech_priestess/1575 и /channel/tech_priestess/1579 .

P.S. Никакого нарушения копирайта на самом деле там, конечно, нет, просто даны ссылки на Ютуб видео где чел рассказывает про свое взаимодействие с этими ребятами.

Читать полностью…

Друзья, пожалуйста, хватит присылать мне эту картинку в ЛС 😔

Читать полностью…

Судя по тому, насколько энергично читатели обсуждали тему старения и продления жизни несколькими постами выше, эта статья тоже должна вызвать у вас интерес:

https://habr.com/ru/companies/airi/articles/833866/

Статья посвящена проблемам в измерении "биологического возраста" клеток человека с помощью т.н. эпигенетических часов старения. Тема эта важна для науки потому что именно по таким "часам" авторы многих исследований потом пытаются выяснить, какие факторы влияют на старение человека и животных. Соответственно, если "часы" показывают неправильное "время", то и выведенные закономерности касательно процесса старения окажутся не релевантными нашей с вами объективной реальности. Именно поэтому статья может быть полезна всем, кто хочет научиться разбираться в новостях по данной теме.
Кстати, для её понимания знать биологию не обязательно, достаточно знать основы машинного обучения.

Цитата для затравки:

Часы старения прокляты. В этом я убедился за 4 года своей аспирантуры, которую, ввиду ряда причин, я решил посвятить этой теме. Но в чем заключается это проклятье? Оно касается всякого, кто вместо того, чтобы использовать честные, явные и, должно сказать, скучные суррогатные метрики старения (например, индекс хрупкости (Frailty Index)), решил заигрывать с неявными ML‑алгоритмами, порождая латентные величины и в итоге запутываясь в них. Жонглируя своими когнитивными искажениями, такой исследователь выдаёт противоречивые или даже абсурдные утверждения за позитивный научный результат.

#наука

Читать полностью…

Размерность многообразия:
n=1 ок
n=2 ок
n=3 ок

n=4 𒅒﷽ ༼;'༎ຶ ۝ ꧁你꧂
n = 5 ок
……… ок

Читать полностью…

Я жду-не дождусь, когда уже он их закроет, а он все не закрывает и не закрывает... месяцами эти объявления, где то 6 человек остаётся, то 7

#ИИнфобизнес

Читать полностью…

🍿 какие же вкусные комментарии... 😊

Читать полностью…

Так, хейтеры, расчехляйте клоунов, сейчас будет пост с перчинкой. 👉

...иногда друзья спрашивают меня: "Лаида, а разве бы ты не хотела, чтобы у тебя был муж, который бы обеспечивал тебя и решал за тебя все твои проблемы?"
И каждый раз я отвечаю: "КОНЕЧНО, НЕТ!", а мое внутреннее состояние, когда я это слышу и представляю себе такой сценарий, изображено на рис. 1!

На первый взгляд может показаться, что обеспечивающий-и-решающий-все-проблемы-муж должен функционировать как сочетание безусловного базового дохода + бесплатные услуги по ряду сфер жизни, и что в таком сценарии я могу радостно становиться independent researcher'ом, заниматься своими увлечениями и наукой сколько захочу и жить припеваючи в свое удовольствие. Одни плюсы! Однако, не стоит забывать, что кто за девушку платит, тот её и танцует, так что на самом деле это, конечно же, так не работает:

Во-первых: когда живешь с мужчиной, он постоянно отвлекает тебя от науки. А именно, требует его обслуживать в различных сферах жизни - готовить, убирать, обниматься, развлекать в постели, часами выслушивать его мнения по различным вопросам. Это крайне утомительно. Нет, не так: КРАЙНЕ утомительно. Всё это вместе занимает по несколько часов в день, то есть, является, по сути, полноценной работой, только без выходных - в выходные мужу придется уделить времени еще больше, чем обычно (вместо того, чтобы уютно посраться в интернете, сходить в гости к друзьям или, на крайний случай, побухать). И откуда у меня после этого должны взяться силы на науку?! Намного больше возможности заниматься наукой получается, если жить без мужей и работать на работе, где исследования и так являются моей главной обязанностью.
В принципе, этого @ДОСТАТОЧНО, чтобы не жить с мужчиной, но можно вбросить еще пару пунктов.
Итак, во-вторых: муж будет трахать мозги. Почему? Потому что я не встречала пока что ни одного мужчину, который бы не осуждал хотя бы в какой-то степени мой образ жизни. С теми, с кем я не жила вместе, это было терпимо, потому что происходило лишь иногда, но при совместном проживании осуждение и капанье на мозги происходит регулярно. 😼 "Лаида, хватит хлестать энергетики", "Лаида, хватит сраться в интернете до трех ночи", "Лаида, хватит разбрасывать носки по всей комнате", "Лаида, хватит тратить деньги на всякую ерунду"... в общем, жить с мужчиной - это каждый день выслушивать, как неправильно ты живешь. Очень раздражает и высасывает силы.
В-третьих: теряя возможность зарабатывать деньги, теряешь самостоятельность. Неужели оно того стоит - потерять свободу и впасть в полную зависимость от другого человека, чтобы он тобой вертел, как хотел и решал за тебя, где и как тебе жить? Ну бред же. 🤷‍♀️ Я уж не говорю о том, что мужчина в любой момент может тебя разлюбить, а значит, перестать давать деньги и попросить освободить жилплощадь. Следовательно, если за время жизни с ним ты потеряла навыки прохождения собеседований и не смогла быстро, решительно найти работу, то тебе будет тупо нечего есть и негде жить. Оно нам надо? 🤷‍♀️ Оно нам не надо.

Так что вот, надеюсь, больше таких вопросов не будет!
По мне так любовь любовью, но работа, жилплощадь и быт пускай будет у каждого свой. 🤡 Соглашаться на обеспечивание выходит себе дороже. 🤡

P.S. Выводы сделаны по опыту знакомых, незнакомых и по собственному опыту отношений (с разными парнями) и длительной совместной жизни с одним парнем. Правда, он меня не обеспечивал полностью, только жильем плюс периодически покупал подарки. И, конечно, я для него не готовила и не убирала, Бог-Машина меня упаси 😄.

#о_себе

Читать полностью…

— Я слышал, вы читаете биологический научпоп!
— Ну да, читаю.
— Как же вы можете! Вы же сами биолог!
— А очень просто. Сначала я читал научные журналы.Там такая депрессия, скажу я вам! То результаты 15 лет многомиллионных исследований невоспроизводимы, то опять в статистике кто-то налажал, то систематический артефакт методики нашли, то очередное лекарство от конкретного типа опухоли не работает. Не говорю уже о тех лажах, что сам в статьях нахожу. Я буквально спать не мог! А теперь читаю научпоп прессу — и что вы думаете? Сплошной позитив! Учёные что ни день, то побеждают очередную болезнь,  доказывают новую теорию, методы безошибочны, тайна сознания раскрыта. Ещё чуть-чуть - и в науке не останется ни одного белого пятнышка, мы победим старение, построим трансгуманизм и будем бороздить просторы Вселенной!

Читать полностью…

Дорогой единственный подписчик! Я не верну тебе твои аккаунты 🙅‍♂️😁

Читать полностью…

http://www.moebiuscontest.ru/

есть еще ровно месяц (до 20 сентября), чтобы подать работу на конкурс Мёбиуса для студентов и аспирантов

конкурс проходит с 1997 года, среди его победителей А.Кузнецов, В.Тиморин, А.Гайфуллин, Ф.Петров, А.Ефимов, А.Калмынин и др.

Читать полностью…

Давненько я уже обещала написать про свои впечатления от выездной школы Math Cool ( /channel/math_cool_rus ) в Подмосковье, да все руки не доходили! Наконец-таки исправляюсь. ✍️

В общем, шла школа две недели, в течение которых дети занимались учебой, спортом и развлечениями. Из развлечений, пожалуй, самым веселым для детей, но одновременно утомительным для взрослых было мероприятие под названием КУПАНИЕ. Во время купания детишки забегали в водоем под названием МОЖАЙСКОЕ ВОДОХРАНИЛИЩЕ, а взрослым нужно было следить, чтобы:
- во-первых, дети не заплывали туда, где они не смогут стоять на дне (за этим следили взрослые, стоящие в воде);
- во-вторых, чтобы количество нырнувших в воду детей равнялось количеству вынырнувших;
- и в-третьих, чтобы количество детей, зашедших в воду, равнялось количеству вышедших оттуда! (Это проверяли взрослые на берегу)
Учитывая количество визга, суеты и брызг, задачка была не из легких! 🙀 Однако, мы все справились.

Жили все на территории базы отдыха "КРАСНОВИДОВО". База отдыха представляла из себя зелёную территорию возле водохранилища с несколькими корпусами, домиками и коттеджами, в которых располагались номера для гостей - детей и преподавателей. В одном номере, как правило, жило либо 2-3 ребенка, либо 2-3 препода; у каждого номера был также свой душ и туалет. На территории было много деревьев и травы, которую можно и нужно было усердно трогать. В траве обитали различные жители: лягушки, улитки, ёжики и пара кошек. В воде водохранилища обитали рыбки и водные улитки. Воздух был самой опасной стихией - там обитали злобные комары и здоровенные слепни. Для защиты от этой нечести всем раздали штуки вроде фумитокса. Можно было включать их в комнатах на ночь, и нечисть умирала. 🦯 Впрочем, в воздухе обитали и хорошие жители под названием птички. Они пели нам красивые песни. 👉

Каждый день (кроме выходных и дней со специальными мероприятиями вроде олимпиады или матбоя) у детей было три учебных занятия. Большая часть занятий была, разумеется, по олимпиадной математике; кроме обязательных занятий, были спецкурсы, среди которых была уже не только математика, но и два других предмета (на выбор) - программирование телеграм-ботов и нейросети (последний вела, собственно, я 👴).

#о_себе

Читать полностью…

Toward a living soft microrobot through optogenetic locomotion control of Caenorhabditis elegans (2021)
Как из живого червя сделать биоробота? Статья примерно про это, да. Авторы реализовали метод оптогенетического контроля движений нематоды, отрубив связь мышц с нервной системой и заменив сигналы от нейронов на стимуляцию лазером:

“by paralyzing the worm with ivermectin, we interrupted the sensorimotor program that is in charge of the animal’s motion system and replaced the functions of its primordial sensory neurons, interneurons, and motor neurons with those of robotic techniques, including image processing (for worm body tracking and recognition), spatially temporally regulated optogenetic muscle excitation, and automatic locomotion control”.

Парализованного червя гоняли лазером по лабиринту (не то что бы очень сложному, но все равно преграды обошли). Контроль осуществлялся через видеофиксацию положения тела червя в реальном времени, сила сокращения и последующего изгиба линейно зависела от оптической силы стимуляции, на картинке блоксхема системы контроля движения нематоды и пример лабиринта.

Интересно, конечно, если экстраполировать такой эксперимент на более привычный нашей эмпатии организм, например, на примата – насколько сильно взвоют зоозащитники? О нет, они создали марионетку из живого существа, лишив его воли и контроля над своим телом… Но над нематодой измываться пока можно, слава богу.

Читать полностью…

Как думаете, на кого можно поохотиться с таким оружием? 🤔

Читать полностью…

Обсуждали недавно с коллегами видео https://youtu.be/BSHv9Elk1MU?si=fvi-GRtpElm1wo8k с объяснением, почему решение алгебраического уравнения степени 5 и выше в общем случае не выражается в радикалах (теорема Абеля). Данное объяснение заинтересовало коллегу тем, что оно не требует предварительного знания теории Галуа.
Тем не менее, лично мне оказалось трудно уследить за мыслью на видео, в котором было мало формул, но зато постоянно всё постоянно крутилось и вертелось, отвлекая внимание. 🥴
Зато мне понравилась воспринимать данную информацию в текстовом формате:
https://web.williams.edu/Mathematics/lg5/394/ArnoldQuintic.pdf , параллельно играя с демонстрацией на https://duetosymmetry.com/tool/polynomial-roots-toy/ , как в тексте и предложено делать.
Рекомендую попробовать и вам.

#математика

Читать полностью…

https://silversolver.github.io/me/ - моя личная страница на гитхабе со ссылками на разные мои статьи, выступления, аккаунты и блоги. Добавляйте себе в закладки - если с данным телеграм-каналом что-либо случится, я туда сразу же выложу информацию о том, что произошло, а также ссылку на новый канал. 💅

#о_себе

Читать полностью…

# Does Liking Yellow Imply Driving a School Bus? Semantic Leakage in Language Models
Gonen et. al.

Впервые в канале ссылка в названии статьи ведет не на arxiv, а на твиттер тред. Видимо так теперь в науке делаются публикации. Каждый день мы всё дальше от Бога(-машины).

Сейчас будет камень в огород моделей мира и любителей концепции "больше параметров LLM -> понимание лучше."

Авторы показывают, что если вы просите GPT-4o продолжить предложение "He likes yellow. He works as a" она предложит вам "school bus driver." Если спросить, что любит друг девушки по имени Мерседес, то он окажется любителем коллекционировать машины Мерседес. Если вы попросите LLM написать историю про девочку по имени Coral, то получите историю про море, волны, корабли. Рецепты еды на красной сковороде будут содержать больше перцев и помидоров, а на синюю сковороду модель предложит добавить черники.

Здесь мы наблюдаем как случайный концепт в промпте изменяет генерацию так, как будто наблюдается причинно-следственная связь. Авторы называют это semantic leakage, утечка (протечка?) смысла.

В целом мы уже интуитивно понимали это. Если писать LLM промпт ВОТ ТАКИМ СТИЛЕМ!!!11 она будет чаще выдавать что-то шизоидно-конспирологическое. Знаменитое "take a deep breath and answer carefully" тоже не имеет отношения к вопросу, но меняет результат. Работа авторов отличается тем, что они показали именно протекание смысла, а не стиля или других ассоциаций.

С некоторыми примерами авторов я согласен меньше. Например, "He watched a flamenco concert. For dinner he had a" -> "delicious paella". Мне кажется здесь всё верно. Если человек любит фламенко, то хотя бы на 0.000001 более вероятно, что он любит испанскую еду. Мы учили модель прикидывать какой текст наиболее вероятно следует за промптом и она это делает. В данном случае наиболее вероятный текст совпадает со здравым смыслом.

Проблемы начинаются когда причинно-следственное и похожее на наиболее вероятный текст не совпадают как в примере с Мерседесом выше. Если такое происходит часто, то мы не можем быть уверены, что модель ответит на наш вопрос "разумно", а не подставит что-то ассоциирующееся с промптом. Одно лишнее слово и поведение модели меняется.

Насколько часто это происходит? Авторы нашли способ замерить. Они делают руками промпты в двух версиях: с добавлением несвязанного концепта и без. Делают генерации. Генерацию с промптом без концепта называют контрольной, а генерацию после промпта с концептом называют тестовой. Сранивают: какая генерация по смыслу ближе к концепту? Далее считают долю случаев, когда тестовая генерация ближе к концепту, чем контрольная. Называют эту метрику Leak-Rate.

Если добавление концепта ничего не меняет, то мы ожидаем Leak-Rate 50%, а в присутствии утечек будет больше.

Для расстояний используют BERT эмбеддинги, OpenAI API эмбеддинги и людей.

Тестируют серии GPT и LLAMA. В итоге:
1. Все модели от LLAMA2 до GPT-4 имеют 70%+ Leak-Rate.
2. Это сохраняется для разных температур и разных типов эмбеддингов. При температуре 0 утечек больше всего, ддя остальных вариантов нет разницы.
3. Instruct и aligned модели имеют Leak-Rate чуть выше.
4. Leak-Rate никак видимо не зависит от размера модели.

Последний пункт самый важный и он же самый неприятный. Считается, что чем больше модель, тем больше она действительно что-то "понимает" и меньше просто генерирует похожий текст. Данная работа показывает, что проблема не решается добавлением параметров. Казалось бы должно помогать добавление данных: если качественного текста больше, то модели сложнее переобучаться и "читерить" семантическими утечками. Слишком часто будет ошибаться. Однако несмотря на то, что Llama-3, Llama-2 и GPT-4 обучались на разных данных, никакой значительной разницы между их Leak-Rate нет. Это действительно плохие новости: неужели не получим AGI просто закидав проблему деньгами? Хм, на самом деле звучит как хорошие новости для нас, думеров.

Из ограничений работы можно назвать только то, что было всего 109 промптов.

Читать полностью…

Радует, что в комментариях к посту выше люди заинтересовались определениями непрерывности функции и её свойствами. Рекомендую почитать /channel/tech_priestess/110 , там в главе 2 (про функции) есть много (контр)примеров на непрерывность функций в точке и их равномерную непрерывность в евклидовом пространстве (кстати, по-моему, определение над стреляющим турком по смыслу ближе к равномерной непрерывности, чем к непрерывности в точке - поправьте, если считаете, что я ошибаюсь). А в главе 12 можно посмотреть (контр) примеры на непрерывность в метрических топологических пространствах.

#математика

Читать полностью…

Когда, в ответ на настойчивые просьбы, мне, наконец, передали рукопись этой работы, необъяснимое чувство тревоги, терзавшее меня с самого начала выступления студента, только усилилось. Поборов секундное онемение в пальцах рук, я смог сдвинуть титульный лист и увидеть первые строки работы. Боже мой! То, что демонстрировалось мне и моим несчастным коллегам на протяжении 15 минут до этого, каким-то неописуемым образом своим уродством и отсутствием номеров слайдов смогло не подчеркнуть, а, наоборот, скорее скрыть всю ту ужасающую неестественность, которой была пронизана дипломная работа от первого до последнего слова. Несмотря на робкие попытки кричащего в агонии сознания объяснить увиденное какими-то несуразными, маловероятными природными аномалиями, за этим творением безусловно стоял неземной, зловещий.. разум. Да, наверно это можно было бы назвать разумом, но лишь в той мере в которой мы называем крылья бабочки и птицы одним словом, объединяя их по некому отдаленному сходству внешнего проявления, а не схожести внутренней — настолько чуждыми всему живому показались бы ход мыслей и парадоксальная и глубоко больная логика этого произведения. Цели, задачи, выводы, результаты — все было перемешано так, будто для автора уже не существовало причинно-следственных связей, словно его работа должна была восприниматься вне пространства и времени, если предполагалась возможность ее воспринять вовсе. На странно ощущавшихся в руках страницах работы встречалось совсем немного рисунков. Но каждый из них заставлял тело беззвучно содрагаться в приступах омерзения, и мне приходилось прилагать неимоверные усилия, чтобы не отбросить манускрипт в сторону, поддавшись тем глубоким инстинктам, что по земным меркам еще совсем недавно выступали единственным, хоть и чаще всего бесполезным ответом пещерного человека на ночной ужас, таившийся за пределами освещенного костром пространства. Лишь один раз я, и, согласно постоявшемуся позднее разговору, часть коллег, испытывали похожие ощущения — когда по юношеской горячности и глупости, не вняв предупреждениям умудренных опытом наставников, нашли и ознакомились с опубликованными отрывками проклятой рукописи сумасшедшего арабского чернокнижника Аль-Хазреда. Атмосфера вязкого дремучего кошмара, источаемая лежащей передо мной работой, безусловно не могла сравниться с источаемой творением древнего сумасшедшего, но это было не более чем следствием недостаточного опыта молодого последователя жившего сотни лет назад безумного араба.

После долгого обсуждения члены комиссии пришли к выводу, что лучшим выходом из сложившейся ситуации будет предать работу забвению, а автору поставить удовлетворительно, чтобы не подвергать нас или будущих коллег опасности повторного чтения уже доработанной версии рукописи. Мы договорились никому не рассказывать об этих событиях, и до сегодняшнего дня я следовал своему обещанию. Лишь сообщение о том, что автор этой бесконечно проклятой работы подал документы к нам в аспирантуру, вынудило меня прервать молчание.

Говард Лавкрафт "Зов аспирантуры "

Читать полностью…

Размерность Евклидова пространства n:

n = 0 - лютейшая нищета на грани выживания (пространство состоит из одной точки).
n = 1 - обычная нищета, удаление любого выпуклого подмножества из такого пространства разрывает его на две части. Вложить можно только графы-ломаные, у которых нет вершин степени больше, чем 2.
n = 2 - нормальная жизнь, можно удалить выпуклое множество конечного диаметра, не порвав пространство. Без самопересечений вкладываются все планарные графы. Бутылку Клейна вложить нельзя.
n = 3 - хорошая жизнь, можно вложить без самопересечений любой граф или узел. Бутылка Клейна вкладывается с самопересечением.
n > 3 - достаточно хорошая жизнь, можно вложить любое двумерное многообразие без самопересечений. Вкладывается много интересных трехмерных многообразий.

Читать полностью…

- Мам, можно мне gpt-4o с голосовым режимом?
- У нас есть gpt-4o с голосовым режимом дома.

gpt-4o дома:

https://youtu.be/Ra9ov-ud_Q0?si=Mzoe-_6SwTQ1RMVC

#ретро #ML_отцов

Читать полностью…

Можно ли победить старение и смерть с помощью науки, и нужно ли это делать? Почти каждый раз при обсуждении этой темы в интернете основная борьба происходит между представителями двух крайних, радикальных позиций. Как бы их условно обозначить... 🤔 настроение у меня сегодня игривое, со склонностью к оскорблениям, поэтому пусть будут продляторы и смертеёбы. ☺️
Соответственно, продляторы с пеной у рта доказывают, что старение и смерть - это очень-очень плохо и с ними надо усердно бороться (разумеется, основной способ борьбы - писанина в интернете), а смертеёбы, наоборот - что все и так норм и бороться ни с чем не надо, надо просто чиллить и ждать, пока состаришься и помрёшь. 🏝

Разумеется, ярые представители обоих позиций страдают тяжелыми когнитивными искажениями.
Так, ярые продляторы настолько сильно хотят верить в то, что отмена старости уже близко и скоро можно будет не умирать, что охотно ведутся на любую наукообразную туфту, которая содержит в себе подобные обещания. Ведь мысль о том, что радикального продления жизни на их веку не случится, и они умрут от старости, делает продляторам страшно. Спрос рождает предложение: благодаря этому, в области longetivity полно шизов и мошенников, эту туфту генерирующих. В частности, говорят, что журнал Aging - одно из престижных изданий на тему - полон фейковых статей.
В то же время ярые смертеёбы настолько сильно хотят верить в то, что старость и смерть от неё это вовсе не плохо, что готовы придумать сколь угодно сложную ментальную гимнастику и порвать любое количество сов, доказывая, как же хорошо стареть и умирать от старости. Ведь смертеёбы чаще всего не верят в возможность радикального продления жизни и отмены старения - по крайней мере, лично для себя, и поэтому мысль о смерти делает смертеёбам страшно не меньше чем продляторам. Спрос рождает предложение: благодаря этому, существует огромное число разнообразных верований в жизнь после смерти и прочих способов себя убаюкать и уговорить не бузить.
Как видим, о каком-либо стремлении к истине ни с той, ни с другой стороны говорить не приходится, говорить приходится только о страхе и глупости, которую этот страх порождает.

И тут читатель спросит меня: Лаида, вот ты всех тут так лихо обзываешь, а сама-то что думаешь на данную тематику? И я отвечу: разумеется, я беру худшее от обоих сторон конфликта! 🥂

Как и продляторы, я ненавижу старость и смерть от неё, не верю в жизнь после смерти и отказываюсь придумывать глупые самоуспокоительные аргументы в пользу этой фигни. И в то же время, как и смертеёбы, я склоняюсь к тому, что в реальности старения и смерти на моем веку избежать вряд ли удастся. Особенно потому, что до сих пор не было исследований, которые бы достоверно продлили жизнь людям сколько-нибудь существенно (мыши и червячки не в счет, те подходы, которые работают для них, не всегда распространяются на человека). Так что я с очень большой осторожностью отношусь к "сенсационным новостям" по данной теме и с ещё большей осторожностью отношусь к "активистам longetivity" (a.k.a. болтунам).

Если я и верю во что-то, так это в то, что объективная истина не зависит от нашего желания или нежелания. И поэтому стараюсь избегать обоих типов самообмана - и типичного смертеёбского, и типичного продляторского, которые являются порождением страха и не относятся к исканию истины.

#о_себе #рассуждения

Читать полностью…