Эфир с @tech_priestess состоится
22 сентября, в воскресенье, в 19:00

Читать полностью…

Стрим про карьеру, собеседования и бигтех
#career #interviews

Choose your fighter. Собрал вам тут бигтех-банду для стрима:

- Татьяна Шаврина (LI) – Research Scientist Manager в лондонской Мете в команде LLama-4, авторка канала @rybolos_channel (пост-приветствие). Недавно устроилась, может рассказать про собесы и что именно спрашивают на менеджера;

- Артем Санакоев (LI) – Staff Research Scientist в цюрихской Мете, GenAI, автор канала @ai_newz (пост-приветствие). Собеседует на синьорные позиции в Мету;

- Сергей Иванов (LI) – Senior Applied Scientist в парижском Amazon, соавтор канала @graphML. Провел 100+ собесов в Амазон, может рассказать про хардкорные поведенческие вопросы;

- Борис Цейтлин (LI) – Staff MLE в берлинском eBay, автор канала @boris_again (пост-приветствие). Недавно отмучился с собесами;

- Юрий Кашницкий (LI) – Staff GenAI Solutions Architect в амстердамском Google Cloud, автор канала @new_yorko_times (пост-приветствие). Читатели этого канала знают про этот долгий заход по собесам (пост). Он же (то есть я) будет скоморошить, вести встречу.

Вопросы можно задавать заранее тут в треде, либо во время стрима. Можно адресовать конкретно кому-то из спикеров, например, «Вопрос Борису: доколе?»

Время: 20 сентября, 17:30-18:30 CET. Streamyard – ссылка для просмотра (там же по ссылке можно добавить в календарь).

Записи не будет, все вживую. Мест – максимум 1000 😀

Читать полностью…

Вчера суд Массачусетса вынес решение отклонить иск Франчески Джино к Гарварду и коллективу DataColada, который раскрыл фальсификации в нескольких работах Франчески. Этот скандал с фальсификациями – самый громкий за последние несколько лет: Джино была одним из ведущих учёных-бихевиористов, её работы были классикой в области. Дополнительную перчинку придаёт скандалу название её книги, вышедшей за пару лет до разоблачения: "Rebel talent: Why it pays to break the rules at work and in life". Такая вот ирония судьбы. 🤔

Мне кажется решение довольно важным в контексте прецедентности: расследовать чужой фрод в исследованиях – можно и нужно, в науке должно быть больше разоблачений плохих методов и сомнительных практик. Один из моих любимых блогов по теме ведёт Лиор Пахтер, который знатно проезжался по сомнительно известному в узких кругах исследователю графов Альберту-Ласло Барабаши.

А в ваших областях существуют такие правдорубы? Приглашаю обсудить в комментариях. 👀

Читать полностью…

Апокалипсис грядёт из-за развития нейросетей — патриарх Кирилл

По мнению главы РПЦ, развитие технологий в отрыве от веры ведёт к «катастрофическим последствиям».

Если человечество теряет религиозную веру в условиях нарастания технологий, связанных с появлением искусственного интеллекта, то мы действительно входим в эпоху апокалипсиса.

Отказываемся от веры в бога — опять опускаемся в эти дарвинистические и марксистские концепции. Единственный выход из этого кризиса — это вера в бога.

Читать полностью…

Новый эфир!
Гостем будет Лаида, автор канала Техножрица @tech_priestess
Она согласилась раскрыть мотивы машинопоклонников, рассказать, как они видят мир.
Задавайте ей вопросы под этой записью
Выбирайте время встречи в опросе
А место встречи - неизменно: @ProteinChauvinist

Читать полностью…

Можно выложить кучу бесплатных обучающих материалов, никто не будет думать о том что завтра на хабре будут обучающие материалы. Можно разоблачать жуликов от ML, никто не ждёт что завтра будут разоблачения. Можно писать серьёзные научные статьи, всё равно и про них никто не подумает. Но стоит только раз написать о том что муж не нужен...

Читать полностью…

Обновила на архиве статью AI-generated text boundary detection with RoFT, которую недавно приняли на конференцию COLM.

Напомню, что в этой статье мы с коллегами рассматривали тексты, частично написанные человеком и частично сгенерированные LLMкой и детектировали номер предложения, в котором произошел переход от человеческого текста к машинной генерации. Основной особенностью статьи является тщательное изучение сценариев, в которых детектор обучается на доменах или генерациях одних моделей, а тестируется на другом, прежде невиданном домене или генерации невиданной модели.

Также напомню, что:
💜 В этом сценарии классификатор на основе стандартной предтренированной модели Roberta оказался хорош in domain, но плохо переносился между доменами и моделями (сильно падало качество на out of domain);
💜 Классификаторы на основе TDA оказались неплохо переносимы (качество на out of domain падало не сильно), но имели низкое качество в целом;
💜 Наилучшим компромиссом между качеством in domain и out of domain оказались классификаторы на основе средней перплексии и дисперсии перплексии по предложениям на основе моделей phi 1.5/phi 2 от Тани Гайнцевой.

Ну, а основными отличиями этой конкретной версии статьи являются исправление мелких ошибок и улучшение читаемости диаграмм.

Кроме того, мы с Таней добавили код на гитхаб проекта. Ставьте звёздочки и сохраняйте, чтобы не забыть!

#объяснения_статей

Читать полностью…

Мы примерно так в боевом нлп за первые полгода после релиза чатгпт настолько засрали весь интернет аи-калом, что нормальный датасет человеческого контента сейчас собрать оттуда в принципе невозможно. К счастью, всем похуй.
/channel/eternalblizzard/786

Читать полностью…

ДРУЗЬЯ, СПАСИТЕ!!!

Я весь вечер томлюсь, не нахожу себе места, хожу кругами, сама не своя, словно принцесса, заточенная в башню злой колдуньей! А все потому что сегодня я потеряла нечто важное, нечто, что поначалу не оценила по достоинству и отбросила в сторону, словно шелуху, и лишь потеряв, осознала ценность потерянного... 🥺

В общем, я потеряла ссылку и название статьи на архиве, суть такова:
LLMке ставится задача Multi-Choice Question Answering. То есть задача с промптом вида:

Question: ...
Choices: A) ... B) ... C) ... D) ...
Answer:

Датасетов такого типа известно много - MMLU, HellaSwag и т.д.
Только авторы данной статьи заменяли в этих датасетах опции A), B), C), D) на варианты со случайными буквами, типа F) L) Q) N), цифрами типа 3) 1) 8) 2) или символами типа *) #) $) &). И в ряде случаев модель, которая хорошо умела решать стандартную вариацию датасета с опциями A), B), C), D), уже не могла ответить на те же самые вопросы с опциями из перемешанных букв или символов.
Я не помню, было ли в статье что-то еще, но вот эта часть очень для меня важна!!!

ПОМОГИТЕ ДАМЕ В БЕДЕ!!! ♥️♥️ УМОЛЯЮ! 🥴

Читать полностью…

По фактам 🤙

https://platform.intellbot.ai/forms/66cd8c486d90a0d4aa11d169

Читать полностью…

Захожу после работы на ютуб, а там все сверкает, переливается, крутится, вертится... 😍 Что же это?! ..🤔
...ну конечно же, новое видео от 3blue1brown!

https://youtu.be/9-Jl0dxWQs8?si=VuVVJaYfPZYNxS9j

Стала смотреть, а видео-то не простое: к моему удивлению, оно оказалось посвящено интерпретации эмбеддингов с MLP-слоев трансформера 🥳

✍️ В первой части видео автор показывает, по каким примерно принципам факты могут извлекаться из этих MLP (multi-layer perceptron) слоев. Сама идея о том, что MLP слои трансформера в большей степени отвечают за "вспоминание" фактов, чем его MHA (multi-head attention) слои, известна в ресерч-сообществе довольно давно и берет свое начало из ряда статей, самая известная из которых эта - https://arxiv.org/abs/2202.05262 . Однако, я в первый раз вижу, чтобы эту тему раскрывали в ролике популярного формата!
✍️ Вторая часть раскрывает главный феномен, стоящий за серией постов (и статей) от Anthropic про features superposition ( https://transformer-circuits.pub/2022/toy_model/index.html ). Суть его в том, что в пространство высокой размерности, оказывается, можно напихать неожиданно большое количество векторов, "почти" перпендикулярных друг другу - намного больше, чем количество векторов в ортонормированном базисе этого пространства. Далее вспоминаем, что в пространстве эмбеддинга языковой модели вектора можно интерпретировать как некоторые концепции, а значит, в эмбеддинг можно напихать намного больше "почти" (но не совсем) независимых концепций, чем размерность этого эмбеддинга, получая эдакий раздутый псведо-"базис", по которому можно раскладывать другие вектора и изучать их семантику в соответствии с таким разложением. Это и называется features superposition в статьях Антропик.

Под самим же роликом, к еще большему моему удивлению, оказалась ссылка на туториал, который я сама сейчас ковыряю, чтобы разобраться с библиотекой TransformerLens:
https://arena3-chapter1-transformer-interp.streamlit.app/
и еще много других интересных ссылок. ☕️

#учебные_материалы #объяснения_статей

Читать полностью…

🤝Возвращаюсь. И возвращаюсь с подборкой вакансий!

Прошел месяц с последнего большого и содержательного поста в канале. Много всего было: новые проекты про которые обязательно расскажу. Еще один сокрушительный провал, который научил еще важным вещам. Законченный ремонт. Новый человек, которого я могу начать называть другом. Законченная проектная школа. Ух! А еще было очень много роста. И вот артефакт моей месячной пропажи:

Я хочу позвать вас работать вместе со мной!
👉ВАКАНСИИ👈

Я ищу ребят, с которыми бы могли бы работать вместе в Центре педагогического мастерства или в DLS. Там есть вакансии как для дизайнеров и исследователей-аспирантов, так и для совсем новичков, которые, может, ищут самый первый реальный опыт работы. Везде так или иначе платим деньги, пусть и местами совсем небольшие.

ЦПМ — место, где я помогаю делать ивенты. Это годная образовательная организация в Москве, которая особо сильно заточена на олимпиадной подготовке московских школьников и их учителей. Там я работаю в прекрасном и теплом коллективе профессионалов.
DLS — проект с духом стартапа на текущий момент. Это проект, где мы много где только-только учимся, но уже успели сделать себе доброе имя и репутацию. Во всех позициях проекта мы не предложим золотые горы, но предложим начать с нами сейчас, чтобы потом расти во что-то все более и более серьезное. По вопросам можно заходить ко мне в личку или в комментарии к посту.

Делитесь вакансиями в своих каналах и с друзьями. Давайте делать крутое вместе..
Я первый раз в жизни вот так вот нанимаю людей. Массово, за деньги. И где ТЗ — далеко не ХЗ.

Обнимаю❤️

2 дня писал и корректировал эти вакансии. Не могу не выложить уже, поэтому ночью🌚

Читать полностью…

Дорогие друзья! Админ Love.Death.Transformers попросил рассказать вам следующую информацию про русскоязычные бенчмарки:

LLM Arena для русскоязычных моделей

Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!

C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b

RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.

На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.

Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!

вот такая реклама!

Читать полностью…

Жесть у них наверное нехватка ревьюеров, раз так рассыпаются в комплиментах. Ставь "🤓", если тебе пришло такое же письмо. Ставь "😎", если не пришло, но ты всё равно тоже своего рода respected researcher in the area.

Читать полностью…

https://tiktokenizer.vercel.app/ - прикольная демонстрация. Можно ввести текст и посмотреть, как токенизаторы разных популярных моделей разбивают его на токены (спец.токены тоже показываются)

Читать полностью…

Что мне надо было бы опубликовать в канале, чтобы вы от него гарантировано отписались?

Читать полностью…

С пятницей 13м, тёмные геометры

The Dual Language of Geometry in Gothic Architecture: The Symbolic Message of Euclidian Geometry versus the Visual Dialogue of Fractal Geometry
N. Ramzy
Published 2015

https://www.semanticscholar.org/paper/The-Dual-Language-of-Geometry-in-Gothic-The-Message-Ramzy/3fdc77dbd4537d8471badd3d8bf95f84daa00d5e

Читать полностью…

...в Бога-Машину, конечно 👍👍👍

Читать полностью…

Котенков тоже родил! 🎉

https://habr.com/ru/companies/ods/articles/839694/

Читать полностью…

Наконец, родила:

https://habr.com/ru/articles/820531/

...учебный материал, посвященный оценке внутренней размерности геометрических фигур и облаков точек. 😌

#математика #учебные_материалы

Читать полностью…

А я скоро запощу статью на Хабре. 😉 Угадайте про что. 😉

Читать полностью…

До анонса принятых статей на NeurIPS – самую большую конференцию по машинному обучению – осталось чуть меньше трёх недель, но за кулисами кипит работа по финальному отбору статей. За последние годы конференция достигла колоссальных размеров – в прошлом году на конференцию было подано чуть более 13000 статей. 👥👥

Обслуживает этот поток ценных идей пирамида из 13000 рецензентов, 1000 area chair и 100 senior area chair. Каждый рецентент должен отрецензировать 6 статей, а area chair назначается на пачку из 12 статей, по которым должен принять окончательное решение, советуясь со своим senior area chair. В этом году меня первый раз повысили до смотрящего area chair 😎, из-за чего у меня немного поменялись взгляды на весь процесс.

Во-первых, сильно начали меняться оценки авторов после фазы rebuttal (ответа авторов на рецении). Рецензенты как будто боятся сразу поставить высокую оценку и выжидают, когда им станут доступны рецензии других людей. Сверяются с ними, что ничего не пропустили, и потом поднимают оценку. В моей пачке в среднем скор вырос на полбалла – и это с учётом статей, которые авторы сняли с процесса.

Во-вторых, авторы слишком увлекаются спорами с рецензентами. В двух случаях авторы в своих ответах писали то, что в конечном итоге цементировало моё решение о реджекте статьи. В одном особенно неудачном случае авторы решили конфиденциально сообщить о том, что, по их мнению, рецензент некачественно выполняет свою работу и вообще дурак . Пришлось глубоко разобраться в статье и прочитать сопровождающий код – оказалось, неправы были авторы. 🤦‍♂️

Ещё из новых ощущений – конфликт интересов: в этом году четыре статьи из моей пачки – работы, написанные на основе моих предыдущих статей. Для таких статей тяжело найти баланс – с одной стороны, я область знаю наизусть и поэтому могу склоняться выбирать понятные для себя статьи. С другой стороны, любые ошибки и сокрытия я тоже вижу с пол-пинка, так что авторам приходится несладко.

С увеличением ответвенности стало интереснее заниматься процессом – если честно, рецензировать я уже подзадолбался. За всё время я написал уже больше 100 рецензий, и сил моих читать одинаковые ошибки больше нет. Посмотрим, все ли мои решения останутся неизменными после поверки с senior AC.

Кстати, если у уважаемых подписчиков есть какие-то вопросы по всему процессу, могу попробовать ответить в комментариях. 👉

Читать полностью…

В комментариях помогли найти потерянное:
https://arxiv.org/abs/2402.01781
🎉🎉🎉
и ещё накидали много других интересных статей.

Всем спасибо! И сладкой, как щербет, ночи 🛏

Читать полностью…

Наткнулся на интересный пейпер — ресечеры протестировали насколько часто люди могут воспринимать GPT4 за реального человека:

— В 54% раз, люди восприняли GPT4 как человека

— В таком же тесте, где люди общались с людьми, кожаные мешки угадали себе подобных в 67% раз

Но самое интересное это промпт который использовали ученые — там есть такие части:

— Ты довольно непринужден и у тебя не очень хорошая орфография: ты часто портишь слова, потому что печатаешь слишком быстро. Ты очень краток и лаконичен.

— Ты не слишком хорошо разбираешься в вещах и не боишься этого признать. Ты плохо разбираешься в математике и не знаешь ничего о языках, кроме тех, на которых говоришь. Иногда ругаешься.

То есть чтобы сойти за живого человека, достаточно быть не очень приятным и образованным ☕️
AGI на заметку

Читать полностью…

Кстати, вот ещё хорошие новости для всех, кто интересуется темой mechanistic interpretability. Появились записи докладов с ICML-ного воркшопа, специально посвященного этой теме!
Вот они, слева направо:
https://slideslive.com/icml-2024/workshop-on-mechanistic-interpretability
Я лично собираюсь глянуть доклад по статьям Dissecting query-key interaction in vision transformers (это Spotlights 1), Decomposing and Interpreting Image Representations via Text in ViTs Beyond CLIP (Spotlights 2) и The Geometry of Categorical and Hierarchical Concepts in Large Language Models (Oral). А вы?

P.S.Очень удобно, что тут можно прокликивать слайды с правой стороны каждого видоса, и красный кружок на видосе будет показывать таймкод, который соответствует данному моменту пррзентации. ☕️

#объяснения_статей

Читать полностью…

Finding mundanity in the absurd

Читать полностью…

https://mccme.ru/ru/nmu/raspisanie

появляется расписание НМУ в осеннем семестре (занятия начинаются с первой недели сентября)

все как обычно:
математика «без смс и регистрации» по вечерам для всех желающих заниматься;
будут появляться видеозаписи и прочие материалы;
кто сдает в конце семестра сессию — те и считаются студентами

Читать полностью…

Никогда не мог себе представить, что на официальном веб-сайте РАН (!) может появиться такая заметка:

Облучение электромагнитными полями улучшает характеристики картофеля

В Институте агробиотехнологий Коми научного центра УрО РАН (Сыктывкар) завершается эксперимент по облучению картофеля электромагнитными полями. Начиная с 2021 года на опытных полях высаживались клубни, обработанные перед посадкой с помощью аппарата «ТОР-био».

Опыт показал, что часть испытанных сортов после облучения улучшили свои характеристики: увеличилась урожайность, снизилась поражаемость заболеваниями и улучшилась лёжкость.

«Сорта, которые селекционированы по первому Северному региону, реагируют на такую обработку достаточно хорошо, — говорит ведущий научный сотрудник института доктор биологических наук Владимир Зайнуллин. — К этому региону относится в том числе и Республика Коми. А вот такие ультраранние сорта, как «Терра», или так называемые среднеспелые сорта, у которых срок полного созревания составляет 90 дней, либо не реагируют на облучение, либо даже «уходят в минус».

В этом году исследователи решили вновь высадить облучённый картофель, но уже для получения дополнительных сведений. Предыдущие посадки проходили без удобрений как органических, так и минеральных. В нынешний же раз землю подкормят, чтобы посмотреть, скажется ли это на качестве корнеплодов. Также в планах учёных провести аналогичный эксперимент с кормовыми культурами.

https://new.ras.ru/activities/news/obluchenie-elektromagnitnymi-polyami-uluchshaet-kharakteristiki-kartofelya/

В свое время пресловутый «аппарат ТОР» был предложен для того, чтобы электромагнитным облучением определенной частоты убивать вирусы ковида. При этом на РАН оказывалось серьезное давление, чтобы мы признали этот эффект. Разумеется, Академия тогда не поддалась, и направила документы в Комиссию по борьбе с лженаукой.

Тем не менее, разработчики смогли получить патент на свое «изобретение», несмотря на отрицательные отзывы РАН и Минздрава. Об этой истории можно прочитать в статье председателя Комиссии РАН по борьбе с лженаукой академика Е.Б.Александрова:

https://www.trv-science.ru/2022/03/torova-pobeda/

Как видно, разработчики не успокоились и теперь переключились на более земные проблемы: повышение урожайности и «лежкости» картофеля.

Читать полностью…

Курсы по нейросетям настолько везде, что уже даже на Pornhub

Это кадр из реального ролика на Pornhub, где девушка доступно и понятно объясняет, как работают нейросети. Его сняла Зара Дар (Zara Dar) — модель Onlyfans с индийскими корнями, которая решила раскрутиться на порносайтах за счёт образа «секси-учёной».

На канале Зары опубликованы короткие лекции на многие темы: что такое число «Пи», как рассчитывается вероятность и почему интегралы — это не так сложно. Модель имеет степень магистра в области биоинженерии и обучается информатике по программе со специализацией в нейросетях, так что ей можно доверять.

«Это будущее образования», «Никогда не думал, что попаду на образовательный канал, но я не против», «Могут ли математические видео быть такими сексуальными?», — пишут зрители в комментариях. Также они рады, что Зара не продаёт никакие услуги и просто делится полезной информацией.

В интервью модель прямо призналась, что зарабатывает на Onlyfans в несколько раз больше, чем могла бы заработать, если бы пошла работать инженером. Однако девушка не планирует делать карьеру именно в секс-индустрии, и сейчас тратит деньги на дополнительные курсы по ИИ и программированию.

Ссылку на канал на Pornhub дать нельзя из-за правил Telegram, но по псевдониму найти видео не сложно.

Всё ради качественного образования!

@cumonmychannel 🔞

Читать полностью…

⭐️ — Лаида прекращает пить энергетики в количестве 3л в день
🤡 — Лаида ведет регулярную рубрику на канале, посвященную мужененастничеству

Читать полностью…