pseudolabeling | Unsorted

Telegram-канал pseudolabeling - Запрети мне псевдолейблить

3916

Канал о пути к Kaggle competitions (теперь уже) GrandMaster и поте, которым обливаешься в процессе Последний авторский канал про мл, претендующий на искренность и позволяющий ставить клоунов Для контакта пишите в сообщения канала, они бесплатные

Subscribe to a channel

Запрети мне псевдолейблить

Кагл выпустил интервью с Исаеей из Туфа лабс.

Lux 3 он выиграл на домашнем пк, а через три года выиграл Orbit wars на железе туфы 2x8xb200

https://youtu.be/udrXyYygddo?is=8rkwsJIrTbeVgnfd

Читать полностью…

Запрети мне псевдолейблить

Университетская аудитория, только теперь вопросы другие: не «как сдать экзамен», а «как не уронить прод».

29 октября в кампусе Центрального университета — митап для тех, кто давно вышел из студенческого чата, но скучает по разговорам о том, как всё устроено на самом деле. Приглашаем инженеров данных, MLOps-специалистов и техлидов.

В программе — три доклада от практиков:

⚫️ Никита Гирш из ДОМ. РФ и Центрального университета расскажет, как мигрировали с SAS на dbt + Airflow: что пошло не так, как планировалось, и что в итоге получилось
⚫️Ислам Янгуразов из Magnit Tech покажет, как чистить S3 так, чтобы не потерять важную историю — и почему здесь стоит подключить ИИ-агента
⚫️Павел Лисичкин из X5 Tech объяснит, как научить ИИ самому находить узкие места в Spark-задачах и чинить их

Если захочется не только слушать, но и делиться опытом — при регистрации можно указать, что вам интересно преподавание: ссылка на регистрацию

Читать полностью…

Запрети мне псевдолейблить

Тут еще есть и для 40* серии анлок, оказывается:
https://github.com/JustAResearcher/gpu-unlock-ada

Судя по мнению ллмок, такой анлок потенциально можно и для серии 50* сделать

Читать полностью…

Запрети мне псевдолейблить

По мотивам вчерашнего спора про уровень образования:
PhD как минимум чаще пишут, что они PhD, когда уже нафармливают Master+

Читать полностью…

Запрети мне псевдолейблить

3/5 🥇, пора задумываться о эпопее сологолда

RSNA (колени) законился и нам повезло не вылететь с последнего места с голдом в трубу. Придется разбирать соревнование и как так вышло

Спасибо всей команде, а особенно @biostat_r и @F1VEL

Читать полностью…

Запрети мне псевдолейблить

Стало ли фармить кагл легче? Другие три года спустя 🤔

Я как-то собирал информацию о том, насколько сложно было стать мастером/грандмастером в разное время.

В прошлый раз я руками парсил вебархив и переносил цифры в эксель. С тех пор я узнал о Meta Kaggle, что упрощает задачу и позволяет залезть в профиль буквально каждого участника.

Спойлер: ничего не изменилось, кроме одной важной детали 📊

Что видно:

1️⃣ Тайтлов стало заметно больше: с конца 2023 года +89 GM (319 -> 408), +423 мастера и +3.4k экспертов. Но доля «титулованных» среди всех, кто когда-либо сабмитил, с 2021 года стоит на месте: эксперт+ ≈ 3%. Это потому, что большая часть титулованных- это эксперты, которые фармятся через получение серебра (топ 5%) и бронзы (топ 10%). А вот мастер+ медленно, но верно падает: 1.06% в 2016 -> 0.54% сейчас.

2️⃣ Нормированная производная: стать мастером стало сложнее (≈0.06 против 0.12–0.13 в 2018–2019). У GM она выросла (0.11–0.13 против ~0.07), но это скорее эффект знаменателя: новых мастеров стало меньше, а не GM проще. В пересчёте на участников новых GM после пика 2023 снова меньше. У экспертов ничего не поменялось

3️⃣ На 1000 активных участников в год: экспертов как давали ~20, так и дают. Новых мастеров стало вдвое меньше: 5 в 2018 -> 2.4–3 сейчас. GM пик был в 2023 (почти 1 на 1000), дальше снова спад

4️⃣ Почему мастером стать сложнее: меньше соревнований с золотом относительно прироста числа людей. Пик был в 2019: 1100 золотых медалей (каждый участник команды считается отдельно) и 37 медальных соревнований. В 2024–2025: ~700 золотых и 27–28 соревнований в год, а претендентов на это золото стало в 2.3 раза больше: экспертов 11.3k против 5.0k в 2019. При этом активных участников в год даже меньше, чем в 2019 (56–61k против 75k), так что дело не в наплыве новичков: очередь за первым голдом растёт, а золота раздают меньше. Сюда еще можно выделить соревнования типа ARC AGI и прочие 'продукты идентичные Kaggle-соревнованию'

В старом посте были колонки contrib/novices. 7 июля 2025 года Кагл в один день перевёл в Contributor 24.6 миллиона аккаунтов — сразу во всех категориях. С тех пор Contributor дают почти сразу после регистрации, то есть разница между Novice и Contributor фактически исчезла. Поэтому сейчас на странице рейтинга 207k контрибьюторов и… 71 новайс

Новайсов на всём Кагле осталось 40 904 из 34 миллионов. И почти все они зарегистрировались за три дня- 23–25 ноября 2024. Из всех, кто завёл аккаунт в эти дни, новайсами до сих пор остаются 81–92%, а регистраций было обычное количество. Похоже, этих ботов просто забыли при июльской миграции. Из них 71- человек, который реально соревнуется: сабмиты в CMI, Jane Street, CZII, AIMO-2, у семерых есть медали (3 серебра и 4 бронзы), у лучшего- 777 очков рейтинга. Т.е. это те кто (взял медальку, но не перешел в контрибьюторы по старой схеме) U (кого забыли)

TLDR: экспертом стать так же «легко», как и раньше. Получить первый голд и добить мастера стало еще сложнее: золота на всех не хватает. Каглить становится конкурентнее, серебро/бронзу фармить легче.

Нюансы: 2026 год неполный (по 20 октября). Для экспертов в формуле Валерия «тайтл ниже» = все, кто когда-либо сабмитил, так что после июля контрибьюторов нет.

Читать полностью…

Запрети мне псевдолейблить

Насчет соревнования про классификации ллмок:
Уже видно, у кого списывают китайские модели

Контент обнаружен /channel/rand_lear

Читать полностью…

Запрети мне псевдолейблить

Умные дома в итоге вышли. Я так ждал, так ждал, а соревнование без медалей и очков рейтинга

Можете со мной побомбить на форуме

Читать полностью…

Запрети мне псевдолейблить

Слоп-дизайн добрался до каггла. Сразу расхотелось получать эти мерзкие слоп-медали

Говорят, правда, что с телефона начало норм работать наконец

Читать полностью…

Запрети мне псевдолейблить

Умным домам быть, я договорился!

Буквально админ выклянчил в x/имейлах сореву про умные дома для любимых RL-грокеров

По ссылке выше кст видно, что обновили страницу с призовыми и организаторами соревы. Призовой фонд аж 30 тысяч.

На мои вопросы о том, какие будут гпу, какой точно таймлайн и что значит 'The 10x bang-bang baseline runtime limit' конечно мне никто не ответил. Зато приятно быть правым, что у каггла есть мощное желание не проводить сразу два RL в одно время.

Если вы не понимаете, о каких таких умных домах речь и почему я их так жду- есть отдельный пост.

Читать полностью…

Запрети мне псевдолейблить

Kaggle частично стал бенчмарком 'у нас работают умные люди, дайте денег для реализации интеллектуального ресурса'.

Есть три примера:
1. Nvidia- кагл грандмастера на зп, которые потом продаются внешним компаниям как AI-консультанты по решению AI-вопросов. Дайте денег на лучших в мире

Неолабы себе так прямолинейн говорить позволить не могут, так что делают хитрее и пытаются поднять инвестици:

2. Tufa Labs плотно фармит кагл, чтобы показать, что вот у нас самые умные люди, которые остались в европе. Дайте нам денег на компьют, чтобы они построили настоящий европейский (швейцарский) фронтир, а не Mistral

3. Внезапно Mostik в момент выхода из стелса тоже флексил top1 на лб ARC AGI. Сейчас они съехали на лб и красуются аккуратно перед одиноким русским шестнадцатилетним школьником, откуда можем сделать вывод, что инвестиции тоже собраны. Конкретно сегодня 420 место и последний сабмит месяц назад

Есть еще исторический пример, который выбивается: X5. Там скорее можно было бомбить кагл для того, чтобы усилить HR бренд и упростить найм (и пофлексить). Выбивается потому, что формулировка сокрее была 'У нас умные люди, приходите к нам работать'.

По этой схеме работают до сих пор например японцы из Rist и Go Drive. У них тоже кгм- это паровоз HR бренда компании.

Ах да, заботливо обвел вам 'профессиональных киберспротсменов' из топ 10, чтобы было легче их отделить от любителей

Читать полностью…

Запрети мне псевдолейблить

Биохаб кончился и кончился неприятно.

Как бы собрать за день сабмит на голд в ферме...

Читать полностью…

Запрети мне псевдолейблить

Когда моя тима шагает по лб на странной эмпирике- это мы нашли стопроцентную хорошую эмпирику, которая помогает на привате и на паблике, все логично.

Когда другие команды шагают по лб- это они сто процентов оверфитнулись, на привате мы им покажем.

Никакого лицемерия, только честность с собой

Читать полностью…

Запрети мне псевдолейблить

Ферма перевалила за 10к участников!

Это значит две новости для вашего рейтинга:
1. 30+ золотых медалей
2. Очень большой сдвиг рейтинговой таблицы
3. Хорошая возможность поднять себе серебро (топ 501) и бронзу (топ 1003)

Вообще мемно, как за ТОП 1000 можно получить медальку

Читать полностью…

Запрети мне псевдолейблить

Новое соревнование от Google на Kaggle:
Google - The Gemma 4 Developer Agent Competition

Нужно файнтюнить Гемму 4, чтобы она лучше кодила

Читать полностью…

Запрети мне псевдолейблить

Kaggriculture: перестановки после Брэдли–Терри

Придумал как визализировать сразу обе важные метрики, на которые по идее должен был влиять пересчет:
1. Медали
2. Очки рейтинга в competition ranking

В итоге после пересчета что-то реально изменилось аж для 4.6% участников Kaggriculture. 102 команды сменили в ту или иную сторону свою медаль.

Думаю все же статфикс был совершено, бесповоротно бесполезен:
Из золота в серебро (и обратно) переместилось буквально две команды и основная драма, как водится, случилась на границе бронзы/серебра.

Зато Каггл первый раз на моей памяти посчитал паблик скор по одной формуле, а приват по другой. В итоге очки пересчитали примерно по формуле: BTscore = Elo * 1.354 + 2093. Скорее всего просто всем 'добавили сверху', чтобы худшая команда имела ноль + eps очков, а потом уже посчитал BT. Для всех, кто минимально решал между просто Elo и BT R^2 удержался в 0.959.

Короче фикс ради фикса, популизм для нищих и дополнительная провокация лудоманов на фарм рл соревнований

Читать полностью…

Запрети мне псевдолейблить

mr Pa3฿aJluHа специально для @pseudolabeling описывает свое решение RSNA

Ты скорее всего тоже в курсе что, соревнование чисто про метки по сути. Вся суть была в том, как из текста сделать метки, по которым можно учить картиночную модель.

Что делал:
- отчёты читали (без картинок) Kimi K3, MiMo-V2.6-Pro-RL, DeepSeek-V4.1-Flash, Qwen3.8-Flash-Next-FP8 и GLM-5.3 на арендованных гпу, по два раза каждая, взял средние метки. В промпт дословно вшил рубрику организаторов (что считается разрывом ACL, какой выпот уже "да" и т.д.) и просил не "упомянуто ли в отчёте", а вероятность, что эксперт по снимку поставил бы плюс. Gold метки заметно строже текста, так что это реально решало. Всё калибровал на gold.
- дальше самообучение: цель = смесь LLM-метки и OOF-предсказаний самой модели, и так 10 раундов подряд (в начале каждый раунд давал ощутимо, но начиная с 4-5 начал уже приколы придумывать с метками, но это копейки давало и скорее шум). Между раундами также делал мелкие внедрения, но на четкие абляции ресурсов не хватило.
- модель 2.5D: бэкбон (в итоге ConvNeXt-S) на окнах по 3 среза, от каждого окна сетка признаков 2x2/3x3 вместо одного вектора, сверху трансформер и свой query на каждую патологию. Сетка дала самый жирный скачок, 0.938 -> 0.951.
- зум на колено: кроп 110 мм по центру вместо всего поля. Плюс правые колени зеркалю в левые и проверяю сторону по снимку — медиальный/латеральный от неё зависят, а тег пустой был в районе 30% исследований.
- судья — 58 gold: они предсказывали LB лучше, чем OOF на моих метках, хотя в дискашенах видел противополжное у кого-то.

С этим в начале октября вышел на 0.963, это была первая строчка по скору, и дней пять держался в топ2, потом народ подтянулся. Ансамбли своих моделей не давали практически ничего (корреляция 0.98), зашёл только второй тип моделей в бленде - 0.965 и 24 на паблике. На привате бог рандома смиловался и я поднялся на 16.


Замечу от себя:
Мы размечали астрой
Мы не додумались несколько раз разметить астрой
Нам помогало хорошо стакать модели и вообще там вундервафля. Разберу его как опубликуем окончательно
SigReg из eine Jepa тащит и стабилизирует обучение, попробуйте его везде
Попробуйте все варианты разрешения инпута для картинок, 512 почти всегда лучше 256 и 344

Наш райтап живет тут, лайки ставить тоже сюда:

https://www.kaggle.com/competitions/rsna-knee-abnormality-detection/writeups/19th-place-solution

Читать полностью…

Запрети мне псевдолейблить

У ваших 3090 купленых с майнинг бума может быть вторая жизнь для фарма кагла

https://github.com/Zagitta/gpu-unlock

Кастомное анлок ядро линукса, которое разблокирует часть железа.
Можно получить почти двухкратный прирост в Bf16/fp16/Tf32 и получить карту эквивалентную по производительности трем четвертям 5070TI с 24 гб чуть более медленной памяти. Зато можно NVlink использовать, чтобы в консьюмер машину поставить 4/8 карт

Читать полностью…

Запрети мне псевдолейблить

Новое соревнование: Google Quantum AI - Verifiable Quantum Circuit Compilation
https://www.kaggle.com/competitions/google-verifiable-quantum-circuit-compilation

Нужно оптимизировать квантовые алгоритмы, чтобы они дешевле считались и все еще были корректными. Пока что выглядит как соревнование на оптимизацию субзадач через кодинг агентов. По сути- квантогольф, где нужно метапромтить агентов на эффективное сжигание токенов

Медали, 150к призовых и 50к из них за первое место

Лучшее место, чтобы подождать санту

Читать полностью…

Запрети мне псевдолейблить

🌱 Alfa Connectome ML Competition 🌱
АПДЕЙТ: Осталось чуть меньше месяца до конца нового раунда Wunder Challenge.

Это соревнование по машинному обучению на биржевых данных. Нужно предсказывать индикаторы будущего движения цены, используя ордербуки двух связанных инструментов.

✶ Идет до 15 ноября
✶ Призовой фонд $13,600
✶ За прошедший месяц+ было сделано около 15,000 сабмишенов

Победители получат денежные призы, приглашение побеседовать в Wunder Fund, а главное — большое интеллектуальное удовольствие.

>>> wundernn.io

Читать полностью…

Запрети мне псевдолейблить

Т-Банк некоторое время назад выпустил MCP-сервер для доступа к инвестициям, и он шикарный. Я им пользовался пару месяцев, и это лучший интерфейс доступа к портфелю ценных бумаг, который я когда либо использовал. Теперь по разработке на его основе хостят целый ai челлендж:

Т-Банк запустил Инвест. Премаркет: команды из 2–4 человек будут придумывать и собирать AI-решения для инвестиционного рынка. Например, AI-агента для управления портфелем, торгового робота, инструмент для анализа портфеля или скоринга идей, ассистент инвестора либо сервис, который автоматизирует исследования. Доводить идею до прототипа помогут эксперты Т-Банка.

Можно участвовать разработчикам, AI/ML-инженерам, аналитикам, продуктовым специалистам, трейдерам или инвесторам. Готовая идея не обязательна, но в команде должен быть хотя бы один человек, который умеет делать прототипы. Я уже говорил, что инструмент шикарный?

Призовой фонд - 2,5 млн ₽, главный приз - 1 млн ₽. Заявки принимают до 11 ноября.

Подать заявку

Читать полностью…

Запрети мне псевдолейблить

Сегодняшний пересчет фермы сломал счетчик медалек каггла.

Ваши предположения, в каком типе переменных хранилось число медалей, что он перепонился от одной тысячи?

Читать полностью…

Запрети мне псевдолейблить

Кстати, ферма кончается сегодня и сегодня мы ждем результаты этого великолепного нововведения с статестом, которое решит проблему дисперсии в оценке силы агентов.

Сделаю специально снапшот лб и расскажу потом, сильно ли что-то изменилось после прогона теста

Читать полностью…

Запрети мне псевдолейблить

Премию 2026 года получил Фрэнсис Хальцен — за ключевую роль в создании обсерватории IceCube и открытии нейтрино высоких энергий из космоса.

Нажился на кагглерах, получается

Третье соревнований (второе, которое решал), о котором я вообще писал на этом канале

Читать полностью…

Запрети мне псевдолейблить

Следите за руками:
1. 30 сентября кончается ферма
2. Организаторы меняют версию энва (без балансных правок)
3. Некоторые боты превращаются в тыкву которую не продашь на рынке ехеххе

У нас есть официальный ответ организаторов:

The latest change to the env was a version bump only with no associated code changes. The only change is that your agents will how see kaggle-environments package version as 1.33.0 instead of 1.32.7.


Проблема в том, что умный Клод запинил версию пакета в части ботов и тем самым отстрелил ногу своим погонщикам

Спасибо чату псевдолейблинга и @wellbeingcoach лично за инфоповод

А вы представляете, какая драма будет, когда еще и статест Бредли-Терри прогонят, как обещали?

Читать полностью…

Запрети мне псевдолейблить

Без помпы, но кагл рехостнул покемонов. Правила те же: собираем колоду, учим агента играть ей и побеждать другие неизвестные колоды.

Медали не дают, призы- кагл мерч. Я его получал, он выглядит бледно, но очаротвательно (на фото). Я бы сделал мерч, честно говоря, лучшего качества на их месте. Люди тратят на его получение огромные усилия

Из изменений- агенты теперь играют не bo1, а bo3.

Читать полностью…

Запрети мне псевдолейблить

Количество золотых медалей на Kaggle соревновании выглядит примерно так.

Можно сказать, что этой функции много явных неэффективностей для соревнований меньше ста человек. Проблемы на самом деле нет: правило ввели в 2016 году и с тех пор соревнования на менее чем 100 человек можно по пальцам пересчитать.
Изменения правил было явно частью подготовки платформы перед продажей ее Google в 2017.

Более того, с тех пор как Kaggle повернулся лицом к кодинг агентам, количество участников стабильно находится за границей в 2к в любом соревновании и продолжит расти.

Из этого конечно можно сделать вывод, что фармить золото стало сложнее, но не все так просто:
Количество усилий, которое прикладывает в среднем каждый засабмитивший явно снизилось. Теперь можно в два промта залить свое решение (неопределенного качества) на лб, а не качать датасет и сабмитить бейзлайн.

Субъективно, попасть в серебро теперь- вообще плевое дело, хотя раньше надо было потеть. Возможно, правда, я просто чему-то научился, пока вел этот канал.

От числа участников асимптотика такая:
Top 0.2% 🥇
Top 5% 🥈
Top 10% 🥉

Так что, стало золото фармить легче?

Читать полностью…

Запрети мне псевдолейблить

Моего тиммейта по Rogii забанили на каггле


Он участвовал в проекте CayleyPy и развивал математику как Open Source на бесплатных ресурсах. К счастью, его канал остался на плаву и там можно почитать на тему 'как работается в Meta London': @datastorieslanguages

RIP Artgor. Я/Мы Андрей Лукьяненко

Такое регулярно бывает. Кагловская система защиты не совершенна и уже проходилась катком и по мне:
/channel/pseudolabeling/383

Читать полностью…

Запрети мне псевдолейблить

Тем временем, алаймент вышел из под контроля

Читать полностью…

Запрети мне псевдолейблить

Еще раз. Есть ОДНО КОМАНДНОЕ ЗОЛОТО в кармане с прошлых соревнований
Одна золотая медаль в профиле, других золотых нет

Читать полностью…
Subscribe to a channel