Telegram-канал bogdanisssimo - BOGDANISSSIMO: Unsorted

BOGDANISSSIMO

19 October 2025 14:08

3) Про RL. Я уже не раз критиковал RL [прим. reinforcement learning - обучение с подкреплением], например: https://x.com/karpathy/status/1944435412489171119. Во-первых, вы пытаетесь "протолкнуть обратную связь через тонкую соломинку" - что даёт крайне плохое отношение полезного сигнала к объёму вычислений [прим. речь о том, что типичный RL-агент пробует 10,000 раз случайно что-то делать, чтобы получить подкрепление за правильное поведение 5-10 раз, что крайне неэффективно]. RL также шумный: в завершении может быть масса ошибок, которые будут подкреплены (если случайно вышел правильный ответ), и наоборот - за "референсные токены-инсайты" можно легко напороться на штраф (если вы под конец случайно отклонились от правильного ответа). У подкрепления шаг-за-шагом и у LLM-as-a-judge тоже есть проблемы. Я думаю, мы увидим альтернативные парадигмы обучения. В долгосроке я ставлю на "обучение агентов в интерактивной среде" (agentic interaction), но краткосроке приходится на классический RL: https://x.com/karpathy/status/1960803117689397543. Вышло уже немало работ, которые, по-моему, копают в правильном направлении - что-то вроде того, что я называю "обучением системного промпта" (system prompt learning): https://x.com/karpathy/status/1921368644069765486. Но между идеями на arXiv и реально работающей на масштабе реализацией в фронтир-лабе есть разрыв. В целом я оптимистично ожидаю прогресса по этому направлению в скором времени; и, например, память в ChatGP и т.п. - это зарисовки/черновики новых парадигм обучения.

4) Когнитивное ядро. Мой прежний пост про «cognitive core»: https://x.com/karpathy/status/1938626382248149433 - идея "оголять" LLM, усложнять им меморизацию или даже активно убирать память в ходе обучения, чтобы усилить обобщение [прим. очень напоминает как мыслят олимпиадники региона/всероссов: "я формулу не помню, но помню как её вывести"]. Иначе они слишком опираются на то, что выучили наизусть. Люди не могут так просто всё запоминать - и на контрасте это выглядит как плюс, форма регуляризации в ML. Также мой давний пост о том, почему тренд на размер моделей "как будто обратный" [прим. речь о том, что условные Gemini 2.5 или GPT-5 дешевле и легковеснее, чем была условная GPT-4, ветка парадигмы масштабирования по числу параметров, как это было с GPT-4.5, пока закончилась], и почему "модели должны сначала стать больше, прежде чем смогут стать меньше": https://x.com/karpathy/status/1814038096218083497

5) Путешествие во времени к Yann LeCun, 1989. Это тот пост, который я очень сумбурно/плохо описал в подкасте: https://x.com/karpathy/status/1503394811188973569. Вопрос: насколько вы могли бы улучшить результаты Яна Лекуна, обладая знанием 33 лет алгоритмического прогресса? Насколько результаты ограничивались алгоритмами, данными и вычислительными ресурсами? Кейс-стади на эту тему.

[примечание. в подкасте Andrej сказал, что воспроизвёл 1 в 1 исходную CNN ЛеКуна, повторил метрики, а затем пробовал добавить х10 больше данных, подставлять более современную архитектуру, больше параметров и т.д., чтобы выяснить, что дало бы больше контрибьюшн в точность. пришёл к выводу, что улучшение по всем плоскостям: алгоритмы, данные и количество вычислений дают +- одинаковый вклад]

6) nanochat. Моя сквозная реализация пайплайна обучения/инференса ChatGPT (самые базовые элементы): https://x.com/karpathy/status/1977755427569111362

[примечание. nanochat - гитхаб репозиторий и пошаговая инструкция, как воспроизвести end-2-end все стадии обучения ChatGPT, но на небольшой модели (предобучение, SFT, обучение на диалог). достаточно $100, чтобы обучить с нуля. имеет огромную образовательную ценность, особенно если не копи-пастишь код, а пробуешь сам по инструкции. также, в подкасте Andrej упомянал мысль, что ты реально понимаешь что-то не тогда, когда читаешь/пишешь посты или рассказываешь лекции о чём-то, а когда воспроизводишь руками]