Python

13 June 2026 00:02

Моё понимание (ллм, не всего мл) сформировано по материалам вот этого чувака. Конкретно курс на ютубе я не смотрел, но вроде как он там подробно про структуру рассказывает

https://youtu.be/wNsp1ZH-pyk

Python

12 June 2026 23:59

ну это как раз предсказанный токен

Python

12 June 2026 23:59

Насчёт t2 и t3 поверхностно не согласен, но глубоко в это погружаться сегодня не готов, ахах

Python

12 June 2026 23:56

по идее у нас модельки [t1, t2, t3] на входе, а на выходе [t2, t3, t4]

Python

12 June 2026 23:55

ну это не значит же что внимание больше уделяется концу промпта чем началу

Python

12 June 2026 23:54

Я удивлён что для Training-Inference Mismatch нету статьи на википедии

Python

12 June 2026 23:53

Мы же не предыдущий токен угадываем а следующий

Python

12 June 2026 23:52

А если вернуться к началу, то как это должно повлиять на общий ответ LLM

Python

12 June 2026 23:48

А, там о разнице перфа. Вот гайд, в котором он, ссылаясь на это, говорит, что надо следить за разницей между боевыми и учебными данными

https://developers.google.cn/machine-learning/crash-course/production-ml-systems/monitoring?hl=en#check_for_training-serving_skew

Python

12 June 2026 23:45

Логично, пытаюсь разобраться)

Python

12 June 2026 23:43

Ну сорян, а куда тут дать ссылку?

На вики мог бы, но статьи об этом нету

Python

12 June 2026 23:42

Не честно) я даю тебе инфу с указанием мест где можно посмотреть/прочитать а ты просто закидываешь фактами

Python

12 June 2026 23:39

Второй тейк был просто btw, это не аргумент особо. Отреагируй на первый как на аргумент, пожалуйста

Python

12 June 2026 23:37

Кроме того, на мой взгляд это нечто, очевидно следующее из самой идеи обучения чему-то

Python

12 June 2026 23:35

Ответь тем же, и мы найдем истину

Python

13 June 2026 00:00

Сколько раз бы я не брался разобраться в механизме работы llm-к каждый раз голова кипит

Python

12 June 2026 23:59

забавно просто как он ответил на этот вопрос

Python

12 June 2026 23:58

не понимаю, о чём хех

Python

12 June 2026 23:56

Вот тут подробно расписал эффект от этого

НО пример из того поста вообще-то не верен)
Он замечательно иллюстрирует смысл проблемы, но конкретно с ним никаких проблем не возникнет, потому как ллм эмерджентно изобрели себе вектора с "суперпозицией смысла". Но это уже совсем другая история..

Python

12 June 2026 23:54

Это влияет на то, как она интерпретирует смысл написанного

Python

12 June 2026 23:53

Вообще всё это время можно было просто закинуть промпт ниже в любую ллм, но ты меня тут итак попустил за отсутствие внятных источников)

LLM
при рассчёте корреляций для токена n, просчитывают ли его коррелирование с токеном n+1?

Python

12 June 2026 23:53

ну не знает первый токен о том в чем говориться во втором

Python

12 June 2026 23:51

маскировку используют всегда получается

Python

12 June 2026 23:46

https://developers.google.cn/machine-learning/glossary#training-serving-skew

Гугл вон в своём глоссарии по мл (не знал что у них такой есть) пишет об этом, называя training-serving skew

Python

12 June 2026 23:44

ты не согласен с тем, что это логично?

Python

12 June 2026 23:42

Да, спасибо. Я сонный и от этого в негатив чрезмерно воспринимаю

Python

12 June 2026 23:41

Ща дай пару минут, я воткну

Python

12 June 2026 23:38

Ну нет, это перенос. Ты сделал выводы исходя из собственных знаний.

Python

12 June 2026 23:36

Training-Inference Mismatch это общепринятый термин в сфере. Я не могу сослаться на один конкретный источник, но просто погуглив эти три слова это подтверждается

Python

12 June 2026 23:34

Ну я не могу принять твои умозаключения, мне нужны пруфы. Я свои пруфы тебе предоставляю