e/acc

29 May 2023 17:05

Пропустил пейпер, который вышел аж на позапрошлой неделе и чувствую себя динозавром. А идея, между прочим, архи крутая.

Tree of Thought (дерево мыслей) поможет бороться с галлюцинациями и недостаточно детальными, правильными ответами LLM благодаря добавлению саморефлексии и промежуточных результатов размышлений. Если мысль зашла в тупик, то она умеет "отмотать" назад до наиболее логичной цепи рассуждений.

Например, вместо того, чтобы просить модель решить полное математическое выражение, модель генерирует один промежуточный шаг расчета и явно записывает результат как мысль.

После генерации этих промежуточных мыслей модель проводит самокритику, оценивая каждую мысль в отдельности. Она исследует различные ветви мыслей и "обрезает" неперспективные ветки. Потом на основе оценки выбирает лучшие идеи. И так до упора.