Telegram-канал funscience - Наука Fun Science: Технологии

Наука Fun Science

28 августа 2024 13:02

Дуэль ИИ и человека на вершине творчества.
Кто лучше пишет - признанный писатель или ИИ?
Эта 1я приятная для человечества новость за несколько лет творческого соревнования людей с искусственным интеллектом машин.
До сих пор, как это ни обидно для людей, игра шла в одни ворота.
• Началось это еще в конце прошлого века с сенсационного проигрыша тогдашнего шахматного чемпиона мира машине. Ну а сегодняшние чемпионы мира уже и не пытаются выиграть у машин, ибо машины по классу игры ушли далеко вперед.
• А когда дошло до творческого предсказания трехмерной структуры 214 миллионов белков, выяснилось, что здесь нечего ловить уже и всему человечеству (людям бы потребовалось на это 80+ млн лет!).

Однако, по состоянию на этот год, все же оставался один не взятый ИИ творческий бастион. Самый высший по людским меркам – литература. Хотя и, казалось бы, самый сподручный для ИИ на основе больших языковых моделей (LLM), ибо здесь они играют на своем = языковом поле.

Сообщения о результатах исследований, где LLM превосходят среднестатистических людей в широком спектре задач, связанных с языком, стали рутиной, и творческое письмо не является исключением.
Поэтому возникает естественный вопрос: готовы ли LLM конкурировать в навыках творческого письма с лучшим (а не средним) романистом?

Чтобы получить ответ на этот вопрос, группа испанских исследователей устроила соревнование в духе дуэлей ИИ и человека, типа DeepBlue против Каспарова и AlphaGo против Ли Сидоля.
Это была дуэль между
• Патрисио Проном - признанный на мировом уровне аргентинский писатель, чьи произведения переведены на многие языки, обладатель нескольких национальных и международных литературных наград, которого критики считают одним из лучших в своем поколении испаноязычным писателем.
• и GPT-4 - одной из лучших в мире сегодняшних LLM, обладающей множеством наивысших экспертных оценок в широком спектре творческих тестов и уже доказавшей свои способности достигать и превосходить среднестатистический уровень людей при выполнении отдельных видов профессиональной деятельности.

Организаторы попросили Прона и GPT-4 предложить по тридцать заголовков, а затем написать рассказы как на свои заголовки, так и на заголовки соперника.
Затем авторы исследования подготовили оценочную шкалу, вдохновленную определением креативности философа Маргарет Боден, назвавшей творчество «фундаментальной особенностью человеческого интеллекта и неизбежным вызовом для интеллекта искусственного».
И наконец, были собраны 5400 оценок, проставленных литературными критиками и учеными.

Результаты этого эксперимента показали:
✔️ LLM все еще далеки от того, чтобы бросить вызов лучшим писателям из вида Homo sapiens.
✔️ По шахматным меркам, в писательском деле LLM не то что до гроссмейстера, но и, похоже, до мастера не дотягивает ни по одному из критериев оценки: привлекательность, оригинальность, креативность, собственный голос, возможность включения в антологию.
✔️ Достижение топового человеческого уровня навыков творческого письма, вероятно, не может быть достигнуто просто увеличением размеров языковых моделей.

И это значит, что мы еще с LLM поборемся за звание «венец творения» среди носителей высшего интеллекта на Земле 😊

Картинка https://telegra.ph/file/46a4fae677a99b8926088.jpg
Статья https://arxiv.org/abs/2407.01119
#LLMvsHomo