ИИ может распознать сарказм, но пока не так чутко, как человек

Ученые Нью-Йоркского университета протестировали модели ИИ, способные распознавать сарказм. Оказалось, что они неплохо справляются с этой непростой даже для человека задачей. Может ли ИИ распознать сарказм или примет издевку за чистую монету «Ну, ну». Unsplash Эксперты, полагавшие, что чувство юмора присуще исключительно человеку, скорее всего, ошибались

Большие языковые модели (LLM) — это алгоритмы глубокого обучения, которые могут анализировать подсказки на различных естественных языках и в ответ генерировать реалистичные ответы. Этот многообещающий класс моделей обработки естественного языка (NLP — Natural Language Processing) становится все более популярным после выпуска платформы Open AI ChatGPT.

Поскольку эти модели становятся все более распространенными, оценка их возможностей и ограничений имеет первостепенное значение. Эти оценки могут в конечном итоге выявить ситуации, в которых LLM наиболее или наименее полезны, и определить способы их улучшения.

Исследователь из Нью-Йоркского университета, Джулианн Чжоу поставила перед собой задачу, оценить работу двух LLM, специально обученных распознавать человеческий сарказм.

Сарказм определялся как высказывание, подлинный смысл которого прямо противоположен буквальному. Человек покачивает головой и говорит: «Ну вы молодцы, вы все тут молодцы». И «молодцы» прекрасно понимают, что никакая это не похвала, а довольно ядовитая издевка.

«В области смыслового анализа NLP умение правильно распознавать сарказм необходимо для понимания истинного мнения человека», — пишет Чжоу в своей статье.

Сарказм против похвалы

Саркастическая усмешка Саркастическая усмешкаUnsplash

Анализ настроений — это область исследований, которая включает в себя анализ текстов, обычно публикуемых в социальных сетях, чтобы получить представление о том, как люди относятся к определенной теме или продукту. Сегодня многие компании инвестируют в эту область, поскольку это помогает понять, как клиенты относятся к их продуктам. Для этого анализа очень важно уметь отделять саркастические замечания от настоящей похвалы.

В настоящее время существует несколько моделей NLP, которые могут обрабатывать тексты и определять их основной эмоциональный тон, или, другими словами помогают, установить, какие эмоции выражает текст — положительные, отрицательные или нейтральные. Однако многие обзоры и комментарии, размещенные в Интернете, содержат иронию и сарказм. Модели часто ошибаются и классифицирует такие комментарии как «положительные», хотя на самом деле высказывания выражают отрицательные эмоции.

Поэтому сегодня разрабатываются модели, которые смогут обнаружить сарказм в текстах. Две из наиболее многообещающих модели — CASCADE и RCNN-RoBERTa, были представлены еще в 2018 году разными исследовательскими группами.

Чжоу провела серию тестов, направленных на оценку способности моделей CASCADE и RCNN-RoBERTa обнаруживать сарказм в комментариях, размещенных на известной онлайн-платформе Reddit. Способность этих двух моделей обнаруживать сарказм в образцах текстов сравнивалась со средней точностью человека при выполнении той же задачи и с точностью нескольких базовых моделей для анализа текстов, не специализированных на сарказме.

Очень улучшает распознавание сарказма контекст — особенно описание самого автора текста, которое формируется из других его же текстов. Лучшей среди всех моделей оказалась RoBERTa. Среднему человеку она уступила, но сравнительно немного.

Источник
Комментарии 0
Оцените статью
WARHEAD.SU
Добавить комментарий