Как мозг оценивает вознаграждения и риски

Нейробиологи Калифорнийского технологического института провели исследования, которое показало, как связаны процессы вознаграждения и риска в мозге человека. Как показала работа, процессы происходят последовательно: сначала мозг оценивает ошибку вознаграждения, а потом ошибку риска, причем главная работа происходит к передней островковой доле. Нейробиологи показали, как мозг оценивает вознаграждения и риски Ant. Ins. — передняя островковая доля. https://link.springer.com/referenceworkentry/10.1007/978-3-540-29805-2_1982/figures/_1_978-3-540-29805-2_1982 Представьте, что вы на распродаже в супермаркете. Вы видите огромную банку томатной пасты. Буквально за копейки. Но вот срок хранения… Вы можете рискнуть и купить ее. Если с ней все в порядке вы здорово выиграете, но если она испортилась, — вы выбросили свои деньги. Вот так мозг и оценивает награды и риски.

Оценка награды и риска — классическая ситуация, рассматриваемая экономистами. Новое исследование лаборатории Джона О’Доэрти, профессора Калифорнийского технологического института, направлено на то, чтобы понять, как мозг реализует такого рода решения. Почему в одном случае, вы все-таки покупаете банку томатной пасты, а другом аналогичном — нет, как представления о вознаграждении и риске строятся на основе опыта.

Нейронная обработка вознаграждения и риска уже исследовалась в Калифорнийском технологическом институте с помощью метода функциональной магнитно-резонансной томографии (фМРТ), который регистрирует изменения кровотока в сосудах мозга. Тогда исследователи обнаружили, что область мозга, так называемая передняя инсула (или островковая доля) активируется, когда люди оценивают риск и неопределенность процесса.

В новом исследовании электроды, имплантированные глубоко в мозг пациентов (для несвязанных с исследованием терапевтических целей), позволили О’Доэрти и его команде получить еще более точные измерения активности мозга во время принятия решений.

Точки показывают места имплантации электродов у пациентов с эпилепсией Точки показывают места имплантации электродов у пациентов с эпилепсиейhttps://www.nature.com/articles/s41467-024-46094-1

В ходе работы выяснилось, что, как и ожидалось, первой появляется так называемая ошибка прогнозирования вознаграждения (разница между ожидаемой и фактической наградой), а за ней следует ошибка прогнозирования риска (разница между ожидаемой и фактической неопределенностью), которая основывается на тех же нейронных процессах, что и ошибка прогнозирования вознаграждения. Оба сигнала обнаружены в коре передней инсулы.

Эти результаты показывают, что ошибка прогнозирования вознаграждения используется и для расчета ошибки прогнозирования риска, и полученную оценку затем можно использовать для обучения, что необходимо для принятия решений.

Винсент Мэн, старший научный сотрудник в области нейробиологии и соавтор статьи, объясняет: «фМРТ отлично показывает нам, где в мозгу что-то происходит, но ее возможности сильно ограничены. Например, на фМРТ не может показать процессы, которые происходят в коротких временных промежутках, а, как мы думаем, нейронные процессы как раз таковы».

Для нового исследования нейробиологи пригласили пациентов, проходивших обследование на эпилепсию. Добровольцы были набраны в больницах и клиниках Университета Айовы. Чтобы контролировать судорожную активность, этим людям имплантировали электроды глубоко в ключевые области мозга, в том числе в переднюю островковую долю, что позволило исследователям обнаруживать нервную активность в микросекундном масштабе времени, что невозможно с помощью фМРТ.

Награда и риск

Нейронная активность в передней островковой доле может использовать представление RePE (reward prediction error — ошибка предсказания вознаграждения) для последующего декодирования RiPE (risk prediction error — ошибка предсказания риска). На рисунке показано время (в секундах после представления информации о результате) декодирования перекрестных переменных RePE в RiPE с помощью сигнала локального потенциала поля в передней островковой доле. Обведенные области значительно отличаются от случайных. Нейронная активность в передней островковой доле может использовать представление RePE (reward prediction error — ошибка предсказания вознаграждения) для последующего декодирования RiPE (risk prediction error — ошибка предсказания риска). На рисунке показано время (в секундах после представления информации о результате) декодирования перекрестных переменных RePE в RiPE с помощью сигнала локального потенциала поля в передней островковой доле. Обведенные области значительно отличаются от случайных.Nature Communications (2024). DOI: 10.1038/s41467-024-46094-1

Затем участники играли в очень простую карточную игру, используя 10 игральных карт, пронумерованных от туза до 10, причем туз считается за единицу. Их попросили предсказать, будет ли вторая карта выше или ниже по ценности, чем первая. Поскольку ни одна карта не была видна, это всегда была случайная догадка.

После того, как была показана первая карточка, участники получали некоторую информацию о том, насколько точным может быть их предположение. Например, если бы они предсказали, что вторая карта будет младше, а первая карта была бы 10, они бы сразу поняли, что их предположение верно. Если бы первая карта была тузом, они бы знали, что ошибались. Но если первой картой была пятёрка, исход оставался неопределенным до тех пор, пока не была раскрыта вторая карта.

«По сути, с помощью этой игры мы рисуем дугу от отсутствия неопределенности к максимальной неопределенности», — объясняет Мэн, работающий в лаборатории О’Догерти. «Вычислительная модель предсказывает, что вы делаете одно вычисление и формируете ожидание относительно риска. Когда вы видите вторую карту, происходит второе вычисление для оценки ожидаемого риска».

Вычисления, используемые для этих прогнозов, идентифицируются, как две оценки. Первая — ошибка прогнозирования вознаграждения (RePE): процесс сравнения между ожидаемым вознаграждением и наблюдаемым вознаграждением (фактическая вытянутая карта). Вторая — ошибка прогнозирования риска (RiPE): процесс сравнения между ожидаемым риском и наблюдаемым риском.

Активность, обнаруженная в передней островковой части во время этих игр, демонстрировала именно такой двухэтапный процесс после отображения второй карты: сначала оценка прогноза вознаграждения, а затем оценка ошибки прогнозирования риска.

Как работает дофамин widget-interest

Как алкоголь на самом деле влияет на клетки нашего мозга

 

Генная терапия помогает при алкоголизме. Пока нечеловеческим приматам

 

Всего одна бессонная ночь помогает выйти из депрессии

О’Догерти говорит: «Определение того, как мозг генерирует такого рода вычисления, может помочь нам в конечном итоге построить более точные модели того, как мозг обучается и принимает решения, что может быть полезно не только для понимания того, как мозг работает в целом, но также, потенциально, для понимания того, почему эти процессы могут пойти не так при таких, например, заболеваниях, как пристрастие к азартным играм, зависимости или другие психические расстройства».

Источник
Комментарии 0
Оцените статью
WARHEAD.SU
Добавить комментарий