«Два счётчика — одно решение»: как мозг складывает звук и картинку, чтобы нажать кнопку быстрее

Когда в траве шуршит и одновременно мелькает тень, мы реагируем быстрее, чем если бы был только звук или только вспышка. Классика. Но что именно происходит в мозге в эти доли секунды? Новая работа в Nature Human Behaviour показывает: зрение и слух копят доказательства раздельно, а в момент решения их «сумма» запускает один моторный триггер. Иначе говоря, в голове работают два сенсорных аккумулятора, которые ко-активируют единый двигательный механизм.

Фон

Как мозг принимает быстрые решения в «шумном мире» из звуков и картинок - вопрос с вековой историей, но без однозначного ответа. С конца XIX-XX вв. в психофизике известен «эффект избыточного сигнала» (redundant signals effect, RSE): если цель подана одновременно по двум модальностям (например, вспышка и тон), реакция быстрее, чем при одиночном сигнале. Спор шёл о механизме: «гонка» независимых каналов (race model), где побеждает самый быстрый сенсорный процесс, или ко-активация (coactivation), где доказательства из разных модальностей действительно складываются перед запуском ответа. Формальные тесты (вроде неравенства Миллера) помогали на поведенческом уровне, но не показывали, где именно происходит «складка» - на стороне сенсорных аккумуляторов или уже у моторного триггера.

За последние 10-15 лет нейрофизиология предложила надёжные маркёры этих скрытых стадий. Прежде всего это центро-теменная позитивность (CPP) - надмодальный ЕЭГ-сигнал «накопления до порога», хорошо согласующийся с дрейф-диффузионными моделями принятия решений, - и снижение бета-ритма (~20 Гц) над левой моторной корой как индекс подготовки движения. Эти сигналы позволили связать вычислительные модели с реальными цепями мозга. Но оставались ключевые пробелы: накапливаются ли аудио- и визуальные доказательства в одном или в двух раздельных аккумуляторах? и существует ли единый моторный порог для мультимодального решения или каждую модальность «судят» по отдельным критериям?

Дополнительная сложность - тайминг. В реальных условиях зрение и слух приходят с микросекундными-миллисекундными рассинхрониями: лёгкий сдвиг во времени может маскировать истинную архитектуру процесса. Поэтому нужны парадигмы, которые одновременно контролируют правило ответа (реагировать на любую модальность или только на обе сразу), варьируют асинхронию и позволяют совмещать поведенческие распределения времен реакции с динамикой ЕЭГ-маркёров в едином моделировании. Именно такой подход и позволяет отличить «суммирование сенсорных аккумуляторов с последующим единым моторным пуском» от сценариев «гонки каналов» или «раннего слияния в один сенсорный поток».

Наконец, за рамками базовой теории стоят прикладные мотивы. Если сенсорные аккумуляторы действительно раздельны, а моторный триггер общий, то у клинических групп (например, паркинсонизм, СДВГ, расстройства спектра) «узкое место» может лежать на разных уровнях - в накоплении, в конвергенции или в моторной подготовке. Для интерфейсов «человек-машина» и систем предупреждения критичны фаза и синхронизация подсказок: правильное фазирование звука и картинки должно максимизировать совместный вклад в моторный порог, а не просто «увеличивать громкость/яркость». Эти вопросы и стали контекстом новой работы в Nature Human Behaviour, где мультимодальное обнаружение исследуют одновременно на уровне поведения, ЕЭГ-динамики (CPP и бета) и вычислительного моделирования.

Что именно выяснили

• В двух ЕЭГ-экспериментах (n=22 и n=21) участники ловили изменения в точечной анимации (зрение) и в серии тонов (слух). Нужно было нажать кнопку либо при любом изменении (редундантное обнаружение), либо только когда изменилось и то и другое (конъюнктивное обнаружение).
• Исследователи отслеживали нейронный «счётчик» доказательств - центро-теменную позитивность (CPP) - и динамику бета-активности левого полушария (~20 Гц) как маркёр подготовки движения. Эти сигналы сопоставляли с распределениями времен реакции и вычислительными моделями.
• Итог: аудиальные и визуальные доказательства накапливаются в отдельных процессах, а при редундантном обнаружении их кумулятивный вклад субаддитивно (меньше простой суммы) ко-активирует один пороговый моторный процесс - тот самый «пуск» действия.

Важная деталь - проверка «на рассинхрон». Когда исследователи ввели небольшую асинхронию между аудио- и визуальными сигналами, модель, где сенсорные аккумуляторы сначала интегрируются, а уже потом информируют моторную систему, объяснила данные лучше, чем «гонка» аккумуляторов друг с другом. Это укрепляет идею: сенсорные потоки идут параллельно, но сходятся в одном моторном узле решения.

Зачем это знать (примеры)

• Клиника и диагностика. Если сенсорные аккумуляторы раздельны, а моторный порог общий, то у разных групп пациентов (с РАС, СДВГ, паркинсонизмом) можно ожидать разные «узлы поломки» - в накоплении, в конвергенции или в моторном пуске. Это помогает точнее проектировать биомаркёры и тренировки внимания/реакции.
• Интерфейсы «человек-машина». Дизайн сигналов предупреждения и мультимодальных интерфейсов может выигрывать от оптимального фазирования звука и визуальных подсказок - чтобы ко-активация моторики была быстрее и стабильнее.
• Нейромодели принятия решений. Результаты связывают многолетние поведенческие «споры» (гонка против ко-активации) с конкретными ЕЭГ-маркёрами (CPP и бета-ритм моторной коры), приближая вычислительные модели к реальной физиологии.

Как делали (методология, но коротко)

• Парадигмы: редундантная (реагировать на любой модальности) и конъюнктивная (реагировать только на обе сразу) - классический приём, который позволяет «взвесить» вклад каждой сенсорной ветви. Плюс отдельный эксперимент с заданной асинхронией между аудио и видео.
• Нейросигналы:
  • CPP - «надмодальный» индекс накопления сенсорных доказательств до порога;
  • Бета-снижение над левой моторной корой - индекс подготовки движения. Сопоставление их временных профилей показало разную амплитуду CPP при слуховых vs зрительных целях (признак раздельных аккумуляторов) и совместный драйв бета-механизма (признак общего моторного порога).
• Моделирование: совместная подгонка поведенческих распределений RT и ЕЭГ-динамики. Модель с интеграцией сенсорных аккумуляторов перед моторным узлом победила в сравнении, особенно при наличии асинхронии.

Что это меняет в картине мозга

• Мультимодальность ≠ «смешали и забыли». Мозг не валит все доказательства в один котёл; он ведёт параллельный учёт по каналам, а объединение происходит ближе к действию. Это объясняет, почему мультимодальные подсказки ускоряют реакцию - они ко-поднимают один и тот же моторный флаг.
• Субаддитивность - норма. «Сумма» сенсорных вкладов меньше простой арифметики, но её хватает, чтобы быстрее достичь моторного порога. Значит, цель интерфейса - не «добавить громкости и яркости», а синхронизировать конвергенцию.
• Мост между психофизикой и нейрофизиологией. Старые поведенческие эффекты «редундантного сигнала» получают механистическое объяснение через CPP и бета-маркёры.

Ограничения и следующий шаг

• Выборка - здоровые взрослые в лабораторных задачах; клинические выводы - это следующая стадия. Нужны испытания у пациентов и в природных мультимодальных средах.
• ЕЭГ даёт отличную временную, но ограниченную пространственную картину; логично дополнять МЭГ/инвазивной регистрацией и моделями эффективной связности.
• Теория предсказывает, что тренировки тайминга аудио-визуальных подсказок должны избирательно улучшать моторный этап без изменения сенсорных накопителей - это проверяемый гипотезой в прикладных задачах (спорт, авиация, реабилитация).

Итог

Мозг держит отдельные «счётчики» для зрения и слуха, но решает одной кнопкой. Понимая, где именно происходит «складка» сенсорной информации в действие, мы можем точнее настраивать диагностику, интерфейсы и реабилитацию - от шлемов пилотов до телемедицины и нейровоспитания внимания.

Источник: Egan, J.M., Gomez-Ramirez, M., Foxe, J.J. et al. Distinct audio and visual accumulators co-activate motor preparation for multisensory detection. Nat Hum Behav (2025). https://doi.org/10.1038/s41562-025-02280-9