Психология и социология / Филологические науки

К.б.н.,Станкевич Л.Н., Дмитриева Е.С., д.б.н., Александров А.А., Экспериментальное формирование зрительно-слуховых ассоциаций при распознавании фонем.

Санкт-Петербургский государственный университет, Россия

Целью работы было проверить в эксперименте возможность выработки зрительно-слуховых ассоциаций, причем в качестве слуховых стимулов использовались гласные фонемы, а зрительные стимулы представляли либо изображения жестов, либо геометрические фигуры (контроль), (Рис.1.). Для верификации образования зрительно-слуховой ассоциации после периода продолжительной тренировки, заключавшейся в предъявлении определенных сочетаний жест-звук, предполагалось использовать тестирование, аналогичное условиям возникновению иллюзии МакГурка, а именно в последовательности привычных сочетаний на заключительной стадии эксперимента предъявлять «рассогласованные» пары жест-звук. Изучались поведенческие характеристики - время реакции при распознавании фонем и процент ошибочных реакций. Время реакции на звуковые стимулы [а] и [и] достоверно не отличалось между собой, поэтому при дальнейшем анализе результаты обрабатывались вместе – далее упоминается как время реакции на звуковой стимул (время реакции). Анализ динамики времени реакции в процессе тренировки зрительно-слуховой ассоциации показал, что время реакции несколько снижается для обоих типов сочетаний жест-звук и геометрическая фигура – звук. Для сочетания «жест-звук» мы видим постепенное уменьшение времени реакции в зависимости от дня обучения и номера предъявляемого протокола. Так же при помощи Т-критерия было выявлено достоверное уменьшение времени реакции (F(1)=9,748; p=0,017) при сравнении результатов 1-го и 2-го предъявления соответствующего блока стимулов. Достоверных отличий времени реакции для других значений номера последовательного предъявления блока обнаружено не было. Для сочетаний «геометрическая фигура – звук» достоверных отличий времени реакции в зависимости от номера предъявления блока также обнаружено не было. Достоверные различия между временем реакции на сочетание «жест-звук» и сочетание «геометрическая фигура – звук» не были обнаружены ни для одного из последовательных предъявлений блоков стимулов. Однако достоверно взаимодействие факторов номер предъявления блока и тип зрительного стимула: (F(6)=87,759; p=0,011). Это свидетельствует о том, что динамика процесса обучения при выработке зрительно-слуховой ассоциации отличается для использованных пар стимулов (звук-жест и звук-фигура). Сравнение результатов, полученных на четвертый день экспериментов, показывает, что введение рассогласованных стимулов приводит к существенному увеличению времени реагирования на звуки (порядка 40 мс). Причем это характерно как для сочетаний «звук-жест», так и для сочетаний «звук-фигура». Однако только для сочетаний «звук-жест» эти различия достоверны – соответствующие значения для увеличения времени реакции при сравнении «7-е предъявление» и «согласованные стимулы в 8-м предъявлении » (F(1)=16,065; p=0,005) и сравнении «7-е предъявление» и «рассогласованные стимулы в 8-м предъявлении » (F(1)=15,828; p=0,005). Для времени реакции на сочетание «геометрическая фигура-звук» при реагировании на блок с рассогласованными стимулами характерно несколько меньшее увеличение и отсутствие достоверных отличий по сравнению с результатами, полученными при предъявлении №7.

Эти данные представляются наиболее существенными. Во-первых, значительное изменение в реагировании при введении рассогласованных стимулов доказывает, что в наших экспериментальных условиях действительно образуется зрительно-слуховая ассоциация, так как изменение порядка сочетаний реально обнаруживается в системе реагирования и вызывает определенные затруднения. Об этом свидетельствует и анализ процента ошибочных реакций. В целом процент ошибочных реакций остается примерно одним и тем же, как для разных типов зрительно-слуховых сочетаний, так и для разных предъявлений блоков стимулов в течение всей тренировки. Однако введение рассогласованных стимулов вызывает существенное увеличение доли ошибочных реакций – более чем в три раза для рассогласованных пар «звук-жест». Различия достоверны для сочетания «жест-звук» при сравнение «7-е предъявление» и «рассогласованные стимулы в 8-м предъявлении », а также при сравнение «согласованные стимулы» и «рассогласованные стимулы» в 8-м предъявлении (F(1)=8,0072, р=0,025). Характерно, что и в этом случае изменения параметров для сочетаний «геометрическая фигура-звук» не достигают уровня значимости. Любопытно также, что увеличение процента ошибочных реакций наблюдается только для рассогласованных пар стимулов. Во-вторых, характер изменений времени реакции и процента ошибочных реакций для сочетаний «звук-жест» существенно отличается от этих параметров для сочетаний «геометрическая фигура – звук». Это касается и динамики изменений в ходе тренировки и выраженности нарушений при введении рассогласованных стимулов. Для сочетаний «звук-жест» эти нарушения выражены сильнее и различия достоверны в отличие от нарушений при рассогласовании стимулов в парах «геометрическая фигура – звук», где они выражены хуже и не достигают уровня значимости.

Полученные данные свидетельствуют о возможности довольно быстрой выработки зрительно-слуховых ассоциаций, если речевые стимулы (фонемы) предъявляются вместе с жестами.

Возможным объяснением наблюдаемому эффекту могут послужить данные показывающие, что при наблюдении жестов в мозге происходит обширная активация популяций нейронов, участвующих в так называемой социальной перцепции. Прежде всего, речь идет об обширной зоне в районе височной верхней борозды - superior temporal sulcus (STS). Показано, что она участвует в восприятии и анализе движений рта, рук и в активности, связанной с возникновением иллюзии Мак-Гурка. Нейроны этой зоны активируются в ответ на движения рук и других частей тела и на статичные изображения жестов. Можно полагать, что вовлечение обширной популяции нейронов, участвующих в организации зрительно-речевого взаимодействия и реагирующих на жесты приводит к тому, что становится возможным относительно быстро формирование ассоциации зрительного изображения жеста с речевым стимулом. Изображения геометрических фигур не являются адекватными стимулами для этой системы нейронов, что сказывается на выработке зрительно-слуховой ассоциации. Нельзя также исключать потенциальную возможность участия в процессе формирования зрительно-слуховой ассоциации и других областей коры, связанных с восприятием и анализом движений руки, в частности канонических зеркальных нейронов в районе лобной нижней извилины (в том числе зона Брока). Таким образом, в работе показана возможность формирования зрительно-слуховой ассоциации при сочетании зрительных изображений со звуками речи. Обнаружено, что при использовании в качестве зрительных стимулов изображений жестов удается получить выраженную зрительно-слуховую ассоциацию, в отличие от ситуации, когда происходит сочетание звуков с изображениями геометрических фигур.

Работа поддержана ФЦП, ГК №14.740.11.0232

Рисунок №1. Зрительные стимулы. А- Зрительные стимулы соответствующие звуку [и]. Б- зрительные стимулы соответствующие звуку [а]

А. Зрительные стимулы соответствующие звуку [и]

Б. Зрительные стимулы соответствующие звуку [а]