Аннотация. В статье представлены описания исследований и экспериментов, направленных на формализацию и поиск решений проблемы понимания при жестовой коммуникации; причины, феномены и открытые вопросы, затрудняющие переход к формализованным концепциям понимания, на которые исследователям предстоит найти ответы; а также материалы из перспективных иностранных исследований, дающие возможность приблизиться к решению этих вопросов.
Ключевые слова: жест; жестовый язык; язык жестов; понимание; речь
Люди производят движения руками в процессе разговора (жестикулируют). Жестикуляция – это устойчивое явление, встречающееся в разных культурах, возрастных группах и направлениях деятельности. Даже слепые от рождения люди жестикулируют. Но как люди понимают друг друга при использовании жестовой коммуникации? Известно, что корректная передача смысла жеста произойдёт в том случае, если для словесного выражения его значения будет подобрано слово, реальное значение которого совпадёт с его номинальным значением [3].
В последнее десятилетие несколько направлений исследования этого вопроса приблизились к решению. Одним из направлений исследования было обнаружено то, что некоторые области мозга и нейроны, участвующие в коммуникативном процессе, также активны при просмотре действий других (зеркальная нейронная система [6; 8]), что привело к следующей мысли: мы понимаем действия других частично, превращая их в словарь моторики наших собственных действий.
Но даже перспективные исследователи не пришли к однозначным выводам касательно следующих вопросов и феноменов:
- Глухие дети слышащих родителей могут изобрести зачатки языковой системы без использования традиционной языковой модели или даже добровольного партнёра по общению.
- Какие причины формируют особые языковые паттерны, обнаруживаемые в системах жестов глухих детей? Они не сформированы традиционным языком, и они не формируются после использования спонтанных жестов их родителями.
- Слышащие обычно испытывают затруднения при восприятии сообщений, передаваемых в противоречии (когда сообщения в речи противоречат сообщениям в жестах). Что определяет, какое из двух сообщений будет прочитано?
- Помогает ли использование жестов мыслительным процессам?
Из этого следует, что переход к формализованным концепциям понимания не может быть произведён ввиду перечисленных вопросов, на которые исследователям предстоит найти ответы. Некоторый базис для решения этих вопросов приведён в этой статье.
Биологические основы речи, знака и жеста
Для жестовых языков характерны те же организационные принципы, что и для языков, которые основаны на устной речи. Однако между этими двумя типами языков существуют различия, наиболее поразительным из которых является то, что языковые элементы в жестовом языке базируются на пространственных контрастах, тогда как речь является линейной и непространственной. У людей, изначально не имеющих речевых дефектов, повреждение левого полушария головного мозга обычно приводит к проблемам в лингвистических задачах, а повреждение справа – к проблемам в пространственных задачах. Что происходит тогда, когда глухие, чей язык основан на пространственных контрастах, получают повреждение мозга? Оказывается, что, как и носители устной речи, глухие с поражениями в левом полушарии хуже выполняют языковые задачи, чем глухие с поражениями в правом полушарии. Эти результаты показывают, что жест обрабатывается мозгом как лингвистическая информация, а не как пространственная, и что левое полушарие отвечает преимущественно за обработку этой информации, будь то жестовый язык или устная речь [12] (но см. последующее обсуждение о возможности того, что правое полушарие также играет роль в обработке жестового языка [13]).
Важно понимать различие в терминах язык жестов и жестовый язык. Язык, на котором говорят глухие – жестовый язык. Это лингвистическая система со своими лексикой, синтаксисом и прочими лингвистическими научными атрибутами. А жестикуляцией или языком жестов называется невербальная составляющая любого языка [2]. Особо следует подчеркнуть, и, вероятно, эта мысль прозвучит в научном дискурсе впервые, – глухие используют обе эти системы. Причём для стороннего наблюдателя, не владеющего жестовым языком, слишком сложно определить границу между этими двумя системами в жестовой речи глухих.
Вопрос мозговой активности можно рассмотреть, изучая особенности мозга у неврологически интактных (интактный – нетронутый, неповреждённый, не вовлечённый в какой-либо физиологический или патологический процесс [1]) слышащих и глухих. Используя поведенческие задачи, учёные зафиксировали [7] высокий уровень активности левого полушария не только тогда, когда слышащие воспринимали речь, но и когда глухие воспринимали жесты. Интересно то, что учёные не обнаружили никаких явных признаков асимметрии полушарий, когда какая-либо из групп обрабатывала жесты, имеющие смысловую нагрузку (например, прощальные взмахи рукой или большой палец вверх) или последовательности движений конечностей, которые не имели никакого определённого значения, что является языком жестов. Однако, это исследование подчёркивает различия между жестами, базирующимися на лингвистических принципах (например, русский жестовый язык), и жестами, которые не имеют в основе таких принципов – язык жестов.
В приведённых исследованиях были проверены только жесты и спонтанные движения, оставив без ответа два интересных вопроса:
- Демонстрируют ли доминирующее значение левого полушария некодифицированные и спонтанные жесты, сопровождающие речь у слышащих людей (язык жестов)? Ответ, скорее всего, будет «нет», так как эти жесты не демонстрируют иерархически сегментированные структуры, найденные в разговорных языках и структурированных жестовых языках.
- Демонстрируют ли доминирующее значение левого полушария жесты, которые глухие дети слышащих родителей создают для первичной системы коммуникации? Если они действительно лингвистически структурированы, эти самодельные жестовые системы, скорее всего, будут обрабатываться как естественный язык, жестовый или устный, и, таким образом, вероятно, будут обрабатываться левым полушарием.
Спонтанно производимые жесты
Для понимания смысла жеста важным моментом является умение распознать его тип и свойства. Макнил [14] и А.E. Харламенков [3] определили типы жестов, которые используются в жестовых языках:
- «Иконические» жесты демонстрируют аспекты смыслового содержания речи. Например, при описании того, как вода наливалась из стакана в блюдо, ребёнок изгибает кулак в воздухе, как будто переливает из одного контейнера в другой.
- «Метафорические» жесты похожи на иконические в том смысле, что они изобразительны; однако, визуальное содержание является абстрактным, а не конкретным.
- «Абстрактные» жесты всегда условны; в них нет графического признака отображаемого понятия. Часто они передают термины и имена собственные; и также часто они передают абстрактные понятия языка. Характерно, что абстрактные жесты очень лаконичны и часто одноручны.
А следующие типы жестов присущи обеим жестовым системам, и языку жестов, и жестовым языкам:
- «Тактовые» жесты выглядят так, как будто они отбивают музыкальный ритм. Рука движется вместе с ритмом речи. В отличие от иконических и метафорических жестов, тактовые жесты, как правило, имеют единую форму независимо от содержания (простое движение руки или пальцев вверх и вниз или назад и вперёд).
- «Дейктические» или указывающие жесты используются как «указатели» на объекты в диалоговом пространстве.
Относительно легко разработать жестовый «лексикон» для конкретной задачи. Затем лексикон можно использовать для кодирования жестов. Например, рассмотрим жест, произведённый во время задачи консервации овощей. Значение каждого жеста присваивается на основе формы, расположения руки и траектории движения, синхронизированные с сопровождающей речью. Плоская ладонь, удерживаемая горизонтально без движения на уровне рассола в банке, – это жест, который обычно сопровождает объяснение значения уровня жидкости («высота уровня»); поэтому значение «высота» присваивается этой форме жеста. Пары форма-значение, возникающие в результате этого процесса, затем используются для кодирования жестов, создаваемых другими людьми, выполняющими эту же задачу.
В книге «Русский жестовый язык. Начала» впервые дано определение термину «жест». «Жест – это пространственно-кинетическое выражение общего и существенного признака предмета или явления, и равнозначен, по своей сути, понятию. Таким образом: жест – это пространственно-кинетическая форма выражения понятия. Из этого определения проистекает вопрос: как, какими способами словесно выражаемые признаки переводятся в пространственно-кинетическую форму? Таких способов четыре:
- изобразить форму предмета и его объём;
- сымитировать свойство (мягкий, твёрдый, жидкий, вибрирующий, и т. д.);
- смоделировать движение или выполняемую работу;
- изобразить признак посредством показа другого предмета с данным признаком.
Все эти способы могут комбинироваться произвольным образом. И именно эти способы дают ответ на вопрос: как с помощью рук выразить понятие? – изображением руками общего существенного признака предмета или явления» [3]. Отсюда проистекает и свойство иконичности: «руками мы создаём то, что воображаем, соответственно, мы можем вообразить то, что делаем руками» [3].
Процитированные выше материалы подтверждаются нижеприведенным экспериментом, при котором один участник кодирует жест без прослушивания сопроводительной речи (то есть с выключенным звуком), а другой кодирует речь без просмотра жеста (т.е. с выключенной картинкой). Ответ считается несоответствием жеста и речи, если в отдельных проходах через данные значение, присвоенное жесту, отличается от значения, присвоенного для речевого фрагмента. Если, например, жесту присваивается значение «высота» одним кодировщиком, а сопровождающей речи присваивается значение «ширина» другим, то ответ в целом считается несоответствием.
Показатель точности с двумя экспериментаторами, каждый из которых обрабатывает одну и ту же видеозапись независимо, обычно высока для кодирования речи, жестов и взаимосвязи между ними (например, в примерах с консервацией овощей значения точности между двумя кодировщиками варьируются от 85 до 94 процентов) [9]. Стоит отметить, что для обеспечения самой возможности декодировать жест требуется наличие ассоциативных связей, обусловленных жизненным оптом у того, кто этот жест «считывает».
Жест как предшественник речи
В возрасте, когда речевые способности детей очень ограничены, для них существует другая возможность выражения, расширяющая диапазон идей, которые они могут описать. Дети могут жестикулировать. Самые ранние жесты, которые используются детьми, обычно в возрасте около 10 месяцев и до их первых слов, являются диектические жесты [5]. Например, ребёнок держит предмет, чтобы привлечь внимание взрослого к этому предмету или указывает на этот предмет. В то же время, некоторые дети также используют иконические жесты. Например, ребенок открывает и закрывает рот, чтобы изобразить рыбу, или машет руками, чтобы изобразить птицу [4].
Комбинация жеста и речи в одном высказывании также может расширить коммуникативный диапазон, доступный детям. Большинство комбинаций жест-речь, которые синтезируют маленькие дети, содержат жесты, передающие информацию, избыточную по отношению к информации, передаваемой в речи; например, указав на объект, ребёнок называет его. Тем не менее, маленькие дети также создают комбинации жест-речь, в которых жест передаёт информацию, отличающуюся от информации, передаваемой в речи; например, жесты на объект при описании действия, которое может быть выполнено над объектом в речи (указывая на яблоко и говоря «дай»), или жесты на объект и описание владельца этого объекта в речи (указывая на игрушку и говоря «моя») [10].
Учитывая теории о важной роли жестов в происхождении языка [11], интересно отметить, что шимпанзе в дикой природе не используют жесты как это делают человеческие дети [15]. Шимпанзе используют жесты, чтобы просить что-то у другого шимпанзе. Напротив, дети используют жесты не только для запросов, но и для комментирования объектов в их окружении. Даже шимпанзе, которых приручают люди, не интерпретируют точки относительно объектов (то есть они не понимают, что речь идёт о конкретном объекте, когда кто-то на него указывает); скорее, они учатся реагировать на этот жест, чтобы получить пищевое вознаграждение. Таким образом, жест может быть важной вехой на пути к языку как в онтогенетическом, так и на эволюционном отрезке времени.
В статье были описаны следующие исследования и эксперименты, направленные на установление механизмов понимания при коммуникативном взаимодействии носителей жестового языка: о восприятии и понимании жеста как лингвистической информации на примере работы левого полушария головного мозга; механизмы синтеза и понимания жестового лексикона с экспериментом кодирования жест-речь, который демонстрирует точность от 85 до 94 процентов; гипотеза о том, что жест в эволюционном плане – это естественный и важный этап на пути к языку.
Concepts of understanding in the communicative interaction of native sign language speakers
Potkin O.A.,
Graduate student Moscow Polytechnic University, Moscow
Harlamenkov A.E.,
Graduate student of CNI of Russian Sign Language, Moscow
Annotation. The article represents studies and experiments aimed at formalizing and search for solutions to the problem of understanding in sign communication; reasons, phenomena and open questions that impede the transition to formalized concepts of understanding, to which researchers have to find answers; as well as materials from promising foreign studies that provide an opportunity to come closer to solving this questions.
Keywords: gesture; sign language; understanding; speech
- Викисловарь (дата обращения: 01.01.2020).
- Как правильно: язык жестов или жестовый язык? (дата обращения: 01.01.2020).
- Харламенков. А.Е. Русский жестовый язык. Начала, 2017. С. 91-93.
- Acredolo, L.P. and Goodwyn, S.W. Symbolic gesture in language development: a case study, 1985, Hum. Dev. 28. Page 40-49.
- Bates, E. et al. The Emergence of Symbols: Cognition and Communication in Infancy, Academic Press/ 1979.
- Chong, T., Cunnington, R., Williams, M. fMRI adaptation reveals mirror neurons in human inferior parietal cortex. Curr Biol 18, 2008. Page 1576-1580.
- Corina, D.P., Vaid, J. and Bellugi, U. The linguistic basis of left hemisphere specialization, 1992, Science 255. Page 1258-1260.
- Dinstein, I., Hasson, U., Rubin, N., Heeger D. Brain areas selective for both observed and executed movements, 2007, J Neurophysiol 98. Page 1415-1427.
- Goldin-Meadow, S. and Sandhofer, C. Gesture conveys substantive information about a child’s thoughts to ordinary listeners, 1999, Dev. Sci. 2. Page 67-74.
- Greenfield, P. and Smith, J. The Structure of Communication in Early Language Development, Academic Press, 1976.
- Hewes, G.W. Primate communication and the gestural origin of language, 1973, Curr. Anthropol. 14. Page 5-24.
- Hickok, G., Bellugi, U. and Klima, E. What’s right about the neural organization of sign language? A perspective on recent neuroimaging results, 1998, Trends Cognit. Sci. 2. Page 465-468.
- Hickok, G., Bellugi, U. and Klima, E.S. The neurobiology of sign language and its implications for the neural basis of language, 1996, Nature 381. Page 699-702.
- McNeill, D. Hand and Mind, University of Chicago Press, 1992.
- Tomasello, M. and Camaioni, L. A comparison of the gestural communication of apes and human infants, 1997, Hum. Dev. 40. Page 7-24.
- Wiktionary (date of the address: 01.01.2020).
- As it is correct: sign language or sign language? (date of the address: 01.01.2020).
- Harlamenkov. A.E. Russian sign language. Beginnings, 2017. Page 91-93.
- Acredolo, L.P. and Goodwyn, S.W. Symbolic gesture in language development: a case study, 1985, Hum. Dev. 28. Page 40-49.
- Bates, E. et al. The Emergence of Symbols: Cognition and Communication in Infancy, Academic Press/ 1979.
- Chong, T., Cunnington, R., Williams, M. fMRI adaptation reveals mirror neurons in human inferior parietal cortex. Curr Biol 18, 2008. Page 1576-1580.
- Corina, D.P., Vaid, J. and Bellugi, U. The linguistic basis of left hemisphere specialization, 1992, Science 255. Page 1258-1260.
- Dinstein, I., Hasson, U., Rubin, N., Heeger D. Brain areas selective for both observed and executed movements, 2007, J Neurophysiol 98. Page 1415-1427.
- Goldin-Meadow, S. and Sandhofer, C. Gesture conveys substantive information about a child’s thoughts to ordinary listeners, 1999, Dev. Sci. 2. Page 67-74.
- Greenfield, P. and Smith, J. The Structure of Communication in Early Language Development, Academic Press, 1976.
- Hewes, G.W. Primate communication and the gestural origin of language, 1973, Curr. Anthropol. 14. Page 5-24.
- Hickok, G., Bellugi, U. and Klima, E. What’s right about the neural organization of sign language? A perspective on recent neuroimaging results, 1998, Trends Cognit. Sci. 2. Page 465-468.
- Hickok, G., Bellugi, U. and Klima, E.S. The neurobiology of sign language and its implications for the neural basis of language, 1996, Nature 381. Page 699-702.
- McNeill, D. Hand and Mind, University of Chicago Press, 1992.
- Tomasello, M. and Camaioni, L. A comparison of the gestural communication of apes and human infants, 1997, Hum. Dev. 40. Page 7-24.