Сенсорная замена - Sensory substitution

Сенсорная замена - это изменение характеристик одной сенсорной модальности на стимулы другой сенсорной модальности.

Система сенсорного замещения состоит из трех частей: сенсора, системы сопряжения и стимулятора. Датчик регистрирует стимулы и передает их системе сопряжения, которая интерпретирует эти сигналы и передает их на стимулятор. В случае, если датчик получает сигналы, которые изначально не были доступны носителю, это случай сенсорного увеличения . Сенсорная замена касается человеческого восприятия и пластичности человеческого мозга; и, следовательно, позволяет нам больше изучать эти аспекты нейробиологии с помощью нейровизуализации .

Системы сенсорной замены могут помочь людям, восстанавливая их способность воспринимать определенную дефектную сенсорную модальность, используя сенсорную информацию от функционирующей сенсорной модальности.

История

Идея сенсорной замены была введена в 80-х Полем Бах-и-Ритой как средство использования одной сенсорной модальности, в основном действия , для получения информации об окружающей среде, которая будет использоваться другой сенсорной модальностью, в основном зрением . После этого вся эта область была обсуждена Хаимом-Мейером Шеффом в «Экспериментальной модели для изучения изменений в организации обработки сенсорной информации человека посредством разработки и тестирования неинвазивных протезных устройств для людей с сенсорными нарушениями». Первая система сенсорного замещения была разработана Bach-y-Rita et al. как средство пластичности мозга у врожденно слепых людей. После этого исторического изобретения сенсорная замена стала основой многих исследований перцептивной и когнитивной нейробиологии . Сенсорная замена часто используется для исследования предсказаний воплощенной структуры познания. В теоретических рамках, в частности, исследуется концепция сенсомоторных случайностей с использованием сенсорного замещения. Кроме того, сенсорное замещение способствовало изучению функции мозга, человеческого познания и реабилитации.

Физиология

Когда человек становится слепым или глухим, он обычно не теряет способности слышать или видеть; они просто теряют способность передавать сенсорные сигналы с периферии ( сетчатка для зрения и улитка для слуха) в мозг. Поскольку пути обработки зрения все еще не повреждены, человек, который потерял способность извлекать данные из сетчатки, все еще может видеть субъективные изображения, используя данные, собранные с помощью других сенсорных модальностей, таких как прикосновение или слух.

В обычной зрительной системе данные, собранные сетчаткой, преобразуются в электрический стимул в зрительном нерве и передаются в мозг, который воссоздает изображение и воспринимает его. Поскольку за окончательное восприятие отвечает мозг, сенсорная замена возможна. Во время сенсорной замены неизменная сенсорная модальность передает информацию в области зрительного восприятия мозга, чтобы человек мог воспринимать зрение. При сенсорном замещении информация, полученная с помощью одной сенсорной модальности, может достигать структур мозга, физиологически связанных с другими сенсорными модальностями. Сенсорная замена от прикосновения к визуальному передает информацию от сенсорных рецепторов к зрительной коре для интерпретации и восприятия. Например, с помощью фМРТ можно определить, какие части мозга активируются во время сенсорного восприятия. У слепых людей видно, что, хотя они получают только тактильную информацию, их зрительная кора также активируется, когда они воспринимают зрительные объекты. Также возможна сенсорная замена прикосновения, при которой информация от сенсорных рецепторов одной области тела может использоваться для восприятия прикосновения в другой области. Например, в одном эксперименте Бах-и-Рита сенсорное восприятие удалось восстановить у пациента, потерявшего периферические ощущения из-за проказы.

Технологическая поддержка

Чтобы достичь сенсорного замещения и стимулировать мозг без неповрежденных органов чувств для передачи информации, для передачи сигналов можно использовать машины, а не органы чувств. Этот интерфейс мозг-машина собирает внешние сигналы и преобразует их в электрические сигналы, которые мозг может интерпретировать. Обычно камера или микрофон используются для сбора визуальных или слуховых стимулов, которые используются для замены потерянного зрения и слуха соответственно. Визуальные или слуховые данные, собранные с датчиков, преобразуются в тактильные стимулы, которые затем передаются в мозг для визуального и слухового восприятия. Важно отметить, что это преобразование поддерживает сенсомоторную случайность, присущую соответствующей сенсорной модальности. Этот и все виды сенсорной замены возможны только из-за нейропластичности .

Пластичность мозга

Пластичность мозга относится к способности мозга адаптироваться к изменяющейся среде, например, к отсутствию или ухудшению чувств. Вполне возможно, что перераспределение или реорганизация коры в ответ на потерю одного чувства может быть эволюционным механизмом, который позволяет людям адаптироваться и компенсировать это за счет лучшего использования других чувств. Исследования изображений головного мозга показали, что при нарушениях зрения и слепоте (особенно в первые 12–16 лет жизни) зрительная кора коры головного мозга претерпевает огромную функциональную реорганизацию, так что они активируются другими сенсорными модальностями. Такая кросс-модальная пластичность также была обнаружена с помощью функциональной визуализации врожденно слепых пациентов, которая показала кросс-модальноезадействование затылочной коры во время перцептивных задач, таких как чтение Брайля, тактильное восприятие, осязательное распознавание объектов, локализация звука и звуковая дискриминация. Это может означать, что слепые люди могут использовать свою затылочную долю, обычно используемую для зрения, для восприятия объектов с помощью других сенсорных модальностей. Эта кросс-модальная пластичность может объяснить часто описываемую тенденцию слепых людей проявлять повышенные способности в других чувствах.

Восприятие против ощущения

При рассмотрении физиологических аспектов сенсорной замены важно различать ощущения и восприятие. Общий вопрос, связанный с этой дифференциацией, таков: видят или воспринимают слепые, чтобы видеть, собирая воедино различные сенсорные данные? В то время как ощущения бывают одной модальности - зрительной, слуховой, тактильной и т. Д. - восприятие за счет сенсорной замены - это не одна модальность, а результат кросс-модальных взаимодействий. Таким образом, можно сделать вывод, что, хотя сенсорная замена зрения вызывает у зрячих людей зрительное восприятие, у слепых она вызывает слуховое или тактильное восприятие . Короче говоря, слепые люди воспринимают зрение через прикосновение и прослушивание с сенсорной заменой. В ходе экспериментов с устройством тактильно-визуальной сенсорной замены (TVSS), разработанным Бах-и-Ритой, субъекты описали перцептивный опыт TVSS как особенно визуальный, так что объекты воспринимались так, как если бы они находились во внешнем пространстве, а не на спине или на спине. кожа. Дальнейшие исследования с использованием TVSS показали, что такие изменения восприятия были возможны только тогда, когда участники могли активно исследовать свою среду с помощью TVSS. Эти результаты были подкреплены многими другими исследованиями, тестировавшими различные системы замещения со слепыми субъектами, такими как замещение зрения на тактильное, замещение зрения на слух и замещение зрения на вестибулярное.Такие результаты также сообщаются у зрячих субъектов с завязанными глазами и предоставить дополнительную поддержку теории сенсомоторной непредвиденной ситуации.

Различные приложения

Приложения не только для людей с ограниченными возможностями, но также включают художественные презентации, игры и дополненную реальность . Некоторые примеры - замена визуальных стимулов звуковыми или тактильными, а звуковые стимулы - тактильными. Одними из самых популярных, вероятно, являются «Сенсорная замена тактильного зрения» Пола Бах-и-Риты (TVSS), разработанная совместно с Картером Коллинзом из Института Смита-Кеттлвелла, и подход Питера Мейджера «Видение со звуком» (The vOICe). Технические разработки, такие как миниатюризация и электрическая стимуляция, помогают продвижению устройств сенсорной замены.

В системах сенсорной замены у нас обычно есть датчики, которые собирают данные из внешней среды. Затем эти данные передаются в систему сопряжения, которая интерпретирует и преобразует информацию, а затем воспроизводит ее на стимулятор. Этот стимулятор в конечном итоге стимулирует функционирующую сенсорную модальность. После тренировки люди учатся использовать информацию, полученную в результате этой стимуляции, чтобы испытать восприятие ощущения, которого им не хватает, вместо фактически стимулированного ощущения. Например, больного проказой, у которого было восстановлено восприятие периферического прикосновения, была надета перчатка, содержащая искусственные контактные датчики, связанные с кожными сенсорными рецепторами на лбу (которые стимулировались). После тренировки и акклиматизации пациент мог воспринимать данные из перчатки, как если бы они исходили из кончиков пальцев, игнорируя ощущения во лбу.

Тактильные системы

Чтобы понять тактильную сенсорную замену, важно понимать некоторые основы физиологии тактильных рецепторов кожи. Существует пять основных типов тактильных рецепторов: тельце Пачини , тельце Мейснера , окончания Руффини , нервные окончания Меркеля и свободные нервные окончания . Эти рецепторы в основном характеризуются тем, какой тип стимулов лучше всего их активирует, и скоростью их адаптации к устойчивым стимулам. Из-за быстрой адаптации некоторых из этих рецепторов к устойчивым раздражителям, эти рецепторы требуют быстро изменяющихся систем тактильной стимуляции для оптимальной активации. Среди всех этих механорецепторов тельце Пачини обладает высочайшей чувствительностью к высокочастотной вибрации, начиная от нескольких десятков Гц до нескольких кГц, с помощью своего специализированного механизма механотрансдукции .

Существуют два разных типа стимуляторов: электротактильные и вибротактильные. Электротактильные стимуляторы используют прямую электрическую стимуляцию нервных окончаний в коже для инициирования потенциалов действия; вызванное ощущение, жжение, зуд, боль, давление и т. д. зависит от стимулирующего напряжения. Вибротактильные стимуляторы используют давление и свойства механорецепторов кожи для инициирования потенциалов действия. У обеих этих систем стимуляции есть свои преимущества и недостатки. При использовании систем электротактильной стимуляции на вызываемое ощущение влияет множество факторов: стимулирующее напряжение, ток, форма волны, размер электрода, материал, контактное усилие, расположение кожи, толщина и гидратация. Электротактильная стимуляция может включать прямую стимуляцию нервов ( чрескожно ) или через кожу ( чрескожно ). Чрескожная аппликация причиняет пациенту дополнительные неудобства и является основным недостатком этого подхода. Кроме того, стимуляция кожи без введения приводит к необходимости стимуляции высоким напряжением из-за высокого импеданса сухой кожи, если только язык не используется в качестве рецептора, для которого требуется всего около 3% напряжения. Этот последний метод проходит клинические испытания для различных применений и был одобрен для помощи слепым в Великобритании. В качестве альтернативы было предложено небо рта в качестве еще одной области, где можно почувствовать слабые токи.

Электростатические массивы исследуются как устройства взаимодействия человека с компьютером для сенсорных экранов . Они основаны на явлении, называемом электровибрацией , которое позволяет ощущать токи микроамперрового уровня как шероховатость на поверхности.

Вибротактильные системы используют свойства механорецепторов в коже, поэтому у них меньше параметров, которые необходимо контролировать, по сравнению с электротактильной стимуляцией. Однако системы вибротактильной стимуляции должны учитывать быструю адаптацию тактильных ощущений.

Еще одним важным аспектом систем тактильной сенсорной замены является расположение тактильной стимуляции. Тактильных рецепторов много на кончиках пальцев, лице и языке, но мало на спине, ногах и руках. Важно принимать во внимание пространственное разрешение рецептора, поскольку оно оказывает большое влияние на разрешение сенсорной замены. Дисплей с высокой разрешающей способностью отображает пространственную информацию с помощью тактильных символов, таких как карты города и карты препятствий.

Ниже вы можете найти некоторые описания текущих систем тактильной замены.

Тактильно-визуальный

Одним из самых ранних и наиболее известных устройств сенсорной замены был TVSS Пола Бах-и-Риты, который преобразовывал изображение с видеокамеры в тактильное изображение и связывало его с тактильными рецепторами на спине его слепого объекта. Недавно было разработано несколько новых систем, которые связывают тактильное изображение с тактильными рецепторами на различных участках тела, таких как грудь, лоб, кончики пальцев, живот и лоб. Тактильный образ создают сотни активаторов, размещенных на человеке. Активаторы представляют собой соленоиды диаметром один миллиметр. В экспериментах слепые (или с завязанными глазами ) испытуемые, оснащенные TVSS, могут научиться распознавать формы и ориентироваться. В случае простых геометрических фигур потребовалось около 50 попыток, чтобы добиться 100-процентного правильного распознавания. Чтобы идентифицировать объекты в разной ориентации, требуется несколько часов обучения.

Система, использующая язык как человеко-машинный интерфейс, наиболее практична. Интерфейс язык-машина защищен закрытым ртом, а слюна во рту обеспечивает хорошую электролитическую среду, которая обеспечивает хороший контакт электродов. Результаты исследования Bach-y-Rita et al. показывают, что для электротактильной стимуляции языка требуется 3% напряжения, необходимого для стимуляции пальца. Кроме того, поскольку ортодонтический фиксатор, удерживающий систему стимуляции, практичнее носить, чем устройство, прикрепленное к другим частям тела, интерфейс язык-машина более популярен среди систем TVSS.

Эта система TVSS языка работает, доставляя электротактильные стимулы к тыльной стороне языка через гибкую электродную решетку, помещенную во рту. Эта электродная решетка подключается к блоку индикации языка [TDU] через ленточный кабель, выходящий изо рта. Видеокамера записывает картинку, передает ее в TDU для преобразования в тактильное изображение. Затем тактильное изображение проецируется на язык через ленточный кабель, где рецепторы языка улавливают сигнал. После обучения испытуемые могут связывать определенные типы стимулов с определенными типами зрительных образов. Таким образом, тактильные ощущения можно использовать для визуального восприятия.

Сенсорная замена также оказалась успешной с появлением носимых тактильных актуаторов, таких как вибротактильные двигатели, соленоиды, диоды Пельтье и т. Д. В Центре когнитивных повсеместных вычислений при Университете штата Аризона исследователи разработали технологии, которые позволяют слепым людям воспринимать социальную ситуацию. информация с использованием носимых вибротактильных ремней (Haptic Belt) и перчаток (VibroGlove). Обе технологии используют миниатюрные камеры, которые устанавливаются на очки, которые носит слепой пользователь. Тактильный пояс обеспечивает вибрации, которые передают направление и расстояние, на котором человек стоит перед пользователем, в то время как VibroGlove использует пространственно-временное отображение моделей вибрации для передачи выражения лица партнера по взаимодействию. В качестве альтернативы было показано, что даже очень простые сигналы, указывающие на наличие или отсутствие препятствий (через небольшие модули вибрации, расположенные в стратегически важных местах тела), могут быть полезны для навигации, стабилизации походки и уменьшения беспокойства при эволюции в неизвестном пространстве. Этот подход, получивший название «тактильный радар», изучается с 2005 года исследователями Токийского университета в сотрудничестве с Университетом Рио-де-Жанейро . Подобные продукты включают жилет и пояс Eyeronman, а также систему сетчатки на лбу.

Тактильно-слуховой

Нейробиолог Дэвид Иглман представил на TED в 2015 году новое устройство для слуха по звуку на ощупь; его лабораторные исследования затем расширились до компании Neosensory, базирующейся в Пало-Альто, Калифорния. Неосенсорные устройства улавливают звук и превращают его в трехмерные модели прикосновения к коже.

Эксперименты Schurmann et al. показывают, что тактильные ощущения могут активировать слуховую кору человека. В настоящее время вибротактильные стимулы могут использоваться для улучшения слуха у нормальных и слабослышащих людей. Чтобы проверить слуховые области, активируемые прикосновением, Schurmann et al. испытуемые испытуемые стимулировали пальцы и ладони с помощью всплесков вибрации, а кончики пальцев - с помощью тактильного давления. Они обнаружили, что тактильная стимуляция пальцев приводит к активации области слухового пояса, что предполагает связь между слухом и тактикой. Таким образом, в будущем можно будет провести исследования для изучения вероятности системы тактильно-слуховой сенсорной замены. Одним из многообещающих изобретений является «синтезатор органов чувств», который направлен на обеспечение нормального диапазона слуха в девять октав через 216 электродов в последовательные зоны сенсорного нерва, расположенные рядом с позвоночником.

Тактильно-вестибулярный

Некоторые люди с нарушением баланса или побочными реакциями на антибиотики страдают двусторонним вестибулярным повреждением (БСВ). Они испытывают трудности с сохранением осанки, неустойчивой походкой и осциллопсией . Тайлер и др. изучали восстановление постурального контроля с помощью тактильного замещения вестибулярных сенсорных органов. Поскольку пациенты с BVD не могут интегрировать визуальные и тактильные сигналы, им очень трудно стоять. С помощью закрепленного на голове акселерометра и интерфейса мозг-машина, в котором используется электротактильная стимуляция языка, пациенту передавалась информация об ориентации головы и тела, чтобы появился новый источник данных для ориентации и поддержания хорошей осанки.

Тактильно-тактильное для восстановления периферических ощущений

Сенсорная замена прикосновения к прикосновению - это когда информация от сенсорных рецепторов одной области может использоваться для восприятия прикосновения в другой. Например, в одном эксперименте Бах-и-Рита сенсорное восприятие было восстановлено у пациента, который потерял периферические ощущения из-за проказы. Например, этот больной проказой был снабжен перчаткой, содержащей искусственные контактные датчики, связанные с кожными сенсорными рецепторами на лбу (которые стимулировались). После тренировки и акклиматизации пациент мог воспринимать данные из перчатки, как если бы они исходили от кончиков пальцев, игнорируя ощущения во лбу. После двух дней обучения один из больных проказой сообщил о «чудесном ощущении прикосновения к своей жене, которое он не мог испытать в течение 20 лет».

Система тактильной обратной связи для протезов конечностей

Развитие новых технологий сделало возможным обеспечение пациентов с протезами рук с тактильной и кинестетической чувствительностью. Хотя это не чисто сенсорная система замещения, она использует те же принципы для восстановления восприятия чувств. Некоторыми методами тактильной обратной связи для восстановления восприятия прикосновения к инвалидам могут быть прямая или микростимуляция афферентов тактильного нерва.

Другие применения систем сенсорной замены можно увидеть в функциональных роботизированных протезах для пациентов с квадриплегией высокого уровня. Эти роботизированные руки имеют несколько механизмов обнаружения проскальзывания, вибрации и текстуры, которые они передают пациенту через обратную связь. После дополнительных исследований и разработок информация из этих рук может быть использована пациентами, чтобы понять, что они держат и манипулируют объектами, в то время как их роботизированная рука фактически выполняет задачу.

Слуховые системы

Системы слуховой сенсорной замены, такие как системы тактильной сенсорной замены, стремятся использовать одну сенсорную модальность для компенсации отсутствия другой, чтобы получить восприятие того, чего не хватает. С помощью слуховой сенсорной замены визуальные или тактильные датчики обнаруживают и сохраняют информацию о внешней среде. Затем эта информация преобразуется интерфейсами в звук. Большинство систем представляют собой замены слухового зрения, направленные на использование слуха для передачи визуальной информации слепым.

Звуковой дисплей VOICe

"The vOICe" преобразует изображения с камеры в реальном времени с видеокамеры в звуковые ландшафты, паттерны из множества различных тонов на разной громкости и высоте, передаваемые одновременно. Технология vOICe была изобретена в 1990-х годах Питером Мейджером и использует обычное преобразование видео в аудио, связывая высоту с высотой тона и яркость с громкостью при сканировании слева направо любого видеокадра.

EyeMusic

Пользователь EyeMusic носит миниатюрную камеру, подключенную к небольшому компьютеру (или смартфону), и стереонаушники. Изображения конвертируются в «звуковые ландшафты». Высокие места на изображении проецируются как высокие музыкальные ноты на шкале пентатоники, а низкие вертикальные места как низкие музыкальные ноты.

EyeMusic передает цветовую информацию с помощью различных музыкальных инструментов для каждого из следующих пяти цветов: белого, синего, красного, зеленого, желтого. EyeMusic использует промежуточное разрешение 30 × 50 пикселей.

LibreAudioView

Этот проект, представленный в 2015 году, предлагает новое универсальное мобильное устройство и метод ультразвуковой обработки, специально разработанный для передвижения людей с нарушениями зрения. Он обрабатывает в реальном времени пространственную информацию из видеопотока, полученного со стандартной частотой кадров. Устройство состоит из миниатюрной камеры, встроенной в оправу очков, которая соединена с мини-компьютером с батарейным питанием, который носится на шее с помощью ремня. Аудиосигнал передается пользователю через наушники. Эта система имеет два режима работы. В первом режиме, когда пользователь неподвижен, обрабатываются только края движущихся объектов. Во втором режиме, когда пользователь движется, края как статических, так и движущихся объектов обрабатываются ультразвуком. Таким образом, видеопоток упрощается за счет выделения только краев объектов, которые могут стать опасными препятствиями. Система позволяет определять местонахождение движущихся объектов, оценивать траектории и обнаруживать приближающиеся объекты.

PSVA

Еще одно успешное устройство для замены зрительного восприятия на слух - это протезное заменяющее зрение для слуха (PSVA). В этой системе используется закрепленная на голове телекамера, которая позволяет в реальном времени в режиме реального времени переводить визуальные паттерны в звук. Пока пациент перемещается, устройство фиксирует визуальные кадры с высокой частотой и генерирует соответствующие сложные звуки, которые позволяют распознавать. Визуальные стимулы преобразуются в слуховые с помощью системы, которая использует соотношение пикселей к частоте и связывает грубую модель сетчатки человека с обратной моделью улитки.

The Vibe

Звук, производимый этим программным обеспечением, представляет собой смесь синусоидальных звуков, создаваемых виртуальными «источниками», каждый из которых соответствует «воспринимающему полю» в изображении. Каждое воспринимающее поле представляет собой набор локализованных пикселей. Амплитуда звука определяется средней яркостью пикселей соответствующего рецептивного поля. Частота и меж слуховое неравенство определяются центром тяжести координат пикселей рецептивного поля на изображении (см. «Есть кое-что еще: дистальная атрибуция в сенсорной замене, двадцать лет спустя»; Auvray M ., Ханнетон С., Ленэй К., О'Реган К. Журнал интегративной нейробиологии 4 (2005) 505–21). Vibe - это проект с открытым исходным кодом, размещенный на SourceForge.

Другие системы

Другие подходы к замене слуха на зрение используют бинауральные сигналы направления, как и естественная эхолокация человека . Примером последнего подхода является микросхема SeeHear от Caltech.

Другие устройства зрительно-слуховой замены отклоняются от отображения изображений в оттенках серого. Kromophone Зака ​​Капальбо использует базовый цветовой спектр, соответствующий различным звукам и тембрам, чтобы предоставить пользователям информацию о восприятии, выходящую за рамки возможностей голоса.

Имплантаты нервной системы

Посредством стимулирующих электродов, имплантированных в нервную систему человека, можно прикладывать импульсы тока, которые будут изучены и надежно распознаны реципиентом. Кевин Уорвик в ходе экспериментов успешно показал , что сигналы от индикаторов силы / касания на руке робота могут использоваться в качестве средства связи.

Критика

Утверждалось, что термин «замещение» вводит в заблуждение, поскольку это просто «добавление» или «дополнение», а не замена сенсорной модальности.

Сенсорное увеличение

Смотрите также: Улучшение человека и дистанционное зондирование

Основываясь на исследованиях, проведенных по сенсорному замещению, сейчас начинаются исследования возможности увеличения сенсорного аппарата тела. Цель состоит в том, чтобы расширить способность тела ощущать аспекты окружающей среды, которые обычно не воспринимаются телом в его естественном состоянии. Более того, такая новая информация об окружающей среде может использоваться не для прямой замены сенсорного органа, а для предложения сенсорной информации, обычно воспринимаемой через другую, потенциально поврежденную сенсорную модальность. Таким образом, сенсорная аугментация также широко используется в реабилитационных целях, а также для исследования перцептивной и когнитивной нейробиологии.

Активная работа в этом направлении ведется, среди прочего, электронного смысла проект Открытого университета и Эдинбургского университета , в feelSpace проект Университета Оснабрюка , и проект hearSpace в Парижском университете .

Результаты исследований сенсорного увеличения (а также сенсорного замещения в целом), которые исследуют возникновение перцептивного опыта (квалиа) в результате активности нейронов, имеют значение для понимания сознания.

Смотрите также

использованная литература

внешние ссылки