Мультимодальность - Multimodality

Мультимодальность - это применение нескольких грамот в одной среде. Например, понимание телевизионного прогноза погоды (средний) включает понимание разговорной речи, письменной речи, языка, специфичного для погоды (например, температурных шкал), географии и символов (облака, солнце, дождь и т. Д.). Множественная грамотность или "режимы" способствуют пониманию композиции публикой. Все, от размещения изображений до организации контента и способа доставки, создает смысл. Это результат перехода от изолированного текста, на который полагаются как на основной источник коммуникации, к изображению, которое чаще используется в цифровую эпоху. Мультимодальность описывает коммуникативные практики с точки зрения текстовых, звуковых, лингвистических, пространственных и визуальных ресурсов, используемых для составления сообщений.

Хотя вся практика общения, грамотности и сочинения была и всегда была мультимодальной, академическое и научное внимание к этому явлению начало набирать обороты только в 1960-х годах. Работа Ролана Барта и других привела к широкому спектру дисциплинарных подходов. Совсем недавно преподаватели риторики и композиции включили мультимодальность в свои курсы. В своем утверждении положения о взаимопонимании и преподавания написания: руководящие принципы , то Национальный совет преподавателей английского государства , что «„писать“колеблется в широком смысле с письменного языка (как , например, используемый в данном заявлении), к графике, к математической нотации»

Определение

Хотя обсуждения мультимодальности часто включают упоминания как среды, так и способа, эти два термина не являются синонимами: их точная степень, однако, может перекрываться в зависимости от того, насколько точно (или нет) отдельные авторы и традиции используют эти термины.

Исследования Гюнтера Кресса в области мультимодальности являются каноническими в рамках социальных семиотических подходов и также имеют значительное влияние на многие другие подходы ( написание исследований ). Кресс определяет режим двумя способами. В первом случае мода «является социально и культурно сформированным ресурсом для создания смысла. Изображение, письмо, макет, речь, движущиеся изображения - примеры различных режимов ». Во втором случае «семиотические модусы подобным образом формируются как внутренними характеристиками и возможностями среды, так и требованиями, историей и ценностями обществ и их культур».

Таким образом, у каждого способа есть свой модальный ресурс, который исторически и культурно расположен и разбивает его на части, потому что «каждый имеет различные возможности [и ограничения] для смысла». Например, разделение письма на его модальные ресурсы будет включать синтаксические, грамматические, лексические и графические ресурсы. Графические ресурсы можно разбить на размер шрифта, тип и т. Д. Однако эти ресурсы не являются детерминированными. В теории Кресса «модус имеет значение: он формируется и несет в себе« глубокие »онтологические и исторические / социальные ориентации общества и его культур в каждом знаке. Mode называет материальные ресурсы, сформированные часто в долгой истории социальных усилий ». Режимы формируют и формируются системами, в которых они участвуют. Режимы могут объединяться в мультимодальные ансамбли, формирующиеся со временем в знакомые культурные формы, хорошим примером является фильм, в котором сочетаются визуальные режимы, режимы драматического действия и речи, музыки и других звуков. Мультимодальные работы в этой области включают van Leeuwen; Бейтман и Шмидт; и теория Бёрна и Паркера кинейконической моды .

В социальных семиотических счетах среда - это субстанция, в которой значение реализуется и через которое оно становится доступным для других. Среды включают видео, изображения, текст, аудио и т. Д. В социальном отношении среда включает семиотические , социокультурные и технологические практики, такие как кино, газета, рекламный щит, радио, телевидение, театр, класс и т. Д. Мультимодальность использует электронные средства массовой информации. путем создания цифровых режимов с чередованием изображения, письма, макета, речи и видео. Среды стали способами доставки, которые принимают во внимание текущий и будущий контекст. Счета в исследованиях СМИ частично совпадают с этими проблемами, часто больше подчеркивая ценность СМИ как социальных институтов для распространения определенных видов коммуникаций.

Подходы к цифровым медиа с точки зрения мультимодального обращения, в частности тот факт, что мультимодальность и мультимодальная коммуникация в настоящее время постепенно эволюционируют от исключительно печатной презентации к экранной презентации, также развиваются отношения спикера и аудитории. Из-за растущего присутствия цифровых медиа за последнее десятилетие центральным способом представления больше не является просто текст; в последнее время использование изображений стало более заметным. В его нынешнем использовании для Интернет и сетевых композиций термин «мультимодальность» стал еще более распространенным, применительно к различным формам текста, таким как изобразительное искусство, литература, социальные сети и реклама. Важным термином, связанным с мультимодальностью, является многограмотность, то есть понимание различных способов общения - не только для чтения текста, но и для чтения других режимов, таких как звук и изображение. Независимо от того, понимается ли сообщение и как оно понимается, учитывается многограмотность.

История

Мультимодальность (как явление) на протяжении всей истории письменности получало все больше теоретических характеристик. Действительно, это явление изучается, по крайней мере, с 4 века до нашей эры, когда классические риторы ссылались на него, делая упор на голос, жест и выражения в публичных выступлениях. Однако до 20 века этот термин не имел значения. За это время экспоненциальный рост технологий создал много новых способов презентации. С тех пор мультимодальность стала стандартом в 21 веке, применительно к различным сетевым формам, таким как искусство, литература, социальные сети и реклама. Мономодальность, или единичный режим, который использовался для определения представления текста на странице, был заменен более сложными и интегрированными макетами. Джон А. Бейтман говорит в своей книге « Мультимодальность и жанр» : «В наши дни… текст - это всего лишь одна нить в сложной презентационной форме, которая органично включает визуальный аспект« вокруг », а иногда даже вместо самого текста». Мультимодальность быстро стала «нормальным состоянием человеческого общения».

Экспрессионизм

В течение 1960-х и 1970-х годов многие писатели обращались к фотографиям, фильмам и аудиозаписям, чтобы открыть для себя новые идеи о композиции. Это привело к возрождению акцента на чувственной самооценке, известной как экспрессионизм . Экспрессионистское мышление побуждало писателей находить свой голос вне языка, помещая его в визуальную, устную, пространственную или временную среду. Дональд Мюррей , которого часто связывают с экспрессионистскими методами обучения письму, однажды сказал: «Как писателям важно, чтобы мы уходили от того, что находится внутри нас, к тому, что мы видим, чувствуем, слышим, обоняем и пробуем на вкус окружающего мира. . Писатель всегда использует опыт ». Мюррей проинструктировал своих студентов-писателей «видеть себя камерами», записывая каждое визуальное наблюдение, которое они делали в течение одного часа. Экспрессионистская мысль подчеркивала личностный рост и связала искусство письма со всем визуальным искусством, называя оба типа композиции. Кроме того, сделав письмо результатом чувственного опыта, экспрессионисты определили письмо как мультисенсорный опыт и попросили предоставить ему свободу сочинения во всех режимах, адаптированных для всех пяти чувств.

Познавательное развитие

В 1970-х и 1980-х годах мультимодальность получила дальнейшее развитие благодаря когнитивным исследованиям обучения. Джейсон Палмери цитирует таких исследователей, как Джеймс Берлин и Джозеф Харрис, как важных сторонников этого развития; Берлин и Харрис изучали алфавитное письмо и сравнивали его состав с искусством, музыкой и другими формами творчества. В их исследовании использовался когнитивный подход, который изучал, как писатели думали и планировали свой процесс письма. Джеймс Берлин заявил, что процесс написания письма можно напрямую сравнить с созданием изображений и звука. Кроме того, Джозеф Харрис указал, что алфавитное письмо является результатом мультимодального познания. Писатели часто концептуализируют свою работу не алфавитными средствами, через визуальные образы, музыку и кинестетические чувства. Эта идея нашла отражение в популярном исследовании Нила Д. Флеминга , более известном как нейролингвистические стили обучения . Три стиля слухового, кинестетического и визуального обучения Флеминга помогли объяснить способы, в которых люди лучше всего могли учиться, создавать и интерпретировать смысл. Другие исследователи, такие как Линда Флауэр и Джон Р. Хейс, предположили, что алфавитное письмо, хотя и является основной модальностью, иногда не может передать неалфавитные идеи, которые писатель хотел выразить.

Внедрение Интернета

В 1990-х годах мультимодальность расширилась с появлением Интернета , персональных компьютеров и других цифровых технологий. Грамотность подрастающего поколения изменилась, оно привыкло к тексту, распространяемому частями, неформально и с использованием различных средств изображения, цвета и звука. Это изменение представляет собой фундаментальный сдвиг в том, как было представлено письмо: от печатного к экранному. Грамотность развивалась так, что студенты приходили в классы со знанием видео, графики и работы с компьютером, но не алфавитным письмом. Педагогам пришлось изменить свои методы преподавания, включив в них мультимодальные уроки, чтобы помочь учащимся добиться успеха в письменной форме в новом тысячелетии.

Аудитория

Каждый текст имеет свою определенную аудиторию и принимает риторические решения, чтобы улучшить восприятие этого текста аудиторией. Таким же образом мультимодальность превратилась в изощренный способ обращения к аудитории текста. Опираясь на каноны риторики иначе, чем раньше, мультимодальные тексты способны адресовать более широкую, но более целенаправленную аудиторию. Мультимодальность делает больше, чем просто привлечение аудитории; эффекты мультимодальности заложены в семиотическом, общем и технологическом понимании аудитории.

Психологические эффекты

Появление мультимодальности на самом базовом уровне может изменить способ восприятия информации аудиторией. Основное понимание языка приходит через семиотику - связь между словами и символами. Мультимодальный текст изменяет свой семиотический эффект, помещая слова с заранее заданными значениями в новый контекст, будь то контекст аудио, визуальный или цифровой. Это, в свою очередь, создает новое, принципиально иное значение для аудитории. Беземер и Кресс, два исследователя мультимодальности и семиотики, утверждают, что студенты понимают информацию по-разному, когда текст доставляется в сочетании с вторичным носителем, таким как изображение или звук, чем когда он представлен только в буквенно-цифровом формате. Это связано с тем, что он привлекает внимание зрителя «как к исходному сайту, так и к сайту реконтекстуализации». Значение перемещается от одного носителя к другому, что требует от аудитории переопределения своих семиотических связей. Реконтекстуализация исходного текста в других средах создает иное понимание для аудитории, и этот новый тип обучения может контролироваться типами используемых средств массовой информации.

Мультимодальность также может использоваться, чтобы связать текст с конкретной аргументативной целью, например, чтобы изложить факты, дать определение, вызвать оценочное суждение или принять политическое решение. Джинн Фанесток и Мари Секор, профессора Университета Мэриленда и Университета штата Пенсильвания, назвали выполнение этих целей « стадией» . Стазис текста может быть изменен мультимодальностью, особенно когда несколько сред сопоставляются, чтобы создать индивидуальный опыт или значение. Например, аргумент, который в основном определяет понятие, понимается как аргумент в застое определения; однако ему также может быть назначен стазис ценности, если способ подачи определения дает авторам возможность оценить концепцию или судить о том, хорошо это или плохо. Если текст является интерактивным, аудитории предлагается создать собственное значение с точки зрения мультимодального текста. Акцентируя внимание на разных стадиях с помощью разных приемов, писатели могут еще больше вовлечь свою аудиторию в формирование понимания.

Жанровые эффекты

Мультимодальность также скрывает представление аудитории о жанре, создавая серые области из того, что когда-то было черным и белым. Кэролайн Р. Миллер, выдающийся профессор риторики и технических коммуникаций в Университете штата Северная Каролина, наблюдала в своем жанровом анализе блога, как изменился жанр с изобретением блогов, заявив, что «существует четкое согласие относительно основных характеристик, которые делают блог. блог. Миллер определяет блоги на основе их обратной хронологии, частого обновления и комбинации ссылок с личными комментариями. Однако при рассмотрении мультимодальных текстов центральные особенности блогов не видны. Некоторые функции отсутствуют, например, возможность постов быть независимыми друг от друга, в то время как другие присутствуют. Это создает ситуацию, когда жанр мультимодальных текстов невозможно определить; скорее, жанр динамичен, эволюционирует и постоянно меняется.

Доставка новых текстов радикально изменилась вместе с технологическим влиянием. Композиция теперь состоит из ожидания будущих исправлений. Писатели думают о типе аудитории, для которой будет написан текст, и предвидят, как этот текст может быть изменен в будущем. Джим Ридольфо ввел термин « риторическая скорость», чтобы объяснить сознательную заботу о расстоянии, скорости, времени и перемещении, которое потребуется третьему лицу, чтобы переписать исходную композицию. Использование перекомпоновки позволяет аудитории участвовать в публичном разговоре, добавляя своей интенциональности исходному продукту. Этот новый метод редактирования и исправления связан с эволюцией цифрового текста и публикаций, в результате чего технологиям отводится важная роль в написании и композиции.

Технологические эффекты

Мультимодальность развивалась вместе с технологиями. Эта эволюция создала новую концепцию письма, контекст сотрудничества, поддерживающий отношения читателя и писателя. Концепция чтения отличается из-за влияния технологий из-за стремления к быстрой передаче информации. Говоря о влиянии мультимодальности на жанр и технологию, профессор Энн Фрэнсис Высоцки подробно рассказывает о том, как чтение как действие изменилось отчасти из-за технологической реформы: «Эти различные технологии открывают перспективы для рассмотрения и изменения унаследованных нами подходов к сочинению и интерпретации. страницы .... ». Наряду с взаимосвязанностью средств массовой информации компьютерные технологии предназначены для создания новых текстов, влияющих на риторическую подачу и аудиторию.

Образование

Мультимодальность в 21 веке заставила образовательные учреждения задуматься об изменении форм своих традиционных аспектов обучения в классе. С ростом цифровой и интернет-грамотности в классе необходимы новые способы общения в дополнение к печатным, от визуальных текстов до цифровых электронных книг. Вместо того, чтобы заменять традиционные ценности грамотности, мультимодальность увеличивает и увеличивает грамотность образовательных сообществ за счет введения новых форм. По словам Миллера и МакВи, авторов книги « Мультимодальное сочинение в классных комнатах» : «Эти новые виды грамотности не отменяют традиционных. Учащимся по-прежнему необходимо уметь читать и писать, но в них интегрированы новые навыки грамотности ". Результаты обучения в классе остаются неизменными, включая, помимо прочего, чтение, письмо и языковые навыки. Однако эти результаты обучения теперь представлены в новых формах как мультимодальность в классе, что предполагает переход от традиционных средств массовой информации, таких как бумажный текст, к более современным средствам, таким как экранные тексты. Выбор интеграции мультимодальных форм в классе по-прежнему вызывает споры в образовательных сообществах . Идея обучения изменилась с годами, и теперь, как утверждают некоторые, она должна адаптироваться к личным и эмоциональным потребностям новых учащихся. Чтобы классные сообщества были законно смешанными, все члены сообщества должны разделять ожидания относительно того, что может быть покончено с помощью интеграции, требующей «сдвига во взглядах многих преподавателей на то, что составляет обучение и обучение грамоте в мире, который больше не связан печатным текстом».

Многограмотность

Многофункциональность - это концепция понимания информации с помощью различных методов коммуникации и владение этими методами. С развитием технологий появляется больше способов общения, чем когда-либо прежде, поэтому наше определение грамотности необходимо изменить, чтобы лучше приспособиться к этим новым технологиям. Эти новые технологии состоят из таких инструментов, как обмен текстовыми сообщениями, социальные сети и блоги. Однако эти способы связи часто используют одновременно несколько носителей, например аудио, видео, изображения и анимацию. Таким образом, делая контент мультимодальным.

Кульминацией этих различных сред является так называемая конвергенция контента, которая стала краеугольным камнем мультимодальной теории. В рамках нашего современного цифрового дискурса контент стал доступным для многих, его можно повторно смешивать и легко распространять, что позволяет широкой публике потреблять, редактировать и улучшать идеи и информацию. Примером является Википедия , платформа позволяет бесплатное использование и авторство своей работы, что, в свою очередь, способствует распространению знаний благодаря усилиям большого сообщества. Это создает пространство, в котором авторство стало совместным, и продукт указанного авторства улучшается благодаря этому сотрудничеству. По мере того, как распространение информации росло благодаря этому процессу конвергенции контента, стало необходимо, чтобы наше понимание грамотности развивалось вместе с ним.

Отказ от письменного текста как единственного способа невербального общения привел к развитию традиционного определения грамотности. Хотя текст и изображение могут существовать отдельно, в цифровом или печатном виде, их сочетание порождает новые формы грамотности и, таким образом, новое представление о том, что значит быть грамотным. Текст, будь то академический, социальный или развлекательный, теперь доступен множеством различных способов и отредактирован несколькими людьми в Интернете. Таким образом, тексты, которые обычно бывают конкретными, в процессе сотрудничества становятся аморфными. Устное и письменное слово не устарели, но они больше не являются единственным способом передачи и интерпретации сообщений. Многие среды можно использовать по отдельности и по отдельности. Комбинирование и перепрофилирование одного способа общения на другой способствовало развитию различных образований.

Коммуникация распространяется через среду посредством конвергенции контента, такого как сообщение в блоге, сопровождаемое изображениями и встроенным видео. Идея комбинирования средств передачи придает новый смысл концепции перевода сообщения. Кульминация различных форм медиа позволяет либо повторять контент, либо дополнять его частями. Это изменение формы информации из одного режима в другой известно как преобразование. Когда информация меняется от одного режима к другому, наше понимание ее сообщения объясняется многограмотностью. Сяоло Бао определяет три следующих этапа обучения, составляющих многограмотность. Метод грамматического перевода, коммуникативный метод и метод, основанный на задачах. Проще говоря, их можно описать как фундаментальное понимание синтаксиса и его функции, практику применения этого понимания к вербальному общению и, наконец, применение указанного текстового и вербального понимания к практической деятельности. В эксперименте, проведенном Канадским центром науки и образования, студенты были помещены в классную комнату с мультимодальной структурой курса или классную комнату со стандартной структурой учебного курса в качестве контрольной группы. Тесты проводились на протяжении двух курсов, при этом мультимодальный курс завершался более высоким уровнем успешности обучения и, как сообщается, более высоким уровнем удовлетворенности студентов. Это указывает на то, что применение мультимодальности к обучению дает в целом лучшие результаты в развитии многограмотности, чем традиционные формы обучения при проверке в реальных сценариях.

Классная грамотность

Мультимодальность в классах вызвала необходимость в эволюционирующем определении грамотности. По словам Гюнтера Кресса, популярного теоретика мультимодальности, грамотность обычно относится к комбинации букв и слов для создания сообщений и смысла и часто может быть присоединена к другим словам, чтобы выразить знания в отдельных областях, таких как визуальные или компьютерные. -грамотность. Однако по мере того, как мультимодальность становится все более распространенной не только в классах, но и на работе, и в социальной среде, определение грамотности выходит за рамки классной комнаты и традиционных текстов. Вместо того, чтобы относиться только к чтению и алфавитному письму или распространяться на другие области, грамотность и ее определение теперь охватывают несколько режимов. Он стал больше, чем просто чтение и письмо, и теперь включает в себя, среди прочего, визуальное, технологическое и социальное использование.

Программа письма и коммуникации Технологического института Джорджии дала определение мультимодальности на основе аббревиатуры WOVEN. Аббревиатура объясняет, как коммуникация может быть письменной, устной, визуальной, электронной и невербальной. Коммуникация имеет несколько режимов, которые могут работать вместе, чтобы создавать смысл и понимание. Цель программы - обеспечить учащимся возможность эффективно общаться в повседневной жизни с использованием различных способов и средств массовой информации.

По мере того, как технологии в классе становятся все более плодотворными, растут и мультимодальные задания. У студентов 21 века есть больше возможностей для цифрового общения, будь то текстовые сообщения, ведение блога или социальные сети. Этот рост коммуникации с компьютерным управлением потребовал, чтобы классы стали мультимодальными, чтобы обучать студентов навыкам, необходимым в рабочей среде 21-го века. Однако в классе мультимодальность - это больше, чем просто сочетание нескольких технологий, а скорее создание смысла за счет интеграции нескольких режимов. Студенты учатся с помощью комбинации этих режимов, включая звук, жесты, речь, изображения и текст. Например, в цифровых компонентах уроков часто есть изображения, видео и звуковые фрагменты, а также текст, чтобы помочь учащимся лучше понять предмет. Мультимодальность также требует, чтобы учителя выходили за рамки обучения с помощью простого текста, поскольку печатное слово - это только один из многих способов, которые ученики должны выучить и использовать.

Применение визуальной грамотности в классе английского языка можно проследить еще в 1946 году, когда в инструкторском издании популярной серии книг для начинающих « Дик и Джейн » было предложено научить студентов «читать не только слова, но и картинки» (стр. 15). В 1960-х годах в нескольких отчетах, выпущенных Национальным советом учителей английского языка, предлагалось использовать телевидение и другие средства массовой информации, такие как газеты, журналы, радио, кинофильмы и комиксы в классе английского языка. Похожая ситуация и в обучении письму после окончания средней школы. С 1972 года визуальные элементы были включены в некоторые популярные учебники по письму для колледжей двадцатого века, такие как « Письмо с целью» Джеймса МакКриммона .

Высшее образование

Колледжи и университеты по всему миру начинают использовать мультимодальные задания для адаптации к доступным в настоящее время технологиям. Назначение мультимодальной работы также требует, чтобы профессора научились обучать мультимодальной грамотности. Внедрение мультимодальности в высшем образовании изучается, чтобы найти лучший способ преподавать и назначать мультимодальные задачи.

Мультимодальность в условиях колледжа можно увидеть в статье Терезы Морелл, где она обсуждает, как преподавание и обучение выявляют смысл через такие режимы, как язык, говорение, письмо, жесты и пространство. В исследовании наблюдается инструктор, который проводит мультимодальные групповые занятия со студентами. В предыдущих исследованиях наблюдались различные классы, использующие такие режимы, как жесты, пространство в классе и баллы PowerPoints. В текущем исследовании наблюдается совместное использование преподавателями нескольких режимов обучения, чтобы увидеть его влияние на участие студентов и концептуальное понимание. Она объясняет различные пространства в классе, включая авторитетное пространство, пространство для взаимодействия и личное пространство. Анализ показывает, как мультимодальный выбор преподавателя предполагает участие и понимание учащимися. В среднем инструктор использовал три-четыре режима, чаще всего это взгляд, жест и речь. Он привлек студентов к участию, сформулировав групповое определение культурных стереотипов. Было обнаружено, что те, кто изучает второй язык, зависят не только от устной и письменной речи для концептуального обучения, а это означает, что мультимодальное образование имеет преимущества.

Мультимодальные задания включают в себя многие аспекты, помимо письменных слов, которые могут выходить за рамки обучения инструкторов. Педагогов научили оценивать традиционные задания, но не те, которые используют ссылки, фотографии, видео или другие способы. Доун Ломбарди, профессор колледжа, призналась своим студентам, что у нее были "технологические проблемы", когда она давала мультимодальное эссе с использованием графики. Самая сложная часть этих заданий - это оценка. Педагоги с трудом оценивают эти задания, потому что передаваемый смысл может не совпадать с тем, что задумал учащийся. Они должны вернуться к основам обучения, чтобы настроить то, что они хотят, чтобы их ученики изучали, достигли и демонстрировали, чтобы создать критерии для мультимодальных задач. Ломбарди разработал критерии оценки, основанные на творчестве, контексте, содержании, процессе и сотрудничестве, которые были представлены студентам до начала сочинения.

Другой тип письменной задачи, связанной с визуальными эффектами, - это визуальный анализ, особенно анализ рекламы, который начался в 1940-х годах и преобладал в обучении письму после окончания средней школы не менее 50 лет. Эта педагогическая практика визуального анализа не фокусировалась на том, как визуальные элементы, включая изображения, макет или графику, объединяются или организовываются для получения значений.

Затем, в течение следующих лет, применение визуальных элементов в классе композиции постоянно изучалось, и акцент был перенесен на визуальные особенности - поля, макет страницы, шрифт и размер - композиции и ее связь с графическим дизайном, веб-страницами. и цифровые тексты, которые включают изображения, макет, цвет, шрифт и расположение гиперссылок. В соответствии с New London Group, Джордж (2002) утверждает, что как визуальные, так и вербальные элементы имеют решающее значение в мультимодальном дизайне.

Признавая важность как языка, так и визуальных средств в общении и создании смысла, Шипка (2005) далее выступает за мультимодальную, основанную на задачах структуру, в которой учащимся предлагается использовать различные способы и материалы - печатные тексты, цифровые медиа, видеозаписи выступлений, старые фотографии - и любые их комбинации при составлении цифровых / мультимодальных текстов. Между тем студентам предоставляется возможность доставлять, получать и распространять свои цифровые продукты. Поступая таким образом, студенты могут понять, как системы доставки, приема и обращения взаимосвязаны с производством их работ.

Мультимодальные сообщества

Мультимодальность имеет значение в различных сообществах, таких как частные, государственные, образовательные и социальные сообщества. Из-за мультимодальности частный домен превращается в общественное достояние, в котором функционируют определенные сообщества. Поскольку социальная среда и мультимодальность взаимно влияют друг на друга, каждое сообщество развивается по-своему. Эта эволюция очевидна в языке, как обсуждали Грифони, Д'Улизия и Ферри в своей работе.

Культурная мультимодальность

Основываясь на этих представлениях, сообщества через социальное взаимодействие решают, как обычно понимаются режимы. Точно так же эти допущения и определения того, как функции мультимодальности могут фактически создавать новую культурную и социальную идентичность. Например, Беземер и Кресс определяют модусы как «социально и культурно сформированные ресурсы для создания смысла». По словам Беземера, «для того, чтобы что-то было« модой », в сообществе должно быть общее культурное понимание набора ресурсов и того, как их можно организовать для реализации смысла». [] Культуры, которые опираются на разные или аналогичные ресурсы знаний, понимания и представлений будут передаваться разными или аналогичными способами. Например, знаки - это визуальные способы общения, определяемые нашими повседневными потребностями.

В своей диссертации Элизабет Дж. Флейц, доктор философии по английскому языку с концентрацией в риторике и письме Государственного университета Боулинг-Грин, утверждает, что поваренная книга, которую она описывает как мультимодальную по своей сути, является важным феминистским риторическим текстом. По словам Флейтц, женщины могли налаживать отношения с другими женщинами посредством общения в социально приемлемой литературе, например, в поваренных книгах; «Пока женщина выполняет свою гендерную роль, мало внимания уделяется возрастающей силе, которую она получает как в частной, так и в общественной сферах». Женщины, которые предпочли бы оставаться дома, могли бы стать опубликованными авторами, получив голос в фаллогоцентрическом обществе, не считаясь угрозой. Женщины пересмотрели и адаптировали различные способы письма в соответствии со своими потребностями. По словам Cinthia Gannett, автора книги «Gender and the Journal», ведение дневников, возникшее из ведения мужских журналов, «интегрировало [d] и подтвердило [ed] восприятие женщинами семейной, социальной и духовной жизни и пробудило чувство себя. " Именно эти методы исправления характеризуют женскую литературу как мультимодальную. Рецепты в кулинарных книгах также квалифицируются как мультимодальные. Рецепты, доставляемые через любую среду, будь то поваренная книга или блог, можно рассматривать как мультимодальные из-за «взаимодействия между телом, опытом, знаниями и памятью, мультимодальной грамотностью», которые связаны друг с другом, чтобы создать наше понимание рецепта. . Обмен рецептами - это возможность для нетворкинга и социального взаимодействия. По словам Флейтц, «это взаимодействие, несомненно, является мультимодальным, поскольку эта сеть« обходится »альтернативными формами коммуникации вне доминирующих дискурсивных методов, чтобы продвигать и продвигать социальные и политические цели женщин». Поваренные книги - лишь единичный пример способности мультимодальности формировать идентичность сообщества, но они удачно демонстрируют нюансы мультимодальности. Мультимодальность не только включает в себя осязаемые компоненты, такие как текст, изображения, звук и т. Д., Но также опирается на опыт, предшествующие знания и культурное понимание.

Еще одно изменение, которое произошло в связи с переходом от частной среды к общественной, - это построение аудитории. В уединении дома семья обычно нацелена на определенную аудиторию: членов семьи или друзей. Как только фотографии становятся общедоступными, они обращаются к совершенно новой аудитории. Как отмечает Пауэлс, «аудиторию можно игнорировать, предупреждать и приносить извинения за банальный контент, напрямую относиться к личным историям или приветствовать как высоко оцененную публику, которую нужно развлечь и пригласить для обратной связи».

Мультимодальные методы академического письма

В повседневной жизни мультимодальное построение и передача смысла повсеместно. Однако академическое письмо до сих пор сохраняет подавляющее преобладание лингвистических ресурсов (Blanca, 2015). Необходимость открыть игру для других возможных форм письма в академии заключается в убеждении, что семиотические ресурсы, используемые в процессах академического исследования и коммуникации, влияют на результаты (Sousanis, 2015), поскольку оба процесса связаны между собой. эпистемический потенциал письма, понимаемый здесь в мультимодальных терминах. Следовательно, идея состоит не в том, чтобы «приукрашивать» академический дискурс иллюстративными визуальными ресурсами, а скорее в том, чтобы дать возможность другим способам мышления, новым ассоциациям; в конечном счете, новое знание, возникающее в результате переплетения различных вербальных и невербальных способов. Стратегическое использование дизайна страницы, сопоставление текста в столбцах или текста и изображения, а также использование типографики (шрифта, размера, цвета и т. Д.) - вот лишь несколько примеров того, как семиотический потенциал жанров академической тираж может быть использован. Это связано с возможностями обогащения форм академического письма за счет обращения к нелинейному развитию текста в дополнение к линейному, а также за счет напряжения изображения и текста в их бесконечных возможностях создания смысла (Mussetta, Siragusa & Vottero, 2020; Lamela Adó & Mussetta, 2020; Mussetta, Lamela Adó & Peixoto, 2021)

Мультимодальная фантастика

В настоящее время появляется все больше художественных повествований, которые исследуют и графически используют текст и материальность книги в ее традиционном формате для конструирования смысла: это то, что некоторые критики называют мультимодальными романами (Hallet 2009, p. 129; Gibbons 2012b). , стр. 421 и др.), но которые также получили название визуальных или гибридных (Люк, 2013, стр. 21; Рейнольдс, 1998, стр. 169; Садокерский, 2010, стр. 7). Эти повествования включают в себя множество семиотических ресурсов и режимов, начиная от стратегического использования различных типографий и пустых пространств до включения рисунков, фотографий, карт и диаграмм, которые не соответствуют обычному понятию иллюстрации, но являются неразрывной частью сюжет со специфическими функциями в их смысловом вкладе в произведение в его множественных комбинациях (Mussetta, 2014; Mussetta, 2017a; Mussetta, 2017b; Mussetta, 2017c; Mussetta, 2020).

Общение в бизнесе

В деловом секторе мультимодальность создает возможности как для внутреннего, так и для внешнего повышения эффективности. Подобно сдвигам в образовании, в которых используются как текстовые, так и визуальные элементы обучения, мультимодальность позволяет предприятиям лучше общаться. По словам Валы Афшар, этот переход впервые начался в 1980-х годах, когда «технологии стали неотъемлемой частью бизнеса». Этот уровень коммуникации усилился с интеграцией цифровых средств массовой информации и инструментов в 21 веке.

На внутреннем уровне предприятия используют мультимодальные платформы, в частности, для аналитических и системных целей. Благодаря мультимодальности компания увеличивает свою производительность, а также обеспечивает прозрачность для управления. Повышение производительности сотрудников благодаря этим методам может коррелировать с постоянным интерактивным обучением и интуитивно понятными цифровыми инструментами.

Мультимодальность используется извне для повышения удовлетворенности клиентов за счет предоставления нескольких платформ во время одного взаимодействия. В связи с популярностью текстовых сообщений, чатов и социальных сетей в 21 веке большинство компаний пытаются продвигать межканальное взаимодействие. Компании стремятся улучшить качество обслуживания клиентов и быстро решить любую потенциальную проблему или запрос. Цель компании с внешней мультимодальностью сосредоточена на улучшении взаимодействия в режиме реального времени, чтобы сделать обслуживание клиентов более эффективным.

Социальная мультимодальность

Один сдвиг, вызванный мультиграмотной средой, заключается в том, что тексты частной сферы становятся более общедоступными. Частная сфера описывается как среда , в которой люди имеют чувство личной власти и дистанцировался от учреждений, таких , как правительство. Семья и дом считаются частями частной жизни. Семейные фотографии - пример мультимодальности в этой сфере. Семьи делают фотографии (иногда подписывая их) и собирают их в альбомы, которые обычно предназначены для показа другим членам семьи или аудитории, которую разрешает семья. Эти когда-то частные альбомы все чаще попадают в публичную среду Интернета из-за быстрого развития и внедрения технологий.

По словам Люка Пауэлса , профессора коммуникативных исследований в Университете Антверпена, Бельгия, «мультимедийный контекст Интернета предоставляет частным создателям изображений и рассказчикам все более гибкую среду для конструирования и распространения фактов и вымыслов о своей жизни». Эти относительно новые платформы веб-сайтов позволяют семьям манипулировать фотографиями и добавлять текст, звук и другие элементы дизайна. Используя эти различные способы, семьи могут построить историю своей жизни, которая будет представлена потенциально универсальной аудитории. Пауэлс утверждает, что «оцифрованные (и, возможно,« скорректированные »в цифровом виде) семейные снимки ... могут раскрыть больше о нематериальной стороне семейной культуры: ценностях, убеждениях и чаяниях группы людей». Эту нематериальную сторону семьи лучше всего продемонстрировать с помощью мультимодальности в Интернете, потому что определенные события и фотографии могут иметь приоритет над другими в зависимости от того, как они организованы на сайте, а другие визуальные или аудиокомпоненты могут помочь вызвать сообщение.

Подобно эволюции семейной фотографии в цифровой семейный альбом, происходит эволюция дневника в личный блог. Как заявляют профессора Университета штата Северная Каролина, Кэролайн Миллер и Дон Шеперд, «феномен веб-блогов поднимает ряд риторических проблем,… [таких как] своеобразное пересечение публичного и частного, которое, похоже, привлекает веблоги». У блоггеров есть возможность передавать личные материалы в публичном пространстве, используя слова, изображения, звуки и т. д. Как описано в приведенном выше примере, люди могут создавать рассказы о своей жизни в этом расширяющемся публичном сообществе. Миллер и Шеперд говорят, что «подтверждение все чаще приходит через посредничество, что это благодаря доступу, вниманию и интенсификации, которые обеспечивают СМИ ». Блогеры могут создать «реальный» опыт для своей аудитории (ей) благодаря непосредственности Интернета. «Реальный» опыт относится к «перспективной реальности, закрепленной в личности блоггера».

Цифровые приложения

Информация представлена посредством дизайна цифровых носителей, взаимодействующих с мультимедиа, чтобы предложить мультимодальный принцип композиции. Стандартные слова и изображения могут быть представлены в виде движущихся изображений и речи, чтобы усилить значение слов. Джодди Мюррей написал в «Составлении мультимодальности», что необходимо исследовать как дискурсивную, так и недискурсивную риторику, чтобы увидеть способы и средства массовой информации, используемые для создания такой композиции. Мюррей также включает преимущества мультимодальности, которая позволяет «признать и встроить в наши процессы письма важность эмоций в создании, потреблении и распространении текста; поощрять цифровую грамотность, а также нецифровую грамотность в текстовой практике. Мюррей демонстрирует новый способ мышления о композиции, позволяя изображениям быть «чувственными и эмоциональными» символами того, что они действительно представляют, не уделяя так много внимания «концептуальному и абстрактному».

Мюррей пишет в своей статье, используя книгу Ричарда Лэнхэма «Электронный мир: демократия, технологии и искусство »: «Джемима Мел Масиас действительно изящно ищет ее в Facebook с картинками», это пример мультимодальности того, как «дискурсивный текст находится в в центре всего, что мы делаем », далее рассказывая о том, как студенты сосуществуют в мире, который« включает блоги, подкасты, модульные веб-пространства сообщества, обмен сообщениями по мобильному телефону… », призывая студентов научиться составлять с помощью риторических умов в этих новых "Культурные изменения, как предлагает Ланхэм, переориентируют теорию письма на изображение", демонстрируя, как происходит изменение соотношения алфавита и значков в электронном письме. компании Apple продукта, iPhone , в котором « смайлики » рассматриваются как иконки в отдельной клавиатуре , чтобы передать то , что слова бы однажды преданную. Другим примером является Prezi. Часто сравнивают с Microsoft PowerPoint, Prezi облако на основе презентации Applicati он позволяет пользователям создавать текст, вставлять видео и создавать визуально эстетичные проекты. Презентации Prezi увеличивают, уменьшают, увеличивают и опускают глаза, чтобы создать многомерную привлекательность. Пользователи также используют различные носители в этом носителе, который сам по себе уникален.

Доступ к аудитории

В публичной сфере мультимедиа обычно относится к реализации графики в рекламе, анимации и звуков в рекламе, а также к областям пересечения. Один из мыслительных процессов, лежащих в основе такого использования мультимедиа, заключается в том, что с помощью технологий можно охватить более широкую аудиторию за счет потребления различных технологических сред или, в некоторых случаях, как сообщалось в 2010 году через Фонд семьи Кайзера , это может «способствовать увеличению потребления». . Это радикальное изменение по сравнению с тем, что было пять лет назад: «Дети 8–18 лет тратят в среднем 7 часов 38 минут на использование средств массовой информации в течение обычного дня (более 53 часов в неделю)». С возможностью достижения мультиплатформенности в социальных сетях и цифровых рекламных кампаниях, Федеральная торговая комиссия (FTC) также ввела новые правила о том, как рекламодатели могут общаться со своими потребителями через социальные сети. Поскольку мультимодальные инструменты часто привязаны к социальным сетям, важно оценивать потребителя в этих добросовестная практика. Такие компании, как Burberry Group PLC и Lacoste SA (дома моды для Burberry и Lacoste соответственно) привлекают своих потребителей через популярный блог-сайт Tumblr ; Publix Supermarkets, Inc. и Jeep привлекают своих потребителей через Twitter ; знаменитости и спортивные команды / спортсмены, такие как поскольку Селена Гомес и The Miami Heat также привлекают свою аудиторию через Facebook через фан-страницы. Эти примеры не ограничивают присутствие этих конкретных сущностей одним электронная среда, но предлагает широкий выбор того, что можно найти для каждого соответствующего источника.

Мультимедийная реклама - это результат анимации и графического дизайна, используемого для продажи товаров или услуг. Существуют различные формы мультимедийной рекламы с помощью видео, онлайн-рекламы, DVD, компакт-дисков и т. Д. Эти торговые точки предоставляют компаниям возможность увеличить свою клиентскую базу с помощью мультимедийной рекламы. Это необходимый вклад в маркетинг продуктов и услуг. Например, онлайн-реклама - это новый пример использования мультимедиа в рекламе, который дает много преимуществ онлайн-компаниям и традиционным корпорациям. Новые технологии сегодня привели к эволюции мультимедиа в рекламе и отходу от традиционных методов. Значимость мультимедийной рекламы для компаний значительно возрастает с точки зрения ее эффективности при продвижении на рынок или продаже товаров и услуг. Корпоративная реклама связана с идеей, что «компании, вероятно, будут привлекать более широкую аудиторию и увеличивать продажи за счет поисковой оптимизации , обширного исследования ключевых слов и стратегических ссылок». Концепция, лежащая в основе рекламной платформы, может охватывать несколько сред, но, по сути, быть построена вокруг одной и той же схемы.

Coca-Cola провела всеобъемлющую кампанию «Открытое счастье» на нескольких медиа-платформах, включая печатную рекламу, интернет-рекламу и телевизионную рекламу. Цель этой центральной функции состояла в том, чтобы передать общее сообщение на нескольких платформах, чтобы еще больше побудить аудиторию поддержать повторяющееся сообщение. Сила таких мультимедийных кампаний, таких как кампания Coca-Cola «Счастье», заключается в том, что они реализуют все доступные средства - любой из которых может оказаться успешным для другого члена аудитории.

Социальные медиа

Социальные сети и цифровые платформы повсеместно встречаются в повседневной жизни. Эти платформы не работают исключительно на основе их первоначального внешнего вида; они используют носители из других технологий и инструментов, чтобы добавить многомерности тому, что будет создано на их собственной платформе. Эти добавленные модальные функции создают более интерактивный опыт для пользователя.

До появления Web 2.0 на большинстве веб-сайтов информация содержалась практически без связи с читателем. В рамках Web 2.0 социальные сети и цифровые платформы используются для повседневной жизни предприятий, юридических офисов в рекламе и т. Д. Цифровые платформы начинаются с использования носителей информации наряду с другими технологиями и инструментами для дальнейшего улучшения и улучшения того, что будет создано самостоятельно Платформа.

Хэштеги (#topic) и пользовательские теги (@username) используют метаданные, чтобы отслеживать «популярные» темы и предупреждать пользователей об использовании их имени в сообщениях на сайте социальных сетей. Эти функции, используемые различными веб-сайтами социальных сетей (в первую очередь Twitter и Facebook), добавляют внутреннюю связь между пользователями и темами. Характеристики мультимодальной функции можно увидеть с помощью параметра обновления статуса на Facebook . Обновления статуса объединяют в себе возможности личных блогов, Twitter , обмена мгновенными сообщениями и текстовых сообщений в одной функции. Кнопка обновления статуса 2013 в настоящее время предлагает пользователю: «Что у вас на уме?» изменение по сравнению с 2007 годом: «Чем ты сейчас занимаешься?» Это изменение было добавлено Facebook для обеспечения большей гибкости для пользователя. Эта мультимодальная функция позволяет пользователю добавлять текст, видео, изображения, ссылки и отмечать других пользователей. Платформа микроблогов Twitter, содержащая 140 символов, позволяет пользователям размещать ссылки на других пользователей, веб-сайты и прикреплять изображения. Эти новые средства массовой информации представляют собой платформу, которая влияет на практику грамотности нынешнего поколения, сокращая разговорный контекст Интернета до меньшего количества символов, но инкапсулируя несколько средств массовой информации.

Другие примеры включают «блог», термин, придуманный в 1999 году как сокращение от «веб-журнал», основу ведения блога часто приписывают разным людям в середине-конце 90-х годов. В сфере ведения блогов видео, изображения и другие медиафайлы часто добавляются в записи, которые в остальном содержат только текст, чтобы обеспечить более разностороннее чтение.

Игры

Одно из современных цифровых приложений мультимодальности в области образования было разработано Джеймсом Джи посредством его подхода к эффективному обучению с помощью видеоигр. Джи утверждает, что есть много знаний об обучении, которые школы, рабочие места, семьи и ученые должны получить от хороших компьютерных и видеоигр, например, «целый набор фундаментально обоснованных принципов обучения», которые можно использовать во многих других областях. , например, когда речь идет о преподавании естественных наук в школах.

Рассказывание историй

Еще одно применение мультимодальности - создание цифровых фильмов, иногда называемое «цифровым повествованием». Цифровая история определяется как короткометражный фильм, который включает цифровые изображения, видео и аудио, чтобы создать личностно значимое повествование. Благодаря этой практике люди выступают в роли кинематографистов, используя мультимодальные формы представления для проектирования, создания и обмена историями своей жизни или изучения историй с конкретной аудиторией, обычно через онлайн-платформы. Цифровое повествование как практика цифровой грамотности широко используется в образовательных учреждениях. Он также используется в основных средствах массовой информации, учитывая растущее количество проектов, которые мотивируют членов онлайн-сообщества создавать и делиться своими цифровыми историями.

Languages

In other projects