УДК

81̕ 22+811.1/.8

DOI

10.37482/2687-1505-V362

Сведения об авторах

Наталья Валерьевна Дутова
e-mail: dutova_natalya@mail.ru, ORCID: https://orcid.org/0009-0003-4809-6865

Аннотация

В статье представлен краткий обзор зарубежного становления социально-семиотического подхода к анализу мультимодального дискурса. С помощью методов диахронического анализа, междисциплинарного синтеза, абстрагирования и аналогии рассматривается формирование и развитие комплексных социально-коммуникативных технологий изучения коммуникации в совокупности с социально сконструированными культурными ресурсами. Основное внимание направлено на становление мультимодальных исследований в социальной семиотике. Характеризуется идея метафункциональности в отношении языка и социальной жизни человека М. Хэллидея, положившая начало изучению совместного функционирования семиотических ресурсов в различных дискурсах для достижения коммуникативных целей. Описана теория Р. Ходжа и Г. Кресса, закрепившая семиотический статус за всем, что связано с человеком и человеческой деятельностью. Кроме того, представлены контекстуальный подход к изучению мультимодальности Г. Кресса и Т. ван Левена и визуальная грамматика М. ОʼТула как универсальные технологии исследования семиотических ресурсов. Обозначены особенности контекстуального и грамматического подходов в рамках системно-функционального мультимодального дискурсивного анализа. Особое место отведено мультимодальному интерактивному анализу Р. Сколлона, С. Вонг Сколлон и С. Норрис. Подчеркнута значимость концепции Р. Сколлона о дискурсе как динамичной социальной практике и языке как инструменте совершения действий. Изложена попытка установления С. Норрис универсальной единицы мультимодального анализа в качестве наименьшей единицы прагматического анализа в коммуникации с участием любой модальности. Рассмотрена визуальная транскрипция как эффективный метод анализа коммуникации, опосредованной современными цифровыми технологиями.

Ключевые слова

мультимодальность, мультимодальный дискурс, социальная семиотика, социально-семиотический подход, мультимодальный интерактивный анализ

Список литературы

1. Kress G., Bezemer J. Multimodal Discourse Analysis // The Routledge Handbook of Discourse Analysis / ed. by M. Handford, J.P. Gee. London: Routledge, 2023. P. 139–155. https://doi.org/10.4324/9781003035244-12

2. O’Halloran K.L., Tan S. Discourse Analysis and Semiotics // Bloomsbury Semiotics. Vol. 4. Semiotic Movements / ed. by J. Pelkey, P. Cobley. London: Bloomsbury Acad., 2023. P. 231–252. https://doi.org/10.5040/9781350139435.ch-11

3. Norris S. Multimodal Theory and Methodology: For the Analysis of (Inter)action and Identity. London: Routledge, 2020. 120 p.

4. Полимодальные измерения дискурса / сост. М.И. Киосе; отв. ред. О.К. Ирисханова. 2-е изд. М.: Изд. дом ЯСК, 2022. 448 с.

5. O’Halloran K.L. Multimodal Discourse Analysis // The Bloomsbury Handbook of Discourse Analysis / ed. by K. Hyland, B. Paltridge, L.L.C. Wong. London: Bloomsbury Publ., 2021. P. 249–267.

6. Halliday M.A.K. Language as Social Semiotic: The Social Interpretation of Language and Meaning. London: Edward Arnold, 1978. 256 p.

7. Hodge R., Kress G. Social Semiotics. Cambridge: Polity Press, 1988. 285 p.

8. Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design. Abingdon: Routledge, 2021. 288 р.

9. O’Toole M. The Language of Displayed Art. Rutherford: Fairleigh Dickinson Univ. Press, 1994. 295 p.

10. O’Halloran K.L., Beezer R.A., Farmer D.W. A New Generation of Mathematics Textbook Research and Development // ZDM Math. Educ. 2018. Vol. 50. Р. 863–879. https://doi.org/10.1007/s11858-018-0959-8

11. Djonov Е., Tseng C.-I. Harnessing the Potential of Transmedia Narratives for Critical Multimodal Literacy // Crit. Discourse Stud. 2021. Vol. 18, № 3. Р. 349–367. https://doi.org/10.1080/17405904.2020.1804954

12. Caple H., Huan C., Bednarek M. Multimodal News Analysis Across Cultures. Cambridge: Cambridge Univ. Press, 2020. https://doi.org/10.1017/9781108886048

13. Unsworth L. High School Science Infographics: Multimodal Meaning Complexes in Composite ImageLanguage Ensembles // Pensam. Educ. 2021. Vol. 58, № 2. https://doi.org/10.7764/PEL.58.2.2021.9

14. Lemke J.L. Multiplying Meaning: Visual and Verbal Semiotics in Scientific Text / ed. by J.R. Martin, R. Veel // Reading Science: Critical and Functional Perspectives on Discourses of Science. London: Routledge, 1998. P. 87–113.

15. Jewitt C. Multimodality and Literacy in School Classrooms // Rev. Res. Educ. 2008. Vol. 32, № 1. Р. 241–267. https://doi.org/10.3102/0091732x07310586

16. Wang Y. On Visual Semantic Algebra (VSA): A Denotational Mathematical Structure for Modeling and Manipulating Visual Objects and Patterns. IJSSCI, 2009, vol. 1, no. 4, pp. 1–16. https://doi.org/10.4018/jssci.200906

17. Pierce C.S. Peirce on Signs: Writings on Semiotic by Charles Sanders Peirce. Chapel Hill: UNC Press Books, 1991. 294 p.

18. Scollon R., Wong Scollon S. Discourses in Place: Language in the Material World. London: Routledge, 2003. 258 p.

19. Wertsch J.V. Voices of the Mind: Sociocultural Approach to Mediated Action. Cambridge: Harvard Univ. Press, 1991. 182 p.

20. Scollon R. Mediated Discourse: The Nexus of Practice. London: Routledge, 2001. 182 p.

21. Wong Scollon S., de Saint-Georges I. Mediated Discourse Analysis // The Routledge Handbook of Discourse Analysis / ed. by M. Handford, J.P. Gee. London: Routledge, 2011. URL: https://www.researchgate.net/publication/307575422_Mediated_Discourse_Analysis (дата обращения: 14.04.2024).

22. McNeill D. Hand and Mind: What Gestures Reveal About Thought. Chicago: Univ. Chicago Press, 1992. 416 p.

23. Geenen J. Introduction: Multimodal (Inter)action Analysis // Multimodal Commun. 2023. Vol. 12, № 1. P. 1–6. https://doi.org/10.1515/mc-2023-0010

24. Norris S. What Is a Mode? Smell, Olfactory Perception, and the Notion of Mode in Multimodal Mediated Theory // Multimodal Commun. 2013. Vol. 2, № 2. Р. 155–170. https://doi.org/10.1515/mc-2013-0008

25. Norris S. Systematically Working with Multimodal Data: Research Methods in Multimodal Discourse Analysis. Hoboken: John Wiley & Sons, 2019. 301 р.

26. Geenen J., Matelau-Doherty T., Norris S. Visual Transcription. A Method to Analyze the Visual and Visualize the Audible in Interaction // Rev. fr. méthodes visuelles. 2021. Vol. 5. P. 1–55.

27. Jones R.H. Towards an Embodied Visual Semiotics: Negotiating the Right to Look // Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives / ed. by C. Thurlow, C. Dürscheid, F. Diémoz. Berlin: De Gruyter Mouton, 2020. Р. 19–45.

28. Schmidt A., Marx K. Making Let’s Plays Watchable: An Interactional Approach to Gaming Visualizations // Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives / ed. by C. Thurlow, C. Dürscheid, F. Diémoz. Berlin: De Gruyter Mouton, 2020. Р. 131–151.

29. Cserző D. Intimacy at a Distance: Multimodal Meaning Making in Video Chat Tours // Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives / ed. by C. Thurlow, C. Dürscheid, F. Diémoz. Berlin: De Gruyter Mouton, 2020. Р. 151–171.