Transcript Reading Images. The Grammar of Visual Design

Reading Images. The
Grammar of Visual Design
MSD oktober 2008, GK
Introduction: the grammar of visual design
• Visuell grammatikk (og ikke visuelle ”leksemer”)
• grammatikk som ressurser for representasjon og
kommunikasjon
– ”grammar goes beoynd formal rules of correctness. It
is a means of representing patterns of experience (…)
It enables human beings to build a mental picture of
reality, to make sens of their experience of what goes
on around them and inside them” (Halliday 1985:2)
– ”Like linguistic structures, visual structures point to
particular interpretations of experience and forms of
social interaction” (K &vL, p. 2)
• ”But even when we can express what
seem to be the same meanings in either
image-form or writing or speech, they will
be realized differently (…) And this will
affect meaning” (p.2)
– Kan vi si at ”samme mening” blir realisert i
bilder og i skrift? Hva innebærer ”det
samme”?
Visuell grammatikk
• ”We believe that visual communication is
coming to be less and less the domain of
specialists, and more and more crucial in
the domains of public communications.
Inevitably this will lead to new, and more
rules, and to more formal, normative
teaching. Not being ’visually literate’ will
begin to attract social sanctions” (p.3)
– …. ja! eller njaa?
En visuell grammatikk
for ”vestlig” kultur
• ”it [K&vL’s visual grammar] describes a
social resource of a particular group, its
explicit and implicit knowledge about this
resource, and its uses in the practices of
that group (p.3).”
• Skriftretning:”Consequently different
values and meanings are attached to such
key dimensions of visual space” (p. 4).
En sosialsemiotisk teori om
representasjon
• Tre semiotiske skoler de følger i fotspora
til:
– Pragskolen (1930-40tallet -)
– Pariserskolen (1960-70tallet)
– Halliday-skolen i Australia
Sosialsemiotikkens
tegnforståelser
• ”…in social semiotics the sign is not the preexisting conjunction of a signifier and a signified,
a ready-made sign to be recognized, chosen
and used as it is, in the way that signs are
usually thought to be ’available for use’ in
semiology.
• Rather we focus on the process of sign-making,
in which the signifier (the form) and the signified
(the meaning) are relatively independent of each
other until they are brought together by the signmaker in a newly made sign” (p. 8)
• ”(…) we see signs as motivated – not as
arbitrary – conjunctions of signifiers
(forms) and signified (meanings) (p.8)
• “In our view signs are never arbitrary, and
’motivation’ should be formulated in
relation to the sign-maker and the context
in which the sign is produced, an not in
isolation from the act of producing
analogies and classifications” (p. 8)
• “This then, is our position vis-à-vis ‘European’ semiology:
where de Saussure had (been assumed to have) said
that the relation of signifier and signified in the sign is
arbitrary and conventional, we would say that the relation
is always motivated and conventional. Where he had
seemingly placed semiotic weight and power with the
social, we wish to assert the effects of the
transformative role of individual agents, yet also the
constant presence of the social: in the historical shaping
of the resources, in the individual agent’s social history,
in the recognition of present conventions, in the effect of
the environment in which representation and
communication happens. Yet it is the transformative
action of individuals, along the contours of social givens,
which constantly reshapes the resources, and makes
possible the self-making of social subjects” (12f, mi
utheving)
Anvendelsesområder
• teoretisk, men også deskriptivt og praktisk
– ”We seek to develop a descriptive framework that can
be used as a tool for visual analysis” (14)
• Analyse av visuell kommunikasjon som kritisk
disiplin
– ”we see images of whatever kind as entirely within th
realm of the realizations and instantions of ideology,
as means – always – for the articulation of ideological
positions” (p. 14)
– ”We see our book as a contribution to a broadened
critical discourse analysis” (14)
En grunnleggende antakelse:
De tre metafunksjonene
• Ideasjonell funksjon – representere verden rundt
oss og i oss
• Mellompersonlig funksjon – kommunikasjon,
utøve sosiale samhandlinger og relasjoner
• Tekstuell funksjon – skape en koherent
tekstverden, organisere diskursens flyt
”We believe that visual design, like all semiotic
modes, fulfils three major functions” (15).
Visuelle uttrykk i skolen
• Trad.: fra det ekspressive til det tekniske
• I dag: Læremateriell for barn bruker i stor grad
bilder for å representere fagstoff. Men i
elevtekster har skrift forblitt den forventa og
dominerende modaliteten.
• Sier at motstanden mot det visuelle som en
fullverdig representasjonsmåte ikke handler om
en motstand mot det visuelle i seg sjøl, men om
det visuelle som potensiell trussel mot den
nåværende dominansen til verbal litterasitet
blant elitegrupper.
Om verbal og visuell
meningsskaping
• Deres syn er at språk og visuell kommunikasjon begge
kan anvendes for å realisere de ”samme” fundamentale
meiningssystemene som konstiturerer våre kulturer, men
de gjør det på sine spesifikke og forskjellige måter,
uavhengig av hverandre (19)
• ’Subjektiv’ og ’objektiv’ mening:
– ”Vi tror det finnes en bildegrammatikk” vs. ”Det finnes en
bildegrammatikk”
– perspektiv
• ”Mental process clauses and nominalization are unique
to language. Perspective is unique to images. But the
kinds of meanings expressed are from the same broad
domain in each case; and the forms, different as they
are, were developed in the same period, in response to
the same cultural changes” (19)
Et skriftshistorisk paradoks(?)
• ”in a literature culture the visual means of
communication are rational expressions of
cultural meanings, amenable to rational
accounts and analysis. The problem which we
face is that literate cultures have systematically
suppressed means of analysis of the visual
forms of representation, so that there is not, at
the moment, an established theoretical
framework within which visual forms of
representation ca be discussed” (23)
• Men samtidig: Er det ikke skriftkulturen en
forutsetning for en slikt teoretisk rammeverk?
• Ser i dag ei forandring fra ”ukoda” naturalistiske
representasjoner til mer stilistiske, abstrakte og åpenbart
”koda” bilder
• ”The world of ’one image, many different verbal texts’
(’commentaries’) imposes a new mode of control over
meaning, and turns the image, formerly a record of
nature or a playground for children and artists, into a
more powerful, but also more rigorously controlled and
codified public language, while it gives language,
formerly closely policed in many social institutions, a
more private and less controlled, but also less powerful,
status” (27)
• I forbindelse med naturvitenskapelige representasjoner
reiser de spørsmålet: ”is the move from the verbal to the
visual a loss or a gain?”(31)
Oppsummerer kap. 1 slik (33f):
1. Visuell kommunikasjon er alltid koda. Den
framstår som transparent bare fordi vi allerede
kan koden, i det minste implisitt.
2. Samfunn vil typisk utvikle eksplisitte måter å
snakke om de mest verdsatte semiotiske
ressursene, og de som spiller den viktigste
rollen i å kontrollere de fellesforståelsene som
kreves for å fungere som samfunn.
Verbalspråk, særlig skrift, har fram til nå hatt
denne rollen, men dette (hevder de) er i ferd
med å endres til fordel for mer flerfoldige (især
visuelle) representasjonsmåter.
Representasjon
Kap.2-3:
Ideasjonelle meininger
Kap. 2: Narrative representasjoner:
å designe sosial handling
To hovedtyper:
• Narrative strukturer:
– Nærvær av vektorer.
– Repr. deltakere som å gjøre noe for/mot noen
• Konseptuelle strukturer:
– fravær av vektorer.
– Repr. deltakere som klasser og strukturer, i
form av deres generaliserte og mer eller
mindre stabile natur
Narrative prosesser
(oppsummering s. 74-75)
• Handlingsprosesser
– vektorer
• Reaksjonsprosesser
– blikkvektorer
• Tale-/tankeprosesser
– snakke-/tenkebobler
• Konverteringsprosesser
– sykliske; deltakere er Målobjekt ift noen, Aktør ift andre
• Geometrisk symbolisme
• Omstendigheter
– kan utelates uten at hovedproposisjonen tapes
– bl.a. setting
Kap.3: Konseptuelle representasjoner:
Å designe sosiale konstruksjoner
• Klassifiserende prosesser: type av
– taksonomier, flytskjema, nettverk
– komposisjonell symmetri
• Analytiske prosesser: Bærer + Attributt
– ”As a whole, the analytical process is the usual, the
’unmarked’, and therefore also the most elementary
option in the visual system of representation – a
visual ’this is’ (91)
• Noen typer analytiske prosesser:
– Temporale (tidslinjer)
– er hele Bæreren representeres som tilstede, eller
bare deler? (exhaustive vs. inclusive)
– topografiske (relasjoner i fysisk rom) og topologiske
(logiske rel.)
• Symbolske prosesser
– ”what a participant means or is” (105)
• Symbolske Attributter har en eller flere av disse
karakteristikaene:
– fremtredende (forgrunn, str.,lysretning, detalj etc.)
– pekes ut på en måte som ikke kan tolkes som noe
annet enn ’utpeking av symbolsk attributt’
– er på et eller anna vis ’out of place’
– er konvensjonelt assosiert med symbolsk verdi
Interaksjon
Kap. 4 og 5
Mellompersonlige meininger
Visuelle handlinger og blikk
• direkte blikk rett på seeren: et krav:
– ”demands that the viewer enters into some
kind of imaginary relation with him or her”
(118)
• indirekte dvs. ikke-direkte blikk: et tilbud
– ” it (bildet) ’offers’ the represented participants
to the viewer as items of information, objects
of contemplation, impersonally, as though
they were specimen in a display case” (119)
Utøving av sosiale relasjoner
•
•
•
•
•
bildeutsnitt – sosial distanse
perspektiv – det subjektive bildet
horisontal vinkel – involveringsgrad
vertikal vinkel – makt
narrativisering – hvem er det som ser
scenen på denne måten?
• objektive bilder
Modalitet:
virkelighetsforpliktelse
Å –designe
modeller
av
virkeligheten
”truth is a construct of semiosis, and as such the truth
of a particular social group arises from the values and
beliefs of that group” (154-155)
• Modalitet angår ml.pers. mening mer enn
ideasjonell:
– ”it produces shared truths aligning readers or listeners
with some statements and distancing themselves
from others” (155)
• Noen visuelle modalitetsmarkører:
– Farge (metning, differensiering, modulering),
– kontekstualisering – grad av bakgrunn
– abstraksjonsgrad/detalj
• Det moderne fargefotografi fungerer som
en slags standard for visuell modalitet
• ”visual modality rests on culturally and
historically determined standards of what
is real and what is not, and not on the
objective correspondance of the visual
image to a reality defined in some ways
independently of it” (163)
Kodingsorienteringer
”Coding orientations are sets of abstract principles which
inform the way in which texts are coded by specific
social groups, or within specific institutional contexts”
(165).
• Technological c p: Effektivitet som blueprint som
dominerende prinsipp
• Sensory c.p.: brukes i kontekst hvor ’the pleasure
principle ’ dominerer (f x i kunst, annonser, kokebøker)
• Abstract c. p.: brukes av sosiokulturelle eliter; kunst,
akademia, vitenskap. Jo mindre partikulært, jo høgere
modalitetsgrad
• Naturalistic c.p.: mest dominerende for nå. ”It is the one
coding orientation all members of the cultureshare when
they are being addressed as ’members of our culture’
(165f)
Komposisjon
kap. 6
Tekstuell meining
Komposisjon relaterer representasjons- og
interaksjonsmeiningene til bildet til hverandre
gjennom tre inter-relaterte systemer (s.177):
• Informasjonsverdi
- høgre/venstre – Given/New
- topp/bunn – Ideal/Real
- sentrum/margin
• Framtredenhet (salience)
• Innramming (framing)
Kap. 7: Materialitet og mening
• Diskuterer blant annet penselstrøk samt
farge som semiotisk modalitet
Kap. 8: Tredimensjonale visuelle objekter