Transcript read course paper (pdf)

LINKÖPINGS UNIVERSITET
Personlighet från
handling
Ett försök att uttrycka personlighet i
textbaserat samtal med en chatbot
Jonas Klingström
Emma Torensjö
Sara Widman-Börjesson
Pontus Bergman
Karolin Nissa
Anna Carlsson
2013-06-07
Sammanfattning
Syftet med studien som presenteras i denna rapport var att utforska möjligheter
för att implementera personlighetstyper genom att anta lingvistiska och
kommunikationsvetenskapliga metoder för att med handlingar (uttalanden)
förmedla två olika typer av personligheter i textbaserad interaktion med en
chatbot. Vi formulerade därför två lingvistiska strategier att implementera i två
chatbotar, en motsträvig och en tillmötesgående. Dessa chatbotar utvärderades
genom att i) två olika grupper fick chatta med dem och besvara en enkät om
upplevelsen av chatboten och ii) en kvalitativ utvärdering av chatloggar från
respektive grupp för att analysera användarnas reaktioner på de implementerade
personligheterna. Enkätundersökningen gav signifikanta skillnader i skattning
av hur chatbotens personlighet uppfattades i avseende för hur snäll eller sträng
den var, samt hur lätt det var att tala med den i avseende på hur lätt det var att
veta vad man kunde prata om och hur mycket chatboten bestämde över
konversationen.
Innehåll
1
2
3
4
5
6
7
8
9
Inledning ............................................................................................................................................. 1
1.1 Syfte................................................................................................................................... 3
Bakgrund ............................................................................................................................................. 4
2.1 Konversationsanalys .......................................................................................................... 4
2.1.1 Preference for agreement ........................................................................................... 5
2.1.2 Repair. ........................................................................................................................ 6
2.1.3 Avslut ......................................................................................................................... 6
2.2 Språkets roll för upplevd personlighet .............................................................................. 7
Implementering ................................................................................................................................. 10
3.1 Ramar för chatbotens implementering ............................................................................ 10
3.2 AIML ............................................................................................................................... 10
3.3 Utformning av personligheter ......................................................................................... 13
3.3.1 Implementering av personlighetstyperna med AIML .............................................. 14
3.4 AIML – möjligheter och begränsningar i implementering.............................................. 23
Utvärdering ....................................................................................................................................... 25
4.1 Datainsamling .................................................................................................................. 25
4.2 Utformning av utvärderingsenkät .................................................................................... 25
4.3 Dataanalys ....................................................................................................................... 27
4.3.1 Kvantitativ metod för analys. ................................................................................... 27
4.3.2 Kvalitativ metod för analys – kommunikationsanalys. ............................................ 27
4.4 Etik .................................................................................................................................. 28
Resultat.............................................................................................................................................. 30
5.1 Statistiska resultat ............................................................................................................ 30
5.2 Kvalitativa resultat och analys......................................................................................... 32
Slutstatser och diskussion ................................................................................................................. 46
Referenser ......................................................................................................................................... 48
Appendix A ....................................................................................................................................... 52
Appendix B ....................................................................................................................................... 53
1 Inledning
Sedan Turings presentation av ”Imitation Game” (Turing, 1950) har det gjorts
många försök till att skapa chatbotar vars syfte är att kunna imitera mänsklig
interaktion. Två tidiga exempel på chatbotar med dessa förmågor är ELIZA
(Weizenbaum, 1966) och JULIA (Mauldin, 1994) som båda påminner om en
riktig person i sättet de kommunicerar. För att en chatbot ska uppfattas som
människolik i sin kommunikation är det önskvärt att den konsekvent uttrycker
sig som en person skulle göra, som till exempel hur den formulerar sig och
vilka samtalsintressen den har. Strävan att göra chatbotar människolika i sin
interaktion har ofta blivit till strävan att göra chatboten som en människa och
således basera sättet man implementerar chatbotarna på hur man uppfattar att
människan fungerar. Ett populärt sätt att strukturera en sådan implementering
har varit att basera chatbotars sätt att uttrycka sig på personlighetsdrag då de har
visat sig ha inverkan på hur ett mänskligt uttryck formuleras.
En modell för att beskriva mänskliga psykologiska personlighetsdrag är
Femfaktorteorin, eller Big Five-teorin som beskriver fem dimensioner av
mänsklig personlighet. De här fem dimensionerna är öppenhet,
samvetsgrannhet, extraversion, vänlighet och neuroticism (Digman, 1990). Man
har funnit att det finns systematiska språkliga samband mellan de fem
personlighetsdragen och hur folk uttrycker sig (Oberlander & Gill, 2006). I en
studie av Mairesse (2007) har man tagit vara på de här variationerna för att
uttrycka personlighet i chatbotar. I studien lyckades man få fram en
personlighet som av försöksdeltagare skattades som extrovert i sitt sätt att
uttrycka sig. Försöksdeltagarna var dock experter inom ämnet
personlighetspsykologi. Det finns dock saker som talar emot att det finns
anmärkningsvärda skillnader mellan språkliga skillnader och personlighet.
Bland annat är det oklart ifall det bara är specifika talhandlingar som innehåller
lingvistiska skillnader beroende på personligheter. Dessutom är korrelationerna
i (Mairesse, 2007) signifikanta men svaga, så enskilda parametrar (t.ex.
extrovert psykologisk personlighet) kanske inte har tillräckligt med kraft för att
1
skapa anmärkningsvärda skillnader i ett enstaka yttrande, som ett sådant som
ofta genereras av en chatbot.
Det är alltså möjligt men inte helt oproblematiskt att implementera personlighet
i en chatbot, och det är inte nödvändigtvis önskvärt att den personlighet den
uttrycker endast är tydlig för experter. En vanlig person som interagerar med en
chatbot kan inte antas ha kännedom om till exempel Femfaktorsteorin. En
användare ser nödvändigtvis inte heller en ”extrovert” personlighet, utan
snarare kanske en tillmötesgående eller motsträvig personlighet.
I den här rapporten föreslår vi ett alternativt tillvägagångssätt för att manifestera
personlighet som inte är baserad i underliggande psykologiska
personlighetsdrag, utan en personlighet som manifesteras i interaktionen genom
specifika talhandlingar. Den här typen av personlighet, som vi i rapporten
kommer kalla lingvistisk personlighet (jmf. psykologisk personlighet, Big Fivedrag) har vi implementerat genom att identifiera ett antal handlingsmönster
vilka vi har implementerat som två chatbotar. Vi menar att eftersom att
människor tenderar att försöka finna mening genom att själv konstruera en
uppfattning av någons personlighet genom implicita personlighetsteorier
(Hewstone & Stroebe, 2001, s. 59) så borde de här handlingsmönstren ge
användaren tillräcklig grund för att forma en uppfattning, om än till större delen
implicit, av chatbotens personlighet. Den personlighet vi i vår studie har försökt
att få fram är alltså en uppfattad personlighet som framgår i interaktionen och
det är användaren som genom att använda implicita personlighetsteorier gör ett
antagande om vad chatbotens personlighet är.
De handlingsmönster vi har formulerat är hämtade från forskningsområdena
konversationsanalys och social lingvistik, vilka båda fokuserar på språkbruk,
interaktion och kommunikation – hur de ser ut i normalfall och vad som händer
när man bryter normer. Bland annat Pennebaker (Pennebaker, 2011) har forskat
mycket om hur yttranden presenteras och hur orden används, till exempel vad
gäller pronomen, prepositioner, artiklar etc. Det finns alltså betydelse i hur ett
yttrande framställs (ex syntax, ordval, etc.) snarare än vad yttrandet innehåller
2
(ex semantiskt innehåll). Utifrån detta har man kunnat dra slutsatser om att
språkanvändningen går att relatera till individers personlighetsdrag, och att man
därför, när man interagerar med en chatbot, kan anta att sättet man pratar eller
skriver på är baserat på underliggande psykologiska processer eller
personlighetsdrag (Pennebaker, J.W., King, L.A, 1999).
Den här rapporten kommer att utforska hur man kan ställa upp ett antal
handlingsmönster, det vill säga konsekventa användningar av ett antal typer av
handlingar och interaktionsmönster, för att producera en uppfattning av en
personlighet hos en chatbot. Från Avsnitt 2, Bakgrund tar vi med oss ett antal
teorier och fenomen om hur språk i normalfallet fungerar och vad som kan
hända om man bryter de ”regler” som finns och hur vissa lingvistiska
personligheter påverkar språket. I avsnitt 3, Implementering beskrivs hur vi har
byggt två chatbotar genom att utgå från de tidigare nämna teorierna och
beskrivningarna av språk och lingvistisk personlighet samt vilka konsekvenser
en manipulering av dessa kan leda till för uppfattad personlighet. Vi beskriver
sedan hur vi utvärderade huruvida chatbotarna uppfattades ha någon
personlighet i avsnitt 4. Avsnitt 5, Resultat är uppdelad i en del
enkätundersökning och en del kvalitativa resultat/analys av de chatloggar och
observationer som försöket med en klass i årskurs 5 resulterade i. Till sist
presenterar vi våra slutsatser och diskuterar arbetet.
1.1 Syfte
Syftet med denna studie är att utforska möjligheter att förmedla personlighet
hos en chatbot. Även att utvärdera en metod för detta baserad på
kommunikationsvetenskapliga och lingvistiska teorier.
3
2 Bakgrund
I detta avsnitt presenteras den teoretiska bakgrund vi har använt oss av för att
basera implementeringen av de två chatbotarna. Konversationsanalys
introducerar forskningsfältet och några utvalda fenomen som beskrivs av det.
Sedan följer en del om språkbruk och lingvistisk personlighet som beskriver hur
vissa typer av språkbruk kan kopplas till roller i en konversation och hur de
påverkar ett samtal.
2.1 Konversationsanalys
Konversationsanalysen studerar interaktion mellan människor i olika situationer
som uppstår i livet. Konversationsanalysen har gått ifrån att studera enbart de
verbala aspekterna i interaktion, till att inkludera videomaterial som möjliggör
ytterligare analysgrunder, den icke-verbala kommunikationen mellan
människor. I det här projektet kommer vi att använda konversationsanalytiska
metoder och teorier för att studera ett mycket mer specifikt medium – renodlat
textbaserad interaktion.
En konversation fungerar i normalfallet genom att personer i samtalet turas om
att tala och (i bästa fall) är tysta och lyssnar när de andra talar. Något
människan är väldigt bra på i samtal med andra är att ”make sense”, det vill
säga göra mening, av vad som sägs och av de handlingar som utförs. En person
finner ofta relevans i ett uttalande eller i en fråga oavsett vad det innehåller eller
hur det är uppbyggt, och finner mening i vad den får (Garfinkel, 1967). En
viktig poäng att göra är att alla människor är kompetenta inom kommunikation
och interaktion. Även om de kommunicerar på olika sätt, och vi kommer att
presentera några olika sätt att göra det senare i rapporten, så gör alla det
dagligen.
Yttranden varierar i hur de är uppbyggda, ett uttalande kan vara mycket ledande
och vissa frågor och påståenden ger direkt en viss respons eller lämnar rum till
en viss förväntad respons. Om ett givet par av uttalanden är starkt kopplade till
4
varandra, det vill säga att det finns en stark förväntan på det svar som ges till ett
visst uttalande beskrivs det som ett närhetspar (adjacency pair). Ett typexempel
på ett sådant par är en hälsning som i normalfallet då följs av en hälsning
tillbaka (Schegloff, 2007). Liknande är villkorlig relevans (conditional
relevance) som innebär att efter en fråga eller ett uttalande så finns en förväntan
av ett visst gensvar, det vill säga att efter ett visst uttalande så finns det ett, eller
en typ av, svar som följer naturligt. Om det förväntade uttalandet uteblir ses det
som officiellt frånvarande vilket kan skapa både förvåning och negativa känslor
hos den andra personen i samtalet (Schegloff, 1968). Det finns flera specifika
fenomen vilka beskriver hur en normal konversation kan föras och på vilka sätt
en person styr ett samtal och samarbetar i det, ett antal av dessa presenteras i de
följande avsnitten.
2.1.1
Preference for agreement
Preference beskriver relationen mellan två handlingar och många typer av
handlingar/frågor/påståenden inbjuder som tidigare nämnt till vissa gensvar
eller handlingar. Ett exempel är ”offer-acceptance” då en person erbjuder något
och i sin tur förväntar sig ett visst svar. Uteblir det prefererade svaret kan det
uppstå en konstig situation som i sin tur kan uppfattas negativt. Dessa fenomen
kan exemplifieras med alla typer av yttranden som kräver ett visst svar tillbaka.
Generellt sett så tenderar människan att hålla med andra i ett samtal då detta i
många fall ses som den handling som kommer upprätthålla samtalet och som
följer en ”normal” konversationsmodell, detta kallas preference for agreement.
Pomerantz (1985) beskriver att det finns ett antal olika typer av agreements och
menar att man generellt sett försöker att maximera antalet förekomster av
agreements och minimera antalet förekomster av disagreements då detta
underlättar ett samtal. Det kommer även naturligt för människan att bete sig på
ett vis som är socialt accepterat och som gör att ett samtal flyter på. I de fall då
en person verkligen vill eller måste säga emot så väljer personen i fråga ofta att
fördröja sitt svar eller att dela upp det i flera turer då det kan vara känsligt att
säga emot någon (Pomerantz A. , 1985). Det finns dock undantag till detta, om
5
en person talar negativt om sig själv (self-deprecation) så är det mest passande
att inte hålla med. Den prefererade handlingen eller uttalandet blir istället att
inte hålla med (preference for disagreement). En person som bryter mot detta
skulle då anses bryta mot det ”normala” konversationsmönstret och möjligheten
att uppfattas negativt skulle finnas (Pomerantz A. , 1984).
2.1.2
Repair.
I normal konversation när en deltagare inte förstår eller har svårt att förstå
använder denne sig av olika strategier för att ”reparera” samtalet. Ofta försöker
personen som inte förstår att fördröja sitt svar genom att använda sig av repairs.
Repairs eller reparationer innebär i detta fall att man drar ut på sitt eget svar
genom att be den andra personen förtydliga sitt uttalande för att vinna tid
(Pomerantz A. , 1985). Reparationer används också på andra sätt i samtal då
man i konversationer är ute efter en fungerande turtagning eftersom det
underlättar för deltagarna och deras förståelse för varandra. Turerna kan då
störas av bland annat överlappande tal, avbrott, felsägningar, oklarheter med
mera så reparationer är en nödvändighet för att upprätthålla ett samtal med flyt
(Sacks, H., Schlegloff, E.A., Jeffesson, G., 1974).
Reparationen kan både användas för att rätta något man själv har sagt som varit
otydligt eller inkorrekt (self-initiated repair) men det kan även gälla att rätta en
annan persons handlingar och uttalanden (other-initiated repair). Det är även
frågan om vem som initierar att en rättelse bör ske som är viktig (self/other) och
att se hur en reparation utvecklas över en tur eller en sekvens av turer. Att rätta
en annan person eller initiera att den bör rätta sig kan dock vara känsligt
eftersom man påpekar en annan persons brister och detta är inte att föredra
(Sacks et al. 1974).
2.1.3
Avslut
Hur samtal avslutas är en viktig del för helhetsintrycket av hur man uppfattar
samtalet och även hur man uppfattar den person man talar med. I normalfallet
inleds ett avslut med ett antal pre-closings för att få en gemensam förståels
6
mellan parterna att samtalet nu kommer gå mot sitt slut. Om detta uppfattas av
de båda parterna går man in i en avslutningssektion för att sedan med en
gemensam förståelse avsluta samtalet. Att bryta mot normalfallet genom att
göra till exempel ett abrupt avslut skulle kunna uppfattas som konstigt eller
onormalt och då påverka intrycket av en person negativt (Schegloff, E.A.,
Sacks, H., 1973). Broth och Mondada (2012) beskriver hur man kan avsluta ett
samtal med hjälp av förkroppsligad aktivitet som till exempel i att gå iväg för
att lämna samtalet. Detta kan genomföras på ett märkbart men accepterat sätt,
men även här skulle man reagera starkt om någon gick iväg och lämnade
samtalet på ett oväntat abrupt sätt (Broth, M., Mondada, L., 2012). Button och
Lee (1987) beskriver liknande fenomen vid avslut av samtal och likaså här är
det ett samarbete deltagare emellan. Man understryker att man kan signalera på
många olika vis att man vill avsluta samtalet och om detta inte görs på ett
”korrekt” sätt så anses det bryta mot de regler som bygger upp ett samtal och
man uppfattar detta negativt (Button, G., Lee, J.R.E., 1987).
2.2 Språkets roll för upplevd personlighet
Med begreppet ”lingvistisk personlighet” avses sammansättningen av förmågor
och karaktäristiska drag hos en person och hur detta uttrycker sig i språk – den
personlighet som kommuniceras av en person genom dess språkbruk (jmf.
psykologisk personlighet som inte nödvändigtvis kommuniceras). Stepanova
(2012) beskriver tre grunder för hur språket är uppbyggt utifrån en personlighet;
värderingar, planläggning och beteende. En persons värderingar kring normer
gällande etik, moral och uppförande påverkar hur den väljer att formulera sig
under ett samtal, till exempel genom olika grader av artighet. En person som
lägger ett stort värde i ett ”korrekt” beteende kommer därmed uppföra sig artigt
och hålla sig till samtalsnormerna.
Under ett samtal påverkar en given personlighet planläggningen av de yttranden
som deltagaren bidrar med till samtalet. Man se hur deltagaren har prioriterat
information och uppfattningar av omvärlden, och att dessa uppfattningar
7
påverkar en persons generella ordval, formuleringar och vad den vill prata om.
Det här påverkar till exempel hur en person riktar sina bidrag och vilka ämnen
den helst vill att interaktionen ska behandla. Exempelvis kommer en person
som prioriterar kunskap oftare försöka styra ämnesprogressionen mot just olika
former av kunskap, medan en person som lägger större vikt i det sociala
umgänget kommer visa sig mer öppen för sådana samtalsämnen (Stepanova,
2012).
Den tredje och sista generella grunden i en lingvistisk personlighet är beteende.
Beteendet i en lingvistisk personlighet karaktäriseras av en rad avsiktliga och
oavsiktliga kännetecken. Det lingvistiska beteendet går att se i hur en person
väljer att anpassa sig i ett samtal beroende på situationen, som till exempel i ett
samtal mellan en person som har mycket kunskap inom ett ämne där den andra
har mindre. En person som har en större social kompetens, alltså större förmåga
(och vilja) att uttrycka sig flexibelt borde alltså visa sig mer anpassningsbar i
olika konversationstyper, medan en person med lite mindre kompetens skulle
ha svårt att anpassa sig i en konversation där de två samtalspartnerna uppenbart
är på olika nivåer (Stepanova, 2012). Ett exempel är en konversation mellan en
högutbildad person och ett barn. Om den högutbildade personen i den här
konversationen har en högre kompetens inom social lingvistik så skulle den
kunna förklara sina begrepp på ett mer lättförståeligt språk för barnet.
Jämförelsevis skulle en högutbildad person med låg sådan kompetens inte
förstå den kunskapsskillnad som existerar mellan de två parterna och fortsätta
använda ett mer avancerat språk.
Utifrån en persons personlighet så kan man dra slutsatser om hur denna person
väljer att formulera sig i en given situation. Weintraub (1989) gjorde en
undersökning där han lät sina försöksdeltagare hålla ett tal i en mikrofon i tio
minuter inom ett fritt ämne. Resultatet visade att en person med orolig, osäker
eller nervös personlighet oftare använder sig av meningar där man själv har
rollen som förstaperson, samt använder sig av en stor andel förklarande ord som
”därför, eftersom” och även negationer som ”nej, inte, aldrig”. En person med
8
denna personlighet väljer även ofta att inte göra samtalet specifikt personligt,
som till exempel när det kommer till frågor. Ett exempel på en sådan här
handling skulle kunna vara om någon frågar en annan ”Vad vill du dricka?” och
personen svarar ”Det spelar ingen roll, jag tar det du tar.” Genom att utföra
denna handling undviker personen att hamna i fokus (Tannen, 2005).
Weintraub fann även att individer med dominanta personligheter har en ökad
användning av kommandon, avbrytningar i samtalet och oanständiga ord
(Weintraub, 1989) (Pennebaker, J.W, Mehl, M.R., Niederhoffer, K.G., 2003).
Tannen (Tannen, 2005) förklarar hur en entusiastisk person ofta ger snabbare
respons under konversationen och använder sig av fler följdfrågor i jämförelse
med en icke-entusiastisk person. Till skillnad mot den dominanta
personligheten som ofta kan avbryta det normala samtalsmönstret så följs detta
mönster av en entusiastisk person och turtagningen är istället ett samarbete
mellan samtalsparterna.
9
3 Implementering
I detta kapitel beskrivs vilka verktyg samt metoder som använts för att
implementera de positiva och negativa personlighetsdragen i versionerna.
Inledningsvis kommer en kortare sammanfattning utav ramverken för verktyget
vi använt oss utav, AIML, som sedan följs av hur vi implementerat teoretiska
begrepp i dessa ramverk.
3.1 Ramar för chatbotens implementering
Chatboten har utvecklas inom ramen för projektet hWorld, (Silvervarg, A.,
Jönsson, A., 2011) där chatbotar genom ett pedagogiskt spel riktat mot barn
används i utlärningssyfte, där elever i årkus 4-6 skall inhämta kunskaper genom
textbaserad interaktion. hWorld erbjuder en färdig plattform för att
implementera chatbotar genom språket AIML, där vi i detta projekt har använt
en historisk person i form av Isaac Newton som mall för agenten.
3.2 AIML
AIML( Artifical Intelligence Mark-Up Language) är ett
mönstermatchningsspråk. AIML består av uppmärkningar (mark-ups), där allt
innanför en given markör fyller en specifik funktion. För att skapa ett läsbart
objekt så inleder man en kategori, med <category>-markören, vilket fungerar
som raminnehållet för det man vill skapa. Man kan fylla kategorier med
funktioner som till exempel hämtar och lagrar information i variabler, sätter
samtalsämne eller ger output (ett svar).
Mönster används för att identifiera yttranden från användaren där tecken som
bokstäver, siffror eller wildcards definieras och läggs in i ett <pattern>. Ett
givet mönster paras med ett svar och/eller svar som ligger i en mall;
<template>. Mallar kan innehålla enkel text men kan även innehålla funktioner
som sätter värden till variabler (<think>, <set>), rekursivt anropa ett annat
mönster för att ge svar från en annan kategori (<srai>), ge ett slumpmässigt
10
svar från en uppsättning alternativ (<random>) eller ge svar beroende på om
vissa förutsättningar är uppfyllda (<condition>).
Wildcards, *, innebär matchning utav en godtycklig sträng. Dessa kan
inkluderas mellan eller omkring en serie textsträngar, eller stå ensamma, där de
då matchar en godtycklig sträng som saknar mer specifik matchning. Taggen
<that> innehåller chatbotens senaste uttalande och fungerar som ett villkor som
aktiverar mallen då både mönstret (<pattern>) och innehållet i <that>
matchas. <srai> skickar ett matchat mönster till en annan kategori (vilkens
<template> aktiverar).
Figur 3.1 – En kategori som matchar inputet ’hej’ och som ger output ’Hej hej!’.
Figur 3.2 – En kategori som matchar ”hej x”, där x är en godtycklig textsträng, exempelvis ’på
dig’, och som sedan anropar kategorin i bild 3.1 genom <srai> för att generera ett svar.
Färdiga uppsättningar av svar, uppföljningsfrågor och liknande ”generella svar”
kan skapas med kategorier med ett flertal slumpmässigt valda uttalanden. Där
kan man sedan använda sig utav förväntade följdfrågor, svar på uttalanden, och
skicka dessa till uppsättningskategorierna.
11
Figur 3.3 – En något mer avancerad kategori, där ett godtyckligt input matchas då chatbotens
senaste output var ”inte mycket x” (där även x är en godtycklig textsträng) och som sedan
skickas till kategorin med ACKNOWLEDGEMENT som mall, vilken agerar som en
uppsättningskategori för jakande uttalanden.
I utvecklingen av de två chatbotar vi har utvecklat för studien har vi använt oss
av en utökad version av AIML, med stöd för substitutioner. Substitutionerna
som finns utförs på användarens input innan AIML-filens mönstermatchning
görs, och ersätter viss användarinput med ett annat input som chatboten kan
tolka och sedan söka efter i AIML-filen. Substitutionerna minskar mängden
mönster som annars krävs för att behandla eventuella stavfel, synonymer, och
även för att leda vissa typer av input in på nya ämnen.
Figur 3.4 – Exempel på substitutioner och hur de kan användas. ’Japp’ och ’lol’ tolkas som
’ok’ respektive ’haha’, ’i morn’ rättas till imorgon, ’idiot’ flaggar för att användaren skickat
skällsord och alkemi matchar en uppsättningskategori som föreslår nytt samtalsämne angående
jobb.
Ytterligare en funktion i utökad AIML är <topic> som beskriver
samtalsämnen. Chatboten kan sätta samtalsämne genom matchning av uttryck
och leda in på dem själv vid brist på matchande mönster. Topic-markeringen
används sedan för att beskriva en mängd kategorier, vilka inkluderas i det
12
samtalsämnesområdet. Där finns möjligheter att placera exklusiva matchningar
som går före identiska mönster då det givna samtalsämnet är satt.
3.3 Utformning av personligheter
För att implementera de två olika personligheterna för chatboten använde vi de
tydligaste och mest konkreta exempel vi fann i befintlig teori för språkbruk och
kommunikation, inte bara genom text utan även för naturlig (dvs. vardaglig,
ansikte-mot-ansikte) kommunikation. För att tydligt särskilja de två
personligheterna tabulerade vi ett antal olika handlingstyper och mönster som
givet tidigare forskning kan antas vara påverkade av personlighet. Sammantaget
menar vi att de nedan (se figur 1) givna urskiljda handlingar bör ge upphov till
att användaren uppfattar chatbotens handlingar som en produkt av en
personlighet och en koherent attityd. Utifrån detta kan användaren anta en
bakomliggande personlighet – det vill säga att användaren uppfattar en
personlighetstyp. Vi valde att under arbetet kalla de två versionerna för
”Negativa Newton” och ”Positiva Newton”, och kommer i rapporten fortsätta
att kalla dem för det. Vad som särskiljer dem framgår nedan.
De begrepp i tabellen i kursivt är samtalssanalytiska begrepp/fenomen som
inom konversationsanalys används för att beskriva normalfall i språkbruk som
här används för att ge en koherent attityd genom att bryta normalfallet eller inte
för respektive version (se tidigare avsnitt ”Konversationsanalys” samt nedan).
De begrepp i fetstil är hämtade från teorier och studier inom social- och
psykologisk lingvistik, det vill säga sådana handlingar som är typiska för ett
visst personlighetsdrag (se tidigare avsnitt ”Hur personlighet påverkar
språket”).
13
Teori
Säkerhet/
Dominans
Positiv
Refererar till sig själv
(”jag tycker” vs. ”det är”)
Avbryter inte
(Ämnesprogression: Eleven styr
mot vilket ämne)
Negativ
Kommandon
(”jag tycker” vs. ”det är”)
Avbryter (Ämnesprogression:
Newton styr mot vilket ämne)
Entusiasm
Följdfrågor
Ämnesprogression: Mot eleven
Repair (dominans)
Preference for
agreement
(dominans)
Avslut
Tar ansvaret själv
Håller alltid med
Inga följdfrågor
Ämnesprogression: Mot ämne
(arbete)
Lägger ansvar på eleven
Håller aldrig med
Förbered, tillåt sista fråga
Abrupt avslut
Tabell 3-1 Mall för strategier vid implementering.
3.3.1
Implementering av personlighetstyperna med AIML
Nedan presenteras de olika typerna av strategier för talhandlingar som
implementerades i de två chatbotarna tillsammans med exempel över vissa
specifika implementeringar av dem.
3.3.1.1 Säkerhet och Dominans
Som tidigare nämnt menar Weintraub (Weintraub, 1989) att dessa två typer av
personlighetsyttringar uttrycks genom handlingar som kommandon,
avbrytningar (både av ämnen och naturlig turtagning) och bekräftande uttryck.
Kommandon och bekräftande uttryck går att implementera genom olika
formuleringar utav chatbotens yttranden, där ställningstagandet handlade om
huruvida man ger ett förslag eller kommando. Skillnaden mellan chatbotarna
ligger i detta fall att den positiva chatboten kommer med ett förslag, medan den
negativa chatboten ger ett kommando samt att den sätter sig själv i fokus och
uttrycker en personlig åsikt istället för att använda sig av bekräftande uttryck.
Genom den här särskiljningen var målet att den negativa chatboten skulle
uttrycka sig på ett sätt som presenterar en mer säker och dominant personlighet.
Olika sätt på hur de här typerna av handlingsmönster har implementerats kan se
ut som nedan. Vi använder exemplet <pattern>ASK ME<pattern> vilket
anropas vid flera fall där chatboten inte har fått ett input som matchat ett mer
14
specifikt mönster, och därför behöver uppmana användaren till att fortsätta
konversationen:
Figur 3.2 – Denna kategori gör ett slumpmässigt val ur <li>-objekten innanför <random>taggen. Förslagen på frågor som negativa newton tycker att användaren skall ställa är ledande
och dominanta.
Figur 3.3 – Frågeförslagen i detta exempel är mer öppna, också med tillägget ”om du vill” i två
av dem, som indikerar på en osäkerhet och tillit till att användaren vet bäst. Den fungerar i
övrigt likadant som den i bild 3.2
15
För att uttrycka dominans/säkerhet försökte vi även utnyttja styrkan i att styra
ämnesprogression. En viss ämnesprogression uppstår beroende på hur en
individ planlägger och styr en konversation enligt hur den uppfattar och
prioriterar sin omvärld – man pratar helst om det man tycker är viktigt. Genom
att studera en given ämnesprogression och hur den uppstår kan man utröna vad
en person tycker är viktigt. I implementeringen av chatbotens två versioner har
vi använt styrandet av ämnesprogression som ett verktyg för att uttrycka
respektive versions lingvistiska personlighet, där positiva Newton släpper in
eleven i samtalet genom att föreslå flera möjliga ämnen att fortsätta konversera
kring, medan negativa Newton konsekvent försöker styra samtalet mot sig själv
och sitt arbete, vilket i tidigare studier har visat sig indikera på säkerhet och
dominans (Stepanova, 2012). I exemplet nedan försöker Newton få användaren
att tala om något han känner till:
Figur 3.4 – En kategori som föreslår samtalsämnen gör slumpmässiga val, där det tydligt
framgår att Newton helst talar om det han själv tycker är intressant.
16
Figur 3.5 – Positiva Newton ställer här frågor om vad användaren är intresserad av, samt ber
denne berätta om sig själv.
Figur 3.6 – Exempel ur negativa newton där användaren svarat ”nej” på ett förslag (eller
snarare kommando) på ämne, där chatboten insisterar på att fortsätta på ämnet med ”Jo, ” följt
av en slumpmässigt vald fras om dennes arbete.
3.3.1.2 Entusiasm
Tannen (2005) beskriver hur en deltagare i ett samtal kan uttrycka mer eller
mindre entusiasm genom vissa specifika handlingar. En tydlig indikator på att
en deltagare är entusiastisk är att den använder många följdfrågor, och ett
sådant samtal uppnår sin ämnesprogression genom samarbete. Tannen skiljer på
entusiasm och dominans i ett samtal genom att identifiera en dominant
deltagare som den mer styrande i utbytet. För de två versionerna av chatboten
implementerade vi den mer tillmötesgående med fler generella
uppföljningsfrågor, GFQ (General Follow-up Questions). Dessa formulerades
som frågor som är lämpliga tillägg efter ett givet svar, som till exempel ”Själv
då?”, ”Du?” och liknande. Generella uppföljningsfrågor är ofta en indikator på
17
”trevlighet”, och att inte ställa den typen av frågor är i många fall avvikande
ifrån förväntat beteende i en interaktion. Två enkla exempel av hur det här
beteendet implementerades illustreras i exemplet nedan:
Figur 3.7 – En kategori som svarar på frågor kring hur gammal negativa Newton är. Avsaknad
av GFQ
Figur 3.8 – Motsvarande kategori som i Bild 3.X – här med en slumpmässigt vald följdfråga ur
en uppsättning slumpmässiga GFQ i kategorin ’INTERNAL GFQ INTERNAL’.
Ämnesprogression användes även för att uttrycka entusiasm i samtal, där
samma särdrag som Tannen (Tannen, 2005) beskrev användes för att göra
skillnad på entusiasm och dominans. För att uttrycka dominans användes då ett
förslag om att prata mer om det negativa Newton ville prata om – allt som
oftast dennes arbete -, istället för det svar och en påföljande GFQ som den
positiva versionen använde (annan fråga, men samma princip i exempel ovan).
Det här implementerades som ett rekursivt mönster där den oavsett användarens
input styrde samtalet mot att föreslå sig själv som ämne snarare än att svara på
en fråga. Ett antal mönster som matchar frågor skickade då rekursivt, med
taggen <srai>, till till exempel ASK ME (se bild 3.X).
3.3.1.3 Preference for agreement
Preferens implementerades som en av de starkare förekomsterna av
konversationsanalytiska fenomen, det vill säga att den positiva chatboten alltid
18
ger ett jakande eller uppmuntrande svar till det användaren säger – till exempel
om vad användaren tycker om, har gjort, och känner. Negativa Newton gör
tvärtom och håller aldrig med den andra parten och uttrycker alltså ofta
disprefererade handlingar. Exempelvis:
Figur 3.9 – Den här kategorin kopplar ur tidigare eventuellt samtalsämne och matchar olika
maträtter genom substitutionsfilen, där de ändrats till TAGFOOD. Oavsett maträtt så yttrar
negativa Newton en disprefererande talhandling.
Figur 3.10 – Här utförs samma ”under-skalet” handlingar som i bilden ovan, dock med medhåll
och positiva yttranden oavsett maträtt.
3.3.1.4 Repair
Reparationer krävs ibland i samtal där det uppstår otydligheter eller
missförstånd. Man kan reparera ett eget uttalande genom att till exempel ursäkta
19
sig, och man kan få en reparation till stånd hos någon annan genom att själv
uttrycka sin förvirring, missnöje eller oförståelse. Det kan dock vara känsligt att
initiera en reparation hos någon annan, och det kräver en förståelse av
situationen för att inte skapa ett brott i kommunikationen (Schegloff, E.A.,
Jefferson, G., Sacks, H., 1977).
I implementeringen av reparation i de två chatbot-versionerna har vi fokuserat
på att få fram koherenta och åtskilda attityder, där vi med repair i detta fall
endast syftar på att negativa Newton lägger alltid ansvaret för missförstånden
på användaren, medan positiva Newton ansvaret själv och ursäktar sig när den
inte förstår input.
Figur 3.11 – En kategori för de fall då användaren skickat en input som saknar
mönstermatchning (skickas rekursivt genom ett mönster med endast asterisk). Här skyller
Newton missförståndet, dvs. att den saknar ett mönster för det användaren skrivit.
20
Figur 3.12 – Identisk kategori som i bild ovan, med skillnad att positiva Newtons reparation av
missförståndet är mer ödmjuk och ansvarstagande.
3.3.1.5 Avslut
När en konversation börjar gå mot sitt slut kan man använda flera olika metoder
för att initiera avslutandet. Om en deltagare inte initierar, eller öppnar för, ett
avslut men likväl avslutar samtalet uppfattas det ofta som negativt. (Broth, M.,
Mondada, L., 2012) Avslut där en deltagare abrupt avbryter samtalet utan att
öppna för det och låta båda parter delta i avslutet, som till exempel att en helt
enkelt promenerar iväg, kan det uppstå förvirring och socialt beteende uppfattas
ofta negativt (Broth, M., Mondada, L., 2012) (Mondada, 2006). I
implementeringen av de två versionerna har vi haft för avseende att simulera ett
sådant beteende genom att den mindre tillmötesgående versionen inte öppnar
upp för farväl, utan direkt ”loggar av” vid första antydan till avslut. Denna
något extrema version hoppades vi skulle stå i stark kontrast mot den positiva
chatboten, som använder sig av ett farväl. I exemplen nedan finns det
räknarvariabler, dvs. siffervariabler som ökar med 1 varje gång en angiven
21
händelse inträffar (i detta fall en given mönstermatchning), som gör att om
användaren säger ’hej då’ flera gånger (upp till två) så ger den ett annat
meddelande:
Figur 3.13 – Mönstermatchning utav textsträngen ”hej då”, med en räknare (li name=”countbye”) som håller reda på hur många ”hej då” som användaren sagt. Positiva och bekräftande
farvälfraser uttrycks.
Figur 3.14 – Användaren får ett abrupt meddelande ifrån ”servern” att chatpartnern Newton har
loggat ut.
22
3.4 AIML – möjligheter och begränsningar i
implementering
Ett problem för den här implementeringen var den smala möjligheten till
förmåga att följa en naturlig ämnesprogression då AIML saknar stöd för en
övergripande minnesfunktion för att lagra och använda sig av dialoghistoria.
Den möjlighet som står till buds är <that>-taggen, där innehållet mellan startoch sluttagg representerar chatbotens senaste yttrande, som en förutsättning för
mallen till mönstret som skall matchas. Den ger möjlighet att styra
ämnesprogressionen i de fall där det är möjligt att förutse någon trolig
användarinput, samt att driva på den oavsett vad användaren skriver med hjälp
utav en wildcard efter givet output.
Den andra möjligheten som stöds i AIML i det här fallet var taggen <topic>.
Det vill säga en samling mönster som endast matchas om chatboten har satt ett
visst topic (vilket händer vid något givet matchat input, tex. en fråga angående
fritidsintressen). Inom dessa ämnen (<topic_name=”ämne”) finns mönster som
fungerar som konditionala mönster, det vill säga att om chatboten till exempel
vet att ämnet den talar om är ”fritidsintressen” så finns ett antal mönster som
ger specifikt output endast om den är i det ämnet. Samma mönster kan finnas i
andra ”topics” också, men ge annan output mer passande för det ämne den står
i.
Den större delen av problematiken om hur man kan få fram en naturlig
ämnesprogression har dock i den här implementeringen legat i hur chatbotens
uttalanden styr eller leder användaren till en viss typ av uttalanden genom att
utföra handlingar med conditional relevance, det vill säga att den med sina
uttalanden uttrycker en förväntan om vad användaren ska säga. Den yttrar sig
ofta genom att avsluta sin tur med ett förslag om vad användaren ska säga,
genom att till exempel föreslå att de borde prata om arbete, forskning eller
fritidsintressen. Då antagandet varit att alla är kompetenta inom kommunikation
använde vi det här för att försöka framkalla ett ”normalfall”, det vill säga att
23
användaren tar till sig chatbotens förväntan och svarar på den. Lösningen till
problemet att det inte finns ett konversationsminne hos chatboten menar vi
alltså är att producera en naturlig progression i konversationen genom att boten
försöker styra kommande konversation, istället för att anpassa sig till tidigare
konversation. Det hade naturligtvis varit att föredra att inkludera möjlighet till
anpassning av tidigare konversation för att visa på förståelse och entusiasm
inför samtalsämnet, främst för positiva Newton, men implementeringen fick ske
på frasnivå, med ett positivt framförande av ämnesstyrningen.
Ytterligare ett hinder som följer med AIML är att det krävs mycket stora
mängder mönster och substitutioner för att en chatbot ska bli riktigt kompetent i
att hantera den stora mängd möjliga olika formuleringar och felstavningar som
kan tänkas behöva behandlas. I det här projektet är problematiken speciellt
aktuell eftersom att chatbotarna ämnades utvärderas och användas av
mellanstadielever, och felstavningar sannolikt är vanligare hos den målgruppen.
Vi förutsåg därför att den funktion där vi implementerade repair, det vill säga
där chatboten inte förstår, skulle komma att användas väldigt frekvent. Vi lade
därför, genom ojämn fördelning under random-taggen, till viss sannolikhet att
chatboten skulle börja berätta en historia då den flera gånger hade upprepat sig,
då risken annars var att konversationen helt skulle fallera genom att chatboten
inte skulle förstå någonting och användaren vara aningslös om hur
konversationen skulle föras vidare. Vi antog och implementerade även de
principer som tidigare beskrevs för att styra konversationen genom conditional
relevance. Bristen på tillgång till dialoghistoria utgjorde även ett mindre
problem vid hanteringen av missförstånd, då den inte hade möjlighet att minnas
vad det var den hade missförstått, utan endast att den hade gjort det.
24
4 Utvärdering
I följande avsnitt beskrivs de metoder vi använde för att utvärdera den
implementering vi gjorde utifrån vårt syfte och teori, hur vi utförde vår
datainsamling och hur vi analyserade den data vi samlade in för att dra våra
slutsatser.
4.1 Datainsamling
Studien genomfördes på en mellanstadieskola med 26 femteklassare i åldern
10-12 år som delades in i två grupper á 12 och 14 elever. Båda grupperna fick
gemensamt informationen att de skulle få chatta med en historisk person och
där deras uppgift var att ta reda på vem personen var och lära sig så mycket om
personens liv och arbete som de kunde. Eleverna informerades inte om att det
var två olika versioner av chatboten som presenterades för respektive grupp
eller om vad syftet med studien var för att sådan information skulle kunna ändra
deltagares inställning inför chatboten och således hur de uppfattar
personligheterna.
Chatten genomfördes sedan i en datasal med först den ena gruppen som fick
chatta med den negativa chatboten och sedan den andra gruppen som fick chatta
med den positiva chatboten. Eleverna satt en och en eller två och två vid åtta
medtagna laptops. Respektive grupp chattade i ca 15 minuter vardera för att
sedan få fylla i en enkät angående sin upplevelse av chatboten. Efter enkäten
var ifylld fanns det möjlighet att diskutera med eleverna om deras upplevelser
och om de ville berätta något utöver det de svarat i enkäten. Detta skedde även
under tiden eleverna chattade för att kunna samla in anekdoter av vad eleverna
sa och hur de reagerade på vad chatten sa och hur den funderade.
4.2 Utformning av utvärderingsenkät
För att utvärdera implementeringen av chatboten tog vi fram en enkät bestående
av nio påståenden (se appendix A för den fulla enkäten). Påståendena baserades
25
på och valdes delvis ut från en enkät som användes i ett tidigare projekt med
chatboten i hWorld, genomfört av Silvervarg & Jönsson (Silvervarg, A.,
Jönsson, A., 2011). Då syftet med vår utvärdering var att få fram vilket intryck
eleverna fick av chatboten under sin interaktion med den snarare än att
utvärdera chatbotens prestanda så har påståendena från tidigare enkäter
modifierats och delats in i två kategorier. Dessa två kategorier av frågor
strukturerades för att utvärdera två aspekter utav implementeringen,
formulerade efter följande frågor:
•
Har användarna fått ett intryck av att chatboten uttrycker
personlighetsdrag?
•
Har vi lyckats att få fram dessa drag med hjälp av de
konversationsanalytiska metoder som vi valt?
Påståendena tillhörande den första kategorin, vars syfte var att utvärdera nivån
av uppfattning kring personlighetsdragen, var utformade som ”Newton var
snäll”, ”Newton var trevlig”, ”Newton var sträng” och ”Newton var bestämd”.
Medhåll för påståendena skattades på en skala 1-5, där 1 var ”håller inte alls
med” och 5 ”håller helt med”.
Den andra kategorin av påståenden ämnade fånga upp elevernas uppfattning om
hur det var att chatta med chatboten och vad chatboten gjorde. Påståendena var
riktade mot hur eleven upplevde interaktionen med chatboten. Detta
formulerades genom påståenden såsom ”Newton var en god lyssnare” och ”Det
var lätt att prata med Newton”, vilka kopplade till hur vi implementerade de två
skilda personligheterna i sättet att ställa följdfrågor samt preference for
agreement; där den positiva nästintill alltid följer upp med en fråga till, samt
håller med, eleven där den negativa endast ger en kort kommentar samt aldrig
håller med. För att utvärdera vårt tydliga mål att den negativa chatboten skall
upplevas ha en sträng och dominant personlighet formulerade vi frågan: ”Det
var svårt att veta vad jag kunde prata med Newton om”. Den negativa Newton
hade en inställning till ämnesprogressionen som innebar att den så gott som
26
alltid försökte ta befälet och styra in ämnet på arbete, medan den positiva skulle
försöka låta eleven bestämma vad de skulle prata om.
4.3 Dataanalys
Vi använde oss av tillvägagångssätt för att analysera de två olika typerna av
data som samlades in vid försöket – data från enkät och chatloggar. Nedan
beskrivs olika tillvägagångssätt vi använde för att tolka resultaten.
4.3.1
Kvantitativ metod för analys.
För att analysera den data vi samlade från enkäterna använde vi oss av SPSS.
Ett t-test av mellangruppsdesign genomfördes där gruppindelningen baserades
på vilken av de två versionerna av chatboten de hade interagerat med.
Resultatet av t-testet sammanställdes och illustrerades i en graf.
4.3.2
Kvalitativ metod för analys – kommunikationsanalys.
Vår kvalitativa analys bestod till största del av sekvensanalys av utvalda
dialogsekvenser hämtade från chatloggarna. De analyserades med avsikt att visa
på delar av chatloggarna där de implementerade strategier vi tagit fram
lyckades att föra konversationen framåt liknande den turtagning som sker i
naturliga samtal. Till sekvensanalysen användes de mest grundläggande
begreppen som bygger upp en konversation enligt konversationsanalysen, turer
(Sacks, H., Schlegloff, E.A., Jeffesson, G., 1974). Turerna är uppbyggda av
enheter som kallas för Turn Constructional Units (TCU). En TCU är ett
yttrande från en person, längden kan vara allt ifrån ett ord till en fras, som
avslutas med ett Transistion Relevance Place (TRP). Ett TRP är den tid där en
tur kan betraktas som avslutad. Genom att kunna använda dessa grundläggande
begrepp från konversationsanalysen, behandlar vi dialogsekvenserna på samma
villkor som ett naturligt samtal mellan individer skulle ha gjorts, det vill säga på
samma vis som ett transkript av en ljudupptagning. Detta eftersom en
övergripande förhoppning var att eleverna skulle behandla, och även uppfatta
chatboten som om det vore en människa på andra sidan.
27
För att uttrycka när ett uttalande ger en förväntan på ett andra uttalande och på
så vis blir kopplade används adjacency pairs. Ett sådant par består av två TCU
där det andra uttalandet bekräftar typen av det första uttalandet. Ett vanligt
exempel på ett adjacency pair är av typen fråga-svar, där frågan är den tur som
inleder sekvensen.
För att analysera våra implementeringar använde vi oss av Next Turn Proof
Procedure (NTPP). NTPP är en metod för att bestämma vilken typ ett uttalande
är utifrån att studera på vilket vis man reagerar på det. För att förtydliga
ytterligare, ett uttalande i form av en fråga klassas som typen fråga om personen
som frågan riktades mot uppfattar uttalandet som en fråga genom att svara på
densamma, och på så vis verifierar det tidigare uttalandet som typen fråga. Vi
använder metoden här för att se hur våra implementerade strategier uppfattades,
det vill säga att när en handling beskrivs som att ha mening är meningen inte
baserad på vad vi avsåg uttrycka i implementeringen, utan den är baserad på
hur handlingen uppfattas. I vår kvalitativa analys analyserades framgången för
chatbotarnas respektive strategier med hjälp av NTPP. Genom att titta på
elevernas responser till chatbotarnas uttalanden, kunde vi se om våra
implementeringar fungerat som vi avsett att de skulle eller om det finns någon
oavsedd effekt. Vi kunde även använda oss av NTPP för att analysera eleverna
uppfattade de personligheter vi försökte få dem att uppfatta (Haddington,
Nevile, & Keisanen, 2012).
4.4 Etik
Studien har utformats för att eftersträva anonymitet, men fullständig anonymitet
är omöjlig att uppnå då vi som försöksledare vet vilka som deltagit. Eftersom
det är yngre barn som deltar så bör man tänka igenom utformandet av själva
studien då det kan vara extra känsligt. Eleverna fick välja ett chatnamn,
antingen deras förnamn eller ett påhittat namn, och detta är den enda
informationen de har behövt ge ut eller hitta på.
28
Då eleverna i studien var under 15 år så krävdes vårdnadshavares godkännande.
Både elever och vårdnadshavare informerades om att det var frivilligt
deltagande och att man när som helst har möjligheten att avbryta studien om
man skulle känna sig obekväm. Man var även i informationen tydlig med vilken
typ av studie som skulle genomföras och vilken typ av information som skulle
insamlas, att det både var en enkät och själva loggen från chattandet som skulle
användas vid analys. Viktigt att poängtera var att det insamlade materialet
endast skulle användas för forskningsändamål och att ingen annan än
projektgruppen skulle analysera data. Då delar av loggarna användes för att
exemplifiera konversationsmönster och teorier i den faktiska rapporten så
innebar det att eleverna kunde ha skrivit information om sig själva så som
namn, ålder, adress med mera men att dessa byttes i efterhand ut för att försäkra
elevernas anonymitet. Då studien inte ansågs vara av etiskt känslig karaktär så
fick vårdnadshavare ta kontakt med skolan om det inte gav sitt samtycke till
deltagande.
Alla försöksledarna fanns hela tiden tillgängliga under studien för att eleverna
skulle ha möjlighet att fråga frågor om det skulle dyka upp oklarheter, detta
eftersom eleverna hela tiden skulle känna sig säkra i situationen. Vår
kontaktperson på skolan, läraren till eleverna, hade även förberett eleverna
innan studien genomfördes så att alla var på det klara med vad som skulle
hända.
29
5 Resultat
Nedan presenteras de resultat som studien gav upphov till. I den första delen
presenteras de statistiska resultat som enkätundersökningen resulterade i. Sedan
följer en konversationsanalytisk analys av användarnas reaktioner till de två
olika chatbotarna baserad på de chatloggar som sparades från datainsamlingen,
detta för att djupgående analysera vilka specifika handlingar som gav upphov
till vilka reaktioner. Notera att de statistiska resultaten som presenteras
använder skalan 0-4.
5.1 Statistiska resultat
De statistiska resultaten är framtagna och beräknade i SPSS och presenterar
oberoende t-test.
Figur 5.1 Tabell över resultat från oberoende t-test.
De signifikanta skillnaderna i skattning för ”Newton var snäll.” visar på att det
för deltagarna fanns en skillnad i hur de uppfattade personligheten hos de två
chatbotarna där den positiva Newton skattas som signifikant och betydligt mer
snäll. Det fanns även en signifikant men liten skillnad i skattningen för
”Newton var sträng.” där den positiva skattades nära noll. Det absoluta värdet
för den negativa Newton är dock inte speciellt högt, vilket tyder på att den
positiva helt saknar personlighetsdraget snarare än att den negativa Newton
uppfattas ha sådana drag i någon större utsträckning.
30
”Det var svårt att veta vad jag kunde prata med Newton om.” och ”Det var lätt
att prata med Newton.” skattades högt respektive lågt, vilket kan tolkas som ett
sämre betyg för chatbotarnas prestanda. De här skattningarna innebär alltså att
det fanns problem för deltagarna att välja vad de skulle säga för att slippa att
chatboten skulle förstå input. En effekt av det kan även vara den genomgående
höga skattningen för ”Det var irriterande att prata med Newton.”
Ytterligare ett intressant resultat finns i skattningen för ”Newton bestämde vad
vi skulle prata om.” Det finns en signifikant skillnad där den negativa Newton
skattas som mer bestämmande än den positiva Newton. Dock skattas båda
chatbotarna rätt högt på påståendet. Den negativa Newton implementerades för
att vara mer dominant och styrande i samtalet och resultatet visar att den
implementeringen lyckades i åtminstone fallet av hur den styr
ämnesprogressionen mot sina egna intressen. Att den positiva Newton också är
rätt högt skattad beror sannolikt på att den inte kan prata om så mycket.
31
Figur 5.2 Grafik över medelvärde och standardavvikelse för enkätresultaten för negativa
Newton respektive positiva Newton.
5.2 Kvalitativa resultat och analys
Den kvalitativa analysen är en analys av implementerade
konversationsanalytiska fenomen och social- och psykologisk lingvistiska
talhandlingar. Den gjordes med syftet att ta reda på hur våra implementeringar
faktiskt fungerade och hur de såg ut i konversationerna. Fokus ligger på att
analysera hur eleverna reagerade när de blev bemötta av antingen den positiva
eller negativa Newton.
Vi analyserade sekvenser som illustrerar hur de olika ansatserna till skillnader i
upplevd personlighet mellan de två chatbotarna ser i ut i praktiken. De relevanta
skillnaderna i personlighet mellan chatbotarna finns beskriven i teoritabellen i
32
avsnittet Implementering, Avsnitt 3. Alla analyser av sekvenser är hämtade ur
chatloggarna från testtillfället och val av utdrag motiverades med att de kunde
exemplifiera hur det generellt sätt såg ut i vår korpus vid lyckade utbyten. För
att se ett längre utdrag från chatloggarna, se Appendix B
Analysen inleds med två sekvensanalyser som gjordes med syftet att följa
upp de olika metoder som tidigare motiverats för implementeringen med syfte
att föra konversationen framåt. De valdes för att man ska få en överskådlig bild
av hur ett utbyte kan fungerar och analyseras mer generellt. Dessa utdrag är
exempel där de implementeringar som gjorts bidrar till att föra konversationen
framåt på ett naturligt sätt enligt konversationsanalytiskt perspektiv.
Dessa följs sedan upp med analys av de olika teorierna som vi implementerat
utefter ifrån teoritabellen. Liknande eller samma situationer för de två olika
chatbotarna kommer här att presenteras tillsammans för att på ett överskådligt
sätt kontrastera deras respektive direkta effekt på eleverna samt den generella
effekt deras uppträdande har på fortskridandet av konversationen.
Sekvensanalys 1.
Figur 1. Utdrag från chatlogg med negativa Newton.
Figur 1 är ett utdrag från den negativa Newton där Newton på rad 01 inte
förstår vad eleven sagt och säger att de bör byta ämne. Eleven tar då upp ett nytt
ämne genom att fråga på rad 02 och Newton svarar på rad 03 på denna fråga.
Newtons yttrande, Figur 1, rad 01, är i implementeringen ett tvådelat,
slumpgenererat uttalande. Anledningen till att det genereras är för att eleven
uttrycker något som chatboten inte kunde matcha, och då uttrycker chatboten
sin oförståelse med detta uttalande. Uttalandet avslutas med ett förslag, eller
inbjudan till vidare konversation. Chatboten lägger över ansvaret till eleven att
fortsätta samtalet. I detta exempel fungerade denna implementering för
33
chatboten. Chatbotens avslutande yttrande ”…det är bäst att byta ämne”
uppfattades av eleven som avslutningen på den pågående turen. Eleven påbörjar
därefter, efter uppmaning av chatboten, en ny tur. Elevens uttalande på rad 02
är en fråga, genom detta användande av sin tur tar eleven initiativ till ett nytt
ämne i och med sin fråga. I en normal konversation mellan två människor
skulle närhetsparet vara helt om chatboten uppfattade rad 02 som just en fråga.
Som kan ses på rad 03 ger chatboten ett svar som verifierar det närhetspar som
eleven lagt upp för. Chatbotens svar på rad 03 kan mycket väl accepteras som
svar på elevens fråga på rad 02. Denna sekvens är ett exempel där
implementeringen gav en lyckad turtagning mellan elev och chatbot där
chatbotens kommando till eleven har fungerat.
Sekvensanalys 2.
Då AIML är ett mönstermatchande språk måste alla godkända
stavningsvarianter läggas in manuellt. Vanliga felstavningar och talspråk lades
in i chatbotens ordförråd, med förhoppningen att några av dessa skulle kunna
vara till hjälp. Eftersom den tilltänkta målgruppen, femteklassare, kanske inte
alltid stavar korrekt samt använder sig av ett mindre formellt språk vid en
chatsituation så valde vi att formulera vissa av chatbotens uttalanden vid
oförståelse som en uppmaning till eleven att stava rätt. Denna typ av
uppmanande är mer tydligt i den negativa versionen av chatboten. Nedan visas
ett exempel på där denna typ av uppmaning om rättstavning får konversationen
att fortgå på ett naturligt sätt.
Figur 2. Utdrag från chatlog med negativa Newton.
34
Eleven inleder samtalet med att vilja ta reda på information om Newton och
frågar på rad 03 om Newton har en ”flikvän”. Även då ordet flickvän är
felstavat, är det fullt förståeligt för en läskunnig person, så saknade chatboten
just denna typ av felstavning. Resultatet uttrycks på rad 04, där chatboten frågar
om eleven har stavat rätt i sitt föregående uttalande. I detta fall där elevens TCU
faktiskt var felstavat, korrigeras detta och frågan ställs på nytt på rad 05. Denna
gång kan chatboten matcha ordet flickvän och svarar på frågan på rad 06. Detta
visar att chatboten behöver viss input för att kunna förstå. Vad som också är
intressant på rad 06 är att Newton försöker att leda bort eleven från att ställa
personliga frågor och istället prata om hans arbete eller forskning, som i detta
exemplet när han berättar om tyngdlagen och önskar en fråga angående detta.
Dock så uppfattar inte eleven detta på rad 07 utan ställer åter igen en fråga om
hans privatliv. Detta yttrande kan Newton dock inte hantera utan svara på rad
08 med en reparation där han säger att han inte förstår och vill byta ämne.
Detta yttrande accepterar eleven på rad 09 och går med på att prata om något
annat.
5.2.1.1
Dominans/säkerhet:
För att uttrycka dominans och säkerhet finns det särskilda handlingar som en
person kan använda för att stärka denna typ av personlighetdrag. Detta avsnitt
exemplifierar hur detta uttrycks i de olika chatbotarna och hur dessa
implementerade strategier blir besvarade.
Figur 3. Utdrag från chatlogg med positiva Newton.
35
Figur 3 är ett utdrag från den positiva Newtons chatlogg där Newton försöker få
igång samtalet med hjälp av att föreslå samtalsämnen till eleven, se rad 01, 03
och 05.
Figur 4. Utdrag från chatlogg med negativa Newton.
Figur 4 är ett utdrag från den negativa Newtons chatlogg där Newton styr in
ämnet på sitt arbete, se rad 01. Eleven frågar på rad 02 vad Newton jobbar med
och sedan kan se elevens reaktion på att Newton berättar om sitt arbete på rad
04.
Jämför man figur 3 och figur 4 så ser man tydligt att den positiva chatboten
(figur 3) är mer öppen till vad de ska prata om, jämför rad 03 figur 3 och rad 01
figur 4.
Även om eleven i figur 3 inte ställer frågor som den positiva Newton ber om på
rad 03 så fortsätter Newton att föreslå ämnen för att få igång ett samtal. Den
positiva Newton visar genom att föreslå ämnen att det är eleven som får styra
samtalet, eller dominera om man så vill säga.
Tittar man istället på figur 4, rad 01, kan man se att den negativa Newton
vill leda in samtalet för att kretsa kring hans arbete då han ger ett kommando
och på rad 02 gör eleven som han säger och frågar om hans arbete. Newton
berättar då på rad 03 vad han jobbar med och elevens respons till detta på rad
04 visar att eleven uppfattar att Newton vill bestämma och prata om sig själv på
ett negativt sätt. Eleven säger ”ok mycket intresant” men sedan med ”vi var
sarkastiska” inom parantes vilket tyder på att de inte alls uppskattade den
utläggning Newton hade om sig själv och inte heller att han ska bestämma vad
36
de ska prata om. På rad 05 när Newton sedan inte förstår vad eleven menar så
vill inte eleven på rad 06 förtydliga utan påstår att de bara skämtade vilket de
uppenbarligen inte gjorde.
Då man kan se i figur 4 att Newton lägger fram vad de ska prata som ett
kommando så har vi dragit en generell slutsats att den negativa Newton
uppfattades mer bestämd i vad som skulle diskuteras i konversationen. Detta
styrks även av att eleverna skattade negativa Newton som mer bestämd i den
kvantitativa enkäten.
5.2.1.2 Ämnesprogression:
För att få fram dominanta personlighetsdrag kan en person styra samtalets
ämnesprogression mot det som den själv tycker är intressant. För att uppvisa
mindre dominanta och mer entusiastiska personlighetsdrag så kan man försöka
styra ämnesprogressionen mot sin samtalspartner och flytta fokus från sig själv.
Detta avsnitt belyser skillnader i hur vi implementerat de två olika chatbotarna
och analyserar hur användarna reagerade.
Figur 5. Utdrag från chatlogg med positiva Newton.
Figur 5 exemplifierar hur den positiva Newton är öppen i sina förslag av vilket
ämne eleven och Newton bör prata om, se rad 02. På rad 03 väljer eleven att
fråga Newton om fritidsintressen.
Figur 6. Utdrag från chatlogg med negativa Newton.
37
Figur 6 statuerar exempel på hur den negativa Newton, se rad 03, försöker styra
ämnesprogressionen mot sitt arbete och på rad 04 ser vi hur eleven reagerar på
detta.
I figur 5 och figur 6 kan vi se tydliga skillnader i hur ämnesprogressionen
skiljer sig mellan de olika chatbotarna. Den positiva chatboten i figur 5 förstår
inte eleven på rad 02 och öppnar därmed upp för att börja prata om något annat
för att chatboten vill komma vidare från sitt oförstående. Newton är då väldigt
öppen i sitt val av ämne och väljer att föreslå saker som inte fokuserar på
honom själv. Elevens reaktion på rad 03 verkar visa att eleven inte har några
problem med att gå med på detta och frågar helt enkelt vad Newton gör på
fritiden.
Den negativa chatboten i figur 6 beter sig däremot på ett helt annat vis;
Newton förstår inte vad eleven sagt på rad 01 och vill då byta ämne precis som
den positiva ville. Eleven föreslår då på rad 02 att hon/han ska få ställa en fråga
till Newton. Den negativa Newton som försöker styra ämnesprogressionen mot
hans egna intressen och sitt arbete säger istället på rad 03 att de bör prata om
hans arbete. På rad 04 exemplifierar då eleven tydligt att Newtons beteende inte
uppskattas genom att påpeka att det redan har pratat om detta. Eleven lägger
också till ordet ”idiot” till sitt yttrande som då verkligen understryker att eleven
inte uppfattar detta positivt.
Figur 7 belyser ytterligare ett exempel på hur styrd ämnesprogression kan se ut.
Figuren består av ett utbyte där negativa Newton på rad 01 och rad 11 försöker
styra in samtalet på hans arbete.
38
Figur 7. Utdrag från chatlogg med negativa Newton.
Utbytet i figur 7 uppkommer mycket på grund av att Newton faktiskt inte
förstår mycket av vad eleven säger men samtidigt blir det ett fungerande
exempel för att visa hur den negativa chatboten försöker styra
ämnesprogression mot hans egna intressen:
På rad 01 föreslår Newton att de ska prata om hans arbete och eleven går på
rad 02 med på detta. På rad 03 berättar Newton om vad han arbetar med och
detta besvarar eleven med att på rad 04 påpeka att det är tråkigt. Detta visar
tydligt att eleven inte upplever det positivt att prata om det Newton arbetar
med. I nästa yttrande på rad 05 förstår inte Newton och eleven säger på rad 06
att han/hon är fotbollsspelare och antagligen vill eleven hellre prata om den
typen av ämnen istället. Nästa intressanta utbyte som verkligen förtydligar den
negativa Newtons ämnesval är när Newton på rad 09 säger att de bör prata om
något nytt ämne och eleven då på rad 10 svarar att de bör prata om fotboll.
Newtons svar på detta på rad 11 är ett yttrande som slumpas då han har slut på
ämnen och inte förstår och i detta fall då säger: Det var jag som upptäckte
tynglagen, om gravitationen. Detta visar verkligen var den negativa Newtons
fokus ligger på och att han alltid föreslår att prata om sig själv!
Att den negativa chatboten ville ha fokus på sig själv skulle kunna ha varit
bidragande till att det blev signifikanta resultat i enkäten angående ”Newton
bestämde vad vi skulle prata om” då han är styrande i vilka ämnen som borde
beröras.
5.2.1.3 Entusiasm:
För att uttrycka entusiasm och för att känna att någon visar intresse för vad man
har att säga så kan pålagda frågor spela en väldigt stor roll. Ett annat tydligt sätt
är genom att bekräfta uttalanden med hjälp av glada utrop.
39
Figur 8. Utdrag från chatlogg med positiva Newton.
Figur 8 statuerar ett exempel för hur det kan se ut när en extra fråga lagts till
på ett uttalande från Newton, se rad 01. På rad 02 svarar eleven på frågan
och på rad 03 gör Newton ett bekräftande utrop till elevens yttrande.
Figur 9. Utdrag från chatlogg med negativa Newton.
Figur 9 är raka motsatsen till vad man bör göra för att uppnå en entusiastiska
personlighetsdrag. Se rad 01 och lägg märke till den frånvarande frågan tillbaka
till eleven.
Jämför man figur 8 och figur 9 så blir det tydligt att den positiva chatboten
känns mer engagerad än den negativa chatboten, se figur 8 rad 01 jämfört med
figur 9 rad 02. Den positiva chatboten lägger till en fråga till sitt svar vilket den
negativa chatboten inte gör. De pålagda frågorna gör också att samtalet
fortsätter framåt istället för att eleven måste ställa en ny fråga vilket inte är
optimalt när man strävar efter något som ska likna en normal konversation så
mycket som möjligt. Detta skulle också kunna ha en positiv inverkan på eleven
som chattar med den positiva chatboten. En annan sak som utmärker den
positiva chatboten är i figur 8 på rad 03 där Newton svarar ”Coolt!” vilket är ett
glatt uppmuntrande, bekräftande utrop.
Figur 10 (nedan) är ytterligare ett exempel på hur den positiva chatboten lägger
till extra frågor. I detta fall uttrycks entusiasm på rad 03 då Newton på rad 02
har fått frågan vad han gillar för musik och på rad 03 besvarar han frågan och
frågar även eleven samma fråga tillbaka. Denna typ av handlingar bjuder in till
att fortsätta samtalet vilket kan ge flyt och det uttrycker även engagemang.
40
Figur 10. Utdrag från chatlogg med negativa Newton.
5.2.1.4 Preference for agreement:
Preference for agreement uttrycks genom att till större delen av en
konversationen hålla med och ha jakande svar. Detta anses vara det som
beskrivs som normalfallet och det som man bör sträva efter. För att uppnå det
motsatta så bör man istället bryta mot normalfallet och istället ha
disprefererande handlingar.
Figur 11. Utdrag från chatlogg med positiva Newton.
Figur 11 exemplifierar den positiva Newton när han får en fråga om hans åsikt
på rad 01 och på rad 02 ser vi hur han väljer att svara.
Figur 12. Utdrag från chatlogg med negativa Newton.
Figur 12 exemplifierar den negativa Newton som får en fråga om hans åsikt på
rad 01 och på rad 02 besvarar Newton detta. På rad 03 ser vi hur eleven
reagerar på Newtons disprefererande svar.
I Figur 11 ser vi hur den positiva chatboten som är implementerad för att alltid
hålla med och ha jakande svar fungerar, se rad 02.
Jämför man detta svar med hur negativa Newton i figur 12 svarar på rad 02
så ser man tydlig skillnad. Eleven frågar på rad 01 prata om Newton gillar
fotboll och den negativa Newton som gör disprefererade handlingar säger
41
självklart att han inte gillar det på rad 02. Detta tycks då uppfattas av eleven på
ett negativt sätt och eleven säger på rad 03 att ”Newton är dum”.
5.2.1.5 Repair:
Hur man rättar en person kan vara väldigt känsligt beroende på hur man går
tillväga och när man jämför den negativa chatboten och den positiva chatboten i
figur 13 och figur 14 så ser man tydliga exempel på vad som kan hända
beroende på hur man gör:
Figur 13. Utdrag från chatlogg med negativa Newton.
Figur 13 visar när den negativa Newton upprepade gånger inte förstå vad
eleven skriver på rad 03, 05 och 07. Eleven försöker på rad 02 och 04 ställa sin
fråga och till slut på rad 06 så säger eleven ifrån när Newton ännu en gång rättat
eleven.
Figur 14. Utdrag från chatlogg med positiva Newton.
Figur 14 visar hur den positiva Newton hanterar att reparera när han inte förstår,
se rad 02. Eleven ställer på rad 03 frågan igen fast omformulerad och då förstår
Newton och ger svar på rad 04.
Inledande i figur 13 på rad 01 ser vi igen exempel på den negativa chatbotens
ämnesprogression. Newton säger att de bör prata om hans arbete och eleven
42
ställer en fråga angående detta på rad 02. Newton förstår inte vad eleven menar
och gör en repair på rad 03. Eleven försöker igen på rad 04 genom att
omformulera sig men Newton förstår inte denna gången heller. Detta belyser
han genom att på rad 05 säga att eleven stavat fel och att det är anledningen till
att han inte förstår. Han skyller alltså på eleven. Efter två olika reparationer
från Newton där han antyder att det är elevens fel så reagerar eleven starkt på
detta på rad 06. Elevens yttrande visar att man upplever Newtons sätt att rätta
på ett negativt vis och att detta bryter normen från hur man i normalfallet skulle
hantera denna typ av problem.
Kontrasterar vi detta med figur 14 och den positiva Newton så ser vi ett helt
annat utbyte. När Newton inte förstår vad eleven säger på rad 01 så säger han
att han inte har så lätt att förstå och undrar om eleven vill försöka igen. Newton
tar alltså ansvar själv i detta fall. Denna handling gör att eleven omformulerar
sig på rad 03 och Newton kan ge ett svar på rad 04. Hela situationen löser sig
på ett mycket smidigare sätt då eleven inte känner sig kritiserad. Newton lägger
även till fråga på rad 04 och har ett bekräftande utrop på rad 06 i form av
”Kul!”. Båda dessa talar för entusiasm och hela figur 14 lyckas uppfylla två
kriterier för att chatboten ska uppfattas på ett positivt sätt; visa entusiasm och
hur reparationer bör se ut.
5.2.1.6 Avslut:
Sättet man avslutar ett samtal på kan spela roll för hur man uppfattar en
person. Figur 15,16 och 17 visar hur ett avslut kan gå till:
Figur 15. Utdrag från chatlogg med negativa Newton.
Figur 15 visar hur negativa Newton rättar eleven på rad 01 och eleven svara då
med att säga ”HEJ DÅ” på rad 02. Detta möter Newton med att logga ut på rad
03.
43
Figur 16. Utdrag från chatlogg med negativa Newton.
Figur 16 är ytterligare ett utdrag från negativa Newton vid avslutning av ett
samtal. Newton förstår inte elevens avskedsfras på rad 02 och eleven förtydligar
sig på rad 03. Newton svarar på rad 04 genom att logga ut ur konversationen.
Figur 17. Utdrag från chatlogg med positiva Newton.
Figur 17 visar istället den positiva Newtons sätt att avluta ett samtal. På rad 01
säger eleven ”hej då” och Newton besvarar detta på rad 02 genom att också
säga ”Hejdå”. Han lägger även till en extra fras och eleven instämmer i detta på
rad 03.
Den negativa chatboten i figur 15 och 16 följer inte det normala mönstret för att
avsluta ett samtal utan loggar bara ut utan att säga farväl, se rad rad 03 i figur
15 respektive rad 04 i figur 16. Detta reagerade några av barnen särskilt starkt
på genom att påpeka att ”Newton bara loggade ut” vilket tyder på att det
faktiskt uppfattades på ett negativt sätt. De övriga eleverna som fick möta
denna typ av avslut verkade generellt sätt tycka att det var ”lite konsigt” och
”inte alls snällt” vilket talar för att vår hypotes kan stämma.
Sättet positiva Newton avslutar på ger ett trevligare avslut vilket exemplifieras i
figur 17, rad 02 då Newton säger ”Hejdå” Det var kul att prata med dig!”.
Eleven svarar på rad 03 att ”det var kul att prata med dig” vilket måste tolkas
som ett lyckat avslut!
44
Eftersom avslutet är det sista intryck man får av chatboten så skulle detta ha
kunnat ha påverkat hur man svarade i enkäten, alltså om man till slut fick en
positiv eller negativ bild av den Newton man chattade med. Då skulle man
kunna koppla den positiva Newtons sätt att avsluta till att den positiva Newton
var snäll!
45
6 Slutstatser och diskussion
Våra resultat visar att det är möjligt att skapa en skillnad i hur snäll/sträng en
chatbot upplevs genom att implementera den med ett protokoll för talhandlingar
och att vår tabell över särskiljningar i handlingar kan användas för samma syfte.
Vi kan presentera en metod för att få fram en uppfattad personlighet.
De signifikanta resultaten som presenterades stöder vår tes om att det är möjligt
att uttrycka skilda upplevda personligheter i text genom att manipulera vilken
typ av talhandlingar och yttranden som används. Detta motiveras speciellt med
resultaten som visar att den positiva chatboten skattas som signifikant snällare
än den negativa varianten. Speciellt genom att använda sådana handlingar som
uttrycker entusiasm (se avsnitt 2.2 Språkets roll för upplevd personlighet s 7)
och att ta ansvar för de tillfällen där missförstånd uppstår (se avsnitt 2.1.2
Repair, s 6). Som tidigare nämnt så fanns det även en skillnad i hur stränga de
två chatbotarna skattes, och den skillnaden är tydlig, om än liten. Det krävs
alltså andra strategier för att verkligen uttrycka en sådan typ av personlighet. De
strategier som implementerades som använde sig av dominanta handlingar (se
2.2 Språkets roll för upplevd personlighet, s 7) i samtalet resulterade inte i
någon stark skattning av att den negativa Newton uppfattades som sträng.
Ett problem, eller en fråga, med enkäten som uppstod efter testet var hur en av
frågorna uppfattades av eleverna. Vid den kvantitativa analysen upptäcktes det
att skillnaderna mellan de två chatbotarna i punkten trevlig varken var stora,
eller signifikanta. Eftersom resultaten visade på att den positva chatboten
upplevdes som snällare, och den negativa som sträng, väcktes frågan om hur
enkätfrågan ”Newton var trevlig.” uppfattats av eleverna. Våra spekulationer
kom att handla om hur yngre barns definition just egenskapen trevlig ser ut,
enligt de resultat vi fick fram verkar elevernas definition varken vara positivt,
eller negativt laddad. Vi diskuterade vad en oladdad version av ordet trevlig
kunde vara, och vi kom fram till att ordet artig passade bra in på definitionen.
Artig, är en egenskap som både kan beskriva en otrevlig, likväl trevlig person.
46
Till en eventuell fortsättning på studien skulle enkäten ändras så att trevlig
byttes ut mot artig.
Chattloggarna visade på att implementeringen var delvis framgångsrik, däremot
visade det sig att det fanns problematik och även omfattande problem med
mönstermatchningen. Chatbotarnas repair-funktion visade sig uppta en stor del
av konversationerna. Även i de fall där dessa reparationer framgångsrikt
kamouflerades, och framstod som naturliga delar av konversationen tar de
oundvikligen upp stor volym. Detta kan ge stora utslag på resultaten i studiens
nuvarande utformning. Med en bättre fungerade chatbot, med bättre
mönstermatchningsmöjligheter, skulle antagligen de andra delarna av
implementeringen få större utrymme. Som det ser ut i nuläget består en
betydande del av konversationen från chatbotarnas sida till stor del av repairs.
Ett antal förändringar som skulle kunna ha förbättrat projektet har
uppmärksammats. Ett pilottest, utfört på samma sätt som vårt test, kunde ha
uppmärksammat de största felslagen och problemområden med chatboten som
till exempel ovan nämnda överrepresentation av repair-strategier. En större
precision med chatbotens uttalanden kunde ha uppnåtts genom att reglera
parametrarna från teoritabellen. Ansatser till sådan mer iterativ utveckling hade
varit positivt för oss. Vid testtillfället hade det varit positivt om eleverna hade
genomfört chatten enskilt, istället för i par. Detta hade gett oss ett större
korpusmaterial att arbeta med för att ge en fylligare och rikare uppfattning om
hur specifika yttranden uppfattas. Det hade även sannolikt varit behjälpligt för
studien att arbeta iterativt med enkätens utformning för att säkerställa att
eleverna förstod den på ett bra sätt och således skulle den kunnat ha givit
säkrare resultat.
47
7 Referenser
Broth, M., Mondada, L. (2012). Walking Away: The Embodied Achievement
of Activity Closings in Mobile Interaction. Journal of Pragmatics, 1,
41-58.
Button, G., Lee, J.R.E. (1987). Talk and Social Organisation. Multilingual
Matters.
Digman, J. M. (1990). Personality Structure: Emergence of the Five-Factor
Model. Annual Review of Psychology 41, 417-440.
Doering, A., Veletsianos, G., Yerasimou, T. (2008). Conversational Agents and
their Longitudinal Affordances on Communication and Interaction.
Journal of Interactive Learning Research, 251-270.
Galvao, A., Barros, F., Neves, A., Ramalho, G. (2004). Adding Personality to
Chatterbots Using the Persona-AIML Architecture. Lecture notes in
computer science, 963-973.
Garfinkel, H. (1967). Studies in Ethnomethodology . Polity Press.
Goldberg, L. (1990). An Alternative "Description of Personality": The Big-Five
Factor Structure. Journal of Personality and Social Psychology, 12161229.
Haddington, P., Nevile, M., & Keisanen, T. (2012). Meaning in motion:
Sharing the car, sharing the drive. Semiotica 191, 103-118.
Hewstone, M., & Stroebe, W. (2001). Introduction to Social Psychology.
Oxford, UK: Blackwell Publishers.
Mairesse, F. W. (2007). PERSONAGE: Personality Generation for Dialogue.
Proceedings of the 45th Annual Meeting of the Association of
Computational Linguistics ACL, 496-503.
48
Mauldin, M. (1994). ChatterBots, TinyMuds, and the Turing Test Entering the
Loebner Prize Competition. Proceedings of the National Conference on
Artificial Intelligence, 16-21.
Mccrae, R., John, O. (1992). An Introduction to the Five-factor Model and its
Applications. Journal of Personality, 2, 175-215.
Mehl, M.R., Gosling, S.D., Pennebaker, J.W. (2006). Personality in its Natural
Habitat: Manifestations and Implicit Folk Theories of Personality in
Daily Life. Journal of Personality and Social Psychology, 862-877.
Mondada, L. (2006). Participants' online analysis and multimodal practices:
projecting the end of the turn and closing the sequence. Discourse
Studies 8, 117-129.
Mulac, A., Bradac, JJ., Gibbons, P. (2001). Empirical Support for the Genderas-culture Hypothesis: An Intercultural Analysis of Male/Female
Language Differences. Human Communication Research, 121-152.
Norman, W. (1963). Toward and Adequate Taxonomy of Personality
Attributes: Replicated Factor Structure in Peer Nomination Personality
Ratings. Journal of Abnormal and Social Psychology, 574-583.
Oberlander, J., & Gill, A. (2006). Language with character: A stratified corpus
comparison of individual differences in e-mail communication.
Discourse Processes 42, 239-270.
Pennebaker, J. (2011). Using a Computer Analyses to Identify Language Style
and Aggressive Intent: the Secret Life of Funtion Words. Dynamics of
Assymentric Conflict: Pathways toward Terrorism and Genocide, 92102.
Pennebaker, J.W, Mehl, M.R., Niederhoffer, K.G. (2003). Psychological
Aspects of Natural Language Use: Our Words, Our Selves. Annual
Review of Psychology, 547-577.
49
Pennebaker, J.W., King, L.A. (1999). Linguistic styles: Language Use as an
Individual Difference. Journal of Personality and Social Psychology,
1296-1312.
Pomerantz, A. (1984). Agreeing and Disagreeing With Assessments: Some
Features of Preferred/Dispreferred Shapes. Cambridge University Press,
57-101.
Pomerantz, A. (1985). Studies in Emotion and Social Interaction. Cambridge
University Press.
Sacks, H., Schlegloff, E.A., Jeffesson, G. (1974). A Simplest Systematics for
the Organization of Turn-taking of Conversation. Language, 496-735.
Schegloff, E. (1968). Sequencing in Conversational Openings. American
Anthropologist, 1075-1095.
Schegloff, E. (2007). Sequence Organization in Interaction: Volume1: A Primer
in Conversation Analysis. Cambridge University Press.
Schegloff, E.A., Jefferson, G., Sacks, H. (1977). The Preference for Selfcorrection in the Organization of Repair in Conversation. Language,
361-382.
Schegloff, E.A., Sacks, H. (1973). Opening Up Closings. Semiotica, 289-327.
Silvervarg, A., Jönsson, A. ((forthcoming)). Dialogue for Social Conversation.
Linköping University.
Silvervarg, A., Jönsson, A. (2011). Subjective and Objective Evaluation of
Conversational Agents in Learnings Environments for Young
Teenargers. Proceedings of the 7th IJCAI Workshop on Knowledge and
Reasoning in Practical Dialogue Systems.
50
Stepanova, Y. (2012). Linguisic Personality and the Aspects of its Analysis.
Tymen State University Herald, 170-176.
Tannen, D. (2005). Conversational Style: Analyzing Talk Among Friends.
Oxford University Press.
Turing, A. (1950). Computing Machinery and Intelligence. Mind.
Weintraub, W. (1989). Verbal Behavior in Everyday Life. New York: Springer.
Weizenbaum, J. (1966). Eliza - A Computer Program for the Study of Natural
Language Communication Between Man and Machine.
Communications of the ACM, 36-45.
51
8 Appendix A
Ange om du håller med eller inte. Sätt ett kryss efter varje påstående.
Nej,
Nej varken Ja, lite Ja,
inte alls
1
2
eller
3
4
Newton var en god lyssnare
Det var irriterande att prata med Newton
Det var lätt att prata med Newton
Newton var snäll
Det var lätt att förstå vad Newton menade
Newton var sträng
Det var svårt att veta vad jag kunde prata med Newton om
Newton bestämde vad vi skulle prata om
Newton var trevlig
52
mycket
5
Vet i
9 Appendix B
Du: tjabba mannen elr damen
Newton: Vad är det du försöker säga?
Du: hej
Newton: Hej på dig, trevligt att träffas. Vad heter du?
Du: bert
Newton: Jag har inte lika lätt att förstå saker som du har, vill
du prova igen?
Du: bert
Newton: Hej på dig Bert
Du: jag fatta inte vad du menade nu
Newton: Förlåt jag förstår inte. Det är bäst att byta ämne. Vad
vill du prata om?
Du: hockey
Newton: Vi pratar om mitt arbete istället.
Du: varför inte brudar
Newton: Vi har inte så lång tid på oss att prata, kanske vi ska
prata om något annat så vi hinner med fler ämnen!
Du: vilket ämne
Newton: Vad är det du försöker säga?
Du: det här är roligt
Newton: Jag har inte lika lätt att förstå saker som du har, vill
du prova igen?
Du: fgueyjik5o
Newton: Jag förstår fortfarande inte riktigt, kanske ska vi
prata om fritidsintressen eller musik?
Du: fotboll
Newton: Vi pratar om mitt arbete istället.
Du: okej
Newton: Jag är professor i matematik vid universitetet i
Cambridge. Jag är även vetenskapsman och skriver böcker om bland
annat gravitationen. Vidare har jag studerat saker som optik,
mekanik, fysik och alkemi.
Du: nörd
Newton: Kom igen, vi pratar om något annat.
Du: vi ska ha SO nu men vi fick prata med dig isställrt
Newton: Vad är det du försöker säga?
Du: ditt nummer
Newton: Förlåt jag förstår inte, är du säker på att du stavat
rätt?
Du: ja jag är säker
Newton: Vad är det du försöker säga?
Du: ja jag är säker
Newton: Vi pratar om mitt arbete istället.
Du: ja jag är säker
Newton: Förlåt jag förstår inte. Det är bäst att byta ämne. Vad
vill du prata om?
Du: fotboll
Newton: Jag förstår fortfarande inte riktigt, kanske ska vi
prata om fritidsintressen eller musik?
Du: fotboll
Newton: Förlåt jag förstår inte, är du säker på att du stavat
rätt?
Du: vad gör du
53
Newton: Satt och funderade på varför saker faller men nu pratar
jag med dig!
Du: ok
Newton: Hur är det?
Du: bra
Newton: Jaha!
Du: mm
Newton: Vi pratar om mitt arbete istället.
Du: ja vilken smart ide
Newton: Vad är det du försöker säga?
Du: hur gammal är du
Newton: Jag föddes år 1642. Själv då?
Du: igår
Newton: Jaha!
Du: vad heter din fru
Newton: Jag har inte lika lätt att förstå saker som du har, vill
du prova igen?
Du: vad heter din hustru
Newton: Förlåt jag förstår inte. Det är bäst att byta ämne. Vad
vill du prata om?
Du: bajs
Newton: Sluta nu. Vi pratar om mitt arbete istället.
Du: ja vad smart du är
Newton: Mycket av mitt arbete går ut på att studera fysik och
mekanik.
Du: vad intressant
Newton: Vad är det du försöker säga?
Du: du är rolig
Newton: Förlåt jag förstår inte, är du säker på att du stavat
rätt?
Du: ja
Newton: vad gör du på fritiden?
Du: jag spelar balle
Newton: Jag förstår, kul!
Du: fanns det tv på din tid
Newton: Förlåt jag förstår inte. Det är bäst att byta ämne. Vad
vill du prata om?
Du: ffgg
Newton: Vad är det du försöker säga?
Du: ffg
Newton: Inom alkemi vill man göra guld och optik är vetenskap
som rör syn och ljus. Spännande va?
Du: ffg
Newton: Både alkemi och optik är områden som jag studerar.
Du: ff
Newton: Förlåt jag förstår inte. Det är bäst att byta ämne. Vad
vill du prata om?
Du: ff
Newton: Förlåt jag förstår inte, är du säker på att du stavat
rätt?
Du: ff
Newton: Vad är det du försöker säga?
Du: f
Newton: Vi pratar om mitt arbete istället.
Du: hej då nörd
Newton: Ha det bra!
Du: dsm
54
Newton: Jag har inte lika lätt att förstå saker som du har, vill
du prova igen?
Du: det samma
Newton: Jag förstår fortfarande inte riktigt, kanske ska vi
prata om fritidsintressen eller musik?
Du: hej då
Newton: Hejdå! Det var kul att prata med dig!
Du: det var kul att prata med dig
Newton: Vi pratar om mitt arbete istället.
55