Transcript Kruzslicz F., Kovács B., Hornyák M.
Slide 1
Csoportjellemzők
szövegbányászati
feltárása és
vizualizációja
Kruzslicz F., Kovács B., Hornyák M.
TÁMOP-4.2.2.C-11/1/KONV-20120005, I/4 - Jól-lét az információs
társadalomban @ PTE-KTK
Slide 2
Forrás: Practical Text Mining and Statistical Analysis for Non-Structured Text Data Apps, (Miner et al. 2012)
Slide 3
Szövegreprezentációk
„To be, or
not to be,
that is the
question…”
Word
Freq.
BE
2
IS
1
NOT
1
OR
1
QUESTION
1
THAT
1
THE
1
TO
2
Slide 4
1/2
that
1
be
Szövegreprezentációk
1/2
or
1
1
is
„To be, or
not to be,
that is the
question…”
to
1
not
1
the
→
1
question
BE
IS
NOT
OR
QUEST.
THAT
THE
TO
BE
0
0
0
1/2
0
1/2
0
0
IS
0
0
0
0
0
0
1
0
NOT
0
0
0
0
0
0
0
1
OR
0
0
1
0
0
0
0
0
QUEST.
0
0
0
0
0
0
0
0
THAT
0
1
0
0
0
0
0
0
THE
0
0
0
0
1
0
0
0
TO
1
0
0
0
0
0
0
0
Slide 5
Szövegreprezentációk
„To be, or
not to be,
that is the
question…”
„ To/TO be/VB , or/CC
not/RB to/TO be/VB ,
that/DT is/VBZ the/DT
question/NN … ”
VP – verb phrase
NP – noun phrase
DT – determiner
VB – base form verb
NN – singular noun
S – sentence part
CC – cord. conjuct.
RB – adverb
VBZ – verb 3rd pers.
TO – to
tokenelés
stopszavazás
„ To be , or not to be ,
that is the question … ”
Item
1
2
3
4
5
6
7
8
9
10
Word
to
be
or
not
to
be
that
is
the
question
POS
TO
VB
CC
RB
TO
VB
DT
VBZ
DT
NN
Slide 6
Szövegreprezentációk
S
S
S
VP
VP
TO
CC
RB
or
not
VP
VP
TO
VP
to
to
„To be, or
not to be,
that is the
question…”
NP
VP
DT
VBZ
that
is
NP
DT
the
VB
VB
be
be
VP – verb phrase
NP – noun phrase
DT – determiner
VB – base form verb
NN – singular noun
NN
question
S – sentence part
CC – cord. conjuct.
RB – adverb
VBZ – verb 3rd pers.
TO – to
Slide 7
KKK szövegelemzés
338 oldal, 14+7 képzési terület,
154 alapszak, 10 szempont
Numerikus elemzéssel
Szöveges elemzéssel
Kredit kitöltöttség (6. blokk)
• Képzés közös: 51,2%
• Szakirányú: 68,7%
• Gyakorlati (min): 97,7%
• Szabadon választható: 100%
• Szakdolgozat: 100%
• Teljes gyak.átlag: 37,9% kredit
Feldolgozási lépések (8. blokk)
• Tokenelés
• Stopszavazás (spec. is!)
• Összetett szavak felbontása
• Szótövezés
• Szinonimák (pl. labor)
• Gyakorlat aránya: 39,2% említés
Gyakorlati 6 félév
BA szint
38,62%
(61 db)
BSc szint
37,88%
(16 db)
7 félév
46,43%
(8 db)
36,44%
(38 db)
8 félév Szógyakoriság Említés (db)
24,30% gyakorlat
158
(3 db) elmélet
245
35,50%
(5 db)
Slide 8
KKK szövegelemzés
Bloom-féle taxonómia igéi
Emlékszik: bemutat,
áttekint, felsorol, ismétel,
felismer
Megért: kifejt, azonosít,
meghatároz,
megmagyaráz
Alkalmaz: használ,
eldönt, tervez,
felfedez, kitűz
Elemez: definiál,
megvitat,
megkülönböztet
Alkot: megtervez,
kifejleszt, vonatkoztat
Értékel: visszajelzést ad,
minősít, véleményez
Slide 9
KKK szövegelemzés
Szöveg alapú
szaktávolságok
h=33% vágással
38 db egyke szak
Kirajzolódnak a
képzési területek
Érdekességek:
15. élelmiszermérnök,
168. jármű-mérnök,
58. közszolgálati
Informatika szak:
h(31.GI; 63.PTI) = 44%,
h(31.GI; 84.MI) = 43%
és
h(63.PTI; 84.MI) = 35%
Slide 10
Alapszak1
Alapszak2
0,883
12. bűnügyi igazgatási
87. rendészeti igazgatási
0,868
107. vegyészmérnöki
9. biomérnöki
0,733
115. kerámiatervezés
116. üvegtervezés
0,717
1. alkalmazott közgazdaságtan
29. gazdaságelemzés
0,626
65. mezőgazdasági mérnöki
76. növénytermesztő mérnöki
0,621
49. kereskedelem és marketing
82. pénzügy és számvitel
0,614
49. kereskedelem és marketing
72. nemzetközi gazdálkodási
0,606
93. szociális munka
94. szociálpedagógia
0,602
103. turizmus-vendéglátás
49. kereskedelem és marketing
0,583
28. gazdálkodási és menedzsment
82. pénzügy és számvitel
0,583
103. turizmus-vendéglátás
82. pénzügy és számvitel
0,574
117. fémművesség
118. formatervezés
0,567
103. turizmus-vendéglátás
28. gazdálkodási és menedzsment
0,563
3. állattenyésztő mérnöki
65. mezőgazdasági mérnöki
0,558
28. gazdálkodási és menedzsment
72. nemzetközi gazdálkodási
0,557
28. gazdálkodási és menedzsment
49. kereskedelem és marketing
0,555
126. kameraman
127. gyártásszervező
0,533
132. táncművész
134. táncos és próbavezető
0,527
1. alkalmazott közgazdaságtan
58. közszolgálati
0,512
72. nemzetközi gazdálkodási
82. pénzügy és számvitel
0,506
67. munkaügyi és társ.bizt. igazgatási
73. nemzetközi igazgatási
0,500
29. gazdaságelemzés
58. közszolgálati
0,500
103. turizmus-vendéglátás
72. nemzetközi gazdálkodási
Egymástól 50%-ban nem eltérő szakpárok
Hasonlóság
Slide 11
KKK szövegelemzés
Polaritás vizsgálatok
Gyakorlat (+1) vs. Elmélet (-1)
0.156 kémia
0.130 pedagógia
0.103 zene
0.069 irodalom
0.047 társadalom
0.010 fizika
0.003 menedzsment
-0.100 informatika
-0.145 statisztika
-0.161 matematika
-0.166 gazdaság
Tudomány (+1) vs. Művészet (-1)
0.560 matematika
0.560 gazdaság
0.536 kémia
0.454 statisztika
0.396 fizika
0.373 informatika
0.351 menedzsment
0.111 társadalom
-0.219 irodalom
-0.234 pedagógia
-0.501 zene
Sentiment Orientation
+1 pozitív, 0 semleges, -1 negatív
Slide 12
Pozitív
Fejér: 328,11
Negatív
KE: 13,49
BAZ: 325,28
Nógrád: 7,4
Támogat,
Kér, Szeret,
Jog, Szerez,
Tiszta
Vég, Fél,
Rossz, Sért,
Súlyos,
Kár
HirIX értékek százalékos
megoszlása
megyénként
BAZ
Nógrád
KE
Jellemzően negatív
Fejér
Jellemzően pozitív
Slide 13
FOI2012 értékek százalékos
megoszlása megyénként
Nógrád
KE
Jellemzően múlt
Jellemzően jövő
Preis et. al
(2012)
Slide 14
Szófelhők fejlődése
Mental Map
of Paris
Milgram
(1976)
Zeitgeist
Flanagan
(1997)
Slide 15
Szófelhők fejlődése
Fortune
(2001)
Slide 16
Szófelhők fejlődése
Prefix
szófelhő
Burch et al.
(2013)
Sziluett
szófelhő
Tagxedo
(2006)
Slide 17
Szófelhők fejlődése
Sparklines by
Microsoft Research
Lee et al. (2010)
Slide 18
Szófelhők fejlődése
Slide 19
Scopus Neuro Science
Időszak: 1910-2014
636 szakújság
41 511 szerző/kutató
1 192 905 publikáció
Agykutatás
Magyarország
2011-2012
Co-Citation
Slide 20
Scopus Neuro Science
Slide 21
Slide 22
Forrás: http://www.businessinsider.com/apple-people-vs-microsoft-people-2014-10
Slide 23
Conway szófelhők
Haplotípus: a fenotípusnak
az a része, amelyet egy
kromoszómán
elhelyezkedő, szorosan
kapcsolt gének határoznak
meg. (lásd HapMap 2010)
Cikk
Szaklap
56 818
Brain Research
31 105
Neuro Science Letters
30 993
J. of Neuroscience
25 152
J. of Neurochemistry
20 579
Neuroscience
17 794
J. of Neurophysiology
16 724
Percept. & Motor Skills
Slide 24
Conway szófelhők
Slide 25
Conway szófelhők
Slide 26
Conway szófelhők
Slide 27
Conway szófelhők
Slide 28
VOS mappings
Brain
Research
EMBO
Journal
Slide 29
Csoportjellemzők
szövegbányászati
feltárása és
vizualizációja
Kruzslicz F., Kovács B., Hornyák M.
TÁMOP-4.2.2.C-11/1/KONV-20120005, I/4 - Jól-lét az információs
társadalomban @ PTE-KTK
Slide 2
Forrás: Practical Text Mining and Statistical Analysis for Non-Structured Text Data Apps, (Miner et al. 2012)
Slide 3
Szövegreprezentációk
„To be, or
not to be,
that is the
question…”
Word
Freq.
BE
2
IS
1
NOT
1
OR
1
QUESTION
1
THAT
1
THE
1
TO
2
Slide 4
1/2
that
1
be
Szövegreprezentációk
1/2
or
1
1
is
„To be, or
not to be,
that is the
question…”
to
1
not
1
the
→
1
question
BE
IS
NOT
OR
QUEST.
THAT
THE
TO
BE
0
0
0
1/2
0
1/2
0
0
IS
0
0
0
0
0
0
1
0
NOT
0
0
0
0
0
0
0
1
OR
0
0
1
0
0
0
0
0
QUEST.
0
0
0
0
0
0
0
0
THAT
0
1
0
0
0
0
0
0
THE
0
0
0
0
1
0
0
0
TO
1
0
0
0
0
0
0
0
Slide 5
Szövegreprezentációk
„To be, or
not to be,
that is the
question…”
„ To/TO be/VB , or/CC
not/RB to/TO be/VB ,
that/DT is/VBZ the/DT
question/NN … ”
VP – verb phrase
NP – noun phrase
DT – determiner
VB – base form verb
NN – singular noun
S – sentence part
CC – cord. conjuct.
RB – adverb
VBZ – verb 3rd pers.
TO – to
tokenelés
stopszavazás
„ To be , or not to be ,
that is the question … ”
Item
1
2
3
4
5
6
7
8
9
10
Word
to
be
or
not
to
be
that
is
the
question
POS
TO
VB
CC
RB
TO
VB
DT
VBZ
DT
NN
Slide 6
Szövegreprezentációk
S
S
S
VP
VP
TO
CC
RB
or
not
VP
VP
TO
VP
to
to
„To be, or
not to be,
that is the
question…”
NP
VP
DT
VBZ
that
is
NP
DT
the
VB
VB
be
be
VP – verb phrase
NP – noun phrase
DT – determiner
VB – base form verb
NN – singular noun
NN
question
S – sentence part
CC – cord. conjuct.
RB – adverb
VBZ – verb 3rd pers.
TO – to
Slide 7
KKK szövegelemzés
338 oldal, 14+7 képzési terület,
154 alapszak, 10 szempont
Numerikus elemzéssel
Szöveges elemzéssel
Kredit kitöltöttség (6. blokk)
• Képzés közös: 51,2%
• Szakirányú: 68,7%
• Gyakorlati (min): 97,7%
• Szabadon választható: 100%
• Szakdolgozat: 100%
• Teljes gyak.átlag: 37,9% kredit
Feldolgozási lépések (8. blokk)
• Tokenelés
• Stopszavazás (spec. is!)
• Összetett szavak felbontása
• Szótövezés
• Szinonimák (pl. labor)
• Gyakorlat aránya: 39,2% említés
Gyakorlati 6 félév
BA szint
38,62%
(61 db)
BSc szint
37,88%
(16 db)
7 félév
46,43%
(8 db)
36,44%
(38 db)
8 félév Szógyakoriság Említés (db)
24,30% gyakorlat
158
(3 db) elmélet
245
35,50%
(5 db)
Slide 8
KKK szövegelemzés
Bloom-féle taxonómia igéi
Emlékszik: bemutat,
áttekint, felsorol, ismétel,
felismer
Megért: kifejt, azonosít,
meghatároz,
megmagyaráz
Alkalmaz: használ,
eldönt, tervez,
felfedez, kitűz
Elemez: definiál,
megvitat,
megkülönböztet
Alkot: megtervez,
kifejleszt, vonatkoztat
Értékel: visszajelzést ad,
minősít, véleményez
Slide 9
KKK szövegelemzés
Szöveg alapú
szaktávolságok
h=33% vágással
38 db egyke szak
Kirajzolódnak a
képzési területek
Érdekességek:
15. élelmiszermérnök,
168. jármű-mérnök,
58. közszolgálati
Informatika szak:
h(31.GI; 63.PTI) = 44%,
h(31.GI; 84.MI) = 43%
és
h(63.PTI; 84.MI) = 35%
Slide 10
Alapszak1
Alapszak2
0,883
12. bűnügyi igazgatási
87. rendészeti igazgatási
0,868
107. vegyészmérnöki
9. biomérnöki
0,733
115. kerámiatervezés
116. üvegtervezés
0,717
1. alkalmazott közgazdaságtan
29. gazdaságelemzés
0,626
65. mezőgazdasági mérnöki
76. növénytermesztő mérnöki
0,621
49. kereskedelem és marketing
82. pénzügy és számvitel
0,614
49. kereskedelem és marketing
72. nemzetközi gazdálkodási
0,606
93. szociális munka
94. szociálpedagógia
0,602
103. turizmus-vendéglátás
49. kereskedelem és marketing
0,583
28. gazdálkodási és menedzsment
82. pénzügy és számvitel
0,583
103. turizmus-vendéglátás
82. pénzügy és számvitel
0,574
117. fémművesség
118. formatervezés
0,567
103. turizmus-vendéglátás
28. gazdálkodási és menedzsment
0,563
3. állattenyésztő mérnöki
65. mezőgazdasági mérnöki
0,558
28. gazdálkodási és menedzsment
72. nemzetközi gazdálkodási
0,557
28. gazdálkodási és menedzsment
49. kereskedelem és marketing
0,555
126. kameraman
127. gyártásszervező
0,533
132. táncművész
134. táncos és próbavezető
0,527
1. alkalmazott közgazdaságtan
58. közszolgálati
0,512
72. nemzetközi gazdálkodási
82. pénzügy és számvitel
0,506
67. munkaügyi és társ.bizt. igazgatási
73. nemzetközi igazgatási
0,500
29. gazdaságelemzés
58. közszolgálati
0,500
103. turizmus-vendéglátás
72. nemzetközi gazdálkodási
Egymástól 50%-ban nem eltérő szakpárok
Hasonlóság
Slide 11
KKK szövegelemzés
Polaritás vizsgálatok
Gyakorlat (+1) vs. Elmélet (-1)
0.156 kémia
0.130 pedagógia
0.103 zene
0.069 irodalom
0.047 társadalom
0.010 fizika
0.003 menedzsment
-0.100 informatika
-0.145 statisztika
-0.161 matematika
-0.166 gazdaság
Tudomány (+1) vs. Művészet (-1)
0.560 matematika
0.560 gazdaság
0.536 kémia
0.454 statisztika
0.396 fizika
0.373 informatika
0.351 menedzsment
0.111 társadalom
-0.219 irodalom
-0.234 pedagógia
-0.501 zene
Sentiment Orientation
+1 pozitív, 0 semleges, -1 negatív
Slide 12
Pozitív
Fejér: 328,11
Negatív
KE: 13,49
BAZ: 325,28
Nógrád: 7,4
Támogat,
Kér, Szeret,
Jog, Szerez,
Tiszta
Vég, Fél,
Rossz, Sért,
Súlyos,
Kár
HirIX értékek százalékos
megoszlása
megyénként
BAZ
Nógrád
KE
Jellemzően negatív
Fejér
Jellemzően pozitív
Slide 13
FOI2012 értékek százalékos
megoszlása megyénként
Nógrád
KE
Jellemzően múlt
Jellemzően jövő
Preis et. al
(2012)
Slide 14
Szófelhők fejlődése
Mental Map
of Paris
Milgram
(1976)
Zeitgeist
Flanagan
(1997)
Slide 15
Szófelhők fejlődése
Fortune
(2001)
Slide 16
Szófelhők fejlődése
Prefix
szófelhő
Burch et al.
(2013)
Sziluett
szófelhő
Tagxedo
(2006)
Slide 17
Szófelhők fejlődése
Sparklines by
Microsoft Research
Lee et al. (2010)
Slide 18
Szófelhők fejlődése
Slide 19
Scopus Neuro Science
Időszak: 1910-2014
636 szakújság
41 511 szerző/kutató
1 192 905 publikáció
Agykutatás
Magyarország
2011-2012
Co-Citation
Slide 20
Scopus Neuro Science
Slide 21
Slide 22
Forrás: http://www.businessinsider.com/apple-people-vs-microsoft-people-2014-10
Slide 23
Conway szófelhők
Haplotípus: a fenotípusnak
az a része, amelyet egy
kromoszómán
elhelyezkedő, szorosan
kapcsolt gének határoznak
meg. (lásd HapMap 2010)
Cikk
Szaklap
56 818
Brain Research
31 105
Neuro Science Letters
30 993
J. of Neuroscience
25 152
J. of Neurochemistry
20 579
Neuroscience
17 794
J. of Neurophysiology
16 724
Percept. & Motor Skills
Slide 24
Conway szófelhők
Slide 25
Conway szófelhők
Slide 26
Conway szófelhők
Slide 27
Conway szófelhők
Slide 28
VOS mappings
Brain
Research
EMBO
Journal
Slide 29