Transcript ipdet

IPDET
Модуль 10:
Өгөгдлийн шинжилгээ
төлөвлөж, явуулах нь
Удиртгал
•
•
•
•
Өгөгдлийн шинжилгээний стратеги
Чанарын өгөгдлийн шинжилгээ
Тоон өгөгдлийн шинжилгээ
Тоон болон чанарын өгөгдлийг
холбох нь
IPDET © 2009
2
Туршилт
Зарцуусан
цаг
Өгөгдөл цуглуулах
болон шинжлэх
Өгөгдлийн
шинжилгээ
Өгөгдөл
цуглуулах
Цаг
IPDET © 2009
3
Чанарын шинжилгээ
• Оролцооны гүнзгий ойлголттой
болоход хамгийн их хэрэглэгддэг
• Дараах мэт асуултад хариулна:
– Ажилтнуудын тулгараад байгаа зарим
хүндрэл юу вэ?
– Оролцогчид яагаад өөрсдийгээ эрт
гаргалаа гэж хэлж байна вэ?
– Оролцогч нарт таалагдах ямар туршлага
байна вэ?
IPDET © 2009
4
Тоон шинжилгээний эрс
ялгагдах тал нь
• Дараахтай төстэй асуултад хариулдаг:
– Оролцогчдын янз бүрийн бүлгийн дундаж оноо
хэд вэ?
– Хөндлөнгийн оролцооны хамаарлын
зэргэмжийг оролцогч нэгээс таван оноо хүртэл
хэрхэн дүгнэсэн бэ?
– Тухайн зүйлүүдэд өгсөн хариунд хувьсах чанар
хэр их байна вэ?
– Хоёр бүлгийн хоорондох ялгааг статистикийн
хувьд итгэж болох уу?
IPDET © 2009
5
Чанарын өгөгдөл цуглуулах,
шинжлэх зөвөлгөө
• Сэтгэгдэл, санаа
• Багтайгаа
бодол, ярилцлага,
байнга уулзаж
эсвэл ажиглалтын
тэмдэглэлээ
тэмдэглэлийг өдөр
зэрэгцүүлэн
бүр бичиж бай.
үзэж залруулж
бай.
• Анхаарлаа улам
төвлөрүүл
• Ишлэлийг
хавтсанд хийж
хадгал
IPDET © 2009
6
Чанарын өгөгдлийн
шинжилгээ
• Үнэлгээний нэг хэсэг болгож тоон бус
өгөгдөл цуглуулдаг:
– ө.х. нээлттэй төгсгөлт ярилцлага,бичмэл
баримт бичиг, төвлөрлийн бүлгийн
бичлэгийн хуулбар
• Сэдэв, онцлог байдлыг нь таниж
тогтооход агуулгын шинжилгээ хийж
болно.
• Бас дэвшүүлж төвлөрдөг– сэдвүүд гарч
ирдэг явцын шинжилгээ
IPDET © 2009
7
Сэдэв болон онцлогийг
зураглаж гаргах
• Хянаж эхэлмэгц л тэмдэглэж эхэл
• Зорилго тань юу харсан, сонссоноо
хураангуйлж дүгнэхэд чиглэнэ:
–
–
–
–
нийтлэг үгс
үг хэллэг
сэдэв
онцлог
IPDET © 2009
8
Кодлолын давтагдах
үйл явц
Хянах, дахин өөрчлөх, дахин
тодорхойлох, талбарын тэмдэглэл
илүү туршилтаар гаргасан шошго
санал болгож байгаа бол нэм, эсвэл
заримыг нь хас
IPDET © 2009
9
Агуулгын шинжилгээ
• Бичвэр юмуу ярианд байгаа тодорхой
үг, ойлголтыг таниж тогтоо
• Ойлголтын шинжилгээ:
– Үгийн давтамжийг хар
• Харилцааны шинжилгээ:
– Үгийн давтамжийг хар
– Ойлголтууд хоорондын хамаарлыг эрж
ол
IPDET © 2009
10
Чанарын өгөгдлийн шинжилгээн
дэх компъютерийн тусламж
• Өгөгдөл зохион байгуулахад програм
хангамжийн багц туслана
• Хайна, зохион байгуулна, ангилна, бичвэрт
юмуу дүрст өгөгдлийн зүүлт хийнэ
• Өгөгдлийн дундах харилцааг дүрсжүүлэхэд
туслана
• Ихээхэн олон тоотой өгөгдөлтэй үед чухал
хэрэгцээтэй
IPDET © 2009
11
QDA програмын жишээ
• QSR-гаас гарсан
OSR-ын N6 from
(хуучнаар
NUD*IST)
• Этнограф
• Qualpro
• Hyperqual
• Anthropax
• Atlas-ti
IPDET © 2009
•
•
•
•
•
Nvivo 8
AnSWR
HyperRESEARCH
Qualrus
Бусад
12
Чанарын өгөгдлийн гар
аргын шинжилгэээ
• Хэрэгцээтэй материал:
– Хэд хэдэн мөр тодруулагч (янз бүрийн өнгөтэй)
– Үнэлгээний асууулт бүрт ажлын хуудас
– Тэмдэглэл, хуулбар, ярилцлага болон тусгалын
бүлгийн бичлэг зэргийг оролцуулсан өгөгдөл
– өөрсдөө бөглөсөн санал асуулга, бүртгэлийн
маягт, ажиглалт, хяналтын диаграм зэрэг
цуглуулах хэрэгсэл
IPDET © 2009
13
Өгөгдлийг гараар
кодлох
• Бүх өгөгдлийг болгоомжтой унш
• Гарчиг, асуудал, эсвэл сэдвийн нэр болон
шошготой бол = кодлол
• Кодоо ашиглаад бүх өгөгдлөө ангилна
– Гараар төрөлжүүлэхийн тулд хайчил (эхлээд
хуулж авна)
– Дугаарлан кодлогч ашиглаж болох юм.
– Индексийн карт хэрэгтэй байж болно.
IPDET © 2009
14
Чанарын ажлын хуудасны
жишээ
Үнэлгээний асуулт: Оролцогчид сургалтын хичээлд сэтгэл хангалуун байв уу?
Өнгө, код, эсвэл бэлэг тэмдэг: Шар
Сэдэв
Ишлэл
Олдвор
Эцэг, эхчүүд сэдвээ
сонгодог
Миний бодож буйгаар
шийдвэрлэх үйл явц үнэ
цэнтэй байна.
Эцэг эх нь сэдэв
соногоход илүү их
оролцох ёстой гэсэн
хатуу мэдрэмж байна.
//// //// //// //// //// //// //// ////
Нэг хичээл дээр хоёр
сэдэв хамрагдана
//// //// //// ///
Сэдэв бүрт хангалттай
цаг зараагүй
//// //// //// ///
IPDET © 2009
Заримдаа бид сэдэвтээ
Олон оролцогч (38 юмуу
дөнгөж орж байтал
52 ярилцлага хийсэн)
түүнийг орхих цаг нь бас хэлэлцүүлэгт илүү их цаг
болчихдог буюу бас нэг
байх хэрэгтэй гэж бодож
өөр юм орох болдог.
байв.
Бидэнд хэлэлцүүлэгт
илүү их цаг хэрэгтэй
15
Source:
Porteous,
et
al
1997
байна.
Чанарын өгөгдлийг зохион
байгуулах болон тайлбарлах
• Ангилал
боловсруул
• Ангиллаа кодлох
• Найдвартай
байдлыг нь шалга
(нэгээс олон
ажиглагч байх)
IPDET © 2009
• Өгөгдлөө
шинжил
• Мэдээллээ
хуваалцаж,
хянана
• Тайлан бич
16
Гурмаслал ба шинжилгээ
Хэрэв үнэлгээ
мэдээллийн гурав
юмуу түүнээс олон эх
сурвалжаас өгөгдлөө
авсан бол олдвортоо
зохицолын шинжилгээ
хийнэ
Ө.х., хөтөлбөрийн ажилтан,
Засгийн газрын албан
хаагч, хүртэгч
IPDET © 2009
Хэрвээ үнэлгээ гурав
болон түүнээс олон
өгөгдөл цуглулах
хэрэгсэл ашигласан
бол олдвортоо
зохицолын шинжилгээ
Ө.х., ярилцлага, тусгалын
бүлэг, санал асуулга, бэлэн
өгөгдөл, шинжээчийн
зөвлөл
17
Чанарын өгөгдлийн
дүгнэлтийн эрэгцүүлэл
• Чанарын өгөгдөл цуглуулах нь
хялбар хувилбар биш
– Хөдөлмөр эрчимтэй ордог, цаг их авдаг
– Кодлогч нарын найдвартай байдал,
кодлох бүдүүвч ашиглах нь зайлшгүй
чухал
• Үнэ цэнтэй мэдээлэл гаргаж авдаг
IPDET © 2009
18
Тоон өгөгдөл: Статистик
хэрэглэх
• Тоон өгөгдлийг тоогоор илэрхийлж
статистикаар шинжилдэг
– Дүрслэн тодорхойлох статистик: тоон
хувьсагчын талаар цуглуулсан өгөгдлийг
тодорхойлж, шинжилдэг
– Дүгнэлтийн статистик: тоон болон
чанарын хуьсагчийн олонлогийн утгын
эгнээг таамагладаг санамсаргүй
түүвэрлэсэн өгөгдөлд хэрэглэдэг
IPDET © 2009
19
Тоон өгөгдлийг кодлох
• Кодлох нь өгөгдлийг утга төгөлдөр аргаар
боловсруулах боломж олгоно
• Өгөгдлийг тоон хариулт болгон хувиргах хэрэгтэй
болдог
• Жишээ:
– Тийм гэдгийг 1 гэж кодлох; үгүй гэдгийг 2 гэж кодлож
болно
– Өгөгдлийг хүрээгээр цуглуулна; хүрээнүүдэд дугаар өгнө
• Кодыг өгөгдлийн толь бичигт оруулж бичнэ.
IPDET © 2009
20
Өгөгдлийг цэвэрлэх
• Алдаа болон авцалдаагүй зүйлийг
арилгах
• Нийтлэг эх сурвалж:
– Өгөгдөл орхигдох, бөглөөгүй хариулт,
бичгийн алдаа, буруу хэлбэржүүлсэн
өгөгдөл, багана шилжих, хиймэл
өгөгдөл, ярилцлагын алдаа, хуучирсан
өгөгдөл
Дүрслэн тодорхойлох
статистик
• Тухайн онцлог шинж тархалтын
хичнээн буюу ямар хувийг эзэлж
байгааг дүрслэн тодорхойлно:
– Хариулагчдын 33% нь эмэгтэй, 67% нь
эрэгтэй байна.
IPDET © 2009
22
Дүрслэн тодорхойлох
статистикийн жишээний хүснэгт
Хөтөлбөрт хичнээн эрэгтэй, эмэгтэй байна вэ?
Хүснэгт 11.5: Хариулагчийн тархалт жендэрээр
Эрэгтэй
Эмэгтэй
Нийт
Тоо
Хувь
Тоо
Хувь
Тоо
100
33%
200
67%
300
Эх сурвалж: Зохиомол өгөгдөл
Бичихдээ: Энэ хөтөлбөрт 300 хүн байгаагийн
67% нь эмэгтэй, 33% хувь нь эрэгтэй байна.
IPDET © 2009
23
Тархалт
• Төв хандлагыг хэмждэг
– Өгөгдөл хэр ойролцоо байна
– жишээ: Бүлэгт байгаа хүмүүсийн нас хэр
ойролцоо байна вэ?
• Тархалтын хэмжүүр
– Өгөгдөл хэрхэн ялгаатай байна
– жишээ: насанд хэр олон хувьсагч байна
вэ?
IPDET © 2009
24
Төв хандлагын хэмжүүр
• 3-н M
– Горим (mode): Хамгийн их давтамжтай хариулт
– Медиан (median): дунд цэг буюу тархалтын
дундач утга
– Дундач (mean): арифметикийн дундач
• Эдгээрээс алийг нь ашиглах нь өгөгдлийн
төрлөөс хамаарна
– Нэрлсэн, дэс тоон, завсарлага/харьцаат
IPDET © 2009
25
Нэрэлсэн өгөгдөл
• Нэр, ангилалын өгөгдөл
• Жишээлбэл:
– жендэр (эр, эм)
– Шашин (Будда, Христ, Иуд, Муслиман)
– Гарал үүслийн орон (Бирм, Хятад, Ефиофи,
Перу)
• Нэрэлсэн өгөгдөлд төв хандлагын хамгийн
сайн хэмжүүр нь mode буюу горим байдаг
IPDET © 2009
26
Дэс тоон өгөгдөл
• Өгөгдөл өөртөө зохих дэг горимтой боловч дэс
дараалсан хариулт хоорондын “зай” заавал адил
байдаггүй
• Тэг цэг байхгүй
• Жишээлбэл:
– Санал бодлын хэмжүүр “хамгийн чухал”аас “хамгийн чухал
бус”-руу, эсвэл “санал хүчтэй нийлнэ”-ээс “санал эрс нийлэхгүй”
хүртэл явдаг
• Дэс тоон өгөгдөлд төв хандлагын хамгийн сайн
хэмжүүр нь горим-mode , эсвэл медиан-median
байна.
IPDET © 2009
27
Завсарлага/Харьцаат өгөгдөл
• Тэг цэг бүхий тоотой, бусад харьцуулах тоонд
хуваагдах буюу зэрэгцүүлж болдог бодит тоон
өгөгдөл
• Жишээлбэл:
– нас, ашиг, жин, өндөр
• Завсарлага/харьцаат өгөгдөлд төв хандлагыг
тодорхойлох хамгийн сайн хэмжүүр нь горимmode, медиан-median, эсвэл дундач-mean байдаг
бөгөөд онголт нь тархалтаасаа хамаарна.
– Хэвийн өгөгдөлд дундач-mean илүү сайн
– Цөөхөн өндөр оноотой юмуу бага оноотой өгөгдөлд
медиан-median хамгийн сайн
IPDET © 2009
28
Тооцоолол
• Горим-Mode: хамгийн олон
давтамжтай өгсөн хариулт
• Медиан-Median: өгөгдлийг дэс
дарааллаар нь журамлаж, дараа нь
тал дунд нь хүртэл тоолно
• Дундач-Mean: (ихэнх хүн үүнийг
дундач гэж үздэг )
IPDET © 2009
29
Энгийн өгөгдөл
Хүснэгт 11.7: Энгийн өгөгдөл
Орон
Хотын хүн ам
%
Аргентин
90
Болив
64
Бразил
84
Колумб
73
Парагвай
59
Перу
73
Урагвай
92
Венсуэл
93
Эх сурвалж: Дэлхийн банк: 2008
IPDET © 2009
30
Хотын хүн амын хувийг
тооцоолсон жишээ
• Горим-Mode: 73, Колумб болон Перу 73
хувьтай, бусад нь бүгд янз бүрийн хувь
хэмжээтэй байна
• Медиан-Median: нийт бичилт 8, дундачийг
нь олох оноо бол 73 болон 84 гэсэн
өгөгдөл байна.
(73 + 84) ÷ 2 = 78.5
• Дундач-Mean:
(59+64+73+73+84+90+92+93):8 = 78.5
IPDET © 2009
31
Тархалтын хэмжүүр
• Хамрах хүрээ
– Хамгийн их болон хамгийн бага утга хоорондын
ялгаа
– Тооцоолоход энгийн боловч үнэ цэн багатай
• Стандартын хазайлт
– Дундач орчмын онооны тархалтын хэмжээ
– Дээд зэргийн хэмжээ нь тохиолдол бүрт
өөрнийхээ утгад нөлөөлөхийг зөвшөөрдөг
IPDET © 2009
32
Хамрах хүрээг
тооцоолох жишээ
• Хүрээ: их оноо – бага оноо = хүрээ
хүрээ = 93 – 59
хүрээ = 34
IPDET © 2009
33
Хэвийн муруй (Хонх)
Давтамж
y
0
IPDET © 2009
Утга
x
34
Стандарт хазайлт
y
Дундач
Дундачаас нэг стандарт
хазайлт
Дундчаас хоёр
стандартхазайлт
x
0
68%
95%
Дундачаас гурван
стандарт хазайлт
98%
IPDET © 2009
35
Стандарт хазайлтын
тоцоолол
• Хэрэв N их бол тооцоолоход цаг их
орно
• Статистикийн програм ашиглаж
болно:
– SPSS
– Excel болон бусад тархмал хуудас
IPDET © 2009
36
Чанарын судалгааны үр
дүнг шинжлэх удирдамж
1 Өгөгдөл шинжлэх стандарт аргаа сонгож, түүнийг зохих
ёсоор ашиглана
2 Хуваарьт хэмжүүрийн хажуу бүрийг дунд ангилалтай хольж
болохгүй
3 “санал нийлнэ” эсвэл “санал нийлэхгүй” гэсэн ангилалыг
“санал хүчтэй нийлнэ” эсвэл “санал огт нийлэхгүй ” гэх
ангилалгүйгээр мэдээлж болохгүй
4 Хувь хэмжээ, тоог шинжилж, мэдээлнэ
5 Ишлэлийн цэг дээр хариулагчийн тоог өг
6 Хэрвээ өгөгдөлд багаахан ялгаа байвал жишиг гарга
7 Өгөгдлийн шинжилгээ бол урлаг, ур чадвар шаардана,
сургалт, дадлагаар хялбар болдог
IPDET © 2009
37
Нэгэн зэрэг хоёр хувьсагчийг
тодорхойлох
• Нэг удаа хоёр хувьсагч
• Жишээлбэл: Гар дээрх болон
уламжлалт ангид байгаа охид,
хөвгүүдийн хувь хэмжээ ямар байна?
IPDET © 2009
38
Нэгэн зэрэг хоёр
хувьсагчийн жишээ
Техникийн анги
Уламжлалт
Хөвгүүд
28 (55%)
34 (45%)
Охид
22 (45%)
41 (55%)
N=125
N=50
N=75
Эх сурвалж: Зохиомол өгөгдөл: 2009 оны судалгаа
IPDET © 2009
39
Чагтан хүснэгттэй хоёр
хувьсагч
• Чагтан хүснэгт (чагт-хүснэгт)
– Ерөнхийдээ матрикс хэлбэртэй үзүүлсэн
байдаг
– Хоёр болон түүнээс олон хувьсагчийг
нэгэн зэрэг үзүүлдэг
– Нүд бүхэн хариулагчийн тоог үзүүлнэ
IPDET © 2009
40
Чагтан хүснэгтийн
жишээ
Хөвгүүд
Техникийн
Уламжлалт
Нийт %
45%
55%
100%
35%
65%
100%
(n=45)
Охид
(n=80)
N=125
Эх сурвалж: Зохиомол өгөгдөл
2009
IPDET © 2009
41
Хувьсагч
• Үл хамаарах
– Хамааралтай хувьсагчид гарсан
өөрчлөлтийг тайлбарлаж чадна гэж
итгэгддэг хувьсагч
– Хөтөлбөрийн үнэлгээ: тэр хөтөлбөр
• Хамаарагч
– Тайлбарлах гэж байгаа хувьсагч
– Хөтөлбөрийн үнэлгээ : үр дагавар нь
IPDET © 2009
42
Жишээ: Дундчийн
харьцууулалт
-хамааран хувьсагч : жилийн орлого
-үл хамаарах хувьсагч: жендэр
Жилийн дундач орлого
Эмэгтэй
N=854
Эрэгтэй
N=824
27,800
32,400
Эх сурвалж: Зохиомол өгөгдөл, 2009 оны судалгаа
IPDET © 2009
43
Уялдаа холбооны
хэмжүүр
• Янз бүрээр мэдээлэгдсэн хувьсагчууд
хэрхэн хүчтэй /шууд/ хамааралтай
байна
• Уялдаа холбооны хэмжүүр (эсвэл
харилцаа)
– -1 -ээс +1-хүртлэх хүрээ
IPDET © 2009
44
Уялдаа холбооны
тайлбар
• Төгс харилцаа: 1 эсвэл –1
– 1 рүү, эсвэл –1 рүү ойр бол: шууд
харилцаатай
– .5 аядуухан/шууд (магадгүй ийм
байхдаа сайн байж болно)
• Тэг рүү ойрхон бол: харилцаа байхгүй
– .2 маш бага/сул харилцаа
IPDET © 2009
45
Шуууд харилцаа
• Нэмэх тэмдэг +
– Хоёр хувьсагч нэгэн чигт өөрчлөгдөнө
– жишээ:
• Жолооч хурд хэтрүүлэх тусам үхлийн тоо
үсрэнгүй дээшлэнэ
IPDET © 2009
46
Урвуу харилцаа
• Хасах тэмдэг
-
– Хоёр хувьсагч өөрчлөгдөвч эсрэг чигтэй
байна
– жишээ:
• Нас нэмэгдэхийн хэрээр эрүүл мэнд
доройтно
IPDET © 2009
47
Дүгнэлтийн статистик
• Санамсаргүй сонгосон түүврээс
гарсан өгөгдлийг шинжлэхэд
хэрэглэдэг
• Түүвэр бүхий л олонлогоосоо ондоон
байж болох учраас алдаа гарах
эрсдэлтэй
• Дүгнэлт хийхийн тулд эхлээд алдаа
гарах магадлалыг тооцох хэрэгтэй
IPDET © 2009
48
Статистик магадлалын сорил
• Үр дүнд хэр хэмжээний алдаа гарч вэ
гэдгийг тооцох хэрэгсэл
• Үүнийг статистикийн утгын сорил гэж
нэрэлдэг
– Өөрийн хийсэн шинжилгээнд
санамсаргүй олж авсан үр дүн хэр
магадлалтай байгааг тооцно
IPDET © 2009
49
Статистик магадлалын
сорил
• .5%-ийн жиших загвар
– .05 Альфа түвшин эсвэл p-утга
• Үзүүлж байгаа нь:
– Түүврийн үр дүн тохиолдлынх биш
гэдэгт бид 95% -ын үнэмшилтэй байна
эсвэл
– Үр дүн .05 түвшинд статистик утгатай
• Ихэнх тайлан .5 –аас цааш явдаггүй.
IPDET © 2009
50
Chi квадрат болон t-Сорил
Chi квадрат
• Хамгийн хүчтэй нь биш ч
гэсэн хамгийн нийтлэг
статистикийн нэг нь
– Тооцох, тайлбарлахад
хялбар
• Нэрэлсэн өгөгдлийн хоёр
багцийг харьцуулдаг (ө.х.
Гэр бүлийн байдал ба шишины
хамаарал)
• Хоёр дэс тоон өгөгдөл
эсвэл нэрлэсэн болон дэс
тоон өгөгдлийн
хослолуудыг хооронд нь
харьцуулдаг
IPDET © 2009
t-Test
• Нэг бүлэг тоон оноо
нөгөө бүлгийн
онооноос
статистикийн хувьд их,
эсвэл бага
тодорхойлоход
хэрэглэгддэг
• Бүлгүүдийн дундчыг
харьцуулна
• Гурваас илүү бүлэгт
хэтэрхий нүсэр
51
Хазайлтын шинжилгээ
(ANOVA)
• Нэрлэсэн үл хамаарах хувьсагч
тасралтгүй хамаарагч хувьсагчид
нөлөөлж байгааг үнэлдэг
• Гурваас илүү бүлэгт t-сорилоос илүү
сайн
• Олонлог стандартын тэнцүү
хазайлттай, түүврийг санамсаргүй
сонгосон гэж бодно
IPDET © 2009
52
Санамж:
• Утга (үнэмшил)-ын сорил нь хэрвээ
олонлогт үнэхээр ялгаа байхгүй бол
үр дүнг тохиолдлоор олж авах
магадлалыг л тооцож байгаагаас өөр
илүү юм байхгүй
IPDET © 2009
53
Чанарын болон тоон
өгөгдлийг холбох
• Чанарын болон тоон өгөгдөл,
холбогдох аргыг судалгааны
төлөвлөлтийн үед холбож болох уу?
/болно/
– Яаж?
– Яагаад?
IPDET © 2009
54
Чанар-тоон холбоос
• Нотлох, эсвэл бататгах-гурамслах
• Баялаг /дэлгэрэнгүй/ нарийвчлал
• Эрэгцүүллийн шинэ шугам санаачилж
өгнө.
• Хэмжээ хүрээг өргөтгөнө.
IPDET © 2009
55
Төлөвлөлтийн матрикс
гүйцээх
• Бичвэрийн Хавсралт 2-т байгаа
жишээг үз
IPDET © 2009
56
Төгсгөлийн тэмдэглэл...
“Илүү үндсээр нь авч үзвэл, оюутныг “Би ямар арга
техник хэрэглэх вэ?” гэж асуухын оронд тэд “энэ
өгөгдлийн багцын гол онцлогийг би хэрхэн
хураангуйлан дүгнэж, ойлгох вэ?” гэж асуудаг
болгон сургах хэрэгтэй -- Крис Чатфиелд
Асуулт
байна уу?
IPDET © 2009
57