Transcript Információ és tudás: a Big Data szerepe a közgazdaságtanban

Információ és tudás: a Big Data
szerepe a közgazdaságtanban
Vincze János
2015. 01.29
We are drowning in
information but starved for
knowledge.
John Naisbitt, Megatrends,
1982.
Vázlat
•
•
•
•
•
•
•
•
•
•
1. Mi a „Big Data”?
2. Közgazdaságtan és Big Data
3. Közgazdaságtan és adatok
4.Mit adhat a Big Data forradalom?
5. Üzleti és közgazdasági alkalmazások
6. Egy példa: Epagogix.
7. Big Data és arbitrázs lehetőségek
8. Indukció és tudás
9. Ágens-alapú modellezés és Big Data
10. Összefoglalás
1. Miről beszélünk?
• Mi a „Big Data”?
• Nagyon sok komplex és/vagy strukturálatlan
adat
• Illetve az ezek léte miatt kifejlesztett/preferált
- adattárolási eljárások
- elemzési technikák.
Sajátos szemlélet így összességében.
2. Közgazdaságtan és Big Data
• Varian: Big Data - New Tricks for Econometrics (2014)
• There have been very fruitful collaborations between computer scientists
and statisticians in the last decade or so, and I expect collaborations
between computer scientists and econometricians will also be productive
in the future.
• Einav-Levin: The Data Revolution and Economic
Analysis (2014, NBER)
•
•
•
•
As economists who happen to live and work in the epicenter of the data
revolution, Silicon Valley, we have wondered for some time about how
these developments might affect economics, especially economic research
and policy analysis. In this article, we try to offer some thoughts.
3. 1 Közgazdaságtan és adatok
• Hol van sok adat?
• Statisztikai hivatalok ?
• Privát, elektronikus adatok
• Adminisztratív
• Komplexitás és, főleg, strukturálatlanság a
probléma.
3.2 Közgazdászok és adatok
• Nagyapám soha nem evett fasírtot; az
étteremben azért nem, mert nem tudta mi
van benne, otthon azért nem, mert tudta. (Zvi
Grilliches)
• Strukturált adatokkal (keresztmetszet, idősor,
panel) kezdődik az ökonometria tananyag.
3.3 Közgazdászok és adatelemzés
• Ökonometria a Neyman-Pearson matematikai
statisztika (és a bayes-i) leszármazottja.
• Data mining: illetlenség, de olyan, amit senki
sem tud mellőzni.
3.4 Empíria és közgazdaságtudomány
• Deduktív szemlélet: szégyellnivaló a
visszacsatolás az adatokból az elmélethez
• Becslés és hipotézis vizsgálat a legfontosabb
• Tényfelfedezés: alacsonyabb rendű
• Predikció: úgysem megy
4. 1 Mit adhat a Big Data?
• Adattárolás
• Adatelemzési eljárások:
•
adattisztítás
•
adatstrukturálás
•
sűrítés
•
becslés
•
validáció
•
előrejelzés
4.2 Adatelemzési eljárások
• Nem feltétlenül újak, de a sok adat hatására
rohamosan fejlődnek vagy legalábbis sokasodnak.
• Példa: SVM (Support vector machine)
Eredetileg klasszifikációs-predikciós eljárás
Nem-matstat megközelítés
Overfitting a központi probléma
Számos sikeres alkalmazás
De kauzális interpretációra nem igazán alkalmas
Statistics vagy statistical learning
theory?
• Két filozófia
• Miben különböznek:
• Identifikáció és tesztelés avagy
• overfitting és validáció
• Big Data léte láthatólag kedvez az utóbbinak!
5.1 Üzleti alkalmazások
• Hitel default előrejelzés.
• Vásárlói szokások.
• Ügyfélvesztés előrejelzés.
Általában célzott marketing
5.2 Közgazdasági alkalmazások
• Adat leírás:
új árindexek
egészségügyi kiadások
• Faji diszkrimináció a hitelezésben
6. Példa: Epagogix
•
•
•
•
•
•
•
„Big Data módszerek
Eredmény: filmkészítés profitabilitása nőhet.
Kinek kell és kinek nem kell?
A tudás jellege: átmeneti (arbitrázs)
általános egyensúlyi hatás
Lucas-kritika
nincs lehetőség kritikára
7.1 Hol lehet a Big Data nyilvánvalóan
hasznos?
•
•
•
•
•
Adatkezelés
Adattisztítás
Nem-paraméteres becslések
Validáció
Heterogenítás kezelés
• De ki tudjuk-e használni a lehetőségeket?
7.2 Hol kellene szemléletet
változtatni?
• Adatstrukturálás adatbányászattal.
• Gazdaságpolitikai arbitrázs lehetőségek
felismerése: időleges előrejelzések
megbecsülése. Mit lehet előrejelezni kérdés?
• Identifikáció és overfitting
• Validációs technikák alkalmazása, és az
agnosztikus szemlélet
• Dedukció és indukció
8. Kreálhat-e és pótolhat-e tudást?
• Antibiotikumok, mint arbitrázs lehetőség.
Mély tudást csak a baktériumok biokémiája
szolgáltathat, nem a statisztika.
Az állapottér mélysége is fontos!
• Időtlen indukció? Miért ne, de számítani nem
lehet rá.
9. 1 Közgazdasági modellek és a
valóság
• Hagyományos statisztikai szemlélet:
mintamomentumokat akarunk magyarázni
• Érvelés:
Nem-ergodikus esetben nincs haszna egyetlen
minta momentumainak.
Mivel csak egy mintánk van, ezért ergodikus
modelleket kell csinálnunk.
9.2 Ágens-alapú modellek
• Heterogenitás: a szimulációk nagy
adathalmazt generálnak.
• Hasonlóan az evolúciós modellekhez a
szimulált idősorok nem feltétlenül
ergodikusak.
• Hogyan lehet validálni egy ilyen modellt egy
minta alapján?
9.3 Big Data és validáció
• Bányásszunk adatot a nagy adathalmazunkból,
és az ABM egyes realizációiból!
• Nézzük meg, hogy vannak-e közös jellemzők!
9.4 Ágens-alapú modell példa
• Megtakarítási modell: az egyes pályák
hasonlítanak, de a momentumoknak nagyon
mások. Ezt a hasonlóságot vissza tudjuk-e adni
a tényeknél?
• A dezaggregált tulajdonságokra illesszünk
inkább, vagy az aggregált tulajdonságokra?
10. Összefoglaló
• Big Data: új szemléletre ösztönöz a
közgazdaságtanban
• A haszna „arbitrázs” problémáknál nyilvánvaló
• A tudást biztosan nem tudja tökéletesen
helyettesíteni, de segíthet felhalmozni
• A közgazdasági modellezésnek új utakat
nyithat