Transcript Model Audit - Limperg Instituut

Model Audit
Jacques de Swart
“Statistical Model Audit” - 30 mei 2012
Slide 1
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Samenvatting: waarom?
Fouten in modellen komen voor…
... zowel bewust als onbewust.
Doel model audit varieert van polis tot verbeterdrang.
“Statistical Model Audit” - 30 mei 2012
Slide 2
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Samenvatting: hoe?
Er is een breed scala aan rapportagevormen.
Zonder normenkader is elke model “goed”.
Data, technische & economische integriteit staan los.
Elke model audit is schaalbaar.
“Statistical Model Audit” - 30 mei 2012
Slide 3
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Samenvatting: toekomst?
Modellen worden steeds relevanter…
maar wie is opgeleid om ze te auditen?
“Statistical Model Audit” - 30 mei 2012
Slide 4
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Fouten in modellen komen voor…
>90% of spreadsheets
contain errors
source: EuSpRIG
Zelfs op CMM5
(hoogste standaard
voor software
ontwikkeling)
komt naar schatting
1 fout per KLoC
(Kilo Lines of Code)
voor
source: Pundits
“Statistical Model Audit” - 30 mei 2012
Slide 5
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
… zowel bewust als onbewust.
Bewust:
Hij gebruikt
modellen
zoals een
dronkenlap
een
lantaarnpaal,
meer voor
ondersteuning
dan voor
verlichting.
vrij naar Andrew Lang
“Statistical Model Audit” - 30 mei 2012
Slide 6
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Onbewust:
“AstraZeneca
spreadsheet
slip-up forces
reiteration of
mid-term
financial
forecasts”
source: Reuters jan ‘12
en hebben meestal
een richting!
Doel model audit varieert van polis
tot verbeterdrang.
Verbeterdrang
Verzekeringspolis
+ Comfort voor gebruiker
- Geen interesse in verbetering
- Juridische overhead
- Hoogdrempelig transparant
- Model is en blijft beperkte
weergave van werkelijkheid
- Softwareprovider sluit
aansprakelijkheid al uit
“Statistical Model Audit” - 30 mei 2012
Slide 7
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
- Geen comfort voor gebruiker
+ Motivatie om te verbeteren
+ Juridisch geen probleem
+ Laagdrempelig transparant
+ Bij één fout al resultaat
Er is een breed scala aan
rapportagevormen.
•
•
•
•
•
Niet, mondeling of schriftelijk
ISA3000 of rapport van bevindingen
Positieve of negatieve assurance
Wel of niet overdraagbare aansprakelijkheid
Op bevroren input of herhaaldelijk gebruik in wel of
niet beheerste omgeving
“Statistical Model Audit” - 30 mei 2012
Slide 8
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Zonder normenkader is elke model
“goed”.
Zelfs dit spreadsheet
model bestaande uit één
cel hoeft niet fout te zijn
=1/0
“Statistical Model Audit” - 30 mei 2012
Slide 9
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Data, technische & economische
integriteit staan los.
Soort integriteit Betekenis
Type audit
Data
Input data “juist”?
Harde input vergelijken met
externe bronnen
Technische
Model intern consistent?
Deels geautomatiseerd:
• Spreadsheet Professional,
• Infotron (Nederlands!),
• Spreadsheet Detective,
• Operis Analysis Kit
Economische
Model overeenkomstig
aannamen?
Hangt af van startpunt
In geval van teveel “spaghetti”
kan control-around efficiënter zijn
“Statistical Model Audit” - 30 mei 2012
Slide 10
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Elke model audit is schaalbaar.
Vrijheidsgraad
Voorbeeld van scope
Soort integriteit
Alleen technische integriteit
Startpunt normenkader
Secondary data niet terugvoeren op primary
Een- of tweerichtingsverkeer
“Dood hout” in model out of scope
Deel van het model
Alleen Key Output (geen nice-to-have output)
Expertisegebied
US GAAP en/of tax buiten scope
Soort rapportage
Alleen rapport van bevindingen
“Statistical Model Audit” - 30 mei 2012
Slide 11
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
Modellen worden steeds
relevanter…
A new kind of professional
Job of statistician
will become the
“sexiest” around
Hal Varian, Google
has emerged, the data
scientist, who combines the
skills of software
programmer, statistician and
storyteller/artist to extract the
nuggets of gold hidden under
mountains of data
Elke data extractie en
bewerking vormt een model
Kenneth Cukier, The Economist
Data analyses van auditee (Internal Control) en
(tax) auditor (Substantive Analytical Procedures) nemen toe
“Statistical Model Audit” - 30 mei 2012
Slide 12
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut
… maar wie is opgeleid om ze te
auditen?
Domein
Audit
Accounting
IT
Proces
Model
RA
RE
RO
?
“Statistical Model Audit” - 30 mei 2012
Slide 13
Symposium van de Stuurgroep Statistical Auditing
van het Limperg Instituut