Transcript Ed Broeze - Limperg Instituut

Helderheid over procedurests?
uit:
Impressies van een onderzoek (Ed Broeze)
De Logica (Hans Blokdijk)
(gastonderzoeker VU resp
emeritus hoogleraar accountantscontrole)
Slide 1
25 mei 2011 Symposium Statistical Auditing
Impressies onderzoek
Verkorte weergave onderzoeksresultaten
proefschrift Broeze en working paper
Broeze, Blokdijk en Jansen,
door Ed Broeze
Slide 2
25 mei 2011- Symposium Statistical Auditing
Basisgedachte
Predictive power of tests of controls for the
misstatement in a transaction is necessary
for tests of controls to be a means for
supporting ‘low risk’- assessment, when this
is used as justification for reduction of
substantive testing.
Uit: Predictive qualities of tests of controls for the misstatement
(working paper)
Ed Broeze, Paul Jansen, Hans Blokdijk
Slide 3
25 mei 2011- Symposium Statistical Auditing
Onderzoek
Beschikbaar:
37,121 records met data van dual purpose
tests beschikbaar gesteld door een
overheidsaccountantsorganisatie.
Dual purpose test: in één test zowel procedure
als gegeven getest  direkte koppeling van
werking (compliance) en uitkomst (gegeven).
Slide 4
25 mei 2011- Symposium Statistical Auditing
Generaliseerbaarheid
• ‘Gelegenheidssteekproef’ betekent beperkte
generaliseerbaarheid, vooral doordat data van één
organisatie.
• Steekproeven wel zo groot dat ‘statistiek klopt’.
• Generalisatie:
Beperkt als de voorspelbaarheid in gegeven steekproeven
‘werkt’, want: werkt ‘het’ dan altijd?
Minder beperkt als ‘het niet werkt’, want: in ieder geval een
probleem, want basisgedachte gefalsifieerd (zie Popper).
Slide 5
25 mei 2011- Symposium Statistical Auditing
Twee niveau’s
• Transactieniveau: betekent compliance in
een transactie ook uitblijven van een fout in
het gegeven?
• Verantwoordingsniveau (niveau van het
artikel): betekent vaker doorbreken van de
compliance ook grotere fout in de gegevens?
(Op dit niveau ook oordeel en risico-analyse)
Slide 6
25 mei 2011- Symposium Statistical Auditing
Definities
• Fractie procedurefouten:
Dit is het aantal records in de verantwoording met een
procedurefout gedeeld door het totaal aantal records van de
verantwoording, in de steekproef.
• Taint:
Dit is de gebruikelijke weergave van de omvang van een
gegevensfout als fractie van de omvang van de hele
boeking: Taint = Omvang gegevensfout / omvang boeking
• Gemiddelde taint (mean taint):
Som van de taints gedeeld door het aantal records, in de
steekproef
Slide 7
25 mei 2011- Symposium Statistical Auditing
Uitkomsten op transactieniveau
Véél procedurefouten, véél minder gegevensfouten;
maar voorspelt procedurefout ook gegevensfout?
Year
1995
1996
1997
1998
1999
Total
Slide 8
Number of
substantive
errors
Percentage of
substantive
errors
Number of
compliance
errors
Percentage of
compliance
errors
Number of
records
253
64
31
97
36
481
1.8
1.2
0.5
2.0
0.5
1.3
2949
1069
559
562
530
5669
21.5
19.3
9.6
11.5
7.4
15.3
13743
5531
5818
4882
7147
37121
25 mei 2011- Symposium Statistical Auditing
Transactieniveau 2
In 1999: als procedurefout, dan 12 keer grotere kans op
gegevensfouten dan wanneer geen procedurefout
1999
no substantive
error
substantive
error
Total
Slide 9
no
compliance
error
6600 (99.7%)
compliance
error
Total
511 (96.4%)
7111 (99.3%)
17 (0.3%)
19 (3.6%)
36 (0.5%)
6617 (100 %)
530 (100%)
7147 (100%)
25 mei 2011- Symposium Statistical Auditing
Transactieniveau 3
Alle jaren: als procedurefout, dan grotere kans op
gegevensfout (alles significant)
Year
1995
1996
1997
1998
1999
All years
Slide 10
error
predicted
(%)
4.0
3.4
2.0
7.3
3.6
4.0
error
missed
(%)
1.3
0.6
0.4
1.3
0.3
0.8
25 mei 2011- Symposium Statistical Auditing
all errors
(%)
1.8
1.2
0.5
2.0
0.5
1.3
Verantwoordingsniveau 1
Overzicht gemiddelde taint voor de vijf jaren (account is artikel
in de rijksrekening)
Year
1995
1996
1997
1998
1999
Total
Slide 11
-0.5%
<mean
taint<=
0
5
1
3
1
1
11
mean 0<mean 0.5%< mean Number
taint taint<= mean taint>1
of
=0
0.5% taint<=
%
accounts
1%
23
15
2
4
49
26
9
1
6
43
33
4
2
5
47
37
3
1
8
50
31
6
1
5
44
157
32
7
26
233
25 mei 2011- Symposium Statistical Auditing
Verantwoordingsniveau 2
Correlatie tussen de fractie procedurefouten en de
gemiddelde taint; maar in twee gevallen significant (zie de **)
op beide correlaties.
Slide 12
year
1995
1996
1997
1998
1999
Pcorrelati
on
.08
.17
.14
.32*
.53**
p-value
.58
.29
.36
.023
.0
Kcorrelati
on
.24*
.38**
.15
.39**
.39**
25 mei 2011- Symposium Statistical Auditing
p-value
n
.024
.002
.21
.001
0
49
43
47
50
44
Conclusie
• Als we naar het vóórkomen van fouten kijken, dan zijn de
verbanden tussen procedurefout en gegevensfout redelijk
sterk.
• Kijken we echter naar de omvang van de gegevensfout en
proberen we die te voorspellen uit procedurefout, dan zijn
de verbanden zo zwak dat er niet blind op gesteund kan
worden.
• Zie verder: Validation of Risk Assessment in Auditing (Ed
Broeze, Limperg Instituut 2006)
Slide 13
25 mei 2011- Symposium Statistical Auditing
De Logica
Voordracht gebaseerd op:
J.H. Blokdijk: Tests of Control in the Audit Risk
Model: Effective? Efficient?
International Journal of Auditing, vol.8 no. 2, 2004
door Hans Blokdijk
Slide 14
25 mei 2011- Symposium Statistical Auditing
Het risico-analyse model
ISA 400:
DR = AR .
IR xCR
Kwantitatieve risicoanalyse
Jarenlang gebruikt; cijfermatig vertaald in
tabellen
Slide 15
25 mei 2011- Symposium Statistical Auditing
Vaststellen CR
CR gebaseerd op:
1) beoordeling systeem
2) vaststelling bestaan systeem
3) onderzoek werking
Onderwerp vanmiddag: onderzoek werking (tests of controls)
In de praktijk (nog?) vaak willekeurige deelwaarneming van
individuele transacties, 25 à 50 stuks
Slide 16
25 mei 2011- Symposium Statistical Auditing
Drie fasen
Fasen in totstandkoming financiële verantwoordingen:
1. Plaatsvinden/eerste vastlegging transacties -----> IC
2. Verwerking tot ‘routineproduct’ informatie
----> IC
3. Samenstelling verantwoording
----> geen IC
Fase 3 dus buiten beschouwing
Slide 17
25 mei 2011- Symposium Statistical Auditing
FASE 1:
IC grotendeels onvervangbaar door accountant
Dus: gebreken niet op te vangen door accountant
Dus: onlogisch element in kwantitatieve risicoanalyse
Wel van groot belang voor kwaliteit controlebewijsmateriaal
Dus; meenemen bij gegevensgerichte controle
ISA 400 afgeschaft; ISA 330: dual-purpose test! (A23)
Slide 18
25 mei 2011- Symposium Statistical Auditing
FASE 2:
Echter in fase 2:
1.
2.
3.
4.
Slide 19
Voortbestaan opzet; change controls
Toegangscontroles: access controls
Geprogrammeerde controles
Gebruikerscontroles
25 mei 2011- Symposium Statistical Auditing
Richtinggevend
Change en access controls:
• Effectief en efficiënt: Gericht zoeken naar
ongeautoriseerde (tijdelijke) ingrepen!
• Ter bepaling richting van de selectie van
gegevensgerichte waarnemingen
Slide 20
25 mei 2011- Symposium Statistical Auditing
Zinvolle IC?
Geprogrammeerde/gebruikerscontroles:
• Meestal alleen inputcontroles
• Afwerking signalen:door wie?
• Meestal niet in controletechnische
functiescheiding
• Efficiënt en effectief (materialiteit):
• Meenemen bij gegevensgericht onderzoek
Slide 21
25 mei 2011- Symposium Statistical Auditing
Conclusie
• Afzonderlijke willekeurige deelwaarnemingen ter
toetsing van de werking van de IC:
Niet effectief, niet efficiënt
• T.a.v. Fase 1: dual-purpose tests
• T.a.v. Fase2 : gericht zoeken naar mogelijke
afwijkingen, ter voorbereiding selectie t.b.v
gegevensgerichte controles
Slide 22
25 mei 2011- Symposium Statistical Auditing