Transcript Detecção de outliers em despesas governamentais como
Detecção de Outliers em Despesas Governamentais como Mecanismo de Auditoria e Combate a Corrupção
Frank de Alcantara Drª. Denise Tsunoda Universidade Federal do Paraná – UFPR Mestrado em Ciência, Gestão e Tecnologia da Informação Curitiba/ PR [email protected]
1
Introdução
CORRUPTION PERCEPTION INDEX 2010 1 - Dinamarca 8 Austrália 21 - Chile 24 - Uruguai 33 - Taiwan 54 - Kuwait 62 - Gana 69 - Brasil
(TRANSPARENCY INTERNATIONAL, 2010) 2
Introdução
Outliers
A detecção de outliers é a busca por objetos em um conjunto de dados que não obedecem às leis que são válidas para a maior parte dos elementos contidos neste conjunto (PETROVSKIY, 2003) 3
Introdução
A sociedade tem direito de solicitar prestação de contas a cada agente público da sua administração
Declaração Universal dos Direitos Humanos e do Cidadão
1798
4
Introdução
Desde a promulgação (CALAU e FORTIS, 2006).
da Lei de Responsabilidade Fiscal (Lei Complementar nº 101, de 4.5.2000) que o Brasil está obrigado a diminuir os efeitos da corrupção através da criação de novos mecanismos de controle e a conduta dos imposição de restrições à administradores públicos 5
Introdução
Rotina de Compra: Empenho; Liquidação; Pagamento.
... segundo está definido pela lei LEI No 4.320, DE 17 DE MARÇO DE 1964 (PRESIDÊNCIA DA REPÚBLICA, 1964). O empenho representa o primeiro estágio da despesa orçamentária. É registrado no momento fiscal da contratação do serviço, aquisição do material ou bem, obra ou amortização da dívida (GOVERNO FEDERAL, 2010).
6
Introdução
Portal da Transparência do Governo Federal
Em
450
média, cada dia retorna aproximadamente páginas de tabelas de
15
linhas ou
7500
documentos de empenho, por sua vez com um número médio de dois itens. Na nossa amostra consiste de dez dias com um total de páginas,
64.873
4383
documentos de empenho e
123.818
itens de empenho.
7
Taxonomia de Detecção de Outiliers
Supervisionadas e Não Supervisionadas Univariadas ou Multivariadas
brutos e estruturais Gráficas e Estatísticas Algoritmos de Mineração
Baseados em distribuição estatística
Baseados em distância
Baseados em densidade local
Baseados em desvio
Baseados em frequência de padrão
8
Metodologia
Recuperação dos dados do Portal da Transparência
Muito Lento ( Moda 1.5s por página);
Um Web Crawler – Dois Processos:
Recupera e armazena as listas de empenhos;
Recupera e armazena cada empenho;
Tudo usando PHP e MySql (Open Source).
Amostragem randômica :
Dez dias úteis, 1º Semestre 2011;
Random.org – Ruído Atmosférico;
123.818 Empenhos Recuperados.
9
Metodologia
RapidMiner (open source, http://rapid-i.com/ ) Importa os dados em CSV Processa o Algoritmo Recorta: 2000 Linhas 10
Metodologia
Algoritmo Escolhido Baseado Em Distância (RAMASWAMY, RASTOGI e SHIM, 2000) Uma variação do K-means Tal algoritmo utiliza a distância 𝐷 𝑘 (𝑝) distância entre o ponto 𝑝 para representar a e os seu elemento 𝑘 𝑡ℎ (k ésimo) vizinho. Classificando os pontos de acordo com sua distância 𝐷 𝑘 𝑝 , os n pontos quaisquer com maior distância serão os outliers desejados (RAMASWAMY, RASTOGI e SHIM, 2000). 11
Considerações Finais
Código 2011NE000002 2011NE000252 2011NE800001 2011NE801456 2011NE440491 Data 2011NE000329 2011NE000331 2011NE800152 2011NE001831 2011NE000003 Sub Item
19/5/2011 INST. ASSIST., CULTURAL OU EDU
Qtd.
Valor Unitário Valor Total
1 6500000,00 6500000,00 12
Considerações Finais
A melhoria do crawler visando um aumento na velocidade de captação e a criação de rotinas de pré-processamento que separem os documentos com erros evidentes. A comparação com outros algoritmos de detecção baseados em distância, ou não, quanto à precisão, velocidade e recursos computacionais utilizados; A criação de um processo para a visualização destes outliers em gráficos; O estudo de um algoritmo de identificação online, dos outliers contidos nos empenhos publicados diariamente, cumulativo, que não requeira o cálculo de toda classificação a cada novo documento inserido. 13
Obras Citadas
ALI, A. B. M. S.; XIANG, Y. Dynamic and Advanced Data Mining fro Processing Techonological Development: Innovations and Systematic Aproaches. 1ª Edição. ed. Hershey: IGI Global, 2010.
ARNING, A.; AGRAVAL, R.; RAGHAVAN, P. A Linear Method for Deviation Detection in Large Databases. The Second International Conference on Knowledge Discovery and Data Mining (KDD-96). Portland: [s.n.]. 1996. p. 6.
BEN-GAL, I. OUTLIER DETECTION. In: O, M.; L., R. Data Mining and Knowledge Discovery Handbook: A Complete Guide for Practitioners and Researchers. Tel Aviv: Kluwer Academic Publishers, 2005. p. 117 -130.
BRASIL, G. F. D. Sobre o Portal. Portal da Transparência, 2004. Disponivel em:
BREUNIG, M. M. et al. LOF: Identifying Density-Based Local Outliers. Proc. 29th ACM SIDMOD Int. Conf. on Management of Data (SIGMOD 2000). Dallas: [s.n.]. 2000. p. 12.
14
Obras Citadas
CALAU, A. A.; FORTIS, M. F. D. A. Transparência e Controle social na Adiministração pública brasileira: avaliação das prinicpais inovações introduzidas pela Lei de Responsabilidade Fiscal. XI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Ciudade de Guatemala Guatemala: [s.n.]. 2006. p. 16.
CIOS, K. J. et al. Data Mining A Knowledge Discovery Approach. 1ª Edição. ed. New York, NY - USA: Springer Science+Business Media, LLC, 2007. ISBN ISBN-13: 978-0-387-33333-5.
DECOMTEC - FUNDAÇÃO DAS INDÚSTRIAS DO ESTADO DE SÃO PAULO. Corrupção: custos econômicos e propostas de combate. Fiesp - Fundação das Indústrias do Estado de São Paulo. São Paulo, p. 35. 2010.
FILZMOSERA, P.; GARRETTB, R. G.; REIMANN, C. Multivariate outlier detection in exploration geochemistry. Computers & Geosciences, Viena, 16 Novembro 2004.
G1. Brasileiro Teme mais a volda inflação que a violência, diz pesquisa. G1 Economia, 2011. Disponivel em:
15
Obras Citadas
GOGOI, P. et al. A Survey of Outlier Detection Methods in Network Anomaly Identification. The Computer Journal, Oxford, v. 54, 22 Setembro 2011.
GOVERNO FEDERAL. Detalhamento Diário de Despesas. Portal da Transparência - Governo Federal do Brasil, 2004. Disponivel em:
GOVERNO FEDERAL. Portal da Transparência - Detalhamento Diário de Despesas Saiba Mais. Portal da Transparência, 2010. Disponivel em:
HAN, J.; KAMBER, M. Data Mining: Concepts and Techniques. 2ª Edição. ed. San Francisco, CA - USA: Elsevier Inc, 2006.
HAND, D.; MANNILA, H.; SMYTH, P. Principles of Data Mining. 1ª Edição. ed. Boston, MS - USA: The MIT Press, 2001. ISBN ISBN: 026208290x.
16
Obras Citadas
HE, Z. et al. FP-Outlier: Frequent Pattern Based Outlier. Computer Science and Information System, New York, 2005. 113 - 118.
HODGE, V. J.; AUSTIN, J. A Survey of Outlier Detection Methodologies. Rotterdan Holanda: Kluwer Academic Publishers, 2004.
HUBER, P. J. Robust Estimation of a Location Parameter. Project Euclid, 1964. Disponivel em:
INTRODUCTION to R. R-Project.org, 2010. Disponivel em:
KNORR, E. M.; NG, R. T.; TUCAKOV, V. Distance Based outliers: algorithms and Applications. The VLDB Journal — The International Journal on Very Large Data Bases, New York, Fevereiro 2000. 17.
17
Obras Citadas
LEVY, P.; LEMESHOW, S. Sampling of Populations Methods and Applications. 3ª Edição. ed. New York - USA: JOHN WILEY & SONS, INC., 1999.
OTEY, M. E.; PARTHASARATHY, S.; GHOTING, A. An Empirical Comparison of Outlier Detection Algorithms. KDD-2005 Workshop - Data Mining Methods for Anomaly Detection. Chicago: [s.n.]. 2005. p. 45-51.
PEREIRA, J. M. Reforma do Estado e controle da corrupção no Brasil. International Budget Partnership, São Paulo, abril 2005. 17.
PETROVSKIY, M. I. Outlier Detection Algorithms in Data Mining Systems. Programmirovanie, Moscow - Russia, 29, 19 Fevereiro 2003. 10.
PRESIDÊNCIA DA REPÚBLICA. LEI No 4.320, DE 17 DE MARÇO DE 1964. Presidência da República do Brasil - Casa Civíl, 1964. Disponivel em:
18
Obras Citadas
RAMASWAMY, S.; RASTOGI, R.; SHIM, K. Efficient Algorithms for Mining Outliers from Large Data Sets. Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data. Texas: ACM. 2000. p. 427-438.
RANDOM.ORG. Introduction to Randomness and Random Numbers. Random.org, 2010. Disponivel em:
RAPID-I. Rapidminer. rapid-i.com, 2010. Disponivel em:
TAYLOR & FRANCIS GROUP. Next Generation of Data Mining. 1ª Edição. ed. Boca Raton: CRC Press, 2009. ISBN ISBN: 13: 978-1-4200-8586-0.
TRANSPARENCY INTERNATIONAL. Corruption Perceptions Index 2010. Transparency International. Berlim - Alemanha, p. 12. 2010. (ISBN: 978-3-935711 60-9).
19
Obras Citadas
TRANSPARENCY INTERNATIONAL. Corruption Perceptions Index 2010. Transparency International. Berlim - Alemanha, p. 12. 2010. (ISBN: 978-3-935711 60-9).
TRIBUNAL DE CONTAS DA UNIÃO. Tibunal de Contas da União - Funcionamento. Tribunal de Contas da União, 2010. Disponivel em:
WEINSTEIN, M. Strange Bedfellows: Quantum Mechanics and Data Mining. Nuclear Physics B-proceedings Supplements, Stanford, v. 199, p. 74-84, 3 Novembro 2009. ISSN ISSN: 0920-5632.
WESTPHAL, C. DATA MINING FOR INTELLIGENCE, FRAUD, & CRIMINAL DETECTION. 1ª Edição. ed. Boca Raton: CRC Press, 2009. ISBN ISBN:13: 978-1 4200-6723-1.
ZHANG, Y.; LUO, A.; ZHAO, Y. Outlier detection in astronomical data. Storage and Retrieval for Image and Video Databases. San Jose: [s.n.]. 2005. p. 9.
20
Contato
Obrigado!!!
Frank de Alcantara
[email protected]
21