Detecção de outliers em despesas governamentais como

Transcript Detecção de outliers em despesas governamentais como

Detecção de Outliers em Despesas Governamentais como Mecanismo de Auditoria e Combate a Corrupção

Frank de Alcantara Drª. Denise Tsunoda Universidade Federal do Paraná – UFPR Mestrado em Ciência, Gestão e Tecnologia da Informação Curitiba/ PR [email protected]

Introdução

CORRUPTION PERCEPTION INDEX 2010 1 - Dinamarca 8 Austrália 21 - Chile 24 - Uruguai 33 - Taiwan 54 - Kuwait 62 - Gana 69 - Brasil

(TRANSPARENCY INTERNATIONAL, 2010) 2

Introdução

Outliers

A detecção de outliers é a busca por objetos em um conjunto de dados que não obedecem às leis que são válidas para a maior parte dos elementos contidos neste conjunto (PETROVSKIY, 2003) 3

Introdução

A sociedade tem direito de solicitar prestação de contas a cada agente público da sua administração

Declaração Universal dos Direitos Humanos e do Cidadão

1798

Introdução

Desde a promulgação (CALAU e FORTIS, 2006).

da Lei de Responsabilidade Fiscal (Lei Complementar nº 101, de 4.5.2000) que o Brasil está obrigado a diminuir os efeitos da corrupção através da criação de novos mecanismos de controle e a conduta dos imposição de restrições à administradores públicos 5

Introdução

 Rotina de Compra:  Empenho;   Liquidação; Pagamento.

... segundo está definido pela lei LEI No 4.320, DE 17 DE MARÇO DE 1964 (PRESIDÊNCIA DA REPÚBLICA, 1964). O empenho representa o primeiro estágio da despesa orçamentária. É registrado no momento fiscal da contratação do serviço, aquisição do material ou bem, obra ou amortização da dívida (GOVERNO FEDERAL, 2010).

Introdução

Portal da Transparência do Governo Federal

450

média, cada dia retorna aproximadamente páginas de tabelas de

linhas ou

7500

documentos de empenho, por sua vez com um número médio de dois itens. Na nossa amostra consiste de dez dias com um total de páginas,

64.873

4383

documentos de empenho e

123.818

itens de empenho.

Taxonomia de Detecção de Outiliers

   

Supervisionadas e Não Supervisionadas Univariadas ou Multivariadas



brutos e estruturais Gráficas e Estatísticas Algoritmos de Mineração



Baseados em distribuição estatística



Baseados em distância



Baseados em densidade local



Baseados em desvio



Baseados em frequência de padrão

Metodologia



Recuperação dos dados do Portal da Transparência



Muito Lento ( Moda 1.5s por página);



Um Web Crawler – Dois Processos:



Recupera e armazena as listas de empenhos;



Recupera e armazena cada empenho;



Tudo usando PHP e MySql (Open Source).



Amostragem randômica :



Dez dias úteis, 1º Semestre 2011;



Random.org – Ruído Atmosférico;



123.818 Empenhos Recuperados.

Metodologia

 RapidMiner (open source, http://rapid-i.com/ ) Importa os dados em CSV Processa o Algoritmo Recorta: 2000 Linhas 10

Metodologia

 Algoritmo Escolhido  Baseado Em Distância  (RAMASWAMY, RASTOGI e SHIM, 2000)  Uma variação do K-means Tal algoritmo utiliza a distância 𝐷 𝑘 (𝑝) distância entre o ponto 𝑝 para representar a e os seu elemento 𝑘 𝑡ℎ (k ésimo) vizinho. Classificando os pontos de acordo com sua distância 𝐷 𝑘 𝑝 , os n pontos quaisquer com maior distância serão os outliers desejados (RAMASWAMY, RASTOGI e SHIM, 2000). 11

Considerações Finais

Código 2011NE000002 2011NE000252 2011NE800001 2011NE801456 2011NE440491 Data 2011NE000329 2011NE000331 2011NE800152 2011NE001831 2011NE000003 Sub Item

19/5/2011 INST. ASSIST., CULTURAL OU EDU

Qtd.

Valor Unitário Valor Total

1 6500000,00 6500000,00 12

Considerações Finais

    A melhoria do crawler visando um aumento na velocidade de captação e a criação de rotinas de pré-processamento que separem os documentos com erros evidentes. A comparação com outros algoritmos de detecção baseados em distância, ou não, quanto à precisão, velocidade e recursos computacionais utilizados; A criação de um processo para a visualização destes outliers em gráficos; O estudo de um algoritmo de identificação online, dos outliers contidos nos empenhos publicados diariamente, cumulativo, que não requeira o cálculo de toda classificação a cada novo documento inserido. 13

Obras Citadas

     ALI, A. B. M. S.; XIANG, Y. Dynamic and Advanced Data Mining fro Processing Techonological Development: Innovations and Systematic Aproaches. 1ª Edição. ed. Hershey: IGI Global, 2010.

ARNING, A.; AGRAVAL, R.; RAGHAVAN, P. A Linear Method for Deviation Detection in Large Databases. The Second International Conference on Knowledge Discovery and Data Mining (KDD-96). Portland: [s.n.]. 1996. p. 6.

BEN-GAL, I. OUTLIER DETECTION. In: O, M.; L., R. Data Mining and Knowledge Discovery Handbook: A Complete Guide for Practitioners and Researchers. Tel Aviv: Kluwer Academic Publishers, 2005. p. 117 -130.

BRASIL, G. F. D. Sobre o Portal. Portal da Transparência, 2004. Disponivel em: . Acesso em: 19 junho 2011.

BREUNIG, M. M. et al. LOF: Identifying Density-Based Local Outliers. Proc. 29th ACM SIDMOD Int. Conf. on Management of Data (SIGMOD 2000). Dallas: [s.n.]. 2000. p. 12.

Obras Citadas

     CALAU, A. A.; FORTIS, M. F. D. A. Transparência e Controle social na Adiministração pública brasileira: avaliação das prinicpais inovações introduzidas pela Lei de Responsabilidade Fiscal. XI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Ciudade de Guatemala Guatemala: [s.n.]. 2006. p. 16.

CIOS, K. J. et al. Data Mining A Knowledge Discovery Approach. 1ª Edição. ed. New York, NY - USA: Springer Science+Business Media, LLC, 2007. ISBN ISBN-13: 978-0-387-33333-5.

DECOMTEC - FUNDAÇÃO DAS INDÚSTRIAS DO ESTADO DE SÃO PAULO. Corrupção: custos econômicos e propostas de combate. Fiesp - Fundação das Indústrias do Estado de São Paulo. São Paulo, p. 35. 2010.

FILZMOSERA, P.; GARRETTB, R. G.; REIMANN, C. Multivariate outlier detection in exploration geochemistry. Computers & Geosciences, Viena, 16 Novembro 2004.

G1. Brasileiro Teme mais a volda inflação que a violência, diz pesquisa. G1 Economia, 2011. Disponivel em: . Acesso em: 20 junho 2011.

Obras Citadas

     GOGOI, P. et al. A Survey of Outlier Detection Methods in Network Anomaly Identification. The Computer Journal, Oxford, v. 54, 22 Setembro 2011.

GOVERNO FEDERAL. Detalhamento Diário de Despesas. Portal da Transparência - Governo Federal do Brasil, 2004. Disponivel em: . Acesso em: 15 junho 2011.

GOVERNO FEDERAL. Portal da Transparência - Detalhamento Diário de Despesas Saiba Mais. Portal da Transparência, 2010. Disponivel em: . Acesso em: 20 junho 2011.

HAN, J.; KAMBER, M. Data Mining: Concepts and Techniques. 2ª Edição. ed. San Francisco, CA - USA: Elsevier Inc, 2006.

HAND, D.; MANNILA, H.; SMYTH, P. Principles of Data Mining. 1ª Edição. ed. Boston, MS - USA: The MIT Press, 2001. ISBN ISBN: 026208290x.

Obras Citadas

     HE, Z. et al. FP-Outlier: Frequent Pattern Based Outlier. Computer Science and Information System, New York, 2005. 113 - 118.

HODGE, V. J.; AUSTIN, J. A Survey of Outlier Detection Methodologies. Rotterdan Holanda: Kluwer Academic Publishers, 2004.

HUBER, P. J. Robust Estimation of a Location Parameter. Project Euclid, 1964. Disponivel em: . Acesso em: 10 junho 2011.

INTRODUCTION to R. R-Project.org, 2010. Disponivel em: . Acesso em: 02 junho 2011.

KNORR, E. M.; NG, R. T.; TUCAKOV, V. Distance Based outliers: algorithms and Applications. The VLDB Journal — The International Journal on Very Large Data Bases, New York, Fevereiro 2000. 17.

Obras Citadas

     LEVY, P.; LEMESHOW, S. Sampling of Populations Methods and Applications. 3ª Edição. ed. New York - USA: JOHN WILEY & SONS, INC., 1999.

OTEY, M. E.; PARTHASARATHY, S.; GHOTING, A. An Empirical Comparison of Outlier Detection Algorithms. KDD-2005 Workshop - Data Mining Methods for Anomaly Detection. Chicago: [s.n.]. 2005. p. 45-51.

PEREIRA, J. M. Reforma do Estado e controle da corrupção no Brasil. International Budget Partnership, São Paulo, abril 2005. 17.

PETROVSKIY, M. I. Outlier Detection Algorithms in Data Mining Systems. Programmirovanie, Moscow - Russia, 29, 19 Fevereiro 2003. 10.

PRESIDÊNCIA DA REPÚBLICA. LEI No 4.320, DE 17 DE MARÇO DE 1964. Presidência da República do Brasil - Casa Civíl, 1964. Disponivel em: . Acesso em: 10 junho 2011.

Obras Citadas

     RAMASWAMY, S.; RASTOGI, R.; SHIM, K. Efﬁcient Algorithms for Mining Outliers from Large Data Sets. Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data. Texas: ACM. 2000. p. 427-438.

RANDOM.ORG. Introduction to Randomness and Random Numbers. Random.org, 2010. Disponivel em: . Acesso em: 10 junho 2011.

RAPID-I. Rapidminer. rapid-i.com, 2010. Disponivel em: . Acesso em: 10 junho 2011.

TAYLOR & FRANCIS GROUP. Next Generation of Data Mining. 1ª Edição. ed. Boca Raton: CRC Press, 2009. ISBN ISBN: 13: 978-1-4200-8586-0.

TRANSPARENCY INTERNATIONAL. Corruption Perceptions Index 2010. Transparency International. Berlim - Alemanha, p. 12. 2010. (ISBN: 978-3-935711 60-9).

Obras Citadas

     TRANSPARENCY INTERNATIONAL. Corruption Perceptions Index 2010. Transparency International. Berlim - Alemanha, p. 12. 2010. (ISBN: 978-3-935711 60-9).

TRIBUNAL DE CONTAS DA UNIÃO. Tibunal de Contas da União - Funcionamento. Tribunal de Contas da União, 2010. Disponivel em: . Acesso em: 10 junho 2011.

WEINSTEIN, M. Strange Bedfellows: Quantum Mechanics and Data Mining. Nuclear Physics B-proceedings Supplements, Stanford, v. 199, p. 74-84, 3 Novembro 2009. ISSN ISSN: 0920-5632.

WESTPHAL, C. DATA MINING FOR INTELLIGENCE, FRAUD, & CRIMINAL DETECTION. 1ª Edição. ed. Boca Raton: CRC Press, 2009. ISBN ISBN:13: 978-1 4200-6723-1.

ZHANG, Y.; LUO, A.; ZHAO, Y. Outlier detection in astronomical data. Storage and Retrieval for Image and Video Databases. San Jose: [s.n.]. 2005. p. 9.

Detecção de outliers em despesas governamentais como

Transcript Detecção de outliers em despesas governamentais como