Transcript 1 - Departamento de Sistemas e Computação

Reconhecimento off-line de Assinaturas

Escopo de investigação
Extração
de
Características
Classificação
•Esqueletização
>Algoritmo de G&W
>Morfologia matemática
•Detecção de Bordas
•Momentum
•Regiões de Pressão
•Descrição estrutural
•Teoria de Decisão de Bayes
•K vmp
•Redes Neurais
>MLP BP
>GSN
1
>Neuro-Fuzzy
Reconhecimento off-line de Assinaturas
•
Esquemas de conexão entre as técnicas de extração de características
Assinatura Pré-processada
cinza/binária
Imagens
Borda
cinza/binária
Inclinação
Esqueleto
cinza/binária
Momentum
Regiões de Pressão
cinza/binária
Fatores de Pressão
Vetores de
Características
2
Reconhecimento off-line de Assinaturas

Esquemas de conexão entre técnicas de extração de características e
reconhecimento
Imagem
binária
GSN
Vetor de
Características
K vmp
Neuro-Fuzzy
Imagem
cinza
MLP BP
3
Reconhecimento off-line de Assinaturas
• Base de Dados
– 50 classes (autores)
– 20 assinaturas verdadeiras por classe
– 20 assinaturas falsas por classe
• 10 simples ou randômicas
• 10 habilidosas
– Total de 2000 amostras
4
Reconhecimento off-line de Assinaturas

Segmentação



Do formulário e das assinaturas individuais
A partir das projeções vertical e horizontal
Pré-processamento
Equalização de
Background
Binarização
Amortecimento
Extração
da imagem
5

Extração de características
6
Momentum
7
Bordas e Inclinação
8
Regiões de Pressão
9
Reconhecimento off-line de Assinaturas

Armazenamento
 Imagens
Original, segmentada e pré-processada, esqueleto, borda e
pressão
 Formato GIF

 Vetor
de características híbrido
Momentum padrão (6 valores)
 Número de componentes verticais
 Inclinações (negativa, vertical, positiva)
 Limiar de alta pressão (THP)
 Fator de pressão (PF)

10
Reconhecimento off-line de Assinaturas

Experimentos





Apenas verificação
Classificadores K vmp, MLP MP e Neuro-Fuzzy
Treinamento: 1 a 5 verdadeiras
Teste: 15 verdadeiras + 20 falsas
Criterio de rejeição: Neuro-Fuzzy e K vmp
rejeitar X  (C - R) < X < (C + R)
C-R

C
C+R
Performance = Acerto - (ErroI + ErroII)
11
Reconhecimento off-line de Assinaturas
• K vizinhos mais próximos
Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance K
todas
60.51 13.70 20.00 23.69
26.81
2
simuladas
35.57 10.60 10.00 49.13
4.97
3
randômicas
82.30 7.40 14.40 6.80
60.50
1
12
Reconhecimento off-line de Assinaturas
• MLP Backpropagation
– Investigadas 3 arquiteturas
• (a) entradas[12], escondida[12], saída[1]
• (b) entradas[12], escondida[6], saída[1] -- melhor
• (c) entradas[12], escondida[3], saída[1]
Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance
todas
50.22 58.60 32.13 0.00
-40.51
1o.
52.23 63.40 32.13 0.00
-43.30
padrão simuladas
randômicas
57.03 53.80 32.13 0.00
-28.90
Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance
69.04 31.50 29.87 0.00
7.68
melhor todas
64.27 41.60 29.87 0.00
-7.20
padrão simuladas
randômicas
74.37 21.40 29.87 0.00
23.10
13
Reconhecimento off-line de Assinaturas
• Classificador neural difuso
Tipo de Falsificação
todas
simuladas
randômicas
Acerto Erro I Erro II Rejeição Performance
70.87 16.10 11.60
14.53
43.17
70.87 30.00 11.60
1.27
29.27
70.87 2.20 11.60
1.27
57.07
14
Reconhecimento off-line de Assinaturas

Atividades desenvolvidas
Pesquisa bibliográfica nas áreas de redes
neurais, processamento de imagens e
reconhecimento de padrões
Investigação experimental
de algumas configurações de
técnicas sobre a base de
dados
Estudo teórico
enfatizando técnicas
para extração de
características e
reconhecimento
Construção de uma base de dados
de assinaturas utilizando técnicas
para aquisição, pré-processamento
e segmentação
15
Sistemas de Visão Biologicamente Inspirados
• Mechanisms from Biology
– Foveated vision: retina-like image representation
(log-polar) has useful properties
– Visual attention: fixation gives insights where
object features (or components) are likely to be found
– Primal sketch: provides more compact
representations for image data and cues for an attention
mechanism
16
Sistemas de Visão Biologicamente Inspirados
• System’s architecture
Model base
Primitive
models
Update
attention
Attention
Map
Generic
Scenes
Feature
planes
Extract primal
sketch planes
Foveate
Image
Model
relationships
Cluster
objects
17
Sistemas de Visão Biologicamente Inspirados
• Image representation
– Gaussian receptive field
function
– Local contrast normalisation
for estimating original
reflectance information
– Primal sketch features (edges,
bars, blobs and ends) learned
and extracted using a neural
network approach
– Log-polar
18
Sistemas de Visão Biologicamente Inspirados
• Traditional image feature extraction operators
– Cartesian domain (artefact of sensor architecture)
– Work independently of each other
– Designed by hand
• Primate visual system
– Mapping from retina to visual cortex is log-polar
– Learning
• Primal sketch [Marr82]
– Features like edges, bars, blobs, ends detected at a number
of orientations and contrasts
– Grouping processes
19
Extração de Características
• Related Work
– Neural network learning of Edge features [CTR95,PB92]
• Limited to edges
• Comparable to Sobel or Canny performances
– Arbitrary features in the log-polar domain [GF96]
• Operators manually designed
• Poor sensitivity to the feature´s contrast
• Limited to a fixed window size
f
e
a
x
d
Edge@0 = ABS(f+a+b-c-d-e)/3
b Edge@60 = ABS(a+b+c-d-e-f)/3
c
...
+Blob = MIN(x-a,x-b,x-c,x-d,x-e,x-f)
20
Extração de Características
• Training process
recep. field
windows
Normalise
Orientation
Compute
Projection
Exemplars
of
Features
Edge
Bar
PCs
Blob
End
Build
Training Set
Train Neural
Networks
Training
Set
Edge
Bar
NN
Blob
End
feature class and contrast
21
Extração de Características
• Testing process
position
orientation
Extract
Recep. Fields
Normalise
Orientation
Compute
Projection
Apply
Neural
Networks
Compute
Feature
Planes
Feature class, position
contrast and orientation
Edge
Bar
NN
Blob
End
Planes
Test
Images
Edge
Bar
PCs
Blob
End
Edge
Bar
Blob
End
22
Extração de Características
• Principal Components from a set of synthetic features
23
Extração de Características
• Neural network architecture
Principal
components
Neural network
.
.
.
N
Ñ
End
Blob
Bar
Edge
Receptive
field window
PCA projected
window
[1x19]
[19x17]
[1x17]
24
Extração de Características
• Evaluation
– Ground truth for untrained synthetic features
25
Extração de Características
• Output of the Edge neural module
26
Extração de Características
• Testing on synthetic images
+Bars
-Blobs
+Blobs
Input
Retinal
Output
Edges
27
Extração de Características
• Testing on real images
Input
Image
Retinal
Image
Neural
Outputs
Logical
Operators
28
Extração de Características
• Conclusions
– New learning-based approach to extracting primal
sketch features
– Better results when compared to a previous approach
• More correctly classified features
• Good estimate for the feature´s contrast
• Can be easily applied to different window sizes and new
feature types
– Successfully being used as the core representation in
the problem of learning structural relationships from
sets of 2D image-based models
29
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Base de Dados Minolta
– Objetivo: avaliar o comportamento de SVM
diante do problema.
– Base de dados: Minolta - da Universidade do
Estado de Ohio, disponível em sampl.eng.ohiostate.edu/~sampl/data/3DDB/RID/minolta.
– Foram selecionadas 10 classes de objetos (angel,
brain, bottle, duck, face, frog, horn, lobster,
pooh e valve).
– 20 visões diferentes de cada classe
30
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
– Preprocessamento: todas as imagens foram
convertidas para níveis de cinza e re-escalonadas
para o tamanho 100x100 pixels.
Figura 6 Objeto angel
Figura 7 Objeto horn
31
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
– Ferramenta: OSU SVM toolbox Matlab,
eewww.eng.ohio-state.edu/~maj/osu_svm;
• Tipo de kernel: Polinomial de grau 2.
• Tipo de algoritmo: classificador padrão.
– Foi utilizada a estratégia de construção de
conjuntos de treinamento e teste com diferentes
tamanhos:
• Cada conjunto de treinamento usou T amostras por
classe e cada conjunto de teste usou (20-T) amostras
por classe, onde T=1,2,...,19.
32
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Resultados:
–Taxa média de
reconhecimento foi 90%;
–Melhor taxa
98%, para
T=13;
–Pior taxa 71%
para T=1;
Figura 8 Desempenho de SVM na base Minolta
33
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Base de dados: COIL100 – disponível em
www.cs.columbia.edu/CAVE.
– É uma das melhores bases para investigar
algoritmos de reconhecimento baseado na
aparência.
– Consiste de 7.200 imagens coloridas de 100
objetos.
– Cada imagem foi adquirida em uma variação de
5o, formando 72 visões para cada imagem, com
dimensão 128x128.
34
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Pré-processamento: todas as imagens foram
convertidas para níveis de cinza e re-escalonadas
para o tamanho 32x32 pixels.
– Dependendo do ângulo algumas imagens parecem
maiores.
Figura 9 Alguns objetos da COIL100
Figura 10 Visões do objeto 44 , do ângulo 260o a 300o
35
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Ferramentas:
– Para SVM: LIBSVM, disponível
www.csie.ntu.edu.tw/~cjlin/libsvm.
em
– Para Redes Neurais: SNNS (Stuttgart Neural
Network Simulator), disponível em wwwra.informatik.uni-tuebingen.de/SNNS.
36
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Testando diferentes Kernels
– Objetivo: fazer uma avaliação prática sobre a
precisão, comportamento e número de vetores
de suporte produzidos por três tipos de kernel
polinomial:
• linear;
• quadrático;
• cúbico.
37
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Treinamento/teste: Foram construídos
conjuntos
de
treinamento/teste
de
diferentes tamanhos.
– todas as 100 classes foram utilizadas e todas as
visões;
– um total de 71 conjuntos de treinamento e de
teste foram criados;
– T amostras (visões aleatórias) para treinamento
e (71-T) para testes, por classe, onde
T=1,2,...,71.
38
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Resultados:
Figura 11 Número de vetores de suporte criados versus tamanho do
conjunto de treinamento (100*T) para os três tipos de kernel. 39
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Resultados: pequena superioridade para o kernel quadrático.
• Foi realizada a estratégia k-fold cross validation para reforçar
os resultados obtidos;
– valor de k=10;
– precisão média alcançada: 87,55%
40
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Resultados
Figura 12 Curvas de reconhecimento para os kernels: linear,
quadrático e cúbico
41
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Estudo Comparativo: SVM x Redes Neurais
– Objetivo: Comparar experimentalmente SVM e Redes
Neurais do tipo Multilayer Perceptron Backpropagation;
– Considerou apenas aspectos relativos à precisão;
– Estratégia de classificação multiclasses: “um-versusum”;
– A estratégia multiclasses produziria um elevada
quantidade de classificadores;
– Foi necessário portanto, reduzir a quantidade de classes.
– O número de classes utilizadas foi 10;
42
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
• Estudo Comparativo: SVM x Redes Neurais
– Treinamento/teste: Foram construídos conjuntos de
treinamento/teste de diferentes tamanhos;
– Todas as 10 classes foram utilizadas e todas as 72
visões;
– Foram produzidos 45 classificadores binários para cada
tamanho de conjunto de treinamento/teste (71
conjuntos);
– Arquitetura da Rede:
• Camada de Entrada: 1024 neurônios
• Camada Escondida: 4 neurônios
• Camada de Saída: 2 neurônios.
43
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
As técnicas apresentaram
desempenho semelhante
Figura 13
Curvas de
reconhecimento
para SVM e
Redes Neurais
44
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
•
Conclusões
–
Apresentou SVM como como uma opção
para realizar reconhecimento de objetos
baseado na aparência;
•
•
•
–
Investigou o desempenho da técnica nesse
problema;
Comparou três tipos de SVM;
Comparou SVM com Redes Neurais;
Procurou apresentar a teoria de formaliza
SVM utilizando uma linguagem mais didática
e acessível
45
Reconhecimento de Objetos Baseado na
Aparência Usando SVM
•
Perspectivas de Trabalhos Futuros
–
–
–
–
Realizar o estudo comparativo entre SVM e
Redes Neurais utilizando todas as 100
classes;
Testar extensões de SVM;
Estudo comparativo entre metodologias
multiclasses;
Extender o domínio de aplicação de SVM
para problemas como Regressão e Detecção
de Novidades.
46
Reconhecimento de Placas de
Sinalização
• Descrição do problema
– Dirigir  processamento intensivo da
informação visual;
• Sistemas de Apoio ao Motorista (Driver
Support Systems – DSS);
–
–
Segurança;
Conforto.
• Segurança de tráfego Sinalização:
–
–
–
Desatenção;
Tráfego intenso;
O sistema como um co-piloto
47
Reconhecimento de Placas de
Sinalização
• Objetivos e Relevância:
– Escopo do trabalho;
– Objetivos principais:
•
•
Estudar e implementar um mecanismo de atenção
visual;
Investigar a utilização de uma Rede Neural para a
tarefa de classificação.
– Contribuições:
•
•
Perspectiva de geração de conhecimentos para o
desenvolvimento de tecnologia nacional em DSS;
Proposta de um modelo híbrido biologicamente
inspirado;
– Mecanismo de Atenção Visual + Redes
Neurais.
48
Reconhecimento de Placas de
Sinalização
• Objetivos e Relevância:
– Contribuições:
•
•
Demonstração da aplicabilidade de um
mecanismo de atenção visual à tarefa de
localização de placas;
Perspectiva de parcerias.
49
Reconhecimento
Reconhecimentode
dePlacas
Placasde
de
Sinalização
Sinalização
• Trabalhos relacionados:
–
–
–
–
Detecção de obstáculos;
Detecção de marcas da pista;
Sistemas Integrados;
Detecção e reconhecimento de sinais de tráfego:
•
Piccioli e
Colegas,
1996
•
•
Busca reduzida através de algum conhecimento a
priori;
Análise geométrica das arestas da imagem;
Reconhecimento  Correlação cruzada
50
Reconhecimento de Placas de
Sinalização
• Trabalhos relacionados:
– Detecção e reconhecimento de sinais de tráfego:
•
Priese e
colegas,
1993
•
•
Segmentação de cor (Color Structure Code);
Reconhecimento  controle fuzzy;
Parceria: Daimler-Benz e Universidade KoblenzLandau
51
Reconhecimento de Placas de
Sinalização
• Arquitetura Geral
52
Reconhecimento de Placas de
Sinalização
• Experimentos preliminares:
– Seleção manual de Placas;
– Classe: placas pare, proibido ultrapassar e
imagens sem placas – 14 imagens;
– Pré-processamento;
– Treinando com T padrões e testando com 14-T;
– Resultados:
• Melhor taxa – 100% ;
• Pior taxa – 56,41%;
• Indicaram a possibilidade de classificar imagens
pequenas (20x20 pixels).
53
Reconhecimento de Placas de
Sinalização
• Definição da Arquitetura Neural:
– Camada de entrada = 400 neurônios  tamanho das
imagens;
– Camada de saída = número de classes  winner-takes-all;
– Camada escondida
No de Neurônios
SSE/1000 Épocas
Classes
Saídas Desejadas
7
29,8216
14
3,2632
21
1,0610
28
0,1326
1
1000000
35
0,1261
2
0100000
42
1,0976
3
0010000
49
1,0945
4
0001000
56
0,9165
5
0000100
63
0,7991
6
0000010
70
1,0807 54
7
0000001
Reconhecimento de Placas de
Sinalização
• Módulo de Detecção:
– Imagens com placas  15 imagens  16 placas;
– Número fixo de regiões selecionadas (K);
– Resultados:
• K=5  75% de localização (12 imagens);
• K=19  93,75% de localização (15 imagens);
– Análise a partir da complexidade da busca:
• K=5  0,0059% dos pontos da imagem;
• K=19  0,0225% dos pontos imagem;
– Comparação com a geração randômica de pontos de
interesse;
55
Reconhecimento de Placas de
Sinalização
• Integração dos módulos:
– Formação de novos conjuntos de treinamento e
teste;
• Ocorrência de placas durante o vídeo;
• Poucas ocorrências  escolhidas 2 por classe;
• Quadros sucessivos + microsacadas = 85 imagens por
classe;
• 7 classes:
• Uma classe de imagens sem placas;
56
Reconhecimento de Placas de
Sinalização
• Integração dos módulos:
– Resultados – Módulo de Detecção:
• Mesmo método utilizado no primeiro experimento;
• Máscara com raio menor (5)  menor risco de
inibição inesperada  aumento no número de pontos
analisados;
• K=33  100% de localização  0,039% dos pontos
da imagem;
• Regiões selecionadas  formam o conjunto de teste
para o Módulo de Reconhecimento.
57
Reconhecimento de Placas de
Sinalização
• Integração dos módulos:
– Resultados – Módulo de Reconhecimento:
• Arquitetura definida através de experimentos anteriores;
• Taxa de acerto no treinamento  100%;
• Baixas taxas de acerto nos testes:
Classe
Taxa de Acerto
1
12,94 %
2
28,23 %
3
2,35 %
4
1,18 %
5
12,94 %
6
57,64 %
7
8,23 %
58
Reconhecimento de Placas de
Sinalização
•
Integração dos módulos:
–
Resultados – Módulo de Reconhecimento:
•
Motivos principais:
1. Falta de uma pré-processamento mais robusto e uma
representação mais compacta dos padrões;
2. Dimensionalidade do espaço de características;
3. A limitação da arquitetura MLP-BP em relação a
translação dos objetos na imagem ( Kröner, 1996).
•
•
•
Classificadores Binários  combinação de classes
duas a duas;
Arquitetura  baseada nos experimentos anteriores;
Treinamento  100% de acerto para todas as redes.
59
Reconhecimento de Placas de
Sinalização
•
Integração dos módulos:
–
Resultados:
Módulo de
Reconhecimento
ANÁLISE POR
VOTAÇÃO
Classe – Classe
Taxa de Acerto
1–2
90 %
1–3
40 %
1–4
60 %
1–5
60 %
1–6
60 %
2–3
50 %
2–4
80 %
2–5
60 %
2–6
100 %
3–4
60 %
3–5
60 %
3–6
60 %
4–5
40 %
4–6
50 %
5–6
80 %
60
•
Reconhecimento de Placas de
Sinalização
Integração dos módulos:
–
Resultados:
Módulo de
Reconhecimento
ANÁLISE
ABSOLUTA
Classe – Classe
Taxa de Acerto
1–2
84,12 %
1–3
40,59 %
1–4
54,12 %
1–5
52,94 %
1–6
57,64 %
2–3
41,17 %
2–4
58,82 %
2–5
53,52 %
2–6
80,58 %
3–4
51,17 %
3–5
63,53 %
3–6
52,35 %
4–5
43,52 %
4–6
52,35 %
55,88 %61
5–6
Reconhecimento de Placas de
Sinalização
•
Análise dos resultados:
–
–
–
–
Alto desempenho do mecanismo de atenção na
localização das placas;
Inibição de placas  redução no raio da
máscara;
Regiões de fronteira com alta saliência;
Possível classificar as regiões selecionadas
através da abordagem neural:
•
•
•
Aumento no número de padrões;
Pré-processamento mais robusto;
Representação através de características invariantes.
62
Reconhecimento de Placas de
Sinalização
•
Conclusões
–
O Trabalho apresentou:
•
•
–
Caráter multidisciplinar:
•
–
Estudo e implementação de uma mecanismo de
atenção;
Investigação preliminar no uso de Redes Neurais.
Inteligência Artificial, visão Computacional, Atenção
Visual, Neurofisiologia etc.
Objetivos alcançados;
•
Módulo de Detecção eficiente:
–
Demonstrando a utilidade na aplicação do mecanismo
de atenção no problema investigado.
63
Reconhecimento de Placas de
Sinalização
–
Objetivos alcançados;
•
Investigação da abordagem neural:
– Resultados + características das imagens  possível
alcançar taxa melhores de classificação.
–
Contribuições:
•
•
•
Estratégia de microsacadas;
Aplicação do mecanismo de atenção na área de
DSS;
Experimentos com imagens reais de ruas e
estradas.
64
Reconhecimento de Placas de
Sinalização
•
Dificuldades:
–
–
Nível experimental da área de atenção visual;
Limitação dos recursos materiais:
•
•
Veículos adaptados, câmeras apropriadas, hardwares
dedicados, processamento paralelo, computadores de
bordo, conservação das rodovias.
Trabalhos futuros:
–
–
Finalizar a integração dos classificadores
binários;
Aquisição de novas imagens;
65
Reconhecimento de Placas de
Sinalização
•
Trabalhos futuros:
–
–
–
–
Implementação do Módulo de Detecção em
uma arquitetura dedicada (ex. FPGA);
Aplicar pré-processamento mais completo;
Utilizar uma representação mais compacta das
imagens;
Investigar outras arquiteturas neurais para a
tarefa de classificação (Kröner, 1996);
66