Transcript Redes de Hopfield

Redes de Hopfield
Redes Neurais
COPIN 2003.1
Redes de Hopfield




São modelos de redes neurais auto-associativas
desenvolvidas por J. Hopfield em 1982
Podem ser visas como um modelo de memória autoassociativa com a habilidade de armazenar e depois
recuperar um certo conjunto de padrões
Durante o treinamento, a rede de Hopfield memoriza
os padrões em um único passo.
Durante a fase de uso, a rede irá passar por uma
seqüência de ativações intermediárias até se
estabilizar em um padrão previamente treinado
Arquitetura
wij = wji
wii = 0
Função de Ativação
net = somatório de pesos vezes entradas
Todas as entradas e saídas são bipolares (-1,1)
Treinamento

Como nos perceptrons de simples e múltiplas
camadas, o algoritmo de treinamento é derivado a
partir da minimização de uma função de energia
abaixo para um padrão particular s = (x0,x1,...,xn-1)
1
E    wi , j xi x j   xi T i
2 i i j
i


Isto implica em escolher Ti=0.
Separando a influência do padrão s na energia, temos:
1
1
E    w´i , j xi x j   wis, j
2 i i j
2 i i j
s s
xi xi
Treinamento


O primeiro termo da equação anterior está relacionado com a
contribuição de todos os demais padrões (diferentes de s) na
energia e, portanto, não pode ser alterado.
Entretando o segundo termo (que depende diretamente de s pode
ser minimizado. Como seu sinal é negativo, o problema se
transforma em maximizar:
s
s s
 wi, j xi xi
i

i j
Uma forma trivial de resolver esta maximização é fazer wsi,j =xixj, o
que torna a expressão acima tão grande quanto possível uma vez
que as entradas são +1 ou –1 e seu quadrado será sempre
positivo:
2 2
 xi xi
i
i j
Exemplo
Padrões de treinamento
Padrão de teste: partindo
de um 5 com ruído na
entrada a rede se estabiliza
no padrão 5 treinado após
um certo número de
iterações.