Transcript Backpropagation - Dr. Pedro Ponce Cruz

Redes Neuronales Artificiales
Entrenamiento por Retropropagación
del Error-Backpropagation
Dr. Pedro Ponce Cruz
EGIA-MCI
Consultar Libro de Texto
Inteligencia Artificial con aplicaciones a la ingeniería
Redes multicapa
Las redes multicapa que se entrenan con el método de Backpropagation
requieren de encontrar el valor del error que se define como la diferencia del
valor deseado y el valor de salida. Es una topología de entrenamiento supervisado
e n tr a d a
c a p a o c u lta
wj i
pi

o
.
.
.
u1

p1 o

pn o
o
1

s 1
.
.
.
u j
.
.
.
.
.
.
v k j
h1
F (·)
.
.
.
F (·)
o 1 -
.
.
.
h j

F (·)
s k
h m

o
1
d1
e1
o k -
+
d k
.
.
.
F (·)
+
F (·)
.
.
.
u m
v a lo r e s
desead os
c a p a d e s a lid a
s r
e k
o r -
+
F (·)
d r
e r
Si definimos la red multicapa,
empleando 6 neuronas
Cada neurona se compone de
una función de activación
La función Sigmoidal es de las más
empleadas dentro de las redes multicapa
• La función sigmoidal se define como
Funcion de activacion Sigmoidal
1
0.9
0.8
Sigmoidal(x)
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
-5
-4
-3
-2
-1
0
x
1
2
3
4
5
Dentro de cada neurona se tiene el valor de x que se presenta en la función
Sigmoidal como la sumatoria de los pesos por las entradas
Función Sigmoidal y su derivada
Encontrando la derivada f’(x)
Las derivadas de las funciones empleadas
en redes multicapas se puede resumir
Lineal
f ( x)  x
f '( x)  1
Sigmoidal
f ( x) 
1
1 e
x
f ' ( x )  f ( x ) 1  f ( x ) 
Tanh
f ( x) 
e
e
x
e
 x
x
e
 x

f '( x)   1  f ( x)
2

Graficas de la función sigmoidal
y su derivada
Función sigmoidal
1
0.8
0.6
0.4
0.2
0
-8
-6
-4
-2
0
2
4
6
8
4
6
8
Derivada de la función sigmoidal
0.4
0.3
0.2
0.1
0
-8
-6
-4
-2
0
2
Evaluación de entradas en una
red multicapa
Representación grafica del
método Backpropagation
Representación grafica del
método Backpropagation
Deducción de la regla de
entrenamiento Backpropagation
• Definiendo el gradiente del error con
respecto a los pesos.

 e 
  

  i 
2
k
j
Deducción de la regla de
entrenamiento Backpropagation
Donde
Backpropagation
si δ es la sensibilidad del error
Backpropagation
Para una función sigmoidal
Regla para la capa de salida , se tiene el valor deseado (d), en está
capa
Capas intermedias
Capas intermedias
Regla general para todas las
capas ocultas
Ejemplo de Backpropagation
Algoritmo backpropagation
•
Pasos 1- Definir la estructura de la Red
•
Paso 2- Poner pesos de manera aleatoria en cada neurona
•
Paso 3- Calcular la salida de la Red
•
Paso 4- Calcular Coef. De Sensibilidad del error
•
Paso 5-Calcular nuevos pesos
•
Paso 6- Regresar al paso 3 si no se alcanzar la tolerancia o número de
iteraciones , en otro caso detener algoritmo