Transcript Slide 1

Više varijabilni modeli
Linearni modeli
Nelinearni
Nelinearni dinamički modeli
PCA (glavne komponente) modeli
Fuzzy logic (neizrazita logika) modeli
Neuronske mreže
1
Primjeri
KPK i BPK model otpadne vode s kolektora “Katalinića brig” u Splitu
Michaelis-Mentenov model biološke razgradnje otpadne vode
ASM (“Activated Sludge Model”) biološki dinamički nelinearni model
Više-faktorska procjena zdravstvenog rizika
Nutrigenetički (“nutrigenomic”) model
2
Svrha
Hipoteze
Eksperimentalni
podaci
Statistika
Informacija
Model
Matematika
Fizika
Kemija
Biologija
?????
Teorija
(razumjevanje)
Zdravlje
Okoliš
Gospodarstvo
Upravljanje
3
Izgradnjom kanalizacijskog sustava EKO Kaštelanski zaljev izvršeni su zahvati
na ovim kolektorima, te se otpadne vode prepumpavaju do hidrotehničkog
tunela, a potom gravitacijom dolaze do Uređaja Stupe. Nakon mehaničkog
tretmana, odvajanja pijeska, masti i ulja, ispuštaju se preko Ozračnog okna u
Brački kanal.
4
Primjer eksperimentalnih podataka
Poslije fine rešetke
T. vode
pH
Susp.tvar
oC
mg/l
45
6,00-9,00
200
14,9
7,62
143
14,7
7,45
137
14,9
7,70
159
10,7
7,32
302
15,0
7,75
115
14,8
7,46
96
14,6
7,64
202
14,3
7,85
340
13,5
7,83
100
15,4
7,61
120
15,9
7,69
152
15,2
7,68
35
15,8
7,55
75
15,6
7,59
184
16,5
7,70
205
13,5
7,20
674
14,8
7,39
139
16,4
7,17
122
16,5
7,16
91
16,8
7,53
117
17,2
6,87
128
17,4
7,48
90
18,0
7,48
198
18,4
7,55
96
21,7
7,85
74
19,9
7,44
92
21,5
7,78
93
20,0
7,53
108
21,2
7,63
94
20,4
7,36
284
20,9
7,44
104
KPK
mgO2/l
500
353,2
322,5
185,6
161,4
553,4
334,2
385,5
401,7
468,5
473,9
349,7
434,5
180,8
463,6
248,7
246,6
200,5
339,8
112,6
277,4
245,9
306,9
434,3
465,6
245,9
15,9
238,9
136,1
425,8
191,4
494,1
BPK 5
mgO2/l
300
52,7
97,3
32,9
86,3
121,0
104,4
360,7
214,9
84,1
84,2
113,3
141,4
124,9
123,7
80,4
80,9
35,7
82,0
24,7
61,8
107,7
113,6
68,8
184,2
91,6
112,6
76,7
59,2
113,9
128,5
135,2
2004.
2002.Godina
Godina.
Clmg/l
1000
221,51
221,51
335,63
657,80
91,29
60,41
59,07
657,58
281,93
187,88
187,88
228,14
181,17
268,40
225,46
46,97
295,24
189,22
127,49
308,66
261,69
104,64
94,30
90,43
93,01
86,54
114,96
111,09
90,43
611,02
498,63
SO4=
mg/l
400
22,89
68,94
53,40
113,78
26,22
21,25
26,36
65,07
54,30
47,56
71,72
39,20
40,95
42,17
48,25
12,69
52,16
25,78
32,05
75,64
111,33
36,97
27,59
38,77
72,96
34,61
40,53
103,69
68,19
120,45
40,33
O-P
N-NH4+
mg/l
mg/l
1
15
7,12
25,32
6,04
23,10
6,15
24,10
2,04
16,71
3,62
40,64
5,73
19,44
7,83
29,43
6,95
26,78
3,96
24,03
6,44
36,31
5,40
35,65
3,83
28,11
6,89
24,21
6,46
22,09
4,48
20,32
1,44
7,86
6,62
21,62
5,33
44,26
3,04
6,29
5,50
42,97
5,50
36,99
4,95
40,04
7,25
26,31
7,03
41,46
5,99
35,25
6,08
50,00
6,05
67,64
5,35
36,10
6,38
38,35
5,68
33,89
5,02
39,61
N-NO2mg/l
20
0,028
0,043
0,101
0,125
0,174
0,069
0,102
0,019
0,032
0,035
0,090
0,197
0,189
0,087
0,056
0,015
0,089
0,193
0,265
0,206
0,206
0,169
0,007
0,051
0,336
0
0
0,044
0
0
0,082
N-NO3mg/l
15
0,195
0,901
1,138
0,474
1,235
2,807
2,184
0,829
0,373
0,398
0,513
0,650
1,190
1,801
0,538
0,607
1,095
0,106
0,069
0,337
0,605
0,467
0,660
1,785
3,126
0,192
0,758
0,763
1,150
0,499
0,563
Datum
MDK
07.01.04.
08.01.04.
09.01.04.
28.01.04.
05.02.04.
12.02.04.
18.02.04.
25.02.04.
04.03.04.
17.03.04.
18.03.04.
25.03.04.
30.03.04.
31.03.04.
06.04.04.
13.04.04.
20.04.04.
27.04.04.
04.05.04.
11.05.04.
18.05.04.
25.05.04.
01.06.04.
08.06.04.
15.06.04.
30.06.04.
06.07.04.
13.07.04.
20.07.04.
27.07.04.
03.08.04.
5
Hipoteza: Linearan model
Cl
SO4
P
NH4
NO2
NO3
S
KPK
BPK5
KPK  b0  b1  Cl  b2  SO4  b3  P  b4  NH 4  b5  NO2  b6  NO3  b7  S
BPK5  b0  b1  Cl  b2  SO4  b3  P  b4  NH 4  b5  NO2  b6  NO3  b7  S
6
Zadaci
1) procijeniti parametre,
2) validacija modela,
3) Pogreške parametara,
4) Interval pouzdanosti procjene
Primjena računalnog programa “Statistica”
7
Eksperimentalni podaci (tablica)
ulazni
redni broj
uzorka
prva
varijabla
x1
druga
varijabla
x2
i-ta
varijabla
xi
m-ta
varijabla
xm
1
x11
x12
x1i
x1n
2
x21
x22
x2i
x2n
xn1
xn2
xni
xnm
redni broj
uzorka
izlazna
varijabla
y
.......
n
izlazni
1
y1
2
y2
.......
n
yn
8
Eksperimentalni podaci (matrica)
1

1
X 1


1

Model
x11
x 21
x31

x n1
 x1m 

x 22  x 2 m 
x32  x3 m 

  
x n 2  x nm 
x12
 y1 
 
 y2 
y   y3 
 

y 
 n
 b0 
 
 b1 
 b2 
b 
 b3 

 
 nn 
y  X b
9
Ukupna pogreška modela i eksperimentalnih podataka(suma kvadrata
pogrešaka) S2
SSE (Sum of Squared Errors)
pogreška
e  y  X b
S  e  e   y  X  b    y  X  b
2
T
T
10
Najbolja procjena je ona kaje daje minimum varijance (sume kvadrata pogrešaka S2)


min S 2   min  y  X  b    y  X  b 
b
T
minimum
b  X  X   X  y
T
1
T
11
suspendirana tvar mg/L
KPK mg O2/L
Fina rešetka
BPK5 mgO2/L
800
700
600
500
400
300
200
100
0
1
3
5
7
9 11 13 15 17 19 21 23 25 27 29 31
Tjedni 2004
12
13
14
15
C orrelat ions (podaci Katalinic a brig 2)
Marked correlat ions are s ignif ic ant at p < ,05000
N =31 (C as ewise delet ion of m iss ing dat a)
Variable
T. v ode pH Susp.t v ar KPK BPK 5 C l- SO4=
T. v ode
1,00 0,07
-0, 37 -0, 12 -0, 05 -0, 22 0,15
pH
0,07 1,00
-0, 22 0,37 0,22 -0, 03 -0, 16
Susp.t v ar
-0, 37 -0, 22
1,00 -0, 10 0,09 0,25 0,01
KPK
-0, 12 0,37
-0, 10 1,00 0,36 -0, 04 -0, 32
BPK 5
-0, 05 0,22
0,09 0,36 1,00 0,03 -0, 09
C l-0, 22 -0, 03
0,25 -0, 04 0,03 1,00 0,56
SO4=
0,15 -0, 16
0,01 -0, 32 -0, 09 0,56 1,00
O-P
0,32 0,29
-0, 38 0,16 0,33 -0, 11 -0, 06
N -N H4+
0,64 0,21
-0, 44 0,10 0,13 -0, 15 0,08
N -N O2-0, 03 -0, 17
-0, 34 -0, 12 -0, 08 -0, 10 0,05
N -N O30,10 0,32
-0, 12 0,18 0,38 -0, 29 -0, 11
O - P N -N H4+ N -N O2- N -N O30,32
0,64
-0, 03
0,10
0,29
0,21
-0, 17
0,32
-0, 38
-0, 44
-0, 34
-0, 12
0,16
0,10
-0, 12
0,18
0,33
0,13
-0, 08
0,38
-0, 11
-0, 15
-0, 10
-0, 29
-0, 06
0,08
0,05
-0, 11
1,00
0,35
-0, 23
0,34
0,35
1,00
-0, 08
-0, 06
-0, 23
-0, 08
1,00
0,21
0,34
-0, 06
0,21
1,00
16
17
18
19
KPK  b0  b1  Cl  b2  SO4  b3  P  b4  NH 4  b5  NO2  b6  NO3  b7  S
KPK  1  Cl    SO4   3  P   4  NH 4   5  NO2   6  NO3   7  S
R egress ion Summary f or Dependent Variable: KPK (podaci Katalinic a brig 2)
R = ,48789419 R 2= , 23804074 Adjus ted R 2= , 00614009
F(7, 23)=1, 0265 p<,43968 Std.Error of est imate: 130,54
Beta
St d. Err.
B
St d. Err.
t (23)
p-lev el
N =31
of Beta
of B
I nt ercept
389,227 173,3165 2,24576 0,034625
C l0,353381 0,243303
0,270
0,1862 1,45243 0,159889
SO4=
-0, 492855 0,228079
-2, 257 1,0446 -2, 16090 0,041359
O-P
-0, 099174 0,246445
-8, 636 21, 4598 -0, 40242 0,691091
N -N H4+
0,138992 0,220667
1,466
2,3270 0,62987 0,534986
N -N O2-0, 200453 0,230352 -299, 220 343,8513 -0, 87020 0,393183
N -N O30,289782 0,220297 50, 986 38, 7603 1,31541 0,201334
Susp.t v ar -0, 192771 0,251546
-0, 214 0,2791 -0, 76634 0,451266
20
BPK5  b0  b1  Cl  b2  SO4  b3  P  b4  NH 4  b5  NO2  b6  NO3  b7  S
BPK5  1  Cl    SO4   3  P   4  NH 4   5  NO2   6  NO3   7  S
R egress ion Summary f or Dependent Variable: BPK 5 (podac i Kat alinica brig 2)
R = ,56066643 R 2= ,31434684 Adjus ted R 2= , 10566979
F(7, 23)=1,5064 p<, 21454 Std. Error of es timate: 58, 851
Beta
St d. Err.
B
St d. Err.
t (23)
p-lev el
N =31
of Beta
of B
I nt ercept
-48,2857 78, 1370 -0, 617962 0,542672
C l0,246021 0,230799 0,0895 0,0840 1,065951 0,297508
SO4=
-0, 201801 0,216357 -0, 4393 0,4710 -0, 932720 0,360653
O-P
0,258941 0,233780 10, 7161 9,6748 1,107628 0,279472
N -N H4+
0,258715 0,209326 1,2966 1,0491 1,235945 0,228954
N -N O20,057818 0,218514 41, 0174 155,0199 0,264595 0,793678
N -N O30,383585 0,208976 32, 0752 17, 4745 1,835547 0,079389
Susp.t v ar 0,308886 0,238619 0,1629 0,1258 1,294476 0,208347
21
Raw Predicted Values vs. KPK
Raw Predicted Values = 238,29 + ,23804 * KPK
Correlation: r = ,48789
450
400
Raw Predic ted Values
350
300
250
200
150
100
-100
0
100
200
300
KPK
400
500
600
0,95 Conf.Int.
22
Raw Predicted Values vs. BPK 5
Raw Predicted Values = 72,973 + ,31435 * BPK 5
Correlation: r = ,56067
200
180
Raw Predicted Values
160
140
120
100
80
60
40
20
0
0
50
100
150
200
BPK 5
250
300
350
400
0,95 Conf.Int.
23
Modeliranje Michaelis-Menten kinetike biološke aerobne razgradnje
Su
DO2
x
S
p
aeracija O2
24
Dinamičke bilance kontinuiranog procesa (kemostat)
dx
s
o
  D  x  vm 

x
dt
Ks  s Ko  o
ds
1
s
o
 D  su  s  
 vm 

x
dt
YX / S
Ks  s Ko  o
do
1
s
o
  D  o  k l a  o *  o  
 vm 

x
dt
YX / o
Ks  s Ko  o
dp
1
s
o
 D  p 
 vm 

x
dt
YX / p
Ks  s Ko  o
25
Kontinuirani proces u stacionarnom stanju
(da li postoji stacionarno stanje za otvoreni sustav ??)
Glavna (“master”) jednadžba kemostata
0   D  x  vm 
s
o

x
Ks  s Ko  o
s
o
D  vm 

Ks  s Ko  o
26
Prinosi
0  D  su  s  
YX / S
1
YX / S
s
o
 vm 

x
Ks  s Ko  o
s
o
vm 

x
KS  s KO  o

D  su  s 
0  D  p 
1
YX / p
vm 
YX / p 
 vm 
s
o

x
Ks  s Ko  o
s
o

x
KS  s KO  o
D p
27
Sul /KPK
500
400
300
200
Sizl /KPK
100
2
4
6
8
10
t/d
28
10
8
biomasa g s.t./L
DO2 mg/L
8
6
6
4
4
2
2
0
2
4
6
8
10
0
2
4
t/d
6
8
10
t/d
100
produkt KPK
80
60
40
20
0
2
4
6
8
10
t/d
29
30
31
32
33
Model is: d=v m*s/ (Ks +s )*o/ (Ko+o) (k emos tat)
D ep. Var. : d
Lev el of c onf idence: 95. 0% ( alpha=0. 050)
Es timate St andard t -v alue p-lev el Lo. C onf U p. C onf
error
df = 7
Limit
Limit
v m 0,15024 0,000138 1090, 613 0,000000 0,149917 0,15057
Ks 10, 01972 0,051788 193,477 0,000000 9,897262 10, 14218
Ko
2,00876 0,005881 341,552 0,000000 1,994854 2,02267
34
35
ASM 1 model ima 13 komponenti i 8 biološka procesa
36
The parameters that are considered to be the
most important ones for this type of process are
the
• decay rate of heterotrophs;
• growth rate for anoxic growth of heterotrophs;
• maximum specific hydrolysis rate;
• half-saturation coefficient for hydrolysis;
• correction factor for anoxic hydrolysis;
• maximum specific growth rate of autotrophs
37
38
39
40
41
42
43
44
Računalni simulacijski programi
45
46
Modeliranje primjenom analize glavnih komponenata
(Principal Component Analysis PCA)
Osnovna ideja: prikazati i analizirati eksperimentalne rezultate više
faktorskih pokusa u pod-prostoru malog broja ali najvažnijih (glavnih)
komponenata.
x4
L3
x3
xn
PCA
L2
x2
L1
x1
n-dimenzionalni
prostor mjerenih
faktora
PCA prostor
latentnih varijabli
47
 x11

 x 21
X   x31


x
 m1
x12
x 22
x32

xn 2
x13   x1n 

x 23   x 2 n 
x33   x3n 

   
x n 3   x mn 
Matrica eksperimentalnih
podataka
n varijabli (faktora)
m uzoraka
autoskaliramo
xi , j 
X X
T
xij  xi
  xi 
Matrica
kovarijance
Zbog međusobne autokoreliranosti podataka, matrica kovarijance ima
vlastitih vrijednosti malog iznosa
48
 T  T
 T
X  t1  l1  t 2  l2  t r  lr

li

ti
Latentne varijable= glavne komponente
Rastavljanje matrice
eksperimentalnih
podataka u projekcije
u prostoru glavnih
komponenata
(latentnih varijabli)
Vektor projekcija (“target”) eksperimentalnih podataka na i-tu
glavnu komponentu, za pojedini j-ti podatak tji (“scores”)
Eksperimentalni podaci X = Struktura podataka + Mjerne pogreške
T
l2
T
l1
X
Eksperimentalni
podaci
+
=

t1
T
lr
+

t2
….
+

tr
E
Mjerne
pogreške
Struktura modela
49
Dimenzija r reduciranog prostora određuje se iz interpretacijom grafičkog
prikaza dekompozicije ukupne varijance u varijance pojedinih glavnih
komponenata ( prikaz “mrvljenja” varijance ili “scree plot”)
Prijelomno koljeno
50
Numeričke metode određivanja glavnih komponenata
SVD “singular value decomposition” razvoj u vlastite vrijednosti


X  X  li  i  li
T
NIPALS (“nonlinear iterative partial least square”)
Primjena za velike skupove podataka, kao u genomici, metabolomici, proteomici itd.
To je iteracijski postupak kojim se glavne komponente određuju u koracima, u

prvom koraku se odredi l , a zatim iz ostataka sljedeća glavna komponenta
1
51
NIPLS iteracijski postupak
i0
početak
E0  X
i 1

t  Xi
1
T 
s  t t
2
i
(2)

 T 
T
l  Ei 1  t /t  t 

l

l 

T 
l l

 T 

t  Ei 1  l / l  l
T 
2
si  t  t

If si2  si21 then si21  si2 go to (2)
 T
Ei  Ei1  t  l
If
i  r then i  i  1 go to (1)
52
Primjer pogrešaka ili “out-layers” u prostoru glavnih komponenata
53
MODELIRANJE NEIZRAZITOM ("fuzzy") LOGIKOM
Razvojem računala i područja umjetne inteligencije postalo je vrlo
praktičan zadatak kako pretvoriti ljudski oblik zaključivanja i upravljanja u
formalni matematički opis i kompjuterski program. Znatni napredak
nastao je 1965 radovima L. Zadeh sa sveučilišta Berkely (SAD) kada je
uveo novi oblik teorije logike kojom je moguće matematički formalizirati
način ljudskog opisa i upravljanja složenih sustava.
Osnovna ideja je uvođenje pojma “neizrazitog” (fuzzy) ili
“mekog” (soft) pripadnosti elementa nekom skupu.
54
B
A
S
S
T
Izraziti (Booleovi) skupovi
T
Neizraziti (“fuzzy”) skupovi
Grafički (Venn-ov) dijagram prikaza dvaju izrazitih (A) i neizrazitih (B)
skupova S i T. Izraziti skupovi su disjunktni, a kod neizrazitih skupova
neki elementi istovremeno pripadaju u oba skupa. Stupanj pripadnosti
neizrazitom skupu izražena je intenzitetom sive boje
Klasična matematička Booleova logika zasniva se na pojmu skupa kojem
neki element pripada ili ne pripada. Na pitanje da li neki element pripada
nekom skupu mogu se dati samo dva odgovora, “da” ili “ne”, ili numerički
izraziti brojevima 1 ili 0. Grafički prikaz takovih skupova (slika 1) su Venn-ove
kružnice s jasno izraženim rubovima
55
Neizraziti skupovi nemaju jasno izražene rubove, kao se njihov sadržaj
postepeno stapa ili preljeva s okolinom (ostalim skupovima). Odgovor na
pitanje da li neki element pripada nekom neizrazitom skupu je moguće
numerički izraziti realnim brojem  u intervalu od   [0,1]. Na primjer,
kada element ne pripada skupu  = 0, za  =0,1 možemo reći da element
malo pripada skupu, za  =0,9 elemnt jako pripada skupu, i  =1 kada
element u potpunosti pripada skupu. Broj  naziva se stupnjem
pripadnosti neizrazitom ili fuzzy skupu. Jasno je da su ovakvi odgovori na
pitanje o pripadnosti skupu kontradiktorni u smislu matematičke
(Booleove) logike, ali zapravo odražavaju ljudsku percepciju, jezik i
zaključivanje.
56
Pojam kontinuirane funkcije pripadnosti (x) definiramo kada
promatramo pripadnost neke fizikalne ili kemijske varijable x neizrazitom
skupu A. Na primjer, precizno i točno mjerimo temperaturu vode T = x i
želimo odrediti stupanj pripadnosti neizrazitom skupu “hladna voda” i
izrazitom skupu “tekuća voda”. Napomena, uobičajeno je nazive
neizrazitih skupova pisati kurzivom ili podebljanim slovima. Funkcija
pripadnosti temperature izrazitom skupu “tekuća voda” je jednoznačan i
prikazan je na slici 2A. Na slici 2B prikazana je jedna od mogućih
funkcija pripadnosti neizrazitom skupu “hladna voda”.
B) skup “hladna voda”
A) skup “tekuća voda”


1
(T)
1
(T)
0
0
-20
0
T / 0C
20
-20
0
T / 0C
20
Prikazi funkcija pripadnosti (T) fizikalne veličine temperatura T skupovima
57
(A) “tekuća voda” i (B) “hladna voda”
funkcija pripadnosti za izraziti skup “tekuća voda”
1
 T   
0
za T  0 0C
za T  0 0C
funkcija pripadnosti za neizraziti skup “hladna voda”

0 za T  0 0C

 T    0,1 za 0  T  20 0C

0 za T  20 0C

58
Lingvistički ili jezični opis sustava sastoji se od skupa jezičnih izraza
(riječi) koje nazivamo lingvističke varijable. Na primjer, za opis
tehnološkog procesa možemo upotrijebiti slijedeće riječi (lingvističke
varijable): viskozna tekućina, siromašna sirovina, optimalan protok,
kvalitetan proizvod, radna temperatura, spora vrtnja miješalice, itd. Smisao
lingvističkih varijabli ima “meku granicu” između kvantitativnog i
kvalitativnog značenja, i često je podložan subjektivnoj interpretaciji. U
neizrazitoj logici jezičnim (lingvističkim) varijablama su pridruženi
neizraziti (fuzzy) skupovi. Na primjer, jezičnoj varijabli faza rasta
mikroorganizma pridruženi su sljedeći neizraziti skupovi: lag faza,
eksponencijalna faza, stacionarna faza.
Definicija jezične varijable: A = { A1, A2, ..... An }
Definicija neizrazitog skupa: Ai = { x, i(x) }
59
Fuzzy logic models
In fuzzy logic models input and output spaces are covered or approximated with discourses of fuzzy sets labeled as linguistic variables
For example, if Ai  X is an i-th fuzzy set it is defined as an ordered
pair:

 
Ai  xt ,  A  xt  xt   X , t  0, t f
where x(t) is a scalar value of an input variable at time t, and A is
called a membership function which is a measure of degree of membership of x(t) to Ai expressed as a scalar value between 0 and 1.
Typical membership functions have a form of a bellshaped or
Gaussian, triangular, square, truncated ramp and other forms
60
Gaussian membership functions
61
Fuzzy Logic Inference Systems
( Mamdani Model )
Logical rules with
linguistic variables
X
AX
AY
Input
space of
physical
variables
Input
space of
linguistic
variables
Output
space of
linguistic
variables
Y
Output
space of
physical
variables
62
Input output relationships are modeled by fuzzy inference
system, FIS.
It is based on fuzzy logic reasoning which is a superset of
classical Boolean logic rules for crisp sets.
Elementary logic operations with fuzzy sets are:
fuzzy intersection or conjunction ( Boolean AND )
 Ai x  Aj x  T  Ai x,  Aj x
A typical choice of T-norm operator is a minimum function
corresponding to Boolean AND, i.e.:
Ai x AND Aj x  minAi x, Aj x
and standard choice to Boolean OR and NOT:
Ai x OR Aj x  maxAi x, Aj x
NOT Ax  1  Ax 
63
between input and output sets by
Fuzzy Inference System.
Fuzzification
x(t)
Fuzzy inference
Defuzzification
y(t)
64
Sugeno (1988) Fuzzy Inference
System
Logic
relations
X
Space of
input
variables
(numbers)
AX
Z
Space of
input
logic
variables
Space of
singelton
MF
(numbers)
Y
Space of
output
variables
(numbers)
Developed for process modeling and identification.
Application in adaptive neural fuzzy logic systems ANFIS
65
In Sugeno FIS for fuzzy inference
polynomial Pn approximation is applied
Y = Pn ( Z ), usually a linear model is used
Y = C1 Z + Co , C1 and Co are constants
Mapping to scalar variables is obtained by averaging
y = WT Y
66
Example:
Fuzzy
logic
control
of
For example, consider a fuzzy logic model of control of a
flow rate ( position offlow
a valverate
piston) based on input
values of temperature T and pH
flow rate
valve position
T
pH
BIOPROCESS
FUZZY
LOGIC
MODEL
Q
67
FIS model Q=f(T,pH)
FUZZY INFERENCE SYSTEM
INPUT
SPACE OF
LINGUISTIC
VARIABLES
FUZZY
RULES
OUTPUT
SPACE OF
LINGUISTIC
VARIABLES
AGGREGATION
FUZZIFICATION
DEFUZZIFICATION
INPUT DATA
T(t) pH(t)
OUTPUT DATA
Q(t)
68
 LOW pH
 LOW T

GOOD T
 HIGH T
T
T

GOOD pH
 HIGH
pH
pH
pH
T
T(t)
pH
pH(t)
69
List of the fuzzy rules for
control of valve position
IF
IF
IF
IF
IF
T is low AND pH
T is low AND
T is high AND
T is high AND
T is good AND
is low OR good
pH is low
pH is high
pH is low
pH is good
THEN valve is half open
THEN valve is open
THEN valve is closed
THEN valve half open
THEN valve half open
70
Membership function of the
fuzzy sets in the output space

CLOSED
VALVE

HALF CLOSED

VALVE
OPEN
VALVE
71
consequents from fuzzy
inference system FIS into a
single fuzzy
variable
output
(t)
FIS rules
Aggregation
to output
VALVE
centroid
~ x   dx y(t) = valve position
x



y (t ) 
~ x   dx


72
Inexact fuzzy-stochastic mixed integer programming approach for long-term planning of waste
management---Part B: Case study
Guo, P.a
, Huang, G.H.b c
Abstract
In this study, a solid waste decision-support system was developed for the long-term planning of
waste management in the City of Regina, Canada. Interactions among various system
components, objectives, and constraints will be analyzed. Issues concerning planning for costeffective diversion and prolongation of the landfill will be addressed. Decisions of systemcapacity expansion and waste allocation within a multi-facility, multi-option, and multi-period
context will be obtained. The obtained results would provide useful information and decisionsupport for the City's solid waste management and planning. In the application, four scenarios
are considered. Through the above scenario analyses under different waste-management
policies, useful decision support for the City's solid waste managers and decision makers was
generated. Analyses for the effects of varied policies (for allowable waste flows to different
facilities) under 35 and 50% diversion goals were also undertaken. Tradeoffs among system cost
and constraint-violation risk were analyzed. Generally, a policy with lower allowable waste-flow
levels corresponded to a lower system cost under advantageous conditions but, at the same
time, a higher penalty when such allowances were violated. A policy with higher allowable flow
levels corresponded to a higher cost under disadvantageous conditions. The modeling results
were useful for (i) scheduling adequate time and capacity for long-term planning of the facility
development and/or expansion in the city's waste management system, (ii) adjusting of the
existing waste flow allocation patterns to satisfy the city's diversion goal, and (iii) generating of
desired policies for managing the city's waste generation, collection and disposal
73
An interval-parameter fuzzy-stochastic programming approach for air quality
management under uncertainty
Lu, H.-W.a , Huang, G.H.a b , Liu, L.c , He, L.a
Abstract
An interval-parameter fuzzy-stochastic programming (IPFSP) approach is
developed for planning air quality management systems under uncertainty. Fuzzy
sets theory is introduced to represent uncertainties existing in various operation
costs under different loading conditions. Compared with the existing
approaches, the proposed IPFSP performs uniqueness through two special
features: one is it could provide more feasible control strategies under different
upcoming pollutant amounts, which was seldom considered in the previous
research efforts; the other is, as a result of interval-parameter programming (IPP)
and two-stage stochastic programming (TSP) being incorporated into the
modeling framework, uncertain information expressed as discrete intervals and
probability density functions can be effectively reflected. After formulating the
model, a representative regional air quality management system is provided for
demonstrating its applicability. The results indicate that reasonable solutions are
obtained, and optimal management strategies with minimized system operation
cost are generated for facilitating decision-making. Of more importance, the
developed approach presents high efficiency in handling complex dissatisfactory
data availability and enhancing system flexibility
74
Water quality assessment model based on index subset weights and its
application
Zhou, H. , Cong, F. , Liang, G.
School of Civil and Hydraulic Engineering, Dalian University of Technology,
Dalian 116024, China
Abstract
A fuzzy pattern recognition model is applied to the water-quality
assessment on the basis of the fact that there exist no clear and absolute
boundaries between different grades of water-quality. The model is
constructed based on the relative membership degrees in fuzzy sets and it
has some superior characteristics compared with the assessment methods
applied at present. Furthermore, there are two criteria on how to decide the
weights of different objectives, one is the effect of single index on
environment pollution, and the other is the mutual-function and the
relationship between different indexes. So based on the idea of
hierarchical analysis, all indexes are classified into several subsets to take
consideration of the interrelation of the indexes of water environment
pollution and then the index subset weights are determined qualitatively
and quantitatively. A case study is given to show how to use the fuzzy
pattern recognition model based on the index subset weights. © 2007
75
Monitoring water quality through a telematic sensor network and a fuzzy
expert system
Hatzikos, E.V.a , Bassiliades, N.b , Asmanis, L.b , Vlahavas, I.b
a Technological Educational Institute of Thessaloniki, Greece
b Department of Informatics, Aristotle University of Thessaloniki, Greece
Abstract
In this paper we present an expert system that monitors seawater quality
and pollution in northern Greece through a sensor network called
Andromeda. The expert system monitors sensor data collected by local
monitoring stations and reasons about the current level of water
suitability for various aquatic uses, such as swimming and piscicultures.
The aim of the expert system is to help the authorities in the decisionmaking process in the battle against pollution of the aquatic environment,
which is vital for public health and the economy of northern Greece. The
expert system determines, using fuzzy logic, when certain environmental
parameters exceed certain pollution limits, which are specified either by
the authorities or by environmental scientists, and flags up appropriate
alerts.
76
NEURONSKE MREŽE (NN Neural Networks)
Umjetne neuronske mreže razvijene su namjerom da se fizikalnim
modelom zamijeni biološki živčani sustav. Matematički model vladanja
neurona opisan je 1943 u radu McCulloch i Pitts(1), što se može smatrati
početkom novog tehničkog i znanstvenog područja pod nazivom umjetna
inteligencija (AI = Artificial Intelligence).
Započet je razvoj različitih fizikalnih i kemijskih modela umjetnog
neurona i njihovog povezivanja u neuronsku mrežu. Primjenjuju
se neuroni izvedeni iz elektroničkih sklopova, elektroničko-optički
neuroni, mikrokemijski reaktori, i enzimski neuroni na čvrstoj
poluvodičkoj podlozi.
Posebno je popularna i prikladna za primjenu uporaba modela
neuronskih mreža u obliku računalnih programa (“software”).
(1) D.E. Rumelhart, J.L. McCleland “Parallel Distributed Processing”, MIT Press, Cambridge, 1986.
77
sinapsa
tijelo
dendrit
Biološki neuron
akson
jezgra
dendrit
Biološke neuronske mreže sadrže izuzetno veliki broj živčanih stanica, tako se procjenjuje da je broj
neurona u mozgu čovjeka reda veličine broja zvijezda u našoj galaksiji, oko 1012. Poznate umjetne
neuronske mreže nemaju niti približno isti broj neurona.
s1
s2
dend
riti
si
sn
Matematički model
neurona
w1
akson
w2
wi
(umjetni neuron)
netS=
Σ si
wn
78
Jakost utjecaja pojedinog signala na aktivnost neurona određena je
njegovim težinskim koeficijentom, w (“weight factor”). Ukupni podražaj
matematičkog neurona određen je zbrojem svih umnožaka težinskih
koeficijenata s pripadajućim vrijednostima razine signala i praga
osjetljivosti. Ako je ukupni podražaj znatno veći od praga osjetljivosti
neuron je aktivan i njegov izlazni signal ima maksimalnu vrijednost. U
suprotnom, kada je ukupni podražaj znatno manji od praga osjetljivosti,
neuron je u neaktivnom stanju i izlazni signal ima minimalnu vrijednost.
Prijelaz između aktivnog i neaktivnog stanja opisuje se funkcijom
aktivnosti. Mogući su različiti izbori funkcija aktivnosti, kao što je na
primjer “sigmoidna” ili “S” funkcija:
1
 x  
x
1 e
Varijabla x je ukupni podražaj neurona određen signalima na svim
dendritima s težinskim koeficijentima (sinaptički prijenos) uključivši i prag
osjetljivosti. Zavisna veličina σ je aktivnost neurona, izlazni signal na
aksonu stanice. Matematički izraz za x koji je ukupan intenzitet podražaja
neurona (net S) glasi
N
x  netS   0   i  ui
i 1
79
Aktivacijska funkcija neurona
80
Matematički model neuronske mreže sastoji se skupine, najčešće velikog
broja, neurona organiziranih u slojevima. Osnovna organizacija neurona
sastoji se od tri sloja, ulaznog, izlaznog i unutarnjeg ili “sakrivenog” sloja.
Prikaz takove jednostavne organizacije neuronske mreže da je na slici
u1
u2
u3
u4
ulazni sloj
unutarnji
sloj
izlazni sloj
y1
y2
Shematski prikaz neuronske mreže,“MLP multilayered perceptron”, s 4
ulazne veličine i dvije izlazne veličine. Mreža se sastoji od 14 neurona
organiziranih u 3 sloja. Ulazni sloj sadrži 4 neurona, izlazni ima 2
neurona, a unutarnji ili sakriveni sloj sadrži 8 neurona. Signali se
prostiru samo unaprijedno, od ulaznog prema izlaznom sloju, odnosno
bez povratnih signala
81
Matematički proračun aktivnosti cjelokupne mreže je relativno jednostavan i
može se opisati sljedećim izrazima


net h  Wh  u


out h   net h




net o  Wo  out h



y   net o 
Parametri  neuronske mreže su težinski koeficijenti svih neurona:

  Wo , Wh 
Parametri neuronske mreže određuju se postupkom učenja (“neural
network training”) u kojem se za mreža adaptira prema uzorku s velikim
brojem poznatih vrijednosti ulaznih i izlaznih veličina. Uzorci za učenje
moraju biti određeni eksperimentom, odnosno mjerenjem ulaznih i izlaznih
veličina.
82
Algoritmom učenja parametri neuronske mreže se mijenjaju tako da se
postigne optimalna vrijednost funkcije cilja vladanja. Kao izbor funkcije
cilja se najčešće koristi statistički kriterij minimizacije varijance između
eksperimentalnih vrijednosti izlaznih veličina i njihovih vrijednosti
određenih neuronskom mrežom. Funkcija cilja je suma kvadrata
pogrešaka SSE (“sum of squares of errors”) eksperimenta i neuronske
mreže:



 T 

SSE    yexp  y NN   yexp  y NN 
N
i 1
Procesom učenja potrebno je odrediti strukturu neuronske mreže,
broj neurona i težinske koeficijente.
Proces učenja se zaustavlja kada je slaganje između vladanja realnog
sustava i neuronske mreže statistički prihvatljivo, odnosno pogreške
neslaganja su slučajnog karaktera.
83
Najvažniji postupak tijekom učenja je statistička verifikacija (“network
validation”) usklađenosti vladanja realnog sustava i neuronske mreže.
U svrhu verifikacije tijekom šaržnog postupka učenja potrebno je skup
vrijednosti ulaznih i izlaznih veličina podijeliti u tri uzorka, prikazano na
slici
S
S1
S2
S3
Uzorci moraju biti tako odabrani da je njihova međusobna kovarijanca
minimalna, odnosno da su statistički nezavisni. Uzorak S1 služi za
iterativni postupak promjene parametara. Na osnovu skupa S2 određuje
se kriterij optimalnog izbora strukture neuronske mreže i težinski
parametara. Treći skup S3 služi za primjenu statističkih procjena značajki
odstupanja vladanja mreže i realnog sustava.
84
Neuronska mreža je optimalno određena kada su pogreške isključivo
slučajnog karaktera prouzročenog pogreškama ulaznih podataka.
Najsloženiji je zadatak određivanja samih težinski parametara. To je
problem nelinearnog optimiranja s velikim brojem varijabli (parametri
mreže). Na primjer, broj varijabli može biti od desetak do više tisuća.
Funkcija cilja SSE nema jedinstveni minimum i potrebno je primijeniti
različite postupke izbjegavanja neprihvatljivih lokalnih minimuma.
Za prihvatljivo vladanje mreže nije nužno određivanje globalnog
minimuma, već je prihvatljiv svaki lokalni minimum koji zadovoljava
statističku verifikaciju vladanja. Najpoznatiji su postupci primjene
gradijenta (metoda najbržeg spusta, Marquardt-Levenbergov postupak,
konjugirani gradijenti, itd.). Gradijent funkcije cilja može se odrediti
formulama za osjetljivost izlaznih veličina o težinskim koeficijentima
cjelokupne mreže.
85
Postupak računanja osjetljivosti započinje sa neuronima na izlaznom sloju,
a zatim se u povratnom smjeru prenosi na unutarnje neurone (“error back
propagation algorithm”). Osjetljivosti se izračunaju primjenom sljedećih
izraza (uz nestandardnu konvenciju pisanja skalarne funkcije vektora):

  d x 
y
 out h
Wo
dx x net o

  d x 
d x 
y
 Wo 
u

Wh
dx x net o
dx x net h
Postupak započinje slučajnim izborom početnih vrijednosti parametara, a
zatim se u sljedećoj iteraciji izračunaju nove vrijednosti. Jedna od mogućih
metoda je primjena postupka momenta prema kojem se nove vrijednosti
parametra određuju na osnovu linearne kombinacije gradijenta funkcije cilja
i prethodne promjene parametara
86

 k 1

 


  k   1   SSE 


  2  
k 1
k
Parametri γ1 i γ2 određuju se na osnovu iskustva s prethodnim
postupcima učenja, najčešće imaju vrijednosti u intervalu od 0 do 1. Da
se izbjegne problem lokalnog minimuma često je potrebno ponoviti
postupak s novim početnim vrijednostima parametara. Suvremeni
algoritmi, kao što je simulacija temperaturnog opuštanja materijala
(“simulated anealling”), genetički algoritam (GA), diferencijalna evolucija
(differential evolution), simpleks algoritam, omogućuje veću vjerojatnost
nalaženja globalnog minimuma.
Računalni programi za razvoj i verifikaciju neuronskih mreža sastavni
su dijelovi suvremenih računalnih sustava kao što su Wolfram
Research Mathematica, Statistica, MATLAB. Na Internetu se može naći
veliki broj različitog softwarea s brojnim primjerima iz raznih struka.
87
Wat. Res. Vol. 35, No. 16, pp. 3959–3967, 2001
A HYBRID ARTIFICIAL NEURAL NETWORK AS A SOFTWARE SENSOR FOR OPTIMAL
CONTROL OF A WASTE WATER TREATMENT PROCESS
DONG-JIN CHO I and HEEK YUNG PARK
For control and automation of biological treatment processes, lack of reliable on-line
sensors to measure water quality parameters is one of the most important problems
to overcome.
Many parameters cannot be measured directly with on-line sensors. The
accuracy of existing hardware sensors is also not sufficient and
maintenance problems such as electrode fouling often cause trouble.
88
We propose a hybrid neural network as a software sensor inferring
wastewater quality parameter. Multivariate regression, artificial neural
networks (ANN), and a hybrid technique that combines principal
component analysis as a preprocessing stage are applied to data from
industrial wastewater processes.
The hybrid ANN technique shows an enhancement of prediction
capability and reduces the overfitting problem of neural networks. The
result shows that the hybrid ANN technique can be used to extract
information from noisy data and to describe the nonlinearity of complex
wastewater treatment processes.
89
usporedi s podacima iz Splita
TKN 1
Nelinearna interakcija
Principal components
uklanjanje kolinearnosti i mjerne
pogreške
Struktura neuronske mreže
5 neurona na ulaznom sloju
10 neurona na untarnjem (sakrivenom) sloju
1nije
mjereno u Splitu
1 neuron na izlaznom sloju
90
PCA analiza, prvih 5 glavnih komponenata objašnjava 72 % varijance.
Prva glavna komponenta, objašnjava 21 % varijance.
91
optimalni model
ovo nije optimalni
model
Primjer učenja bez pojave “overfitting”.
92
Primjer učenja s pojavom “overfitting”, pogrešan model!
93
Rezultati predikcije NN modela kada su svi podaci uključeni za
učenje (“training”).
94
Rezultati predikcije kada su podaci podijeljeni za učenje i validaciju,
95
najbolji model
ovo nije najbolji model
iako je pogreška
najmanja
96
Conclusions
The hybrid ANN model that integrates the PCA reduced RMSE to 13.82
which is 6.86% of the average value of TKN. In a routine procedure to
measure TKN, relative errors for synthetic samples range from 2.6 to
20% (APHA,1992). This result of RMSE is allowable for practical
application.
The hybrid ANN method proposed in this paper may also be used for
fault monitoring and the detection of toxicity in biological wastewater
treatment processes.
97