Transcript Mô hình ANN


GVHD: PGS. TS. Dương Tuấn Anh
GVPB: TS. Võ Thị Ngọc Châu
SVTH1:
 Trần Thế Sĩ – 50801793
SVTH2: Đinh Kim Ngân - 50801336
12/2012







Giới thiệu chuỗi thời gian và các khái niệm liên
quan
Mô hình ARIMA
Mô hình ANN
Mô hình kết hợp ARIMA-ANN
Kết quả thực nghiệm
Kết luận
Q&A







Giới thiệu chuỗi thời gian và các khái niệm liên
quan
Mô hình ARIMA
Mô hình ANN
Mô hình kết hợp ARIMA-ANN
Kết quả thực nghiệm
Kết luận
Q&A


Dữ liệu được thu nhập, lưu trữ và quan sát theo sự
tăng dần của thời gian
Chuỗi thời gian tuyến tính
 Thành phần mùa
 Thành phần chu kì
 Thành phần xu hướng
 Thành phần bất qui tắc

Chuỗi thời gian phi tuyến tính


Việc xác định một chuỗi thời gian có thành phần xu
hướng hay thành phần mùa rất quan trọng trong bài
toán dự báo chuỗi thời gian. Nó giúp ta lựa chọn
được mô hình dự báo phù hợp hay giúp cải tiến mô
hình đã có chính xác hơn.
Có 2 cách phổ biến giúp nhận ra các thành phần
của chuỗi thời gian tuyến tính:
 Phương pháp đồ thị
 Phân tích hệ số tự tương quan


Hệ số tự tương quan rất lớn ở những độ trễ đầu tiên và giảm dần
theo sự tăng của độ trễ.
Có thể được xấp xỉ bằng 1 đường thẳng hoặc đường cong trơn



(1) 𝐸 𝑋𝑡 = 𝜇 ∀𝑡
(2) 𝐶𝑜𝑣 𝑋𝑡 , 𝑋𝑡+𝑘 = 𝛾𝑘 ∀𝑡
Hệ số tự tương quan của chuỗi thời gian tĩnh giảm
nhanh về 0, thông thường sau độ trễ thứ 2 hoặc thứ 3.


Những dao động dạng sóng quanh xu hướng luôn
thay đổi cả về biên độ và khoảng thời gian xuất hiện
Xem như là một phần của thành phần xu hướng


Thành phần thể hiện sự biến đổi lặp đi lặp lại tại từng
thời điểm cố định theo từng năm của chuỗi thời gian
Hệ số tự tương quan tại những thời điểm cố định theo
từng năm sẽ có sự tương quan lớn với nhau
Thành phần
Kĩ thuật dự báo
Trung bình di động (Moving
Chuỗi
tĩnh
Xu hướng
tính
Mô hình đơn giản có ít dữ liệu
Average )
ban đầu: công ty mới thành lập.
Tự hồi quy kết hợp trung bình di
Những chuỗi thời gian được sinh
động (Autoregressive Moving
ra trong những điều kiện, môi
Average )
trường ổn định.
Trung bình di động (Moving
Tuyến
Áp dụng
Xuất hiện trong thời đoạn phát
Average )
triển của dòng đời 1 sản phẩm.
Tự hồi qui tích hợp trung bình di
Sự gia tăng dân số làm tăng lên
động (Autoregressive Integrated
nhu cầu về lương thực, thực
Moving Average )
phẩm, dịch vụ.
Mô hình làm trơn theo hàm mũ Những dữ liệu này thường gắn
của Winter (Winter’s exponential liền với chu kì thời tiết, hoặc là
Mùa
smoothing)
các mốc thời gian đặc biệt của
Tự hồi qui tích hợp trung bình di năm (khai giảng, giáng sinh,
động
Phi tuyến
Mạng nơron nhân tạo (ANN)
Tết…)







Giới thiệu chuỗi thời gian và các khái niệm liên
quan
Mô hình ARIMA
Mô hình ANN
Mô hình kết hợp ARIMA-ANN
Kết quả thực nghiệm
Kết luận
Q&A





Mô hình trung bình di động bậc q, MA(q)
Mô hình tự hồi quy bậc p, AR(p)
Mô hình kết hợp tự hồi quy và trung bình di động
ARMA(p,q)
Mô hình tự hồi quy tích hợp với trung bình di động
ARIMA(p,d,q)
Mô hình ARIMA có tính mùa SARIMA(p,q,d)(P,Q,D)s

Mô hình MA(q)
𝑦𝑡 = 𝜇 + 𝜀𝑡 − 𝜃1 𝜀𝑡−1 − ⋯ − 𝜃𝑞 𝜀𝑡−𝑞

Dấu hiệu nhận biết
 Hệ số tự tương quan bằng 0
với độ trễ lớn hơn q
 Hệ số tự tương quan riêng
phần giảm dần về 0
Mô hình MA(2)
yt = 40 + εt + 0.7εt−1 − 0.28εt−2

Mô hình AR(p)
𝑦𝑡 = 𝛿 + 𝜙1 𝑦𝑡−1 + ⋯ + 𝜙𝑝 𝑦𝑡−𝑝 + 𝜀𝑡

Dấu hiệu nhận biết:
 Hệ số tương quan giảm dần
về 0
 Hệ số tương quan riêng
phần bằng 0 với độ trễ lớn
hơn p
ACF và PACF của mô hình 𝑦𝑡 =
4 + 0.4𝑦𝑡−1 + 0.5𝑦𝑡−2 + 𝜀𝑡

Mô hình ARMA(p,q)
𝑦𝑡
= 𝜙1 𝑦𝑡−1 + ⋯ + 𝜙𝑝 𝑦𝑡−𝑝 + 𝜀𝑡
+ 𝜃1 𝜀𝑡−1 + ⋯ + 𝜃𝑞 𝜀𝑡−𝑞

Dấu hiệu nhận biết
 Hệ số tương quan bằng 0
sau độ trễ q
 Hệ số tương quan riêng
phần bằng 0 sau độ trễ p
ACF và PACF của mô hình 𝑦𝑡 =
4 + 0.4𝑦𝑡−1 + 0.5𝑦𝑡−2 + 𝜀𝑡 +
0.7εt−1 − 0.28εt−2

Mô hình ARIMA(p,d,q)

Dấu hiệu nhận biết
 Chuỗi thời gian không tĩnh,
có xu hướng
 Hệ số tương quan giảm rất
chậm

Mô hình ARIMA(p,d,q)

Phương pháp lấy hiệu để khử
tính xu hướng: cho {Xt}
 Lần 1: Yt = Xt+1 – Xt = ∆𝑋𝑡
 Lần 2: Zt = Yt+1 – Yt = ∆2𝑋𝑡
..…
 Lần d: Wt = ∆𝑑𝑋𝑡

Mô hình SARIMA(p,d,q)(P,D,Q)s

Nhận biết: Hệ số ACF rất lớn tại các
cận mùa

Cách xác định chu kì mùa
 Xác định các hệ số tương quan cực
trị.
 Tính khoảng cách giữa các hệ số
tương quan cực trị.
 Nhận dạng khoảng cách được lặp
lại nhiều nhất, nếu tần suất của
khoảng cách này lớn thì đó chính
là chu kì mùa.
Môđun nhận dạng mô hình
Môđun khử mùa và xu hướng
Môđun ước lượng tham số
Môđun dự báo

Mô hình SARIMA(p,d,q)(P,D,Q)s

Xác định bậc lấy hiệu d để loại bỏ tính xu hướng
Loại bỏ tính mùa: chuỗi dữ liệu được lấy hiệu D lần với
khoảng lấy hiệu là s
Xác định bậc cho thành phần dữ liệu tĩnh: p, q
Xác định bậc cho thành phần mùa: P, Q




Xác định mô hình bằng cách phân tích tính chất ACF, PACF
Tỉ lệ thay đổi trung bình:



1
∆= 𝑀
𝑀 |𝑟𝑘 |−|𝑟𝑘+1 |
𝑘=0
|𝑟 |
𝑘
Nếu ∆ > 65% thì kết luận mẫu có hệ số tự tương quan bằng 0 sau 1 vài
độ trễ.
Nếu ∆ > 10% thì kết luận mẫu có hệ số tự tương quan giảm dần về 0.
Các trường hợp còn lại thì ta xem mẫu có hệ số tự tương quan biến đổi
theo hàm mũ.
 Các chuỗi dữ liệu rất phức tạp và thường mang tính xu hướng
hoặc tính mùa
 Các chuỗi dữ liệu cần được biến đổi thành các quá trình tĩnh
trước khi đưa vào thành phần nhận dạng mô hình
 Lấy hiệu là kĩ thuật được sử dụng phổ biến nhất
 Khi dự báo, ta cần chuyển đổi lại dữ liệu như ban đầu




Mô hình SARIMA là một mô hình tổng quát có thể
sử dụng cho nhiều loại chuỗi thời gian trong thực
tế, kể cả những chuỗi có thành phần xu hướng và
thành phần mùa.
Tuy nhiên mô hình SARIMA không thể dự đoán
thành phần phi tuyến của chuỗi thời gian.
Để xây dựng mô hình SARIMA cần phải có nhiều dữ
liệu.
Không dễ cập nhập mô hình khi có thêm dữ liệu
mới, thường là mô hình mới sẽ được xây dựng







Giới thiệu chuỗi thời gian và các khái niệm liên
quan
Mô hình ARIMA
Mô hình ANN
Mô hình kết hợp ARIMA-ANN
Kết quả thực nghiệm
Kết luận
Q&A
Sơ lược về mạng nơron
 Mạng nơron nhân tạo
 Giải thuật lan truyền ngược
 Giải thuật RPROP
 Xây dựng mô hình ANN
 Kết luận mô hình ANN





Tế bào hình cây có nhiệm vụ mang tín hiệu điện sinh học tới tế
bào thân
Tế bào thân sẽ thực hiện tính tổng và phân ngưỡng (thresholds)
các tín hiệu đến
Sợi trục thần kinh có nhiệm vụ đưa tín hiệu từ tế bào thân ra
ngoài
Khớp thần kinh (synapse) là điểm tiếp xúc giữa sợi trục thần kinh
này với tế bào hình cây của nơron kia
Mạng truyền thẳng
Mạng hồi quy



Tìm tập các trọng số thích hợp cho một mạng
nơron truyền thẳng nhiều lớp
Áp dụng phương pháp giảm độ dốc để tối thiểu hóa
bình phương sai số
Giá trị lỗi sẽ được lan truyền ngược từ tầng xuất về
tầng nhập để tính 𝛻𝐸 𝑤
𝜕𝐸
∆𝑤𝑖𝑗 𝑡 = −𝜂
𝑡 + 𝜇 ∗ ∆𝑤𝑖𝑗 𝑡 − 1
𝜕𝑤𝑖𝑗

Ưu điểm:
 Đơn giản nên dễ áp dụng

Nhược điểm:
 Khó khăn trong việc lựa chọn tham số đầu vào
 Phụ thuộc vào độ lớn đạo hàm lỗi
 Quá trình học không ổn định




Resilient Propagation
Lan truyền đàn hồi là một phương pháp thích nghi cục bộ
Cập nhập các trọng số 𝑤𝑖𝑗 dựa vào thông tin về dấu của
các đạo hàm riêng phần
Thực hiện theo mô hình học theo epoch nghĩa là cập nhật
hệ số dựa vào thông tin của tổng độ dốc cho toàn bộ tập
dữ liệu

Việc khởi tạo giá trị ban đầu cho các tham
số ít ảnh hưởng đến tốc độ hội tụ

Việc cập nhật dựa vào dấu của đạo hàm
riêng phần nên việc cập nhật sẽ trải đều cho
toàn mạng chứ không thiên vị như mô hình
lan truyền ngược








Lựa chọn các biến
Thu thập dữ liệu
Tiền xử lý dữ liệu
Phân chia tập dữ liệu
Xây dựng cấu trúc mạng
Xác định tiêu chuẩn đánh giá
Huấn luyện mạng
Dự báo và cải tiến


Tập huấn luyện, kiểm tra và kiểm định (ngoài các
mẫu)
 Tập huấn luyện thường có kích thước lớn nhất
 Tập kiểm tra chiếm khoảng 10% - 30% dữ liệu tập
huấn luyện
 Tập kiểm định phụ thuộc vào kích thước mẫu, bao
gồm các giá trị dự đoán mới nhất
Phương pháp walk-forward



Xác định sự liên kết giữa các nơron
Xác định số lớp ẩn: thông thường các mạng nơron
được khởi tạo với một hoặc hai lớp ẩn.
Xác định số nơron trong từng lớp:
 Tạo ra một số mô hình mẫu, huấn luyện và chọn
mô hình có lỗi tối ưu nhất
 Thay đổi cấu trúc ngay trong giai đoạn huấn luyện
(phức tạp)

Thường dùng tổng bình phương lỗi
𝑛
𝑆𝑆𝐸 =
𝑡𝑘 − 𝑜𝑘
2
𝑘=1

Trong đó:
 n là số điểm trong tập dữ liệu kiểm tra
 tk và ok lần lượt là giá trị mong muốn trong bộ dữ liệu và
giá trị xuất của mạng nơron


Mục tiêu của việc huấn luyện mạng đó là tìm ra tập các
trọng số cho ta giá trị nhỏ nhất toàn cục của chỉ số hiệu
năng hay hàm lỗi
Có ba cách thường dùng để dừng một quá trình huấn
luyện:
 điểm hội tụ
 số lần lặp tối đa
 sử dụng tập dữ liệu kiểm định (validation set)



Dự đoán tốt thành phần phi tuyến của chuỗi thời gian
Phụ thuộc nhiều vào cấu hình của mạng (số lớp, số
đơn vị mỗi lớp) và các tham số của giải thuật huấn
luyện
Đối với những chuỗi thời gian có xu hướng và tính
mùa chương trình sử dụng mạng nơron dự đoán với
độ chính xác chưa cao







Giới thiệu chuỗi thời gian và các khái niệm liên
quan
Mô hình ARIMA
Mô hình ANN
Mô hình kết hợp ARIMA-ANN
Kết quả thực nghiệm
Kết luận
Q&A




Mô hình ARIMA không giải quyết được chuỗi phi
tuyến
Mô hình ANN không giải quyết tốt chuỗi tuyến tính
Khó xác định được một chuỗi thời gian thuần phi
tuyến hay tuyến tính
Một chuỗi thời gian thường bao gồm cả 2 thành phần
phi tuyến, tuyến tính

Mô hình 𝑌𝑡 = 𝐿𝑡 + 𝑁𝑡
L: biểu diễn thành phần
tuyến tính của chuỗi thời
gian được ước lượng bởi
mô hình SARIMA
 N: biểu diễn thành phần
phi tuyến của chuỗi thời
gian được ước lượng bởi
mô hình ANN


Dự đoán 𝑌𝑡 = 𝐿𝑡 + 𝑁𝑡







Giới thiệu chuỗi thời gian và các khái niệm liên
quan
Mô hình ARIMA
Mô hình ANN
Mô hình kết hợp ARIMA-ANN
Kết quả thực nghiệm
Kết luận
Q&A

Sai số tuyệt đối trung bình lỗi MAE (mean absolute error)
tính theo công thức:
 𝑀𝐴𝐸 =

𝑛
𝑖=1
𝑌𝑡 − 𝑌𝑡
Sai số trung bình bình phương lỗi MSE (mean squared
error) tính theo công thức:
 𝑀𝑆𝐸 =

1
𝑛
1
𝑛
𝑛
𝑡=1
𝑌𝑡 − 𝑌𝑡
2
Sai số tuyệt đối phần trăm lỗi MAPE (mean absolute
percentage error) được tính theo công thức:
100
𝑀𝐴𝑃𝐸 =
×
𝑛
𝑛
𝑡=1
𝑌𝑡− 𝑌𝑡
𝑌𝑡
Chuỗi dữ liệu có tính mùa và xu hướng
Dữ liệu phi tuyến tính







Giới thiệu chuỗi thời gian và các khái niệm liên
quan
Mô hình ARIMA
Mô hình ANN
Mô hình kết hợp ARIMA-ANN
Kết quả thực nghiệm
Kết luận
Q&A



Đối với các chuỗi dữ liệu chỉ có tính mùa hoặc xu
hướng thì mô hình SARIMA có kết quả chính xác hơn
mô hình mạng nơron
Đối với các chuỗi dữ liệu có tính phi tuyến thì mô
hình mạng nơron cho kết quả chính xác hơn.
Mô hình kết hợp có thể dự báo với nhiều loại dữ liệu
hơn các mô hình thành phần và cho kết quả chính
xác hơn




Tìm hiểu về dữ liệu chuỗi thời gian và các tính chất của
chuỗi thời gian.
Tìm hiểu về cấu trúc và nguyên lý hoạt động của mạng
nơron nhân tạo và hai giải thuật huấn luyện phổ biến: lan
truyền ngược và RPROP.
Tìm hiểu về cấu trúc và nguyên lý hoạt động của mô hình
SARIMA.
Tìm hiểu nguyên lý kết hợp hai mô hình mạng nơron và
ARIMA.




Hiện thực được chương trình tự động xây dựng mô hình
SARIMA.
Mở rộng mô hình kết hợp từ ARIMA-ANN thành SARIMAANN giúp dự báo chuỗi thời gian tổng quát hơn và chính
xác hơn.
Cải tiến phương thức tự đông nhận dạng chu kì mùa của
chuỗi thời gian.
Thực hiện chạy thử nghiệm chương trình trên các bộ dữ liệu
mẫu khác nhau, từ đó kiểm tra tính đúng đắn của cơ sở lý
thuyết.


Hạn chế
 Chỉ sử dụng các dữ liệu thu thập sẵn nên đa số dữ liệu
được xem như đã chuẩn hóa.
 Chưa chạy thực nghiệm trên dữ liệu lớn ( vài nghìn
quan sát)
Định hướng
 Kết hợp các phương pháp xử lý tính mùa và xu hướng
khác cho mô hình SARIMA thay vì chỉ dùng phương
pháp lấy hiệu như hiện nay.
 Xây dựng mô hình ước lượng trực tuyến