Transcript Document

最尤推定によるロジスティック回帰
対数尤度関数の最大化
指数関数
a > 0 と任意の有理数x,yに対して
axay=ax+y
ax/ay=ax-y
(ax)y=axy
が成立する。このように定義され
た ax を指数関数と呼ぶ
対数の意味
a > 0 かつ a ≠ 1 ならば y > 0 の値を
指定すれば y = ax を満たす x の値は
ただ一つ決まる。そこで y = a x を x に
ついて解いた式を
x = loga y
という記号で表す。
対数における各部の名称
x = loga y
において
a を 底 （てい）
y を 真数 （しんすう）
と呼ぶ。
対数関数
x,y を入れ替えて表記した関数
y = log a x
を対数関数と呼ぶ。
特に a = e のときは自然対数と呼
び log x と表す
指数関数と対数関数の関係
y = log x は x = の逆関数で
あるから
y = log x と x = ey は x と y の関
係式としては同じものである。
y
e
対数関数における指数法則
指数関数と対数関数
問題
以下の指数関数を対数関数で表しなさい
1 e
0
log1  0
問題
以下の指数関数を対数関数で表しなさい
ee
1
log e  1
問題
x , y を以下の関数とする xy を求めなさい
xe
n
ye
m
xy  e e  e
m n
m n
問題
以下の指数関数を対数関数で表しなさい
m
log x  m
n
log y  n
m n
log xy  m  n
xe
ye
xy  e
 log x  log y
問題
x を以下の関数とする。 xy を求めなさい
xe
m
 
x  e
y
m y
e
my
問題
以下の指数関数を対数関数で表しなさい
xe
x e
y
log x  m
m
my
log x  my
 y log x
y
対数変換
関数の変換
対数変換
y = f (x) とする。
ここで両辺の値を真数とする対
数をとると、以下の式が成り立つ。
log y=log f (x)
この変換を対数変換という。
従属変数が質的データの場合
• 製造工程における熱処理時間を x とする。
• x を1から7（秒）まで変化させて、各条件で
100個の製品を製造した結果を観測
• 不良であれば（y = 1）、良品であれば（y = 0）
データサンプル（１）
No x y No x y No x y No x y No x y No x y No x y No x y No x y No x y
1 1 1 11 1 0 21 1 0 31 1 0 41 1 0 51 1 0 61 1 0 71 1 0 81 1 0 91 1 0
2 1 1 12 1 0 22 1 0 32 1 0 42 1 0 52 1 0 62 1 0 72 1 0 82 1 0 92 1 0
3 1 1 13 1 0 23 1 0 33 1 0 43 1 0 53 1 0 63 1 0 73 1 0 83 1 0 93 1 0
4 1 0 14 1 0 24 1 0 34 1 0 44 1 0 54 1 0 64 1 0 74 1 0 84 1 0 94 1 0
5 1 0 15 1 0 25 1 0 35 1 0 45 1 0 55 1 0 65 1 0 75 1 0 85 1 0 95 1 0
6 1 0 16 1 0 26 1 0 36 1 0 46 1 0 56 1 0 66 1 0 76 1 0 86 1 0 96 1 0
7 1 0 17 1 0 27 1 0 37 1 0 47 1 0 57 1 0 67 1 0 77 1 0 87 1 0 97 1 0
8 1 0 18 1 0 28 1 0 38 1 0 48 1 0 58 1 0 68 1 0 78 1 0 88 1 0 98 1 0
9 1 0 19 1 0 29 1 0 39 1 0 49 1 0 59 1 0 69 1 0 79 1 0 89 1 0 99 1 0
10 1 0 20 1 0 30 1 0 40 1 0 50 1 0 60 1 0 70 1 0 80 1 0 90 1 0 100 1 0
データサンプル（２）
No x y No x y No x y No x y No x y No x y No x y No x y No x y No x y
101 2 1 111 2 0 121 2 0 131 2 0 141 2 0 151 2 0 161 2 0 171 2 0 181 2 0 191 2 0
102 2 1 112 2 0 122 2 0 132 2 0 142 2 0 152 2 0 162 2 0 172 2 0 182 2 0 192 2 0
103 2 1 113 2 0 123 2 0 133 2 0 143 2 0 153 2 0 163 2 0 173 2 0 183 2 0 193 2 0
104 2 1 114 2 0 124 2 0 134 2 0 144 2 0 154 2 0 164 2 0 174 2 0 184 2 0 194 2 0
105 2 1 115 2 0 125 2 0 135 2 0 145 2 0 155 2 0 165 2 0 175 2 0 185 2 0 195 2 0
106 2 1 116 2 0 126 2 0 136 2 0 146 2 0 156 2 0 166 2 0 176 2 0 186 2 0 196 2 0
107 2 0 117 2 0 127 2 0 137 2 0 147 2 0 157 2 0 167 2 0 177 2 0 187 2 0 197 2 0
108 2 0 118 2 0 128 2 0 138 2 0 148 2 0 158 2 0 168 2 0 178 2 0 188 2 0 198 2 0
109 2 0 119 2 0 129 2 0 139 2 0 149 2 0 159 2 0 169 2 0 179 2 0 189 2 0 199 2 0
110 2 0 120 2 0 130 2 0 140 2 0 150 2 0 160 2 0 170 2 0 180 2 0 190 2 0 200 2 0
データサンプル（３）
No x y No x y No x y No x y No x y No x y No x y No x y No x y No x y
201 3 1 211 3 1 221 3 1 231 3 0 241 3 0 251 3 0 261 3 0 271 3 0 281 3 0 291 3 0
202 3 1 212 3 1 222 3 0 232 3 0 242 3 0 252 3 0 262 3 0 272 3 0 282 3 0 292 3 0
203 3 1 213 3 1 223 3 0 233 3 0 243 3 0 253 3 0 263 3 0 273 3 0 283 3 0 293 3 0
204 3 1 214 3 1 224 3 0 234 3 0 244 3 0 254 3 0 264 3 0 274 3 0 284 3 0 294 3 0
205 3 1 215 3 1 225 3 0 235 3 0 245 3 0 255 3 0 265 3 0 275 3 0 285 3 0 295 3 0
206 3 1 216 3 1 226 3 0 236 3 0 246 3 0 256 3 0 266 3 0 276 3 0 286 3 0 296 3 0
207 3 1 217 3 1 227 3 0 237 3 0 247 3 0 257 3 0 267 3 0 277 3 0 287 3 0 297 3 0
208 3 1 218 3 1 228 3 0 238 3 0 248 3 0 258 3 0 268 3 0 278 3 0 288 3 0 298 3 0
209 3 1 219 3 1 229 3 0 239 3 0 249 3 0 259 3 0 269 3 0 279 3 0 289 3 0 299 3 0
210 3 1 220 3 1 230 3 0 240 3 0 250 3 0 260 3 0 270 3 0 280 3 0 290 3 0 300 3 0
データサンプル（４）
No x y No x y No x y No x y No x y No x y No x y No x y No x y No x y
301 4 1 311 4 1 321 4 1 331 4 1 341 4 1 351 4 0 361 4 0 371 4 0 381 4 0 391 4 0
302 4 1 312 4 1 322 4 1 332 4 1 342 4 1 352 4 0 362 4 0 372 4 0 382 4 0 392 4 0
303 4 1 313 4 1 323 4 1 333 4 1 343 4 1 353 4 0 363 4 0 373 4 0 383 4 0 393 4 0
304 4 1 314 4 1 324 4 1 334 4 1 344 4 1 354 4 0 364 4 0 374 4 0 384 4 0 394 4 0
305 4 1 315 4 1 325 4 1 335 4 1 345 4 1 355 4 0 365 4 0 375 4 0 385 4 0 395 4 0
306 4 1 316 4 1 326 4 1 336 4 1 346 4 1 356 4 0 366 4 0 376 4 0 386 4 0 396 4 0
307 4 1 317 4 1 327 4 1 337 4 1 347 4 0 357 4 0 367 4 0 377 4 0 387 4 0 397 4 0
308 4 1 318 4 1 328 4 1 338 4 1 348 4 0 358 4 0 368 4 0 378 4 0 388 4 0 398 4 0
309 4 1 319 4 1 329 4 1 339 4 1 349 4 0 359 4 0 369 4 0 379 4 0 389 4 0 399 4 0
310 4 1 320 4 1 330 4 1 340 4 1 350 4 0 360 4 0 370 4 0 380 4 0 390 4 0 400 4 0
データサンプル（５）
No x y No x y No x y No x y No x y No x y No x y No x y No x y No x y
401 5 1 411 5 1 421 5 1 431 5 1 441 5 1 451 5 1 461 5 1 471 5 1 481 5 0 491 5 0
402 5 1 412 5 1 422 5 1 432 5 1 442 5 1 452 5 1 462 5 1 472 5 1 482 5 0 492 5 0
403 5 1 413 5 1 423 5 1 433 5 1 443 5 1 453 5 1 463 5 1 473 5 1 483 5 0 493 5 0
404 5 1 414 5 1 424 5 1 434 5 1 444 5 1 454 5 1 464 5 1 474 5 1 484 5 0 494 5 0
405 5 1 415 5 1 425 5 1 435 5 1 445 5 1 455 5 1 465 5 1 475 5 1 485 5 0 495 5 0
406 5 1 416 5 1 426 5 1 436 5 1 446 5 1 456 5 1 466 5 1 476 5 1 486 5 0 496 5 0
407 5 1 417 5 1 427 5 1 437 5 1 447 5 1 457 5 1 467 5 1 477 5 1 487 5 0 497 5 0
408 5 1 418 5 1 428 5 1 438 5 1 448 5 1 458 5 1 468 5 1 478 5 0 488 5 0 498 5 0
409 5 1 419 5 1 429 5 1 439 5 1 449 5 1 459 5 1 469 5 1 479 5 0 489 5 0 499 5 0
410 5 1 420 5 1 430 5 1 440 5 1 450 5 1 460 5 1 470 5 1 480 5 0 490 5 0 500 5 0
データサンプル（６）
No x y No x y No x y No x y No x y No x y No x y No x y No x y No x y
501 6 1 511 6 1 521 6 1 531 6 1 541 6 1 551 6 1 561 6 1 571 6 1 581 6 1 591 6 1
502 6 1 512 6 1 522 6 1 532 6 1 542 6 1 552 6 1 562 6 1 572 6 1 582 6 1 592 6 0
503 6 1 513 6 1 523 6 1 533 6 1 543 6 1 553 6 1 563 6 1 573 6 1 583 6 1 593 6 0
504 6 1 514 6 1 524 6 1 534 6 1 544 6 1 554 6 1 564 6 1 574 6 1 584 6 1 594 6 0
505 6 1 515 6 1 525 6 1 535 6 1 545 6 1 555 6 1 565 6 1 575 6 1 585 6 1 595 6 0
506 6 1 516 6 1 526 6 1 536 6 1 546 6 1 556 6 1 566 6 1 576 6 1 586 6 1 596 6 0
507 6 1 517 6 1 527 6 1 537 6 1 547 6 1 557 6 1 567 6 1 577 6 1 587 6 1 597 6 0
508 6 1 518 6 1 528 6 1 538 6 1 548 6 1 558 6 1 568 6 1 578 6 1 588 6 1 598 6 0
509 6 1 519 6 1 529 6 1 539 6 1 549 6 1 559 6 1 569 6 1 579 6 1 589 6 1 599 6 0
510 6 1 520 6 1 530 6 1 540 6 1 550 6 1 560 6 1 570 6 1 580 6 1 590 6 1 600 6 0
データサンプル（７）
No x y No x y No x y No x y No x y No x y No x y No x y No x y No x y
601 7 1 611 7 1 621 7 1 631 7 1 641 7 1 651 7 1 661 7 1 671 7 1 681 7 1 691 7 1
602 7 1 612 7 1 622 7 1 632 7 1 642 7 1 652 7 1 662 7 1 672 7 1 682 7 1 692 7 1
603 7 1 613 7 1 623 7 1 633 7 1 643 7 1 653 7 1 663 7 1 673 7 1 683 7 1 693 7 1
604 7 1 614 7 1 624 7 1 634 7 1 644 7 1 654 7 1 664 7 1 674 7 1 684 7 1 694 7 1
605 7 1 615 7 1 625 7 1 635 7 1 645 7 1 655 7 1 665 7 1 675 7 1 685 7 1 695 7 1
606 7 1 616 7 1 626 7 1 636 7 1 646 7 1 656 7 1 666 7 1 676 7 1 686 7 1 696 7 1
607 7 1 617 7 1 627 7 1 637 7 1 647 7 1 657 7 1 667 7 1 677 7 1 687 7 1 697 7 1
608 7 1 618 7 1 628 7 1 638 7 1 648 7 1 658 7 1 668 7 1 678 7 1 688 7 1 698 7 0
609 7 1 619 7 1 629 7 1 639 7 1 649 7 1 659 7 1 669 7 1 679 7 1 689 7 1 699 7 0
610 7 1 620 7 1 630 7 1 640 7 1 650 7 1 660 7 1 670 7 1 680 7 1 690 7 1 700 7 0
y = 1の確率 y = 0の確率
y = 1のときの確率を p とし、 y = 0 のとき
の確率を 1 - p とすると y が得られる尤
度は以下のようにあらわされる。
li  pi 1  pi 
yi
1 yi
尤度関数
• 得られた n 個の観測値がそれぞれ独立な確
率であるとみなし、同時確率を算出する。
• n 個の同時確率を表す関数を尤度関数と呼
ぶ
• 尤度関数は li の積で求められる。
n
L  l1  l2  li   li
i 1
尤度関数と対数尤度関数
• 尤度関数は 0 ≦ pi ≦ 1の積であるため極めて
小さい値となることが少なくない。
• そこで尤度関数を対数変換したものが利用さ
れる。
• 対数関数は単調関数なので、尤度関数を最
大化するパラメータは対数尤度関数を最大化
するパラメータに一致する。
問題
尤度関数を対数変換しなさい
n

L   pi 1  pi 
yi
1 yi

i 1
n
log L    yi log pi  1  yi  log1  pi 
11
問題
pi を以下の式とする。1-piを求めなさい
1
pi 
1  exp   xi 
1
1  pi 
1  exp  x 
対数尤度の算出
logli  yi log pi  1  yi log1  pi 
1
pi 
1  exp   xi 
1
1  pi 
1  exp  x 
最尤推定
• 対数尤度関数に、ロジスティック回帰モデル
のpiを代入し、対数尤度関数を最大化するよ
うに,を推定すればよい（最尤推定）。
• 推定には通常、ニュートン・ラプソン法が用
いられる。
1
yi 
1  exp28.58 0.42 xi 