Transcript Slides

Counting Knapsack Solutions
using dynamic programming
Definition des Problems
• Gewichte 𝑤1 , … , 𝑤𝑛 ∈ ℕ
• Kapazität 𝐶 ∈ ℕ
• 𝑊 ∶= {𝑤1 , … , 𝑤𝑛 }
• Gesucht ist 𝐵 ∈ 𝑃 𝑊 ∶
𝑤∈𝐵 𝑤
≤𝐶
• „Zahl der gültigen Bepackungen für einen Rucksack der Größe C“
Lösungsansatz:
• Das Problem ist NP-schwer.
• Wir leiten zwei streng polynomielle Approximationsschemas her.
• Das erste ist ein randomisierter Algorithmus.
• Das zweite ist ein deterministischer Algorithmus.
Randomisiertes polynomielles
Approximationsschema
Ansatz
• Definiere 𝐹 𝑟, 𝑐 ≔ 𝐵 ∈ 𝑃 𝑊𝑟 ∶
• 𝐹 𝑛, 𝐶 = 𝐵 ∈ 𝑃 𝑊𝑛 ∶
Problems.
𝑤∈𝐵 𝑤
𝑤∈𝐵 𝑤
≤𝑐
≤ 𝐶 ist exakte Lösung des
Äquivalente rekursive Formulierung
• 𝐹 𝑟, 𝑐 ≔ 𝐵 ∈ 𝑃 𝑊𝑟 ∶
𝑤∈𝐵 𝑤
≤𝑐
1, 𝑐 < 𝑤1
F 1, 𝑐 =
2, 𝑐 ≥ 𝑤1
𝐹 𝑟, 𝑐 = 𝐹 𝑟 − 1, 𝑐 + 𝐹 𝑟 − 1, 𝑐 − 𝑤𝑟 (𝑟 ≥ 2)
Warum gilt der Rekursionsanfang?
Gültigkeit der rekursiven Beziehung
𝐹 𝑟, 𝑐 =
𝐵 ∈ 𝑃 𝑊𝑟 ∶
𝑤≤𝑐
𝑤∈𝐵
=
𝐵 ∈ 𝑃 𝑊𝑟 ∶ 𝑤𝑟 ∉ 𝐵,
𝑤 ≤ 𝑐 ∪ 𝐵 ∈ 𝑃 𝑊𝑟 ∶ 𝑤𝑟 ∈ 𝐵,
𝑤∈𝐵
= … = 𝐹 𝑟 − 1, 𝑐 + 𝐹 𝑟 − 1, 𝑐 − 𝑤𝑟
𝑤≤𝑐
𝑤∈𝐵
Dynamisches Programm
• Berechne alle Funktionswerte als Tabelle
• Problem: pseudopolynomiell
Idee
• Approximiere 𝑆 ≔ 𝐵 ∈ 𝑃 𝑊 ∶ 𝑤∈𝐵 𝑤 ≤ 𝐶 mit Monte-Carlo
• Modifizierte Gewichte 𝑊 ′ ≔ {𝑤1 ′, … , 𝑤𝑟 ′}
• 𝑤𝑗′ ≔ 𝑛2 𝑤𝑗 /𝐶
• 𝐾 ≔ 𝐵 ∈ 𝑃 𝑊 ′ ∶ 𝑤∈𝐵 𝑤 ≤ 𝑛²
• 𝐾 mit dynamischem Programm berechnen.
• 𝑆 ′ ≔ {𝑤𝑗 ∶ 𝑤𝑗′ ∈ 𝐾}
• 𝐾 = 𝑆′
• Verwende 𝑆′ und das dyn. Programm für K für Monte-Carlo
Für Monte-Carlo zu zeigen:
• 𝑆 ⊆ 𝑆′
• |𝑆 ′ | ≤ |𝑆|(𝑛 + 1)
• Dass in polynomieller Zeit in n gleichverteilt ein Element aus 𝑆′
erzeugt werden kann und geprüft werden kann, ob dieses ebenfalls in
𝑆 ist.
Zeige 𝑆 ⊆ 𝑆′
für alle 𝐵 ∈ 𝑆 gilt:
𝑤≤𝐶 ⇒
𝑤∈𝐵
𝑤∈𝐵
𝑛2 𝑤
≤
𝐶
𝑤∈𝐵
𝑛2 𝑤
≤ 𝑛2 ⇒ 𝐵 ∈ 𝑆 ′
𝐶
′
Zeige |𝑆 | ≤ |𝑆|(𝑛 + 1)
Kurze Wiederholung:
• 𝑊 ∶= {𝑤1 , … , 𝑤𝑛 }
• 𝑆 ≔ 𝐵 ∈ 𝑃 𝑊 ∶ 𝑤∈𝐵 𝑤 ≤ 𝐶
• 𝑊 ′ ≔ {𝑤1 ′, … , 𝑤𝑟 ′}
• 𝑤𝑗′ ≔ 𝑛2 𝑤𝑗 /𝐶
• 𝐾 ≔ 𝐵 ∈ 𝑃 𝑊′ ∶
• 𝑆 ′ ≔ {𝑤𝑗 ∶ 𝑤𝑗′ ∈ 𝐾}
𝑤∈𝐵 𝑤
≤ 𝑛²
′
Zeige |𝑆 | ≤ |𝑆|(𝑛 + 1)
• Um das zu zeigen definieren wir außerdem:
• 𝑃 ≔ {𝐵 ∈ 𝑃(𝑊) ∶ 𝑤 ∈ 𝐵 ⇒ 𝑤 ≤ 𝐶/𝑛}
• Es ist 𝑃 ⊆ 𝑆, weil für alle 𝐵 ∈ 𝑃 gilt 𝐵 ≤ 𝑊 = 𝑛 und deshalb
𝑤∈𝐵 𝑤 ≤ 𝑤∈𝐵 𝐶/𝑛 ≤ 𝑛 ⋅ 𝐶/𝑛 = 𝐶.
• Wir definieren diese Menge nur, um zu zeigen, dass die Funktion, die
wir auf der nächsten Folie definieren wohl definiert ist.
′
Zeige |𝑆 | ≤ |𝑆|(𝑛 + 1)
• Des weiteren definieren wir 𝑓: 𝑆′ → 𝑃(𝑊) mit:
𝐵,
𝑓 𝐵 =
𝐵\ min{𝑤 ∶ 𝑤 ∈ 𝐵 ∧ 𝑤 > 𝐶/𝑛} ,
𝐵∈𝑆
𝑠𝑜𝑛𝑠𝑡
Ist wohl definiert, weil wenn 𝐵 ∉ 𝑆, dann 𝐵 ∉ 𝑃 und dann gibt es
mindestens ein 𝑤 ∈ 𝐵, sodass 𝑤 > 𝐶/𝑛.
Zeige
′
|𝑆 |
≤ |𝑆|(𝑛 + 1)
Die Argumentation dazu:
• 𝑓: 𝑆′ → 𝑃(𝑊) ist eine Funktion, die alle Bepackungen aus 𝑆′ abbildet
auf andere Bepackungen.
• Wir zeigen, dass so wie 𝑓 definiert ist 𝑓: 𝑆′ → 𝑆 gilt.
• Dazu zeigen wir, dass für 𝐵 ∈ 𝑆′\𝑆 gilt 𝑓(𝐵) ∈ 𝑆.
• Dann argumentieren wir, dass wegen der Beschaffenheit der Funktion
𝑓 es für jedes Element y aus 𝑆 maximal 𝑛 + 1 Elemente 𝑥 aus 𝑆′
geben kann, die darauf abbilden.
• Deswegen ist dann |𝑆 ′ | ≤ |𝑆|(𝑛 + 1).
Zeige
′
|𝑆 |
≤ |𝑆|(𝑛 + 1)
Sei nun 𝐵 ∈ 𝑆′\𝑆, dann gilt:
𝑤𝑗 ∈𝑓(𝐵)
𝐶
𝑤𝑗 < … ≤ 2
𝑛
𝑤𝑗′ +
𝑤𝑗 ∈𝐵
1−𝑛 ≤ …≤𝐶
𝑤𝑗 ∈𝐵
Nach geschickter Rechnung kürzt sich was weg und es gilt 𝑓(𝐵) ∈ 𝑆.
Zeige
′
|𝑆 |
≤ |𝑆|(𝑛 + 1)
Beschaffenheit der Funktion 𝑓 :
𝐵,
𝑓 𝐵 =
𝐵\ min{𝑤 ∶ 𝑤 ∈ 𝐵 ∧ 𝑤 > 𝐶/𝑛} ,
𝐵∈𝑆
𝑠𝑜𝑛𝑠𝑡
• Es gibt für jedes Element y aus 𝑆 maximal 𝑛 + 1 Elemente 𝑥 aus 𝑆′,
die darauf abbilden, da jedes solche 𝑥, mit 𝑓 𝑥 = 𝑦, sich von y
entweder gar nicht unterscheidet oder genau ein Gewicht mehr
beinhaltet und dafür gibt es 𝑛 + 1 Möglichkeiten.
• Deshalb |𝑆 ′ | ≤ |𝑆|(𝑛 + 1).
Was war nochmal für Monte-Carlo zu zeigen?
• 𝑆 ⊆ 𝑆′
• |𝑆 ′ | ≤ |𝑆|(𝑛 + 1)
• Dass in polynomieller Zeit in n gleichverteilt ein Element aus 𝑆′
erzeugt werden kann und geprüft werden kann, ob dieses ebenfalls in
𝑆 ist.
• Prüfen ob ein 𝐵 ∈ 𝑆 geht leicht!
Erzeugung von Elementen aus S‘:
𝐹 𝑟, 𝑐 = 𝐹 𝑟 − 1, 𝑐 + 𝐹 𝑟 − 1, 𝑐 − 𝑤𝑟
Idee:
• Durchlaufe geschickt die Tabelle des dynamischen Programms.
• „Wenn es 𝐹 𝑟, 𝑐 Bepackungen mit einer bestimmten Eigenschaft
gibt, dann beinhalten 𝐹 𝑟 − 1, 𝑐 viele davon das Element 𝑤𝑟 nicht
und 𝐹 𝑟 − 1, 𝑐 − 𝑤𝑟 viele davon schon. Berechne aus diesen Zahlen
die Wahrscheinlichkeit, ob 𝑤𝑟 in die zufällig erzeugte Bepackung
aufgenommen wird.“
Monte-Carlo-Algorithmus
• Ziehe 𝑇 Stichproben 𝑈𝑖 .
• Sei 𝑋 die charakteristische Funktion, ob 𝐵 ∈ 𝑆.
• Berechne 𝑍 ≔ |𝑆′| ⋅
1
𝑇
𝑇
𝑖=1 𝑋(𝑈𝑖 ).
• Z ist die Ausgabe für den Algorithmus.
4
𝜀
4
𝜀
• Für 𝑇 ≔ ⋅ 𝑛 ≥ ⋅ (|𝑆′|/|𝑆| − 1) gilt nach Estimator-Theorem der
Monte-Carlo-Methode:
3
Pr[|𝑍 − |𝑆|| ≤ 𝜀 ⋅ |𝑆|] ≥
4
Deterministisches polynomielles
Approximationsschema
Ansatz:
• Definiere wieder ein pseudopolynomielles, aber exaktes dynamisches
Programm zur Lösung des Problems.
• Berechne dann die Tabelle des dynamischen Programms
stichprobenhaft und approximativ.
Ansatz
• Sei 𝜏: 0, … , 𝑛 × ℝ≥0 → ℝ ∪ {±∞}.
• Dabei ist 𝜏(𝑖, 𝑎) das kleinste 𝐶, sodass mindestens 𝑎 unterschiedliche
Lösungen für das Rucksack-Problem mit Gewichten 𝑤1 , … , 𝑤𝑖 und
Kapazität 𝐶 existieren.
Ansatz
• Wir wollen zeigen:
𝜏 𝑖 − 1, 𝛼 ⋅ 𝑎
𝜏 𝑖, 𝑎 = min 𝑚𝑎𝑥
𝜏 𝑖 − 1, (1 − 𝛼) ⋅ 𝑎
𝛼
𝜏 0, 𝑎 = 0
Dabei ist 0 ≤ 𝛼 ≤ 1. Was bedeutet das 𝛼? Was bedeuten 𝜏(𝑖 − 1, 𝛼 ⋅
Es lässt sich beweisen:
𝜏 𝑖 − 1, 𝛼 ⋅ 𝑎
𝜏 𝑖, 𝑎 ≤ min 𝑚𝑎𝑥
𝜏 𝑖 − 1, (1 − 𝛼) ⋅ 𝑎
𝛼
und
𝜏 𝑖 − 1, 𝛼 ⋅ 𝑎
𝜏 𝑖, 𝑎 ≥ min 𝑚𝑎𝑥
𝜏 𝑖 − 1, (1 − 𝛼) ⋅ 𝑎
𝛼
Stichprobenhafte Approximation von 𝜏
• Definiere dazu 𝑇: 0, … , 𝑛 × {0, … , 𝑠} → ℝ ∪ {∞}.
• 𝑠 ≔ log 𝑄 2𝑛
•𝑄≔1
𝜀
+
𝑛+1
𝑇 𝑖, 𝑗 ≔ min 𝑚𝑎𝑥
𝛼
𝑇 𝑖 − 1, 𝑗 + log 𝑄 𝛼
𝑇 𝑖 − 1, j + log 𝑄 1 − 𝛼
𝑇 0,0 = 0
𝑇 0, 𝑗 = ∞
+ 𝑤𝑖
Stichprobenhafte Approximation von 𝜏 mit 𝑇
• Es werden die sinnvollerweise für den Algorithmus zu betrachtenden
Größen des Lösungsraumes von 0 ≤ 𝑎 ≤ 2𝑛 reduziert auf Potenzen
1 ≤ 𝑄𝑥 ≤ 𝑄𝑠.
• Es kann dann 𝑇[𝑖, 𝑗] für alle 0 ≤ 𝑖 ≤ 𝑛 und 0 ≤ 𝑗 ≤ 𝑠 in polynomieller
Zeit berechnet werden und damit 𝑗 ′ ≔ max{𝑗 ∶ 𝑇[𝑛, 𝑗] ≤ 𝐶} und es
kann 𝑍 ′ ≔ 𝑄1+𝑗′ als Ergebnis des Algorithmus ausgegeben werden.
• Zeige, dazu dass folgende Abschätzung gilt:
𝜏 𝑖, 𝑄 𝑗−𝑖 ≤ 𝑇[𝑖, 𝑗] ≤ 𝜏 𝑖, 𝑄 𝑗
Zusammenhang zwischen 𝜏 und 𝑇 zeigen
• Zeige 𝜏 𝑖, 𝑄 𝑗−𝑖 ≤ 𝑇[𝑖, 𝑗] ≤ 𝜏 𝑖, 𝑄 𝑗 :
• Das lässt sich Induktiv zeigen.
• Induktionsanfang stimmt, weil dafür die Definitionen
übereinstimmen.
Zusammenhang zwischen 𝜏 und 𝑇 zeigen
• Induktionsschritt:
𝑇 𝑖 − 1, 𝑗 + log 𝑄 𝛼
≥ 𝜏 𝑖 − 1, 𝑄
𝑗+log𝑄 𝛼 −(𝑖−1)
≥ 𝜏 𝑖 − 1, 𝛼𝑄 𝑗−𝑖
und mithin:
min 𝑚𝑎𝑥
𝛼
𝑇 𝑖 − 1, 𝑗 + log 𝑄 𝛼
𝑇 𝑖 − 1, 𝑗 + log 𝑄 1 − 𝛼
Analog für 1 − 𝛼 .
+ 𝑤𝑖
≥ min 𝑚𝑎𝑥
𝛼
𝜏 𝑖 − 1, 𝛼 ⋅ 𝑄𝑗−𝑖
𝜏 𝑖 − 1, 1 − 𝛼 ⋅ 𝑄𝑗−𝑖 + 𝑤𝑖
= 𝜏 𝑖, 𝑄𝑗−𝑖
Zeige (1+ 𝜀)-Approximation
• Die Ausgabe des Algorithmus ist 𝑍 ′ ≔ 𝑄1+𝑗′ für 𝑗 ′ ≔ max{𝑗 ∶
Zeige nun 𝑍′ ≤ (1 + 𝜀) ⋅ 𝑍:
• Nach Definition von 𝑗′ und unserer Abschätzung gilt:
′ −𝑛
𝑗
𝜏 𝑛, 𝑄
≤ 𝑇[𝑛, 𝑗 ′ ] ≤ 𝐶
′ −𝑛
𝑗
𝑄
• Das bedeutet, dass der kleinste Rucksack, für den es
verschiedene gültige Bepackungen gibt, nicht größer ist als C und dass
′ −𝑛
𝑗
es somit auf jeden Fall 𝑄
gültige Bepackungen für einen Rucksack
𝑗 ′ −𝑛
mit der Kapazität C gibt. Damit erhalten wir 𝑍 ≥ 𝑄
und mithin:
𝑗 ′ +1
𝑍′ 𝑄
=
𝑍
𝑍
≤
𝑄
𝑗 ′ +1
′ −𝑛
𝑗
𝑄
= 𝑄 𝑛+1
𝜀
= 1+
𝑛+1
𝑛+1
≤ 𝑒 𝜀 ≈ (1 + 𝜀)