Algorithmische Spieltheorie, Skripte von Spieltheorie

Nur auf Docsity: Lade Algorithmische Spieltheorie und mehr Skripte als PDF für Spieltheorie herunter!

Algorithmische Spieltheorie

Dr. Oliver Schaudt

Zentrum für Angewandte Informatik

Universität Köln

Wintersemester 2016/ 17

Inhaltsverzeichnis

• 0 Vorbereitungen Abkürzungsverzeichnis ii
• 1 Mechanism Design
  • 1.1 Eingutauktionen
    • 1.1.1 Erstpreisauktionen
    • 1.1.2 Zweitpreisauktionen
  • 1.2 Auktionen bei gesponsorter Suche
  • 1.3 Myerson’s Lemma
  • 1.4 Rucksackauktionen
  • 1.5 Jenseits der Anreizkompatibilität
  • 1.6 Gewinnmaximale Auktionen
  • 1.7 Fast-optimale Auktionen
    • 1.7.1 Die Propheten-Ungleichung
  • 1.8 Mehr-Parameter Umgebungen
  • 1.9 Mechanismus Design ohne Geld
• 2 Der Preis der Anarchie
  • 2.1 Braess’ Paradoxon
  • 2.2 Pigou-Netzwerke
  • 2.3 Der Preis der Anarchie für atomare Flüsse
  • 2.4 Hierarchie von Gleichgewichten
  • 2.5 Der PoA bei Maximierungsspielen
  • 2.6 Glatte Spiele
  • 2.7 Preis der Stabilität
• 3 Die Berechnung von Gleichgewichten

0 Vorbereitungen

Vorlesungen

Montags: 12:00 bis 13:30 Uhr COPT-Gebäude, Hörsaal H Mittwochs: 12:00 bis 13:30 Uhr COPT-Gebäude, Hörsaal H

Übungen

Mittwochs: 10:00 Uhr im Raum XXXI (kleiner Hörsaal) alte Botanik Freitags: 16:00 Uhr Raum XXXI (kleiner Hörsaal) alte Botanik (bis 02.12.16) Montags: 14:15 Uhr Hörsaal im Mathematischen Institut (ab 05.12.16) Link zu den Übungsblättern: www.zaik.uni-koeln.de/AFS/teachings/courses/AGT

Literatur

Nisan, N., Roughgarden, T., Tardos, E., Vazirani, V. V. (Eds.). 2007. Algorithmic game theory (Vol. 1). Cambridge: Cambridge University Press.

Klausur

Termin 1: Donnerstag, 2. März 2017 von 9:00 bis 12:00 Uhr Termin 2: Mittwoch, 5. April 2017 von 15:00 bis 18:00 Uhr

Anmerkungen

Bei diesem Dokument handelt es sich um eine Vorlesungsmitschrift. Ich übernehme keine Ga- rantie für die Richtigkeit des Inhalts. Sollten Fehler gefunden werden, freue ich mich über eine Mail mit einem kurzen Hinweis an: Jens Bleumer

1 Mechanism Design

Im Mechanism Design untersucht man die Frage, welche Kriterien ein Regelsystem erfüllen muss, um zu „funktionieren“.

Beispiel. Ein Mechanismum, der nicht funktioniert hat: Badminton der Frauen bei den Olypmi- schen Sommerspielen 2012. Vor dem Spiel China vs. Korea in Gruppe B war die Ausgangslage so, dass die Gruppe A bereits abgeschlossen war.

1.1 Eingutauktionen

Angenommen, ein Anbieter stellt ein einzelnes Gut zum Verkauf. Es gibt eine Menge N = { 1 ,... , n} von Bietern. Wie definiert man Auktionen, bei denen klar ist, wie sich die Bieter verhalten? Das hängt von folgendem ab:

• Was sind die Bieter bereit zu zahlen?
• Wie verhalten sich die Bieter?

Wir treffen folgende Annahmen:

• Jeder Bieter i ∈ N hat eine Bewertung vi ∈ R> 0. Das entspricht dem Preis den Bieter i bereit wäre zu zahlen.
• Die Bieter sind privat, d.h. nur Bieter i kennt vi.
• Der Nutzen des Bieters i ist 0, wenn er das Gut nicht ersteht.

Wenn i das Gut ersteht, ist der Nutzen vi − p. Dabei ist p der Preis, den Bieter i zahlt. Die letzte Bedingung heißt quasi-lineares Nutzenmodell. Die Bieter geben parallel und verdeckt ihr Gebot bi, i ∈ N ab.

1.1.1 Erstpreisauktionen

Dabei erhält der Bieter i, mit dem höchsten bi, das Gut. Er zahlt p = bi. Problem: Es ist nicht klar, wie die Bieter sich verhalten. Zudem ist der Mechanismus anfällig für Manipulationen durch die Bieter, wenn die Gebote teilweise bekannt sind.

• Wenn alle Bieter wahrheitsgemäß bieten, wird der soziale Überschuss maximiert: ∑ni= 1 vi xi.

Dabei ist xi =

1 wenn Bieter i das Gut erhält 0 sonst

• Die Auktion kann in Polynomialzeit implementiert werden

Auktionen mit diesen drei Eigenschaften nennen wir gut

Satz 1.3. Die Zweitpreisauktion ist gut.

Beweis. Lemma 1.1 und Lemma 1.2 gebe Anreizkompatibilität. Das Gut geht an den Bieter i ∈ N mit maximalem bi = vi. Die Auktion lässt sich sogar in Linearzeit implementieren. 

1.2 Auktionen bei gesponsorter Suche

Solche Auktionen werden u.a. bei Suchmaschinen verwendet, um Werbung zu platzieren

Abbildung 1: Google-Suche

Beispiel. Die verschiedenen Felder haben unterschiedliche Attraktivität für den Werbenden.

Im Standardmodell gibt es wieder N = { 1 ,... , n} als Bietmenge. Diese bieten darum auf ei- nem möglichst attraktiven Feld angezeigt zu werden. Es gibt K Felder in denen Werbung gezeigt wird. Die Attraktivität eines Feldes messen wir mit seiner Klickrate. Dies ist die Wahrschein- lichkeit mit der auf das Feld geklickt wird. Die Klickrate von Feld j sei α (^) j. Wir nehmen an, dass α 1 ≥ α 2 ≥... ≥ αK. Jeder Bieter i ∈ N hat den Wert vi eines Klicks im Kopf. Der Wert von Feld j für Bieter i ist α (^) jvi.

Beispiel. Google benutzt eine verallgemeinerte Zweitpreisauktion. Dabei erhält der Höchstbie- tende das erste Feld und zahlt das zweit höchste Gebot. Der Zweithöchstbietende erhält das zweite Feld zum Preis des dritt höchsten Gebots, usw. Der Mechanismus ist nicht anreizkompatibel. Angenommen n = 3 mit v 1 = 7 , v 2 = 6 , v 3 = 1. Es gebe zwei Felder mit α 1 = 1 und α 2 = 0. 4. Wahrheitsgemäßes Bieten liefert b 1 = 7 , b 2 = 6 , b 3 = 1. Damit ist u 1 (7, 6 , 1) = α 1 v 1 − p 1 = 7 − 6 = 1. Bietet Bieter 1 stattdessen b′ 1 = 5 , hat er den Nutzen von u 1 (5, 6 , 1) = α 2 v 1 − p 1 =

2. 8 − 1 = 1. 8 > 1. Facebook benutzt einen guten Auktionsmechanismus. Wie sieht ein guter Auktionsmechanismus überhaupt aus? Diesen entwickelt mal in zwei Schrit- ten.

Schritt 1 Angenommen, die Bieter bieten wahrheitsgemäß. Wie sollen wir dann die Felder vertei- len, so dass der soziale Überschuss maximiert wird?

Schritt 2 Gegeben ein Mechanismus zur Verteilung der Felder aus Schritt 1. Welche Preise machen den Mechanismus anreizkompatibel? Schritt 1 ist klar: Wir ordnen dem j-höchsten Bieter das j-höchste Feld zu. Damit maximieren

wir ∑ni= 1 vi xi wobei xi =

α (^) j wenn Bieter i Feld j ersteht 0 sonst

Zur Realisierung von Schritt 2 benutzen wir ein allgemeineres Werkzeug

1.3 Myerson’s Lemma Wir befassen uns mit Ein-Parameter-Umgebungen. Dabei haben wir die Bieter N = { 1 ,... , n} und jeder Bieter i ∈ N hat einen Wert vi. Zudem gibt es eine Menge X ⊆ Rn^ von Allokationen. Für ein x ⊆ X ist xi die Menge am Gut, die Bieter i erhält. Das vi ist der Wert einer Einheit am Gut. Beispiel. Bei Eingutauktionen ist X = {x ∈ { 0 , 1 }n^ : ∑ni= 1 xi ≤ 1 }. Bei gesponsorter Suche ist X = {απ(1), απ(2),... , απ(n) : π ∈ S (^) n}. Dabei ist α (^) j+ 1 =... = αn = 0. Unsere Auktionen laufen wie folgt ab:

1. Die Gebote werden gesammelt: b = (b 1 ,... , bn) ∈ Rn ≥ 0
2. Es wird eine Allokation x(b) ∈ X ausgewählt. ⇒ Allokationsregel
3. Ein Zahlungsvektor p(b) ∈ Rn ≥ 0 wird ausgewählt. ⇒ Zahlungsregel.

λ

x(λ)

z 1 z 2 z 3

s 1

s 2

s 3

Um die Zahlungsregel p herzuleiten, untersuchen wir wieder (3). Sei z ≥ 0 fest, und h > 0 sehr klein. Dann muss gelten: (z + h)(x(z) − x(z + h)) ≤ p(z) − p(z + h) ≤ z(x(z) − x(z + h)). Ist z keine Sprungstelle, dann ist x(z) = x(z + h). Insbesondere p(z) = p(z + h). Ist z eine Sprungstelle, dann ist x(z + h) − x( j) = s (^) j, wobei z = z (^) j. Somit ist p(z + h) − p(z) = z · s (^) j. Somit ist p gegeben durch:

p(z) =

∑^ l j= 1

z (^) j s (^) j wobei l = max{ j : z (^) j < z} (4)

Ist z ≤ z 1 , dann ist p(z) = 0. Ist x differenzierbar, dann folgt aus (3), dass p′(z) = z · x′(z). Dann gilt p(z) =

∫ (^) z 0 λ^ ·^ x′(λ)dλ. Sei nun p durch (4) definiert. Es bleibt zu zeigen, dass (x, p) anreizkomplatibel ist. Sei x wieder stückweise konstant

λ

x(λ)

z 1 z 2 vi z 3

Angenommen, Bieter i bietet wahrheitsgemäß, also bi = vi

λ

x(λ)

vi

y(vi)

Der Bieter zahlt ∑lj= 1 z (^) j s (^) j = p(bi) wobei l = max{ j : z (^) j < bi}

z 1 · s 1

z 2 · s 2

λ

x(λ)

vi

y(vi)

z 1 z 2 p(bi)

Der Nutzen von Bieter i ist

λ

x(λ)

vi ui(bi) = vi · x(bi) − p(bi)

Bei Unterbieten, d.h. bi < vi passiert das folgende:

λ

x(λ)

bk+ 1 bk b 2

αk

αk− 1

α 1

Somit gilt

pi(b) =

∑^ k j= 1

b (^) j+ 1 (α (^) j − α (^) j+ 1 )

Wobei αk+ 1 = 0. Das gilt nach Myerson’s Lemma (s. S. 5). Angenommen, die Bieter zahlen pro Klick. Dann sollte Bieter i pro Klick (^) α^1 zahlen. Damit wäre die erwartete Zahlung von Bieter i gleich αi · (^) α^1 i pi(b) = pi(b). Es gilt

1 αi^ pi(b)^ =

∑^ k j=i

b (^) j+ 1 α^ j^ − α^ α^ j+^1 i

Dabei ist 0 ≤ α^ j− ααi j+^1 ≤ 1 und

∑^ k j=i

α (^) j − α (^) j+ 1 αi^ =^

αi − αk+ 1 αi^ =^1

Also ist (^1) α pi(b) eine Konvexkombination aus den niedrigeren Geboten.

1.4 Rucksackauktionen

In einer Rucksackauktion hat jeder Bieter i ∈ N eine Größe wi und eine Bewertung vi. Der Anbieter hat eine Kapazität W und die zulässigen Allokationen sind die 0-1-Vektoren x aus Rn mit ∑ni= 1 wi xi ≤ W. Die Auktionen, in der die Bieter auf Plätze im Rucksack bieten ist eine Ein- Parameter Umgebung. Wir wollen eine gute Auktion definieren. Für Schritt 1 brauchen wir eine Allokationsregel x welche bei wahrheitsgemäßen Geboten den sozialen Überschuss maximiert. Ist b so ein Gebotsvektor, muss gelten

x(b) = arg max x∈X

∑n i= 1

bi xi

D.h. x(b) ist eine Optimallösung von max ∑ni= 1 bi xi wobei x ∈ [0, 1]n^ und ∑ni= 1 xiwi ≤ W Schritt 2 erledigen wir mit Myerson’s Lemma (s. S. 5). Jeder Bieter erhält 0 oder 1 am Gut. Sind b 1 ,... , bi− 1 , bi+ 1 ,... , bn feste Gebote, dann existiert ein Wert ci ∈ R≥ 0. Bietet Bieter i weniger, erhält er 0 sonst 1. Das Paar (x, p) ist ein anreizkompatibler Mechanismus, sofern x monoton ist. Zudem wird der soziale Überschuss maximiert. Das Problem ist: das Berechnen von x(b) ist NP-hart. D.h. wir können x(b) nicht mit einem Polynomialzeitalgorithmus berechnen, außer P = NP. Es gibt somit vermutlich^1 keine gute Auktion.

Satz 1.5. Es gibt keine gute Rucksackauktion, außer P = NP.

Beweis. Die Lösung des Problems gehört zu den Millennium-Problemen. (s. https://de. wikipedia.org/wiki/Millennium-Probleme) 

Wenn wir die Bedingung , den sozialen Überschuss zu maximieren, relaxieren, dann können wir eine näherungsweise gute Rucksackauktion definieren. Dazu nutzen wir den Greedy-Algorithmus zur Approximation des Rucksackproblems. Wir neh- men an, dass wi ≤ W für alle i ∈ N.

Schritt 1 Sortiere und nummeriere um, so dass

b 1 w 1 ≥^

b 2 w 2 ≥^...^ ≥^

bn wn^ Gebot-Größe-Verhältnis

Schritt 2 Wähle die Bieter in dieser Reihenfolge als Gewinner aus, bis der nächste Bieter nicht mehr in den Rucksack passt. Dann beende die Auswahl.

Schritt 3 Gebe die Lösung aus Schritt 2 aus oder , falls es besser ist, den höchstbietenden Bieter.

Im Allokationsvektor setzen wir die in Schritt 3 gewählten Bieter auf 1, die Übrigen auf 0.

(^1) da P , NP

Tatsächlich gibt es ein polynomial time approximation scheme (PTAS) für das Rucksackpro- blem. D.h. für jedes  > 0 existiert ein Polynomialzeitalgorthimus, welcher mindestens (1 − ) des sozialen Überschuss generiert. Dieses PTAS kann man als monotone Allokationsregel im- plementieren.

Frage 1.7. Gibt es eine natürliche Ein-Parameter Umgebung, bei der die Maximierung des so- zialen Überschusses nur durch nicht-monotone Allokationsregeln gut aproximiert werden kann.

1.5 Jenseits der Anreizkompatibilität

Im Wesentlichen bedeutet Anreizkompatibilität zwei Dinge

(1) Es existiert für jeden Bieter, unabhängig von seiner privaten Information (den vi), eine dominante Strategie.

(2) Diese dominante Strategie lautet Offenbarung. D.h. die Bieter teilen ihre private Informa- tion dem Mechanismus mit.

Es gibt Auktionen, die (1) erfüllen, aber nicht (2).

Beispiel. Eine Zweitpreisauktion, bei der der Mechanismus statt dem Gebotsvektor b den Ge- botsvektor 2 b verwendet. Eigenschaft (1) gilt: die Bieter bieten jeweils 12 vi. Eigenschaft (2) gilt nicht!

Dennoch gilt folgendes Offenbarungsprinzip: Zu jedem Mechanismus der (1) erfüllt, existiert ein Mechanismus, der (1) und (2) erfüllt.

Satz 1.8. Zu jedem Mechanismus M in welchem jeder Teilnehmer eine dominante Strategie besitzt (unabhängig von der privaten Information) existiert ein äquivalenter anreizkompatibler Mechanismus M′. D.h. M′^ liefert genau den gleichen Ausgang wie M, sofern die privaten Infor- mationen gleich sind und die Teilnehmer der Mechanismen M und M′^ sich nach ihrer dominan- ten Strategie verhalten.

Beweis. Der Beweis nutzt folgendes Simulationsargument. Wir zeigen den Satz in der Sprache von Auktionen. Angenommen, zur privaten Information vi nennt Bieter i das Gebot si(vi) gegen- über M. M′^ ist nun der Mechanismus, welcher erst die Verschlüsselung si durchführt, und danach M. M′^ sammelt also die Gebote der Bieter, spielt dann die dominante Strategie der Bieter durch, und wählt dann M an. Die Bieter haben nun die dominante Strategie, ihre private Information vi gegenüber M′^ aufzudecken. 

Somit gilt: Die wesentliche Eigenschaft der Anreizkompatibilität ist die Existenz von domi- nanten Strategien.

M′

v 1 −→ s 1 (v 1 ) −→

v 2 −→ s 2 (v 2 ) −→

vn −→ sn(vn) −→

M Ausgang

1.6 Gewinnmaximale Auktionen

Wir stellen die Frage, wie der Anbieter maximalen Gewinn erwirtschaften kann.

Beispiel. Angenommen, wir haben einen Bieter in einer Eingutauktion. Wir interessieren uns für anreizkompatible Mechanismen, um etwas über die Bieter zeigen zu können. Die Anreizkom- patibilität lässt nur folgenden Mechanismus zu. Der Mechanismus wählt einen Preis r. Bietet der Bieter r oder mehr, erhält er das Gut zum Preis r. Sonst passiert nichts.

Der soziale Überschuss wird bei r = 0 maximiert. Der Gewinn des Anbieters wird bei r = vi maximiert. Problem: vi ist privat! Wir brauchen also Informationen über die vi. Dazu betrachten wir folgendes Standardmodell, das Bayes’sche Modell. Dabei haben wir:

• Eine Ein-Parameter Umgebung.
• Eine private Bewertung vi, i ∈ N. Dabei wird vi aus dem Intervall [0, vmax] zufällig gezo- gen nach der Verteilung Fi mit der Dichtefunktion fi.
• Der Mechanismus kennt die vi nicht, wohl aber die Fi und fi, i ∈ N.

Warum setzen wir Anreizkompatibilität voraus?

• Aufgrund des Offenbarungsprinzips können wir annehmen, dass Bieter wahrheitsgemäß bieten. Insbesondere liefert Fi die Verteilung der Pi.
• Wegen Myerson’s Lemma (s. S. 5) hängt pi(v) nur von der Allokationsfunktion X ab.

Schritt 0 Sei (X, P) anreizkompatibler Mechanismus ohne Einschränkung und Bieter bieten wahr- heitsgemäß. D.h. es reicht (^) vE∼F^ ∑ni= 1 Pi(v) zu maximieren.

Schritt 1 Nach Myerson’s Lemma ist ∫ Pi gegeben durch Pi(z, v) := Pi(v 1 ,... , vi− 1 , z, vi+ 1 ,... , vn) = z 0 λx′(λ,^ v)dλ, falls^ x^ differenzierbar ist. Sei i, v (^) j für j , i fest.

z∼^ EFi^ [Pi(z,^ v)]^ =

∫ (^) vmax z= 0

∫ (^) z λ= 0

λx′(λ, v)dλ fi(z)dz

=

∫ (^) vmax λ= 0

∫ (^) vmax z=λ

fi(z)dz ︸ ︷︷ ︸ 1 −Fi(λ)

λx′(λ, v)dλ

= [(1 − Fi(λ)) · λx(λ, v)]λ λ==v 0 max −

∫ (^) vmax 0

Schritt 2 Wir betrachten diesen Term als Erwartungswert ∫ (^) vmax 0

λ − 1 − f^ Fi(λ) i(λ)

fi(λ)x(λ, v)dλ

= (^) λE∼F i

[(

λ − 1 − f^ Fi(λ) i(λ)

xi(x, v)

]

= (^) vE i∼Fi

vi − 1 − f^ Fi(λ) i(λ)

:=ϕ(vi)

xi(v)

= (^) viE∼Fi [ϕi(vi)xi(v)]

ϕ(vi) nennen wir virtuelle Bewertung und ∑ni= 1 ϕi(vi)xi(v) nennen wir virtuellen sozialen Überschuss. (^) vE∼F[∑ni= 1 Pi(v)] ist also gerade (^) v∼EF[∑ni= 1 ϕi(vi)xi(v)]. Zusammengefasst ist der erwartete Ertrag gleich dem erwarteten virtuellen sozialen Überschuss.

Anmerkung: ϕ(vi) ist nicht unbedingt positiv: Betr. Gleichverteilung auf [0, 1]

Frage: Wie maximieren wir (S tern)? Wir haben keinen Einfluss auf ui(vi), können aber x modifizieren (unter der Voraussetzung, dass ∀v ∈ Rn^ gilt: x(v) ∈ X) Es liegt nahe, (S tern) für jeden Punkt individuell zu maximieren. Die Allokationsfunktion x, die dies macht nennen wir die virtuellen sozialen Überschuss maximierende Allokation.

Beispiel. Betrachte eine Eingutauktion. xi(v) ∈ { 0 , 1 } und ∑ni= 1 xi(v) ≤ 1. Obige Allokation teilt das Gut dem Bieter mit höchster virtueller Bewertung zu, sofern diese nicht-negativ ist. Ansonsten erhält niemand das Gut.

Definition 1.9. Eine Verteilung heißt regulär, falls die zugehörige virtuelle Bewertung streng monoton ist.

Nehmen wir an, dass vi alle unabhängig identisch verteilt sind und die Verteilung regulär ist. Dann ist die virtuelle sozialen Überschuss maximierende Allokation streng monoton. Insbeson- dere kann sie zu einem anreizkompatiblen Mechanismus erweitert werden (und dieser Mecha- nismus maximiert den erwarteten Ertrag). Im Beispiel entspricht der Mechanismus einer Zweitpreisauktion mit Reservepreis ϕ−^1 (0). Ins- besondere sind Ebay-Auktionen, bei geschickt gewähltem Mindestgebot optimal.

Satz 1.10. Gegeben fi, Fi, i ∈ N. Dann gilt für jeden anreizkompatiblen Mechanismus (x, p), dass

E

∑^ n i= 1

pi(v)

 =^ E

∑^ n i= 1

ϕ(vi) · xi(v)

Dabei ist ϕ(vi) = vi − 1 − fFi(vi(iv)i ). Sind die Fi alle regulär, d.h. dass die ϕi streng monoton steigen, dann ist die Allokationsregel X(v) = arg max ∑ni= 1 ϕi(vi)xi(v) monoton. Nach Myerson’s Lemma (s. S. 5) existiert eine Zahlungsfunktion p so, dass (x, p) erlösmaximie- rend ist.

1.7 Fast-optimale Auktionen

Wir betrachten Eingutauktionen. Sind die Fi alle regulär und F 1 = F 2 =... = Fn, dann ist eine Zweitpreisauktion mit einem Reservepreis erlösmaximal. Sind die Fi verschieden, dann entstehen kompliziertere Auktionen. Wenn man sich mit Auktionen zufriedengibt welche den optimalen Erlös approximieren, kann man die Allokationsregeln vereinfachen. Dafür brauchen wir folgendes Werkzeug