Algorithmus zur Optimierung von Entscheidungsbäumen

Hintergrund

Ein binärer Entscheidungsbaum ist ein Stammbaum, in dem jeder interne Knoten (und jeder Stamm) durch einen Index , sodass kein Pfad von Stamm zu Blatt einen Index, die Blätter, wiederholt werden durch Ausgaben in , und jede Kante wird für das linke untergeordnete Element mit und für das rechte untergeordnete Element mit . So wenden Sie einen Baum auf eine Eingabe x an :j ∈ { 1 , . . . , n } { A , B } 0 $T$$j \in \{1,..., n\}$$\{A,B\}$$0$$1$$x$

1. Beginnen Sie an der Wurzel
2. Wenn Sie sich am Blatt befinden, geben Sie die Blattbeschriftung $A$ oder $B$ und beenden sie
3. Lesen Sie die Bezeichnung $j$ Ihres aktuellen Knotens. Wenn $x_j = 0$ , gehen Sie zum linken Kind und wenn $x_j = 1$ , gehen Sie zum rechten Kind.
4. springe zu Schritt (2)

Der Baum wird als ein Weg verwendet , um eine Funktion zu bewerten, insbesondere sagen wir einen Baum $T$ eine Gesamtfunktion repräsentiert $f$ , wenn für jedes $x \in \{0,1\}^n$ haben wir $T(x) = f(x)$ . Die Abfragekomplexität eines Baums ist seine Tiefe, und die Abfragekomplexität einer Funktion ist die Tiefe des kleinsten Baums, der ihn darstellt.

Problem

Bei gegebenem binären Entscheidungsbaum T wird ein binärer Entscheidungsbaum T 'mit minimaler Tiefe ausgegeben, so dass T und T' die gleiche Funktion darstellen.

Frage

Was ist der bekannteste Algorithmus dafür? Sind Untergrenzen bekannt? Was ist, wenn wir wissen, dass die $\text{depth}(T') = O(\log \text{depth}(T))$ ? Was ist, wenn wir nur verlangen, dass $T'$ eine annähernd minimale Tiefe hat?

Naiver Ansatz

Der naive Ansatz erhält um alle binären Entscheidungsbäume der Tiefe d - 1 rekursiv aufzulisten, während geprüft wird, ob sie dasselbe wie T ergeben . Dies scheint O ( d 2 n n zu erfordern $d = \text{depth}(T)$$d - 1$$T$Schritte (unter der Annahme, dassdSchritte erforderlich sind, um zu überprüfen, wasT(x)für ein beliebigesxergibt). Gibt es einen besseren Ansatz?$O(\frac{d 2^n n!}{(n - d)!})$$d$$T(x)$$x$

Motivation

Diese Frage basiert auf einer früheren Frage zum Kompromiss zwischen Abfragekomplexität und Zeitkomplexität . Insbesondere soll die zeitliche Trennung für Gesamtfunktionen begrenzt werden. Wir können einen Baum aus einem zeitoptimalen Algorithmus mit der Laufzeit t erstellen und möchten ihn dann für einen abfrageoptimalen Algorithmus in einen Baum T ' konvertieren . Leider, wenn t ∈ O ( n ! / ( N - d ) ! ) (Und oft d ∈ Θ ( n $T$$t$$T'$$t \in O(n!/(n - d)!)$$d \in \Theta(n)$) Der Engpass ist die Konvertierung. Es wäre schön, wenn wir ersetzen könnten ! / ( n - d ) ! durch so etwas wie 2 d .$n!/(n - d)!$$2^d$

Ich habe 3 Antworten, die alle etwas unterschiedliche Härtewerte ergeben.

Sei eine Funktion.$f: \{0,1\}^n \rightarrow \{0,1\}$

Antwort 1

Wenn ein Entscheidungsbaum f und eine Zahl berechnet , ist es schwer zu sagen, ob ein Entscheidungsbaum T ' existiert , der f mit einer Größe von höchstens dieser Zahl berechnet . $T$$f$$T'$$f$( Zantema und Bodlaender '00 )

Antwort 2

Bei gegebenem Entscheidungsbaum f berechnet , ist es NP schwer, den kleinsten Entscheidungsbaum, der f berechnet, an einen konstanten Faktor anzunähern. $T$$f$$f$( Sieling '08 )

Antwort 3

Lassen Sie die Größe des kleinsten Entscheidungsbaum - Computing sein f . Bei einem Entscheidungsbaum T Berechnung f unter der Annahme , N P ⊊ D T I M E ( 2 n ε ) für einige ε < 1 , kann man nicht eine äquivalente Entscheidungsbaum findet T ' der Größe s k für jeden k ≥ 0 .$s$$f$$T$$f$$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$T'$$s^k$$k \ge 0$

Ich denke, dass diese stärkere Antwort (basierend auf einer schwächeren Annahme) aus bekannten Ergebnissen in der Lerntheorie von Occam-Algorithmen für Entscheidungsbäume über das folgende Argument abgeleitet werden kann:

1. Ist es möglich, einen Entscheidungsbaum für Variablen im Zeit- n- Protokoll s zu finden , wobei s der kleinste Entscheidungsbaum ist, der mit Beispielen aus einer Verteilung übereinstimmt (PAC-Modell)? ( Blum '92 ) $n$$n^{\log s}$$s$
2. Unter der Annahme , für einige ε < 1 , können wir nicht PAC Größe lernen s Entscheidungsbäume durch Größe s k Entscheidungsbäume für jeden k ≥ 0 . ( Alekhnovich et al. '07 )$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$s$$s^k$$k \ge 0$

Diese beiden Ergebnisse scheinen ein Ergebnis der Härte für Ihr Problem zu implizieren. Einerseits (1) können wir einen großen Entscheidungsbaum finden; Andererseits (2) sollten wir es nicht minimieren können, um ein äquivalentes "kleines" mit der Größe , selbst wenn eines mit der Größe s existiert .$s^k$$s$