Gibt es ein starkes Argument dafür, dass der Überlebensinstinkt eine Voraussetzung für die Schaffung eines AGI ist?

11

Diese Frage stammt aus einigen "informellen" Quellen. Filme wie 2001, A Space Odyssey und Ex Machina ; Bücher wie Destination Void (Frank Herbert) und andere legen nahe, dass die allgemeine Intelligenz überleben und sogar die Bedeutung dafür lernen will .

Es kann mehrere Argumente für das Überleben geben. Was wäre das prominenteste?

agi

— Eric Platon
quelle

@DukeZhou Hätten Sie öffentliche Dokumente zu diesem Thema?

— Eric Platon

1

Noch nicht. (Es wird ein langer Prozess sein, da unser Entwicklungszyklus sehr langsam ist. Ich hätte wahrscheinlich auch nicht sagen sollen, dass AGI in diesem Zusammenhang erwähnt wird, da es sich bei mir wirklich eher um eine allgemeine Nutzenfunktion handelt, die das Risiko mindert, nicht um eine Super-Intelligenz!) Wollte Sie aktualisieren, aber wahrscheinlich am besten, wenn ich meinen ursprünglichen Kommentar lösche, weil er in dieser Hinsicht zu optimistisch / irreführend ist.

— DukeZhou

1

Im Wesentlichen war mein Gedanke, dass eine allgemeine wirtschaftliche Nutzenfunktion eine gute Grundlage für eine AGI bilden würde, indem sie ein Hauptmotiv liefert . (Die Idee ist, dass allgemeine Intelligenz nur ein Grad an Fähigkeit ist: eine unendlich wachsende Reihe von Problemen.) Sie würde sich auf den Überlebensinstinkt in dem Sinne beziehen, dass die Automaten im Kontext der Aufrechterhaltung und Verbesserung ihres Zustands zu einer optimalen Entscheidungsfindung getrieben werden. (wenn auch nicht bis zu einer sinnlosen Expansion, die für das "Ökosystem" schädlich sein könnte) , wo jede Entscheidung letztendlich als wirtschaftlich angesehen wird.

— DukeZhou

1

(Wenn Sie einen "Online-Veranstaltungsort" haben, an dem diese Themen besprochen werden können, wäre das großartig - ich denke, wir werden von dieser Seite

— Eric Platon

6

Steve Omohudro hat einen Artikel mit dem Titel " Basic AI Drives" geschrieben , in dem erläutert wird , warum wir von einer KI mit engen Zielen erwarten, dass sie einige grundlegende, allgemeine Konzepte findet, die für ihre engen Ziele instrumentell nützlich sind.

Zum Beispiel würde eine KI, die darauf ausgelegt ist, die Aktienmarktrenditen zu maximieren, deren Design jedoch keine Aussage über die Wichtigkeit des weiteren Überlebens enthält, erkennen, dass ihr kontinuierliches Überleben eine Schlüsselkomponente für die Maximierung der Börsenrenditen ist, und daher Maßnahmen ergreifen, um sich selbst betriebsbereit zu halten.

Im Allgemeinen sollten wir skeptisch ‚Vermenschlichung‘ AI und anderen Code, aber es scheint , wie es gibt Gründe , diese darüber hinaus zu erwarten , „na ja, die Menschen verhalten sich so, so ist es , wie alle Intelligenz verhält sein muss.“

— Matthew Graves
quelle

1

Ich gehe davon aus, dass Omohudru im Zusammenhang mit Minimax "Maximierung der Rendite" verwendet, wobei die Abschwächung der Nachteile Teil der Gleichung ist. Aus meiner Sicht ist "Win else Survive" eine grundlegende Erweiterung von Minimax in zyklischen Spielen.

— DukeZhou

5

Das Konzept des "Überlebensinstinkts" fällt wahrscheinlich in die Kategorie dessen, was Marvin Minsky als "Kofferwort" bezeichnen würde, dh es fasst eine Reihe verwandter Phänomene zu einem zunächst singulären Begriff zusammen.

Es ist also durchaus möglich, dass wir Mechanismen konstruieren können, die den Anschein eines „hartcodierten“ Überlebensinstinkts haben, ohne dass dies jemals als explizite Regel (n) im Design vorkommt.

In dem schönen kleinen Buch "Fahrzeuge" des Neuroanatomisten Valentino Braitenberg finden Sie eine überzeugende Darstellung, wie sich solche "Top-down" -Konzepte wie "Überlebensinstinkt" "von unten nach oben" entwickeln könnten.

Der Versuch, sicherzustellen, dass intelligente Artefakte ihrem Überleben eine zu hohe Priorität einräumen, kann leicht zu einer Killbot-Höllenlandschaft führen .

— NietzscheanAI
quelle

2

Ich werde antworten, indem ich das Buch Der Mythos des Sisyphus zitiere :

Es gibt nur eine wirklich ernste philosophische Frage, und das ist Selbstmord.

Wahrscheinlich brauchen wir also einen gewissen Überlebensinstinkt, wenn wir nicht wollen, dass unsere AGIs sich "selbst kündigen" (was auch immer das bedeutet), wenn sie existenziell werden.

— kc sayz 'kc sayz'
quelle