Hier sind einige Probleme, die mein Affenverstand hatte.
1.Smart! = Allwissend
Die KI-Explosion zur Selbstverbesserung macht es immer schlauer. Klüger zu sein bedeutet nicht, mehr Fakten zu kennen. Ich nehme an, das ist ein ziemlich wählerisches Argument, aber ich denke, es lohnt sich darüber nachzudenken.
Ein sehr kluger Arzt, der Ihre Vorgeschichte nicht kennt, trifft möglicherweise immer noch eine schlechtere Wahl als ein weniger intelligenter mit besseren Daten.
2. Ist alles für Menschen? Ist es für alle Menschen?
ASI, die ein höheres Niveau erreicht, könnte nicht an unserem Wohlbefinden interessiert sein.
Ein kontrollierter ASI könnte immer noch nur zum Nutzen der Wenigen funktionieren, wenn diese Wenigen falsche Ziele beschließen, könnten wir rückwärts gehen.
3 Harte ASI
Ein wissenschaftlicher Geist, der nicht unbedingt voller Sympathie oder Empathie ist.
4. Klug sein und nicht schlau sein
Große Köpfe machen immer noch Fehler: * bei der Festlegung ihrer Ziele und * bei der Umsetzung des Plans zur Erreichung dieser Ziele.
Geat Intellekt garantiert keinen Mangel an Kurzsichtigkeit oder an blinden Flecken.
5. Grenzen
Wenn es Existenzgrenzen gibt (Grenzen der Lichtgeschwindigkeit), wird auch die KI an diese gebunden sein. Dies kann bedeuten, dass es Dinge gibt, die selbst ASI nicht "bekommt". Da unser Geist aufgrund seiner Struktur möglicherweise Grenzen hat, kann auch die nächste KI Grenzen haben - und selbst wenn sie sich verbessert, kann sie Grenzen erreichen, für die sie keine Lösungen finden kann, weil sie "zu dumm" ist.
6. Wir werden es nicht bekommen
Das Verständnis von ASI für bestimmte Aspekte der Welt ist für die meisten Menschen möglicherweise nicht kommunikativ. Wir werden es einfach nicht verstehen (selbst wenn wir in der Lage sind, alles zu verstehen, heißt das nicht, dass wir es verstehen werden).
7. Wie benutzt man es?
Wir können uns selbst zerstören und die KI mit der Technologie, die sie uns beim Aufbau hilft. Es müssen keine Bomben sein. Es kann Geoengineering sein oder Drogen wundern.
Dies ist besonders intensiv, wenn der ASI bereits leistungsfähig ist, aber nicht stark genug, um negative Konsequenzen vorherzusehen (oder wir ignorieren ihn einfach).