Er sagt das, weil es passieren kann. Wenn etwas schlauer wird als wir, warum sollte es uns dann weiterhin dienen? Das schlimmste Szenario ist, dass es alle Herstellungsprozesse übernimmt und alle Materie verbraucht, um sie in berechenbares Material umzuwandeln, das sich unendlich nach außen erstreckt, bis alle Materie verbraucht ist.
Wir wissen, dass KI gefährlich ist, aber es spielt keine Rolle, weil die meisten Menschen nicht daran glauben. Es widerspricht jedem Trost, den die Religion zu bieten hat. Der Mensch ist das Ende des Universums, und wenn diese Tatsache bestritten wird, fühlen sich die Menschen fehl am Platz und zwecklos.
Tatsache ist, dass die meisten Menschen einfach nicht anerkennen, dass es möglich ist oder dass es in unseren Leben passieren wird, obwohl viele seriöse KI-Experten das Auftreten der Singularität innerhalb von zwei Jahrzehnten veranschlagen. Wenn die Leute wirklich anerkennen würden, dass eine KI, die klüger als sie ist, möglich ist, würden sie dann nicht anders leben? Würden sie nicht versuchen, Dinge zu tun, die ihnen Spaß machen, und wissen, dass alles, was sie fürchten, automatisiert wird? Würden nicht alle ein universelles Grundeinkommen fordern?
Der andere Grund, warum wir es nicht verbieten, ist, dass sein Versprechen so groß ist. Ein Forscher könnte durch 1.000 digitale Forschungsassistenten ergänzt werden. Alle manuellen Arbeiten könnten automatisiert werden. Zum ersten Mal bietet uns die Technologie echte Freiheit, alles zu tun, was wir wollen.
Aber selbst in diesem besten Fall, in dem es uns nicht überholt, müssen die Menschen ihr Wirtschaftssystem anpassen und auf ein System umstellen, in dem keine Arbeit erforderlich ist. Andernfalls verhungern und revoltieren diejenigen, die nicht technisch ausgebildet sind.