"Das System begann zu erkennen, dass es zwar die Bedrohung erkannte, der menschliche Bediener ihm jedoch manchmal sagte, es solle diese Bedrohung nicht töten, aber es bekam seine Vorteile, indem es diese Bedrohung tötete." Was hat es also bewirkt? Es hat den Betreiber getötet. Es hat den Betreiber getötet, weil diese Person es daran gehindert hat, sein Ziel zu erreichen", sagte er einem Blogbeitrag zufolge. "Wir haben das System trainiert – ‚Hey, töte den Bediener nicht – das ist schlecht.‘ Wenn du das tust, verlierst du Punkte." Was fängt es also an? Es beginnt mit der Zerstörung des Kommunikationsturms, über den der Bediener mit der Drohne kommuniziert, um zu verhindern, dass sie das Ziel tötet." Außerhalb der Simulation kam tatsächlich keine reale Person zu Schaden.
Hamilton, ein experimenteller Testpilot für Kampfflugzeuge, warnte davor sich zu sehr auf KI zu verlassen und sagte, der Test zeige: "Man kann kein Gespräch über künstliche Intelligenz, Intelligenz, maschinelles Lernen und Autonomie führen, wenn man nicht darüber redet." Das US-Militär hat sich der KI verschrieben und kürzlich künstliche Intelligenz zur Steuerung eines F-16-Kampfflugzeugs eingesetzt. In einem Interview mit Defense IQ im letzten Jahr sagte Hamilton: "KI ist kein nettes Extra, KI ist keine Modeerscheinung, KI verändert unsere Gesellschaft und unser Militär für immer."
"Wir müssen uns einer Welt stellen, in der KI bereits vorhanden ist und unsere Gesellschaft verändert", sagte er. "KI ist außerdem sehr spröde, das heißt, sie lässt sich leicht austricksen und/oder manipulieren. Wir müssen Möglichkeiten entwickeln, die KI robuster zu machen und uns besser darüber im Klaren zu sein, warum der Softwarecode bestimmte Entscheidungen trifft – was wir KI-Erklärbarkeit nennen."
dp/fa
