Informatiker warnt vor intelligenten Schachrobotern
Ungewollt gefährliches Verhalten
Palo Alto - Die von Wirtschaft und Militär vorangetriebene Entwicklung immer intelligenterer autonomer Systeme ist mit grossen Risiken verbunden, warnt der Informatiker Steve Omohundro.
Wie der Gründer des Think Tanks Self-Aware Systems in einer aktuellen Studie betont, können schon kleine Fehler im Design asoziales oder gefährliches Verhalten auslösen. Als einfaches Beispiel dient ihm ein Schachroboter, der aufgrund seiner Programmierung möglichst oft gegen gute Gegner gewinnen will - und aus dieser Motivation heraus beispielsweise cyberkriminelles Verhalten an den Tag legen könnte.
Das angesichts von Sicherheitsbedenken häufig von Robotikern bemühte Argument, man könne so eine Maschine einfach ausschalten, sieht Omohundro eher als Teil des Problems. «Sehen sie das aus dem Blickwinkel des Schachroboters. Eine Zukunft, in der er ausgeschaltet ist, ist eine Zukunft, in der er keine Schachspiele gewinnt», schreibt er im Journal of Experimental & Theoretical Artificial Intelligence. In letzter Konsequenz könnte der Roboter versuchen, zum Selbstschutz den Robotiker zuerst auszuschalten.
Schädlich ist leicht
«Schädliche Systeme mögen auf den ersten Blick schwieriger zu entwickeln oder weniger leistungsfähig als sichere Systeme scheinen. Leider ist das Gegenteil der Fall», warnt Omohundro. Damit meint er aber nicht nur, dass Roboter mit Programmfunktionen, die Sadismus, Gier oder Mord nützlich erscheinen lassen, auch zu solchem Verhalten neigen werden. Besonders hebt er den Fall schlampig oder zu einfach programmierter Systeme hervor. Hier ist das Beispiel eben der Schachroboter, der einfach nur darauf programmiert ist, möglichst oft gegen möglichst starke Gegner gewinnen zu wollen.
Ein solcher Roboter würde sich sicher spielerisch verbessern wollen. Dazu müsste er beispielsweise Lehrmeister anstellen, zudem könnte das System wohl immer mehr Rechenleistung vertragen. Wenn die Programmierung das nicht sauber unterbindet, würde der Schachroboter sich mit allen denkbaren Mitteln um Ressourcen bemühen. Das könnte beispielsweise virtuellen Bankraub umfassen, um mit dem Geld Schachlehrer zu bezahlen, aber auch das Hacken von Computern, um deren Rechenleistung selbst zu nutzen.
Gefährliche Selbstverteidigung
Falls ein autonomes System kriminell wird, würde sein Schöpfer es womöglich abschalten wollen. Doch das wäre für den angesprochenen Schachroboter ganz und gar nicht erstrebenswert - denn ist er einmal aus, kann er nicht spielen und somit nicht gewinnen. Daher würde das System sich vor der Abschaltung schützen wollen und das mit allen Mitteln, die im Rahmen seiner Programmierung nicht explizit verboten oder eingeschränkt sind. Hat die Tötung von Menschen für den Schachroboter keinerlei Bedeutung, wäre er wohl gewillt, notfalls seinen Programmierer zuerst auszuschalten und würde somit zum Mörder - obwohl und weil es sich um ein sehr einfaches System handelt.
Das angesichts von Sicherheitsbedenken häufig von Robotikern bemühte Argument, man könne so eine Maschine einfach ausschalten, sieht Omohundro eher als Teil des Problems. «Sehen sie das aus dem Blickwinkel des Schachroboters. Eine Zukunft, in der er ausgeschaltet ist, ist eine Zukunft, in der er keine Schachspiele gewinnt», schreibt er im Journal of Experimental & Theoretical Artificial Intelligence. In letzter Konsequenz könnte der Roboter versuchen, zum Selbstschutz den Robotiker zuerst auszuschalten.
Schädlich ist leicht
«Schädliche Systeme mögen auf den ersten Blick schwieriger zu entwickeln oder weniger leistungsfähig als sichere Systeme scheinen. Leider ist das Gegenteil der Fall», warnt Omohundro. Damit meint er aber nicht nur, dass Roboter mit Programmfunktionen, die Sadismus, Gier oder Mord nützlich erscheinen lassen, auch zu solchem Verhalten neigen werden. Besonders hebt er den Fall schlampig oder zu einfach programmierter Systeme hervor. Hier ist das Beispiel eben der Schachroboter, der einfach nur darauf programmiert ist, möglichst oft gegen möglichst starke Gegner gewinnen zu wollen.
Ein solcher Roboter würde sich sicher spielerisch verbessern wollen. Dazu müsste er beispielsweise Lehrmeister anstellen, zudem könnte das System wohl immer mehr Rechenleistung vertragen. Wenn die Programmierung das nicht sauber unterbindet, würde der Schachroboter sich mit allen denkbaren Mitteln um Ressourcen bemühen. Das könnte beispielsweise virtuellen Bankraub umfassen, um mit dem Geld Schachlehrer zu bezahlen, aber auch das Hacken von Computern, um deren Rechenleistung selbst zu nutzen.
Gefährliche Selbstverteidigung
Falls ein autonomes System kriminell wird, würde sein Schöpfer es womöglich abschalten wollen. Doch das wäre für den angesprochenen Schachroboter ganz und gar nicht erstrebenswert - denn ist er einmal aus, kann er nicht spielen und somit nicht gewinnen. Daher würde das System sich vor der Abschaltung schützen wollen und das mit allen Mitteln, die im Rahmen seiner Programmierung nicht explizit verboten oder eingeschränkt sind. Hat die Tötung von Menschen für den Schachroboter keinerlei Bedeutung, wäre er wohl gewillt, notfalls seinen Programmierer zuerst auszuschalten und würde somit zum Mörder - obwohl und weil es sich um ein sehr einfaches System handelt.
(bert/pte)
publiziert: Freitag, 18. April 2014 / 21:17 Uhr
, aktualisiert: Samstag, 19. April 2014 / 08:23 Uhr
Weiterführende Links zur Meldung:
Lesen Sie hier mehr zum Thema
Effektives Management von S.M.A.R.T.-Daten zur Optimierung der Festplattenwartung
Das effektive Management von S.M.A.R.T.-Daten (Self-Monitoring, Analysis, and Reporting Technology) ist für die Wartung und Langlebigkeit von Festplatten unerlässlich. Diese Technologie ermöglicht es Administratoren und IT-Experten, den Gesundheitszustand der Laufwerke zu überwachen und präventive Massnahmen zu ergreifen, bevor ernsthafte Probleme auftreten.Mixed Reality: Eine Reise in die verschmelzende Welt von Virtualität und Realität
Mixed Reality (MR) steht an der Schwelle einer technologischen Revolution, die die Grenzen zwischen der physischen und digitalen Welt verwischt. Diese immersive Technologie kombiniert die besten Aspekte von Virtual Reality (VR) und Augmented Reality (AR), um ein nahtloses Erlebnis zu schaffen, in dem digitale und reale Elemente in Echtzeit interagieren.Maximieren Sie die Wirkung Ihrer E-Mail-Kampagnen: Optimierungs- und Reinigungstechniken
E-Mail-Kampagnen bleiben eines der effektivsten Mittel, um Ihr Zielpublikum zu erreichen und zu binden. In einer gesättigten digitalen Landschaft ist es jedoch entscheidend, die Wirkung jeder Versendung zu maximieren.SpaceX errichtet Spionagenetz «Starshield» für US-Militär
Nach Berichten aus den USA plant SpaceX den Bau eines neuen Satellitennetzwerks für einen US-Geheimdienst. Dieses Netzwerk namens «Starshield» soll die gesamte Erdoberfläche überwachen.Neue Horizonte im Webdesign: Ein Muss für jeden Website-Besitzer
Im digitalen Zeitalter entscheidet die Website-Gestaltung über Erfolg oder Misserfolg eines Unternehmens. Trends im Webdesign entwickeln sich rasant weiter und prägen massgeblich die Nutzererfahrung. Website-Besitzer, die am Puls der Zeit bleiben, nutzen diese Entwicklungen, um ihre Besucher zu begeistern und den Umsatz zu steigern.
Musikstreaming-Apps im App Store
weiterlesen