Vorstudie: Sicheres Aufwachsen mit KI

Künstliche Intelligenz (KI) ist längst Teil des Alltags von Kindern und Jugendlichen. Umso wichtiger ist es, sich mit der Frage zu befassen: Wie können Kinder und Jugendliche KI sicher und selbstbestimmt nutzen? Genau mit dieser Frage haben sich die SOS-Kinderdörfer weltweit in einer Vorstudie zusammen mit Terre des Hommes auseinandergesetzt.

KI prägt in immer mehr Bereichen das Leben von Kindern und Jugendlichen. Tech-Firmen treiben die Entwicklung von KI-Anwendungen mit unvorstellbaren Summen voran, womit die Chancen, aber auch Risiken von KI steigen. Bisher tun die Unternehmen wenig, um Mobbing oder emotionale Abhängigkeiten von KI-Systemen zu stoppen.  

Derzeit hängt die gesetzliche Regulierung meilenweit zurück. Dies ist gerade mit Blick auf Kinder und Jugendliche eine fatale Angelegenheit. Es ist höchste Zeit zu handeln, um Kinder und Jugendliche besser zu schützen. Tech-Unternehmen müssen endlich Verantwortung übernehmen sowie Eltern und Lehrkräfte gestärkt werden. Dabei dürfen die Stimmen junger Menschen nicht unter den Tisch fallen, denn sie entscheiden letztlich, ob Maßnahmen wirken oder nicht. 

Wie können Kinder sicher und selbstbestimmt mit KI aufwachsen?

SOS-Kinderdörfer weltweit und Terre des Hommes haben gemeinsam die Vorstudie »Sicher mit KI aufwachsen« in Auftrag gegeben. Dabei wurden die Perspektiven junger Menschen sowie internationaler Expert:innen einbezogen. Die Ergebnisse der Vorstudie wurden in einer Kurzbroschüre zusammengefasst. Die Broschüre erklärt: 

  • Wo die größten Chancen und Risiken Künstlicher Intelligenz für Kinder liegen.
  • Welche Gesetze und Leitlinien die Rechte von Kindern und Jugendlichen schützen.
  • Wo Wissens- und Schutzlücken bestehen – und wie Politik, Unternehmen, Forschung und Zivilgesellschaft sie schließen können.

Zur Broschüre

Broschüre: Sicher mit KI aufwachsen

Unsere Forderungen

Die SOS-Kinderdörfer und Terre des Hommes haben im Rahmen eines Forderungskatalogs vier zentrale Handlungsfelder ausgearbeitet. In diesen Bereichen sollte es Anpassungen geben, damit Kinder und Jugendliche KI kritisch, sicher und selbstbestimmt nutzen können.

Schutz durch Technik

Technologieunternehmen haben den größten Einfluss darauf, wie sicher sich Kinder und Jugendliche durchs Netz bewegen. 

Wir fordern, dass Tech-Firmen:

  • die Auswirkungen ihrer KI-Tools auf Kinder und Jugendliche überprüfen und entsprechende Schutzmaßnahmen wie Safety-by-Design ergreifen. Das beinhaltet unter anderem kinderrechtliche Folgenabschätzungen, altersgerechte Standardeinstellungen und strikte Minimierung der Datennutzung.
  • wirksame Schutzmaßnahmen gegen Missbrauch implementieren und Altersangaben wirklich überprüfen. Dazu zählt ein gezieltes Vorgehen gegen KI-generierte sexualisierte Inhalte und Deepfakes von Kindern und Jugendlichen – durch technische Schutzvorkehrungen gegen die Erstellung solcher Inhalte und wirksame Melde- und Löschmechanismen.
  • sich dazu verpflichten, manipulative und suchtfördernde Gestaltungsmuster nicht zu nutzen (z. B. endlose Nutzungsschleifen, variable Belohnungsmechanismen, gezielt vermenschlichte Interaktionen), die auf eine möglichst lange Verweildauer statt auf das Wohl der Nutzer:innen abzielen.
  • KI-generierte Inhalte klar und verständlich kennzeichnen, damit Kinder und Jugendliche erkennen können, ob sie mit einer Maschine, mit KI-generierten Bildern/Videos oder mit echten Personen und Inhalten interagieren.

Schutz durch Wissen

Eltern und Pädagog:innen stehen vor der Herausforderung, Kinder und Jugendliche in einer Welt zu begleiten, die sich durch KI rasant verändert – und die auch für sie selbst neu ist. Hier spielen Universitäten, Bildungs- und Forschungseinrichtungen eine zentrale Rolle. 

Wir fordern die Bundesregierung dazu auf, entsprechende Studien und Projekte von Universitäten, Bildungs- und Forschungseinrichtungen ausreichend zu finanzieren, damit diese:

  • aus ihren wissenschaftlichen Erkenntnissen handlungsorientierte Leitlinien erarbeiten können, die helfen, Kinder und Jugendliche und ihre Eltern oder Bezugspersonen und pädagogisches Personal beim kritischen Umgang mit KI zu begleiten.
  • die langfristigen Auswirkungen von KI-Nutzung – insbesondere von Companion-Chatbots und personalisierten Empfehlungssystemen – auf die psychische und soziale Entwicklung von Kindern und Jugendlichen kontinuierlich und unabhängig erforschen und die Ergebnisse öffentlich zugänglich machen können.
  • KI-Kompetenzvermittlung altersgerecht direkt für Kinder und Jugendliche entwickeln können – nicht nur als Angebot für Eltern und Fachkräfte, sondern als eigenständiges, verständliches Wissen für junge Menschen selbst.
  • Eltern, Pädagog:innen und andere Betreuungspersonen stärken können, bspw. durch die Förderung von KI-Kompetenz-Programmen und Fortbildungen. Zudem sollte die Regierung einen dauerhaften Austausch zwischen Regulierungsbehörden, Zivilgesellschaft, Forschung und Industrie ermöglichen.


Schutz durch Recht

Wir brauchen Gesetze, die die Rechte von Kindern und Jugendlichen schützen und für Tech-Firmen klare Regelungen schaffen, damit Unternehmen ihrer Verantwortung gerecht werden.

Deshalb fordern wir von den Regierungen:

  • sicherzustellen, dass bestehende Gesetze umgesetzt werden – und diese dort zu ergänzen, wo neue Risiken durch KI bislang nicht abgedeckt sind, etwa durch verbindliche Regeln für Companion-Chatbots, wirksame Altersverifikation statt reiner Selbstauskunft und die konsequente Anwendung der Transparenzpflichten des EU AI Act auf Minderjährige.
  • kinderrechtliche Folgenabschätzungen für KI-Systeme verpflichtend einzuführen.
  • unabhängige Aufsichtsstellen mit wirksamen Prüf- und Sanktionsbefugnissen zu schaffen bzw. zu stärken, die die Einhaltung der Vorgaben regelmäßig und öffentlich überprüfen – ohne echte Konsequenzen bleiben Vorschriften wirkungslos.
  • die Teilhabe von Kindern und Jugendlichen an politischen Entscheidungsprozessen rund um KI sicherzustellen.
  • Kinder und Jugendliche als eigenständige KI-Nutzer:innen anzuerkennen.
  • sich für international abgestimmte Mindeststandards einzusetzen und sicherzustellen, dass Schutzmaßnahmen nicht nur in einzelnen Märkten, sondern auch für Kinder im Globalen Süden gelten, wo Aufsicht und Durchsetzung oft schwächer ausgeprägt sind.


Schutz durch Beteiligung

Kinder und Jugendliche sind die Expert:innen ihrer eigenen Lebenswelt. Schutz allein reicht nicht: Junge Menschen müssen als Rechtsträger:innen ernst genommen und aktiv an der Gestaltung ihrer digitalen Zukunft beteiligt werden.

Wir fordern, dass Politik, Wissenschaft und Unternehmen gemeinsam:

  • Kinder und Jugendliche systematisch und alters­gerecht an der Entwicklung, Erprobung und Bewertung von KI-Systemen und KI-Regulierung beteiligen – etwa durch Jugendbeiräte, Konsultationen und partizipative Studienformate, wie sie bereits der Vorstudie zugrunde lagen.
  • sicherstellen, dass die Perspektiven besonders vulnerabler Kinder – etwa Kinder in Betreuungsverhältnissen, mit Behinderung oder auf der Flucht – in diesen Prozessen eigens berücksichtigt werden.
  • verständliche, altersgerechte Informationsformate über KI-Systeme bereitstellen, damit junge Menschen ihre Rechte im digitalen Raum tatsächlich einfordern können.

"Kinderschutz bedeutet nicht nur, Risiken von KI zu reduzieren. Kinder und Jugendliche brauchen auch Kompetenzen, digitale Räume kritisch, sicher und selbstbewusst zu nutzen. Dieser umfassende Kinderschutz kann nur unter starker Beteiligung junger Menschen selbst gelingen. Dafür machen wir uns stark."

PROF. DR. SABINA SCHUTTER, VORSTÄNDIN DER SOS-KINDERDÖRFER WELTWEIT
Geschenkekorb
weitere Geschenke