Die DSK-Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ adressiert vor allem Verantwortliche, die KI einsetzen, aber auch mittelbar Entwickler, Hersteller und Anbieter von KI-Lösungen. Sie bietet einen Überblick zu aus Sicht der Behörden relevanten Kriterien, soll jedoch nicht als abschließender Anforderungskatalog verstanden werden. Trotzdem enthält das Dokument Verweise auf eine große Vielzahl verschiedener rechtlicher Anforderungen. Es fällt jedoch auf, dass an vielen Stellen die Aussagen wenig begründet werden und wohl eher erste allgemeinere Hinweise erteilt werden, weil das Thema so aktuell und praxisrelevant ist. Im Fokus stehen Large Language Models, die in Form von Chatbots angeboten werden oder als Grundlage für eine andere Form von Anwendung dienen. Das Dokument ist in die folgenden drei Abschnitte gegliedert: 1) „Konzeption des Einsatzes und Auswahl von KI‐Anwendungen“ und 2) „Implementierung von KI‐Anwendungen“ und 3) „Nutzung von KI‐Anwendungen“. Im Folgenden fassen wir zu den jeweiligen Abschnitten getrennt die jeweiligen Kernaussagen zusammen und am Ende des Beitrags finden Sie eine kurze kritische Würdigung ausgewählter Aussagen aus der Orientierungshilfe.

1. Kernaussagen zur Konzeption des Einsatzes und der Auswahl von KI-Anwendungen

Die Orientierungshilfe enthält im ersten Abschnitt der Gliederung im Wesentlichen die folgenden Kernaussagen:

• Vorab sollten das Einsatzfeld und der Zweck der Datenverarbeitung festgelegt sein, denn nur so können Verantwortliche das Merkmal der Erforderlichkeit der relevanten Rechtsgrundlage prüfen – bei öffentlichen Stellen ist die Aufgabenwahrnehmung ebenfalls relevant (Rn. 1 und 2).
• Einige Arten von KI-Einsatz seien in Gänze verboten oder nur in sehr engen Ausnahmefällen zulässig. Die DSK verweist in dem Zusammenhang auf die KI-Verordnung und als Beispiele auf Social-Scoring und biometrische Echtzeitüberwachung öffentlicher Räume (Rn. 3).
• Abgrenzbare Einsatzbereiche ohne personenbezogene Daten sind für die DSK denkbar. Als Beispiel wird auf Analysen mit geologischen Karten ohne Bezug zu einer Wohngegend verwiesen. Beim Einsatz eines Chatbots für die Prüfung von nicht personenbezogenen Code-Sequenzen sollte geprüft werden, ob durch das KI-Modell selbst (bspw. in Bezug auf Nutzer des Dienstes denkbar) ggf. trotzdem eine Verarbeitung personenbezogener Daten erfolgt (Rn. 4 bis 6).
• Verantwortliche, die eine KI selbst nicht entwickelt haben, müssen sich damit auseinandersetzen, ob die KI mit personenbezogenen Daten und im Einklang mit der DSGVO trainiert wurde. Auch ohne Einfluss auf den Entwicklungsprozess müssen solche Verantwortliche sicherstellen, dass eine nicht datenschutzgerechte Entwicklung sich nicht auf die Rechtmäßigkeit der in eigener Verantwortlichkeit vorgenommenen Datenverarbeitungen auswirkt (Rn. 7 und 8).
• Für jeden Verarbeitungsschritt benötigt man eine Rechtsgrundlage – die DSK hält die relevanten Passagen hier sehr allgemein und verweist auch auf das das Diskussionspapier „Rechtsgrundlagen im Datenschutz beim Einsatz von Künstlicher Intelligenz“ des LfDI Baden-Württemberg (Rn. 9 bis 11).
• Die DSK ist im Kontext des 22 Abs. 1 DSGVO der Ansicht, dass bei mithilfe von KI getroffenen vorbereitenden Entscheidungen (bei denen die finale Entscheidung von einem Menschen getroffen wird) der die Entscheidung final treffende Mensch nicht nur lediglich formell beteiligt sein sollte. Als Beispiel erwähnt die DSK eine KI, die selbständig Bewerbungen auswertet und Einladungen zu Vorstellungsgesprächen versendet. Bei einem solchen Vorgehen erfolgt nach Ansicht der DSK ein Verstoß gegen Art. 22 Abs. 1 DSGVO. Es wird auch auf automatisiert erlassene Verwaltungsakte eingegangen (Rn. 12 bis 14).
• Nach Ansicht der DSK sind geschlossene KI-Systeme gegenüber offenen Systemen vorzugswürdig. Das wird u.a. damit begründet, dass bei geschlossenen Systemen ein Risiko für eine zweckentfremdende Weiterverarbeitung bestehe und für Dritte Daten verfügbar sein können. Man soll zudem u.a. bedenken, ob die KI selbst Zugang zum Internet hat und so ein Personenbezug ggf. hergestellt werden kann (Rn. 15 bis 20).
• Wenn Eingabedaten und Ausgabedaten für das Trainieren der KI verwendet werden, dann muss dies transparent werden. Außerdem sollte nach Ansicht der DSK eine Möglichkeit zum Abschalten der Datennutzung für das Training bestehen (Rn. 24).
• Insbesondere wenn mehrere Beschäftigte einen gemeinsamen Account nutzen und dort der vorherige Verlauf angezeigt wird, dann muss dies transparent erkennbar Zusätzlich soll es eine Möglichkeit dafür geben, dass Nutzer einzeln bestimmen, ob die Eingabe-Historie gespeichert wird (Rn. 25).
• Die Betroffenenrechte müssen auch im Rahmen der mit KI vorgenommenen Datenverarbeitungen umgesetzt werden. Nach Ansicht der DSK ist das Recht auf Berichtigung hier besonders relevant, weil manche KI-Anwendungen selbst angeben, dass die Ergebnisse auf Richtigkeit geprüft werden müssen. Die DSK betont, dass durch eine Unterdrückung von Ausgabeergebnissen zwar keine Löschung erfolgt, aber trotzdem hierfür verwendete Filter hilfreich für die Gewährleistung von Rechten betroffener Personen sind (Rn. 26 bis 30).
• Der Datenschutzbeauftragte sollte eingebunden werden. Insbesondere, wenn mit der KI vorbereitende Entscheidungen für spätere Entscheidungen mit Rechtswirkung getroffen werden (Rn. 31).

2. Kernaussagen zur Implementierung von KI‐Anwendungen

Die Orientierungshilfe enthält zur Implementierung von KI-Anwendungen im Wesentlichen die folgenden Kernaussagen:

• Es sollte vorab geklärt werden, wer der Verantwortliche ist und welche anderen Akteure in welchen datenschutzrechtlichen Rollen Wird die KI‐Anwendung von einer Stelle ausschließlich zu eigenen Zwecken auf eigenen Servern betrieben, ist diese Stelle nach Ansicht der DSK in der Regel auch allein Verantwortlicher. Wenn eine Stelle eine von einer anderen Stelle angebotene KI für eigene Zwecke nutzt, dann agiert diese die KI nutzende Stelle in der Regel als Verantwortlicher und der Anbieter als Auftragsverarbeiter. Eine gemeinsame Verantwortlichkeit kommt nach Ansicht der deutschen Behörden bspw. in Betracht, wenn bei Kooperationen mehrerer Stellen eine KI‐Anwendung mit unterschiedlichen Datensätzen gespeist oder trainiert wird. Dasselbe soll gelten, wenn auf der Plattform einer Stelle deren KI-Anwendung von anderen Stellen zu neuen KI‐Anwendungen weiterentwickelt wird (Rn. 32 bis 34).
• Die DSK weist darauf hin, dass bei einer gemeinsamen Verantwortlichkeit jeder Verantwortliche eine eigene Rechtsgrundlage benötigt und der Datenaustausch zwischen gemeinsam Verantwortlichen auch einer Rechtsgrundlage bedarf, die sich nicht in Art. 26 DSGVO befindet (Rn. 35).
• Es sollten klare interne Regelungen und Weisungen zur Nutzung von KI vorhanden sein. In dem Zusammenhang erwähnt die DSK, dass es derzeit in vielen Unternehmen wohl zur unkontrollierten Nutzung von KI durch Beschäftigte kommt. Nach Ansicht der deutschen Behörden sollte bspw. geregelt werden, unter welchen Voraussetzungen und zu welchen Zwecken KI eingesetzt werden darf sowie welche Dienste verwendet werden dürfen. Beschäftigte sollten auch generell geschult und dafür sensibilisiert werden, ob und unter welchen Voraussetzungen KI eingesetzt werden darf (Rn. 36 bis 37 und Rn. 46).
• Nach Ansicht der DSK ist häufig eine Datenschutz-Folgenabschätzung durchzuführen. Wenn KI eines Drittanbieters genutzt wird, dann sollte beim Einkaufsprozess bereits bedacht werden, ob der Anbieter dem die KI nutzenden Unternehmen hierfür genügend aussagekräftige Informationen bereitstellen kann (Rn. 38 bis 40).
• Die DSK weist darauf hin, dass Beschäftigte KI-Anwendungen mit betrieblichen Geräten nutzen sollten. Nach Ansicht der Behörden sei es sogar notwendig, dass für die Account-Registrierung eine allgemeine E-Mail-Adresse des Unternehmens (bspw. info@) genutzt wird und die verwendeten Account-Namen nicht den Namen der Mitarbeiter erkennen lassen (Rn. 42).
• Im Bereich Datensicherheit und Datenschutz durch Technikgestaltung vorhandene Vorgaben müssen umgesetzt werden. Bspw. sollen die Voreinstellungen hinsichtlich der Nutzung von Ein- und Ausgabedaten für das Training und das Anzeigen der Historie im Account getroffen werden. Hinsichtlich der Datensicherheit wird auch auf die Veröffentlichungen des BSI hingewiesen (Rn. 43 bis 45).
• Die DSK weist darauf hin, dass zusätzliche Anforderungen aus der KI-Verordnung beachtet werden müssen und technische und rechtliche Entwicklungen weiter beobachtet werden sollten (Rn. 47).

3. Kernaussagen zur Nutzung von KI‐Anwendungen

Die Orientierungshilfe enthält zur Nutzung von KI‐Anwendungen im Wesentlichen die folgenden Kernaussagen:

• Beim Einsatz von KI sollte darauf geachtet werden, ob bei der Eingabe personenbezogene Daten verarbeitet werden und ob das von der KI gelieferte Ergebnis ggf. personenbezogen Trifft dies zu, muss eine Rechtsgrundlage vorliegen und ggf. müssen betroffene Personen nach Art. 13 / 14 DSGVO informiert werden. Die DSK benennt verschiedene Beispiele für Eingaben und Ausgaben mit und ohne Personenbezug (Rn. 48 bis 61).
• Die DSK weist auf erhöhte Zulässigkeitsanforderungen für die Verarbeitung von besonderen Kategorien personenbezogener Daten Eine solche Verarbeitung läge bspw. vor, wenn Informationen über die Einnahme von Medikamenten oder regelmäßige Besuche einer Kirche verarbeitet werden. In dem von den Behörden bereitgestellten Beispiel wird darauf eingegangen, dass im Rahmen der Krebsdiagnostik KI-Anwendungen weit verbreitet sind und deren Einsatz bei einer Zulassung als ein Medizinprodukt auch auf Art. 9 Abs. 2 lit. h DSGVO in Verbindung mit dem Behandlungsvertrag (Art. 6 Abs. 1 lit. b DSGVO) gestützt werden kann. Sofern keine Zulassung vorliegt, bleibt laut der DSK nur die Einwilligung als Option (Rn. 62 und 63).
• Die DSK weist ein weiteres Mal auf die Vorgaben zur Richtigkeit der verarbeiteten Daten hin und rät zur Überprüfung der von einer KI produzierten Ergebnisse und damit im Zusammenhang stehende Konsequenzen für die Zulässigkeit der Datenverarbeitung (Rn. 64).
• Auch richtige personenbezogene Daten können nach Ansicht der DSK diskriminierend wirken. In diesen Fällen kann nach Ansicht der Behörden ggf. keine Rechtsgrundlage für die Verarbeitung solcher Daten vorliegen. Als Beispiel wird darauf verwiesen, dass die Interessenabwägung nach Art. 6 Abs. 1 lit. f DSGVO nicht zu Gunsten des Verantwortlichen ausfallen kann, wenn die Verarbeitung dazu dient, eine nach dem AGG verbotene Diskriminierung vorzunehmen (Rn. 66 bis 69).

4. Kurze kritische Würdigung

Zunächst einmal ist es positiv, dass sich die Behörden datenschutzrechtlich zu dem aktuellen und praxisrelevanten Thema KI positioniert haben. Verantwortliche sollten jedoch nicht erwarten, dass die Orientierungshilfe tiefgründige Analysen und verschiedene Ansichten zu den datenschutzrechtlichen Fragen enthält. An vielen Stellen treffen die Behörden Aussagen, ohne diese weiter zu begründen oder detailliert auszuführen, warum das Ergebnis so lautet. Im Dokument wird bereits angekündigt, dass dieses noch künftig ergänzt werden soll, sodass hier in Zukunft ggf. noch Aussagen weiter begründet oder konkretisiert werden könnten.

Manche Stellen der Orientierungshilfe wirken auch offen gestanden etwas kleinteilig und an den großen datenschutzrechtlichen Herausforderungen vorbeigehend. Wenn die DSK bspw. in Rn. 42 hervorhebt, dass Accounts nicht die Namen einzelner Beschäftigter enthalten sollten und eine Funktions‐E‐Mail‐Adresse des Unternehmens zu nutzen ist, dann wird an der Stelle sicherlich nicht auf wichtige datenschutzrechtliche Knackpunkte für den KI-Einsatz eingegangen. Auch der Hinweis, dass ein geschlossenes KI-System gegenüber einem offenen vorzugswürdig ist, scheint für durchschnittliche Unternehmen an deren Realität vorbeizugehen. Denn solchen Unternehmen bleibt angesichts der aktuellen Marktlage im Bereich KI häufiger keine andere Option als die Nutzung von offenen Systemen eines Drittanbieters. Auch Verweise auf die Nutzung eigener Server für die KI-Datenverarbeitung reihen sich hier ein. Zudem stellt sich im Kontext der Richtigkeit personenbezogener Daten die Frage, wie denn Unternehmen damit umgehen sollen, dass eine KI aktuell nun einmal – genauso wie auch Menschen – nicht immer 100%ig richtige Antworten liefert. Man könnte die entsprechenden Stellen in der Orientierungshilfe auch so verstehen, dass in solchen Fällen dann eine Nutzung der potenziell falschen Ergebnisse immer mit datenschutzrechtlichen Problemen verbunden ist.

Auch wenn die Orientierungshilfe sicherlich nicht die großen datenschutzrechtlichen Fragen zum KI-Einsatz beantwortet, ist es gut ein Gespür dafür zu bekommen, auf welche Aspekte die deutschen Behörden am meisten achten. KI nutzende Verantwortliche können die von der DSK angesprochenen Anforderungen verwenden und für ihren eigenen KI-Einsatz prüfen, wie weit sie von der Auffassung der Behörden entfernt sind. Ggf. ergibt es Sinn, gegenüber der DSK-Ansicht abweichende Argumente zu dokumentieren, um im Falle einer Prüfung durch eine Behörde sprechfähig zu sein. Gleichzeitig erscheint es wohl eher unwahrscheinlich, dass die Datenschutzbehörden zeitnah im großen Stil den Einsatz von KI in Unternehmen prüfen werden.