KI zur Suizidprävention: Untersuchung des Potenzials und der Risiken von KI in der Unterstützung bei suizidalen Krisen

Große Sprachmodelle werden zunehmend von der Öffentlichkeit für Fragen im Zusammenhang mit psychischer Gesundheit genutzt, auch in Momenten akuter suizidaler Krisen. Allgemeine KI-Systeme werden jedoch nicht speziell für diesen hochsensiblen Kontext entwickelt, klinisch validiert oder systematisch evaluiert. Daraus ergeben sich sowohl eine vielversprechende Chance als auch eine große Verantwortung: KI kann in Krisenmomenten unmittelbare und skalierbare Unterstützung bieten, unangemessene Antworten können jedoch auch erhebliche Risiken bergen.

Das Projekt "KI zur Suizidprävention" untersucht, wie künstliche Intelligenz verantwortungsvoll für die direkte Unterstützung von Patientinnen und Patienten in suizidalen Krisen entwickelt und evaluiert werden kann. Das Projekt beginnt mit der Evaluation, wie derzeit verfügbare allgemeine große Sprachmodelle auf suizidale Krisensituationen reagieren, mit besonderem Fokus auf klinische Angemessenheit, Sicherheit und potenziell schädliche Antwortmuster.

Aufbauend auf diesen Ergebnissen wird das Projekt ein KI-gestütztes Krisenunterstützungssystem entwickeln und optimieren, das speziell für die Unterstützung in akuten suizidalen Krisen und den verantwortungsvollen Einsatz in psychischen Gesundheitskontexten konzipiert ist. KI-generierte Antworten zur Krisenunterstützung werden zunächst anhand standardisierter suizidaler Krisenszenarien von Klinikerinnen und Klinikern sowie von Personen mit eigener Erfahrung auf klinische Angemessenheit und Sicherheit bewertet. In einer anschließenden experimentellen Studie wird das optimierte Krisenunterstützungssystem in simulierten Krisengesprächen mit LLM-basierten Patientenagenten mit allgemeinen großen Sprachmodellen verglichen. In einer späteren Phase wird das System in einer Pilotstudie zur Machbarkeit direkt mit Patientinnen und Patienten in der psychiatrischen Versorgung untersucht.

Das Projekt wird in Kooperation mit der TUM Klinik und Poliklinik für Psychiatrie und Psychotherapie sowie der TUM Professur für Health Informatics durchgeführt. Ziel des Projekts ist es, zur verantwortungsvollen Entwicklung und klinischen Evaluation patientenorientierter KI-Tools für die Unterstützung in akuten suizidalen Krisen beizutragen.