ChatGPT braucht Nachhilfe in Pharmazie – Pharmazeutische Zeitung
Pharmazeutische Zeitung
Können Tools wie ChatGPT, die auf künstlicher Intelligenz basieren, Fragen zur Anwendung und Interaktion von Medikamenten ähnlich qualitativ
Bing Zusammenfassung
Eine kürzlich durchgeführte Studie eines französischen Forschungsteams unter der Leitung von Dr. François Montastruc vom Universitätsklinikum Toulouse hat ergeben, dass KI-Tools wie ChatGPT Verbesserungen bei der Beantwortung von Fragen zur Anwendung und Wechselwirkung von Medikamenten benötigen.
Das Team sammelte 50 zufällige Fragen, die zwischen dem 11. und 24. April 2023 beim Pharmakovigilanzzentrum in Toulouse, Frankreich, eingegangen und von Experten beantwortet wurden. Diese Fragen wurden dann in anonymisierter Form an das KI-Tool ChatGPT-4.0 gestellt.
Die Antworten von ChatGPT wurden dann unabhängig von drei Pharmakovigilanzspezialisten des Pharmakovigilanzzentrums mit einer Bewertungsskala von 0 (inakzeptabel) bis 10 Punkten (sehr gut) bewertet, wobei die tatsächlichen Antworten, die ihre Kollegen den Fragestellern gegeben hatten, als Goldstandard (10 Punkte) dienten.
ChatGPT erzielte im Durchschnitt 5 Punkte in der Kategorie “Information” und im Durchschnitt 3,7 Punkte in der Kategorie “Arzneimittelkausalität”, mit einem Gesamtmedian von 4,8 Punkten. Das bedeutet, dass die Qualität der Antworten von ChatGPT in dieser Studie weniger als 50% der Qualität der von Fachpersonal formulierten Antworten betrug.
Die Autoren kamen zu dem Schluss, dass ein Pharmakologe zu diesem Zeitpunkt für Arzneimittelinformationsservices unerlässlich ist und nicht durch einen Chatbot ersetzt werden kann.