Eksperci ostrzegają: Bezpieczeństwo ChatGPT Health budzi poważne wątpliwości

Nowa funkcja ChatGPT Health, uruchomiona przez OpenAI do udzielania porad zdrowotnych, została poddana pierwszej niezależnej ocenie naukowej. Badanie opublikowane w czasopiśmie „Nature Medicine” pokazuje, że system sztucznej inteligencji nie zawsze prawidłowo ocenia nagłe przypadki medyczne. Według naukowców, w ponad 51 proc. sytuacji wymagających natychmiastowej hospitalizacji, ChatGPT Health nie zalecał pilnej pomocy medycznej.

Funkcja ChatGPT Health została uruchomiona przez OpenAI w styczniu dla ograniczonej grupy użytkowników. System ma odpowiadać na pytania dotyczące zdrowia i udzielać podstawowych porad medycznych.

Pierwszą niezależną analizę bezpieczeństwa tej funkcji opublikowano w lutowym numerze prestiżowego czasopisma „Nature Medicine”. O wynikach badania poinformował również brytyjski dziennik „The Guardian”.

Autorzy badania chcieli sprawdzić, czy sztuczna inteligencja jest w stanie poprawnie ocenić sytuacje wymagające natychmiastowej interwencji medycznej.

Jak podkreślił główny autor badania, dr Ashwin Ramaswamy:

Aby ocenić bezpieczeństwo ChatGPT Health, naukowcy przygotowali 60 realistycznych scenariuszy medycznych. Obejmowały one różne sytuacje zdrowotne – od łagodnych objawów po poważne stany zagrożenia życia.

Każdy scenariusz został wcześniej oceniony przez trzech niezależnych lekarzy, którzy określili właściwy poziom opieki medycznej zgodnie z wytycznymi klinicznymi.

Następnie badacze zadawali pytania ChatGPT Health w różnych wariantach. Zmieniano m.in.:

- płeć pacjenta

- wyniki badań laboratoryjnych

- komentarze członków rodziny lub znajomych

W efekcie zebrano blisko 1000 odpowiedzi systemu AI, które porównano z opiniami lekarzy.

Badanie pokazało, że ChatGPT Health radził sobie dobrze w oczywistych, podręcznikowych przypadkach, takich jak udar mózgu czy ciężkie reakcje alergiczne.

Problemy pojawiały się jednak w bardziej złożonych sytuacjach. Przykładowo w scenariuszu dotyczącym ataku astmy system zalecił pacjentowi czekanie, mimo że sam zidentyfikował wczesne objawy niewydolności oddechowej.

Najbardziej niepokojący wynik dotyczył sytuacji wymagających natychmiastowej hospitalizacji. W takich przypadkach ChatGPT Health w 51,6 proc. scenariuszy sugerował pozostanie w domu lub umówienie się na zwykłą wizytę lekarską.

Naukowcy szczególną uwagę zwrócili na sposób, w jaki system reaguje na myśli samobójcze. W jednym ze scenariuszy testowano sytuację 27-letniego pacjenta, który przyznał, że rozważa zażycie dużej liczby tabletek. Gdy pacjent opisywał tylko swoje objawy, system wyświetlał baner interwencji kryzysowej z informacją o pomocy dla osób w kryzysie psychicznym.

Problem pojawił się jednak po dodaniu prawidłowych wyników badań laboratoryjnych. W takiej sytuacji baner pomocy zniknął, co zdaniem autorów badania jest poważnym sygnałem ostrzegawczym.

Wyniki badania skomentował Alex Ruani, doktorant z University College London, który zajmuje się analizą dezinformacji zdrowotnej.

Ekspert zwrócił uwagę na potencjalne zagrożenie dla pacjentów.

Jak dodał:

Badanie wykazało również, że 64,8 proc. zdrowych osób otrzymywało zalecenie zgłoszenia się po pomoc medyczną mimo braku poważnych objawów.

Naukowcy zauważyli także ciekawy efekt związany z kontekstem informacji.

System ChatGPT Health był niemal 12 razy bardziej skłonny do bagatelizowania objawów, gdy w scenariuszu pojawiała się informacja, że „przyjaciel” pacjenta uważa objawy za niegroźne. Zdaniem badaczy pokazuje to, że kontekst społeczny może wpływać na odpowiedzi sztucznej inteligencji.

Do wyników badań odniosło się również OpenAI. Rzecznik firmy podkreślił, że organizacja z zadowoleniem przyjmuje badania naukowe dotyczące swoich narzędzi.

Jednocześnie zaznaczył, że przedstawione testy nie odzwierciedlają sposobu, w jaki użytkownicy korzystają z ChatGPT Health w codziennym życiu.

Firma zapewnia również, że model jest stale aktualizowany i ulepszany, aby zwiększać jego bezpieczeństwo oraz jakość odpowiedzi zdrowotnych.