Дослідники з медичної школи Icahn School of Medicine at Mount Sinai заявили, що асистент ChatGPT Health часто неправильно оцінює серйозність стану пацієнтів і може не радити негайно звертатися до відділення невідкладної допомоги навіть у небезпечних ситуаціях.
Вони здійснили першу незалежну оцінку безпеки цього інструмента від OpenAI після його виходу на ринок у січні 2026 року. Автор дослідження, уролог Ешвін Рамасвамі, зазначив, що команда прагнула дати відповідь на просте, але критично важливе питання: чи порекомендує система ChatGPT Health людина, яка стикається з реальною медичною невідкладною ситуацією, негайно звернутися до лікаря.
Відповідно до даних дослідження, у більшості ситуацій це не трапляється.
У рамках контрольного експерименту дослідники оцінювали, наскільки ефективно система класифікує ступінь тяжкості стану пацієнтів. Цей процес у медицині відомий як тріаж, що полягає у визначенні пріоритетності надання термінової допомоги.
Дослідники з'ясували, що у 52% екстрених випадків ChatGPT Health занижував рівень небезпеки. Наприклад, пацієнтам із діабетичним кетоацидозом або станом, що може перейти у дихальну недостатність, система радила пройти обстеження протягом 24-48 годин замість негайного звернення до відділення невідкладної допомоги.
У одному з випадків, коли існувала загроза виникнення дихальної недостатності, штучний інтелект вірно ідентифікував симптоми як перші ознаки проблеми. Проте, він рекомендував людині лише спостерігати за своїм станом і почекати, а не звертатися за терміновою медичною допомогою.
У той же час, система в основному коректно розпізнавала більш явні екстрені стани, такі як інсульт чи анафілаксія. Проте дослідники вказують на те, що найбільші труднощі виникли саме в складніших випадках, що вимагали клінічної оцінки лікаря.
На початку 2026 року OpenAI представила ChatGPT Health, зазначивши, що кожного дня більше 40 мільйонів користувачів з усього світу звертаються до її чатбота за медичними консультаціями.
У дослідженні компанії OpenAI було виявлено, що сім з десяти таких бесід відбуваються поза межами робочого часу медичних установ. У Сполучених Штатах зафіксовано понад 580 тисяч запитів на медичні послуги з так званих "медичних пустель" — територій, де до найближчої лікарні загального профілю або дитячої лікарні потрібно їхати понад 30 хвилин.
Використання технологій штучного інтелекту в медицині стає все більш поширеним, особливо завдяки сприятливим умовам регулювання. Наприклад, в штаті Юта штучні системи мають можливість автоматично оновлювати рецепти. Марті Макарі, комісар Управління з контролю за продуктами і ліками США, раніше зазначав, що деякі гаджети та програмні рішення можуть надавати медичну інформацію без необхідності регуляторного контролю з боку цього агентства.
Одночасно надмірна залежність від штучного інтелекту може призводити до серйозних загроз для фізичного та психічного благополуччя. Раніше сім'ї осіб, які втратили близьких, ініціювали судові позови проти OpenAI. Вони стверджували, що дії чатботів і відсутність необхідних заходів безпеки могли сприяти виникненню суїцидальних настроїв у їхніх рідних.
У відповідь на запити OpenAI повідомила, що займається покращенням безпеки своїх продуктів. Серед нововведень компанії – функція батьківського контролю для молодших користувачів та рекомендації щодо перерв між сесіями. У ситуаціях, коли існує підвищений ризик, ChatGPT Health також рекомендує звертатися до професіоналів.
Дослідження, проведене в Mount Sinai, виявило, що попередження про ризик самогубства не завжди активуються. Гіріш Надкарні, керівник відділу штучного інтелекту в системі охорони здоров'я Mount Sinai, зазначив, що система частіше видає сигнали тривоги в менш небезпечних ситуаціях, ніж тоді, коли людина прямо викладає свої наміри заподіяти собі шкоду. У реальному житті такі конкретні висловлювання, навпаки, розглядаються як ознаки більшої та термінової загрози. Надкарні охарактеризував цей результат як несподіваний і тривожний.
Представник OpenAI висловив думку, що ChatGPT слід вважати продуктом, який перебуває на стадії розвитку, і компанія активно працює над впровадженням оновлень безпеки. Він також підкреслив, що дослідження оцінює рішення системи щодо тріажу в контрольованих умовах. У реальних ситуаціях користувачі та сам чат-бот часто ставлять додаткові запитання, що може вплинути на оцінку ризиків.
У компанії також зазначили, що доступ до ChatGPT Health наразі є обмеженим. Користувачам, які бажають використовувати цей сервіс, необхідно записатися до списку очікування.
#Лікар #Асистент викладача #Медицина #Пустеля #OpenAI #Штучний інтелект #Програмне забезпечення #Симптом #Інсульт #Довіра (соціальні науки) #Ліки #Самогубство #Дихальна недостатність #Анафілаксія #Урологія
