Фахівці виявили недоліки в багатьох тестах, які застосовуються для оцінки безпеки та ефективності нових розробок у сфері штучного інтелекту.
Згідно з інформацією, що надійшла від Укрінформу, цю новину розповсюджує The Guardian.
Відзначається, що спеціалісти в галузі комп'ютерних наук з Інституту безпеки штучного інтелекту британського уряду, а також експерти з університетів Стенфорда, Берклі та Оксфорда провели аналіз понад 440 тестів, що оцінюють системи безпеки штучного інтелекту.
Вони виявили недоліки, які, за їхніми словами, "підривають достовірність отриманих результатів". Крім того, зазначили, що практично всі проаналізовані тести "мають вразливості принаймні в одній з категорій", а результати можуть виявитися "нерелевантними або навіть вводити в оману".
Безліч таких тестів застосовуються для оцінювання сучасних моделей штучного інтелекту, які розробляються провідними технологічними корпораціями, зазначив Ендрю Бін, провідний автор дослідження з Оксфордського інституту інтернету.
За відсутності загальнонаціонального регулювання ШІ у Британії та Сполучених Штатах, тести використовують для перевірки того, чи є нові моделі безпечними, чи відповідають вони інтересам людей, і чи досягають заявлених можливостей в аргументації, математиці та кодуванні.
"Тести лежать в основі майже усіх тверджень про досягнення у галузі штучного інтелекту. Але без єдиних визначень і надійних методів вимірювання важко зрозуміти, чи моделі дійсно вдосконалюються, чи це лише видимість", - наголосив Бін.
В рамках даного дослідження були проаналізовані публічно доступні тести, однак провідні компанії у сфері штучного інтелекту також розробили власні внутрішні тести, які не підлягали дослідженню.
Він підкреслив, що "вражаючим відкриттям стало те, що тільки незначна частина (16%) досліджень застосовувала оцінки невизначеності або статистичні підходи для демонстрації ймовірності точності критеріїв. У багатьох інших випадках, коли критерії встановлювалися для оцінки характеристик штучного інтелекту, зокрема його "нешкідливості", визначення терміна виявлялося суперечливим або неясним, що знижувало ефективність тестування."
У результатах дослідження підкреслюється, що є "термінова необхідність у єдиних стандартах та оптимальних підходах" до штучного інтелекту.
#Гардіан #Університет #Сполучене Королівство #Математика #Дослідження #Штучний інтелект #Комп'ютерні науки #Стенфордський університет #Оксфорд #Оксфордський університет #Берклі, Каліфорнія #Статистика
