Недавні дослідження показали, що системи штучного інтелекту (ШІ), такі як системи управління самокерованими автомобілями або інтерпретації медичних зображень, можуть бути більш сприйнятливими до маніпуляцій, ніж вважалося раніше.
Навіть коли в знак зупинки вносяться різні зміни, ШІ, навчений розпізнавати такі знаки, зазвичай все одно ідентифікує його правильно. Однак, якщо у ШІ є вразливість, про яку знає зловмисник, цей недолік може бути використаний, потенційно призводячи до небезпечних ситуацій, таких як автомобільні аварії.
Дослідники з Університету штату Північна Кароліна розробили програмне забезпечення під назвою QuadAttacK, яке успішно проникло в чотири широко використовувані нейронні мережі, виявивши їх уразливості.
Коли система ШІ тестується на чистих даних, вона зазвичай працює так, як очікувалося. Однак QuadAttacK працює, спостерігаючи за тим, як AI приймає рішення, пов’язані з даними. Цей процес дозволяє QuadAttacK зрозуміти, як можна маніпулювати обробкою даних AI. Як тільки це стане відомо, QuadAttacK починає передавати змінені дані в систему ШІ, щоб спостерігати за її реакцією. Якщо виявлена вразливість, QuadAttacK може потім ефективно обдурити ШІ, щоб побачити те, що він хоче, щоб ШІ побачив, як стверджують дослідники.
Цей висновок підкреслює необхідність посилених заходів безпеки в системах штучного інтелекту для запобігання потенційним маніпуляціям, які можуть призвести до серйозних наслідків, особливо в таких сферах, як автомобільна безпека та охорона здоров’я.