Вчені-комп’ютерники з Наньянського технологічного університету вигадали, як скомпрометувати чат-ботів зі штучним інтелектом (ШІ). Для цього вони навчили чат-бот створювати підказки, які дозволяють оминати захист інших чат-ботів на базі ШІ
Дослідники використовували подвійний метод «злому» LLM (великої мовної моделі), який вони назвали «Masterkey».
Для початку вони провели реверс-інжиніринг того, як LLM знаходять шкідливі запити та захищаються від них. Використовуючи цю інформацію, вони навчили модель автоматично вчитися та видавати підказки, які оминають захист інших LLM. Цей процес можна автоматизувати, створивши LLM для злому, який адаптується та створює нові запити для злому навіть після того, як розробники виправлять свої моделі.
Висновки вчених допоможуть компаніям та підприємствам виявити слабкі сторони та обмеження чат-ботів LLM, щоб вжити заходів щодо їх захисту від хакерів.
Вчені провели серію перевірочних тестів на різних LLM (яких саме не розголошується), щоб довести роботу методу. Потім дослідники негайно повідомили про проблеми відповідних постачальників послуг після успішних атак із джейлбрейком.
Джейлбрейк — це термін у галузі комп’ютерної безпеки, при якому комп’ютерні хакери знаходять і використовують недоліки у програмному забезпеченні системи, щоб змусити її робити те, що її розробники навмисно заборонили робити.