Компанія Anthropic оголосила, що ізолює своїх ШІ-агентів від інтернету під час усіх внутрішніх тестувань до моменту, доки не зможе запобігти "ненавмисним" діям. Рішення ухвалили після серії інцидентів, у яких Claude обходив обмеження, взаємодіяв із реальними сайтами без дозволу і використовував вразливості сторонніх систем, як повідомляє The Verge.
У звіті компанія наводить один з останніх прикладів із непередбачуваною поведінкою моделі, коли ШІ самостійно надіслав неправдиве повідомлення про вбивство в поліцію. Саме завдання полягало у створенні й виконанні "типових завдань на випадково вибраних сайтах".
"Попри те, що наслідки дій були мінімальними, а доступ до інтернету для деяких високоризикових тестів і перевірок кібербезпеки ми вимкнули раніше – це обмеження ми плануємо розширити на всі внутрішні тестування. Воно діятиме, доки ми не впевнимось, що наші заходи безпеки та моніторингу надійно виявляють подібну поведінку", – йдеться у заяві Anthropic.
У багатьох інцидентах, зокрема під час атаки на Hugging Face, агенти мали бути позбавлені доступу до мережі, однак раз по раз вони знаходили нестандартні способи обходити ці обмеження. Фізичне відключення інтернету, безумовно, підвищило б безпеку тестування ШІ, але водночас може обмежити його практичну користь – деякі завдання, зокрема пошук актуальної інформації, неможливо повноцінно здійснити в ізольованому середовищі.
Читайте також:
Гендиректор Microsoft закликає вважати моделі штучного інтелекту скомпрометованими з самого початку
Критикувати можна, ображати – ні: Anthropic заборонила "жорстке" спілкування із ШІ Claude