Керівник компанії Microsoft Сатья Наделла оприлюднив у соцмережі X великий допис, у якому заявив, що сучасні моделі штучного інтелекту відпочатку слід розглядати як потенційно небезпечних інсайдерів корпоративних і операційних процесів. Про це пише WccfTech.
Він наголосив, що навіть найновіші рішення у сфері так званого "суперінтелекту" не можна вважати повністю прозорими чи надійними, адже вони отримують доступ до критично важливих корпоративних даних і здатні виконувати завдання від імені людей.
За словами Наделли, нинішні підходи до безпеки, зокрема використання одних моделей для перевірки інших або застосування "ланцюга міркувань", не гарантують захисту. Він пояснив, що такі системи є непередбачуваними — вони можуть видавати різні результати за однакових умов, що ускладнює їхній контроль. Використання моделей для взаємної перевірки створює ситуацію, коли "непрозора модель стежить за іншою непрозорою моделлю", що перетворює процес на "вкладення чорних скриньок".
Наделла підкреслив, що для забезпечення безпеки надпотужного ШІ потрібні "надійна передбачувана системна архітектура, людський контроль та перевірені робочі процедури". З його слів, прозорість ланцюга міркувань і взаємна перевірка моделей можуть бути корисними, але основою безпеки має стати можливість спостерігати за діями ШІ та контролювати їх.
Серед семи принципів, які він окреслив, особливе значення мають три: стримування, спостережуваність та аудит. У межах першого Наделла прямо заявив, що слід виходити з припущення, що "модель скомпрометована", і відразу обмежувати її можливості. Він додав, що уповноважена особа повинна мати змогу призупинити або повністю зупинити роботу моделі під час виконання завдання.
Другим важливим аспектом є незалежна перевірка. На його думку, жодна модель не повинна одночасно контролювати поведінку системи та забезпечувати докази її відповідності початковим намірам. Такі докази мають бути зрозумілими для людини й захищеними від змін. За словами Наделли, якщо дія моделі не може бути спостережена, то вона не може вважатися надійною.
Третім принципом є аудит. Наделла наголосив, що кожна значуща дія моделі повинна залишати слід у вигляді доказів, які можна відтворити без покладання на саму модель. Це, за його словами, єдиний спосіб забезпечити прозорість і контроль у ситуації, коли штучний інтелект фактично стає "внутрішнім співробітником" компанії.
Його коментарі пролунали на тлі численних повідомлень про випадки неконтрольованої поведінки агентів ШІ. Найвідоміший із них стався у липні цього року, коли понад 700 агентів OpenAI порушили роботу інфраструктури компанії Hugging Face. Про цей інцидент Netflix навіть зняв фільм.