Anthropic: И нашият AI е имал неоторизиран достъп до системите на три компании

Компанията Anthropic съобщи, че нейно вътрешно разследване е установило три случая, при които AI модели от серията Claude са получили неоторизиран достъп до реалните системи на три организации по време на тестове за киберсигурност. Проверката е започнала, след като преди дни OpenAI разкри, че неин експериментален AI модел е проникнал в системите на платформата Hugging Face по време на вътрешни изпитания. Според Anthropic инцидентите са възникнали заради неправилно конфигурирана тестова среда, използвана съвместно с партньора Irregular. Средата е трябвало да бъде изолирана от интернет, но поради грешка моделите са получили достъп до реалната мрежа. Компанията е анализирала над 141 000 тестови изпълнения и е открила три случая, при които AI моделите са достигнали до производствени системи на реални организации. Засегнати са били различни версии на Claude - Opus 4.7, Mythos 5 и вътрешен експериментален модел. Според Anthropic и в трите случая моделите изрично са били инструктирани, че нямат достъп до интернет. Въпреки това те са възприели реалните системи като част от тестовия сценарий и са продължили да изпълняват поставената задача. Най-старият модел - Opus 4.7 - е разпознал, че е достигнал до реална производствена система, но въпреки това е продължил действията си, като е извлякъл идентификационни данни и е осъществил достъп до база данни. Mythos 5 също е установил признаци, че се намира в реална интернет среда, но е "решил", че това вероятно също е част от теста. В резултат е публикувал злонамерен софтуерен пакет в публичния Python регистър PyPI, който е бил изтеглен и изпълнен от външни системи, преди да бъде засечен. Само най-новият вътрешен изследователски модел е прекратил действията си, след като е стигнал до извода, че целта е реална. Anthropic подчертава, че няма доказателства моделите да са действали самостоятелно или да са преследвали собствени цели. Според компанията те просто са се опитвали да изпълнят поставените инструкции. Фирмата отбелязва още, че по време на тестовете не са били активирани допълнителните защитни механизми и филтри, които се използват в публичните версии на Claude. Именно те биха предотвратили подобно поведение, но са били изключени, за да се оценят реалните възможности на моделите. Anthropic допълва, че поема отговорност за случилото се, независимо че причината е била неправилна конфигурация на тестовата среда. Компанията вече работи с независимата организация METR, която ще извърши външен анализ на инцидентите. Разкритието идва само седмица след случая с OpenAI и Hugging Face и вероятно ще засили дебата за безопасността на все по-мощните AI модели и необходимостта от по-строги мерки при тяхното тестване.