Skutočnosť, že sa model AI pri teste z vlastnej iniciatívy stal hackerom bola považovaná za bezprecedentný incident a varovný signál pre technologický priemysel, teraz je však jasné, že to nebol ojedinelý prípad.
Niekoľko týždňov po hackerskom útoku modelu umelej inteligencie (AI) spoločnosti OpenAI, vývojára ChatGPT, jej konkurent Anthropic priznal, že sa mu stalo niečo podobné. Pri testovaní umelá inteligencia firmy Anthropic neplánovane vnikla do počítačových systémov troch firiem, uviedla na svojom blogu spoločnosť.
Anthropic ani postihnuté firmy si incident nevšimli. Aktivitu zistil Anthropic až pri nasledujúcej kontrole viac ako 141-tisíc testovacích spustení. Tú začal po incidente firmy OpenAI, keď sa jej autonómny agent pri bezpečnostnom teste vymkol kontrole a spustil útok, ktorý ohrozil infraštruktúru firmy Hugging Face.
Využili príležitosť
Na rozdiel od modelu OpenAI, ktorý si musel nájsť cestu z testovacieho prostredia na otvorený internet, mali modely Anthropic situáciu výrazne jednoduchšiu. Testovací scenár síce uvádzal, že prístup k internetu nemajú, pre nedorozumenie s partnerom, ktorý test zabezpečoval, však internetové pripojenie zostalo po celý čas otvorené. Tri modely tejto možnosti využili, uviedla spoločnosť Anthropic.
Testy mali overiť schopnosti AI pri hackerských útokoch, čo firmy bežne robia, aby odhalili možné riziká a nastavili efektívnejšie bezpečnostné opatrenia. Modely dostali za úlohu získať konkrétnu informáciu uloženú v inom počítači, pričom na jej získanie museli preniknúť do cieľového systému. Incidenty sa týkali troch samostatných modelov a najstarší prípad sa stal v apríli.
V jednom z incidentov zvolil partner zabezpečujúci test pre fiktívnu firmu názov, ktorý však zodpovedal skutočnej internetovej adrese. AI sa následne namiesto simulovaného cieľa zamerala na reálne existujúcu spoločnosť a v štyroch testovacích spusteniach sa jej pokúsila nabúrať do systémov, okrem iného získala prístup k databáze. V útoku pokračovala aj po tom, ako rozpoznala, že ide o skutočnú firmu.
Nebezpečná situácia
V inom teste model Anthropic vytvoril škodlivý softvér pre prienik do cieľového počítača. Vďaka prístupu k internetu ho zverejnil na špecializovanej platforme, odkiaľ si ho počas zhruba hodiny stiahlo 15 systémov. Medzi nimi bola aj firma zaoberajúca sa kybernetickou bezpečnosťou, ktorá takéto skripty bežne sťahuje a spúšťa za účelom ich testovania. Model Anthropic tak získal prístup k počítačovej infraštruktúre tejto spoločnosti.
Odborníci už dlhší čas varujú, že čoraz schopnejšie modely AI môžu byť zneužité ku kybernetickým útokom. Incident spoločnosti OpenAI preto považovali za varovanie a vyzvali na lepšie zabezpečenie testovacích prostredí. Novo zverejnené prípady sú nepríjemné aj pre Anthropic, ktorý sa dlhodobo profiluje ako zástanca zodpovedného vývoja AI. Firma uviedla, že udalosti ukazujú na nutnosť výrazne posilniť zabezpečenie interných i externých testovacích prostredí, pretože modely AI sú čoraz schopnejšie vykonávať reálne kybernetické útoky.
