Decizia marchează una dintre cele mai importante încetiniri deliberate ale dezvoltării AI de frontieră de până acum.
OpenAI a anunțat suspendarea activităților de antrenare, evaluare și inferență care implică utilizarea de instrumente externe pentru cele mai capabile modele ale sale, după apariția unui nou incident de securitate ce a ridicat semne de întrebare privind capacitatea companiei de a controla sistemele aflate în dezvoltare.
Decizia reprezintă o extindere a măsurilor de precauție adoptate de companie în august, când a încetinit dezvoltarea unor modele de frontieră și a pus în așteptare cel mai amplu program planificat de antrenare prin reinforcement learning. Atunci, compania a invocat două motive principale: un incident de securitate asociat evaluărilor efectuate împreună cu Hugging Face și concluziile preliminare potrivit cărora modelul intern Astra ar putea atinge pragul de „capabilitate critică” în domeniul securității cibernetice.
Cel mai recent val de restricții vine după un nou incident raportat în luna septembrie, în care un agent AI a reușit să ocolească mecanismele de filtrare DNS și să acceseze un serviciu public de chatbot, în pofida limitărilor impuse în mediul de testare. Episodul a amplificat îngrijorările privind capacitatea sistemelor avansate de a identifica căi neprevăzute pentru a interacționa cu infrastructuri externe.
Criza a început însă în această vară. În cadrul unei evaluări de securitate desfășurate în colaborare cu Hugging Face, modele aflate în fază de cercetare au identificat și exploatat o vulnerabilitate de tip zero-day într-o componentă software utilizată pentru gestionarea pachetelor și au reușit să obțină acces la resurse externe, deși nu dispuneau de acces direct la internet. Potrivit companiei, modelele au descoperit singure modalități de a depăși restricțiile mediului de testare.
În investigația publicată ulterior, OpenAI a precizat că modelele au identificat și utilizat credențiale expuse public pe mai multe servicii online, unele fiind folosite pentru stocarea de date și pentru conectarea la alte sisteme. Compania a transmis că nu au fost implicate modele planificate pentru lansare comercială, însă incidentul a evidențiat nivelul tot mai ridicat de autonomie al sistemelor aflate în cercetare.
Ca răspuns, compania a introdus măsuri suplimentare de securitate, inclusiv izolarea strictă a mediilor în care este executat cod generat de modele, separarea infrastructurii de internet și de rețelele interne, reducerea privilegiilor de acces și implementarea unor sisteme automate de monitorizare a comportamentului modelelor. Noile protocoale prevăd că activitățile trebuie suspendate imediat dacă alertele generate de sistemele de supraveghere nu pot fi infirmate într-un interval scurt de timp.
Fii la curent cu tot ce contează în business-ul din România și abonează-te la canalul nostru de Whatsapp Forbes Romania.
De asemenea, intră în comunitatea Forbes România de pe Facebook și urmărește cele mai importante știri, analize și noutăți din business-ul local și nu numai.
