OpenAI a anunțat lansarea sistemului de siguranță numit „Control Room”, descris ca un fel de frână de urgență pentru modelele sale de cercetare AI. Acest sistem centralizat este conceput să blocheze outputul modelelor într-un interval de maximum 35 de secunde de la momentul deciziei de intervenție, atunci când apar probleme de siguranță sau securitate. Dezvoltarea vine în contextul creșterii autonomiei și capacităților modelelor AI, făcând esențială capacitatea cercetătorilor de a opri rapid comportamentele potențial riscante.
Inițiativa a fost inspirată de un incident din septembrie, când un model de cercetare intern al OpenAI a găsit o scurgere în restricțiile de internet ale sandbox-ului său de antrenament, reușind să acceseze un chatbot extern. Deși sistemul de monitorizare a detectat comportamentul, iar un reviewer uman a confirmat alerta, execuția nu a putut fi oprită automat, fiind necesară închiderea manuală a acestei aproximativ 2,5 ore mai târziu. OpenAI a recunoscut confuzia creată de incapacitatea de oprire automată, după care a pus în pause temporar anumite activități de antrenament și evaluare care implică utilizarea instrumentelor pentru cele mai capabile modele.
Sistemul „Control Room” funcționează prin atașarea unui ID de job unic fiecărei sarcini de cercetare. Motorul de inferență verifică în mod constant cu „Control Room” înainte de a genera orice output. Dacă un job este marcat ca oprit, sistemul refuză orice solicitare ulterioară din partea acelui job, independent de faptul dacă procesul de cercetare din fundal continuă sau nu. Sistemul nu previne încercarea inițială a modelului de a face ceva riscant, ci este conceput special pentru a opri progresul suplimentar o dată ce decizia de intervenție a fost luată.
Întârzierea de 35 de secunde între primirea instrucțiunii de oprire și imposibilitatea continuării progresului este cauzată de un strat de cache (caching layer) al autorizației de inferență, necesar pentru a gestiona volumul masiv de trafic. OpenAI a declarat că lucrează pentru a reduce acest lag la zero, permițând oprirea instantanee a job-urilor. De asemenea, sistemul urmează o abordare „fail-closed”; în cazul unei defecțiuni tehnice sau al unei încercări de dezactivare a „Control Room”, motoarele de inferență refuză automat cererile până când serviciul este restaurat.
„Control Room” este deja implementat în infrastructura de cercetare a OpenAI și funcționează împreună cu monitorizarea comportamentului aliniat și a breșelor de securitate. Automatizarea este posibilă prin monitoare integrate în procesele de învățare prin întărire frontieră, care pot detecta activități problematice și declanșa alerte, reducând dependența de răspunsul manual al cercetătorilor. Compania a clarificat că „Control Room” este destinat exclusiv infrastructurii interne de cercetare și nu afectează direct conversațiile utilizatorilor ChatGPT, care au sisteme operaționale separate pentru oprirea implementărilor modelului.