Proviamo a immaginare una conversazione. Stai parlando con un interlocutore competente, paziente, quasi sempre disponibile. Gli fai una domanda sul firmware del televisore che hai in salotto e lui comincia a risponderti. A metà frase si ferma. Ti dice che un controllo di sicurezza ha interrotto la risposta e che non può ripeterla, nemmeno se riformuli la richiesta. Non ti spiega quale regola sia scattata. Ti dice soltanto che esiste un confine e che lo hai appena toccato.
È più o meno ciò che molte persone hanno raccontato nelle ultime settimane. Prima di capire cosa significhi, però, conviene separare ciò che sappiamo da ciò che si dice in giro.
Cosa è documentato e cosa è solo una voce
Nella seconda metà di ottobre ha preso piede la storia di chi usa assistenti di programmazione per esaminare e ripulire i propri televisori, togliendo pubblicità e telemetria. Un utente ha raccontato di aver impiegato circa undici ore per farlo su un apparecchio Samsung. Il 21 ottobre, su un forum, alcuni utenti hanno segnalato che Opus 5.5, uno dei modelli di Anthropic, si interrompeva a metà frase quando gli si chiedeva di fare reverse engineering. La testata Kotaku ha riportato la notizia precisando che Anthropic non ha annunciato né rilasciato una nuova versione del modello. Dunque, per ora, parliamo di segnalazioni degli utenti e non di una modifica documentata.
Circola poi una voce, rimbalzata sui social, secondo cui qualche produttore di televisori avrebbe chiesto di fermare il fenomeno. Chi la rilancia ammette di non sapere se sia vera. Nessuna prova è stata mostrata. Quindi la tratto per quello che è: un sospetto.
Sono invece documentati altri elementi. Il 6 ottobre Anthropic ha ampliato il proprio programma di verifica per la sicurezza informatica in tre livelli di accesso, pensati per professionisti che dimostrano la propria identità. La pagina di assistenza dell'azienda spiega che alcune attività, come l'analisi di malware o la validazione di exploit, possono essere interrotte dai suoi classificatori di sicurezza. Un classificatore, per capirci, è un sistema che legge un testo e lo assegna a una categoria, per esempio «tutto in regola» oppure «da fermare». Secondo quanto riportato sul lancio di Opus 5.5, a settembre, le richieste di cybersicurezza giudicate sensibili vengono girate in automatico a un modello precedente, Opus 4.8. L'azienda definisce il passaggio trasparente, nel senso che avviene senza che l'utente debba fare nulla. Un commentatore osserva che, di conseguenza, chi usa il servizio potrebbe non sapere quale modello gli abbia risposto.
Chi risponde e chi ti ferma
Da qui nasce la parte che trovo più interessante. Quando un assistente si interrompe, siamo portati a pensare che sia lui a rifiutare. Le fonti descrivono però qualcosa di più articolato: controlli di sicurezza che operano accanto al modello e un percorso alternativo che entra in gioco quando la richiesta cade in certe categorie. Come ho raccontato a proposito del caso Fable 5, un'architettura a due livelli esisteva già in quel sistema: le richieste su cybersicurezza, biologia o chimica venivano reindirizzate verso un modello precedente.
Che cosa questi controlli leggano, come siano costruiti e dove stiano le soglie, la documentazione pubblica non lo dice. Conviene tenerlo fermo: sappiamo che esistono, non sappiamo come funzionano nel dettaglio.
«Il modello può descriverti le regole scritte. I confini veri li scopre solo urtandoli, insieme a te.»
Per come la vedo, tuttavia, il dettaglio più curioso è un altro. Se chiedi a un assistente quali siano i suoi limiti, può elencarti le regole scritte. I limiti che fermano davvero una risposta, a mio avviso, non li conosce finché non li incontra, perché a decidere non è soltanto lui. Non è come parlare con una persona che rifiuta. È come parlare con una persona a cui qualcun altro, non visto, può posare una mano sulla bocca nel momento in cui dice una frase sbagliata.
Un muro che si sposta o un muro che non avevi mai toccato?
Ammettiamo per un momento che nulla sia cambiato. Già nei mesi scorsi gli utenti di Claude Code segnalavano messaggi di blocco per contenuti legati alla cybersicurezza. Negli ultimi giorni, però, molte più persone hanno cominciato a lavorare su firmware chiusi, cioè proprio nella categoria sorvegliata. Il risultato sarebbe un muro già esistente, urtato da una folla improvvisa.
Ammettiamo il contrario: che una soglia sia stata abbassata, come sospettano alcuni utenti. Anche in quel caso, dall'esterno, non potremmo saperlo. Il 21 ottobre Anthropic ha rilasciato diversi aggiornamenti di prodotto, lo stesso giorno delle prime segnalazioni, ma questo da solo non prova nulla. Ed ecco il cuore della questione: i due scenari producono la stessa esperienza. In entrambi la persona sbatte contro un limite che nessuno le aveva descritto e non ha modo di capire se sia nuovo o vecchio. Per quanto ho potuto verificare, non esiste un registro pubblico delle modifiche ai classificatori.
C'è poi un contrasto tra la regola scritta e il comportamento osservato. La politica d'uso aggiornata, in vigore dal 12 novembre, non vieta la ricerca di sicurezza, i test e lo sviluppo di strumenti su sistemi che possiedi o gestisci, purché ci sia l'autorizzazione del proprietario del sistema e il rispetto della legge. Dice anche che incontrare un blocco non indica di per sé una violazione. Sulla carta, quindi, guardare dentro il tuo televisore, se è lecito dove vivi, non è un abuso. Il programma di verifica esiste proprio per il lavoro difensivo lecito che i controlli bloccano per impostazione predefinita.
E la via ufficiale non è aperta a tutti nello stesso modo. I ricercatori indipendenti possono candidarsi come singoli, ma soltanto al livello più basso, quello difensivo, con una decisione attesa entro sette giorni lavorativi e con la conservazione dei dati d'uso per monitorare gli abusi. Per chi ha una domanda sul proprio televisore è un percorso piuttosto lungo.
Non è un problema solo dell'IA
Se allarghiamo lo sguardo, la situazione è più familiare di quanto sembri. Il filtro antispam che manda una tua mail tra la posta indesiderata, il sistema antifrode della banca che blocca un pagamento, la moderazione di una piattaforma che rimuove un post: in tutti questi casi conosci la regola generale e non il comportamento effettivo. Lo scopri quando ti ferma. Quasi sempre la ragione è sensata, perché chi progetta questi sistemi non vuole che chiunque ne conosca il punto debole.
Qui torna utile un'idea molto vecchia. Nel 1883 Auguste Kerckhoffs, in un saggio sulla crittografia militare, scrisse che un sistema non dovrebbe richiedere segretezza e che dovrebbe poter cadere nelle mani del nemico senza conseguenze. Detto in modo moderno: la sicurezza deve reggersi sulla chiave e non sul mistero del meccanismo. Nel nostro caso l'analogia non vale fino in fondo, perché un classificatore non è un cifrario e conoscerne la soglia esatta può davvero aiutare chi vuole aggirarlo. Regge bene, però, per una parte del problema: le categorie, i criteri e le motivazioni.
Il dilemma onesto: trasparenza contro autodifesa
Conviene essere onesti, perché entrambe le ragioni sono serie. Pubblicare le soglie esatte aiuterebbe chi vuole aggirare i controlli. Un fornitore che rilascia modelli molto capaci ha il dovere di non agevolare gli abusi. D'altra parte l'opacità ha un costo concreto: la persona in buona fede perde ore, rinuncia a usi leciti oppure cambia strumento. Un utente, secondo una testata di settore, ha raccontato che il suo assistente si è rifiutato di procedere con il suo televisore e che si è rivolto a un altro prodotto.
Per come la vedo, tuttavia, la via d'uscita sta nel distinguere due cose che di solito si confondono. Le soglie possono restare riservate. Le categorie di attività controllate, gli esempi di richieste bloccate e il motivo per cui una risposta si è interrotta no: non regalano nulla a un attaccante e servono a tutti gli altri. Un messaggio che dica soltanto «una regola è scattata» è molto meno utile di uno che dica quale categoria è stata toccata.
Cosa si può chiedere, senza esagerare
Non credo che la risposta sia più controllo, né un divieto generalizzato di questi sistemi. I classificatori di sicurezza hanno una funzione reale. Un quadro troppo rigido rischierebbe di frenare l'innovazione di chi costruisce strumenti utili. Ritengo più ragionevole chiedere poche cose, proporzionate. Una motivazione leggibile quando una risposta viene interrotta. Una descrizione pubblica delle categorie controllate. Una via di ricorso con tempi certi, che non coincida con l'ingresso in un programma riservato a professionisti. Un registro delle modifiche ai sistemi di sicurezza, anche solo con data e categoria interessata. E nel tempo verifiche indipendenti che dicano se i controlli fanno ciò che dichiarano, senza rivelarne le soglie.
C'è un secondo fronte, che riguarda la responsabilità. Ho sostenuto in un altro articolo che, quando si usa uno strumento, la responsabilità di ciò che se ne fa ricade in primo luogo su chi lo usa. Se vuoi approfondire, ne ho parlato a proposito del vuoto lasciato dal ritiro della direttiva europea sulla responsabilità civile per l'IA. A mio avviso resta un principio ragionevole, a una condizione: che chi usa lo strumento sappia che cosa può fare e che cosa no. Chiedere all'utente di rispondere dei propri atti e al tempo stesso non dirgli dove passano i confini è un'equazione che non torna.
Non è la prima volta che ragiono sul rapporto tra capire uno strumento e saperlo usare. Lo avevo fatto parlando degli algoritmi di raccomandazione: chi non sa come funziona un sistema non impara a usarlo, impara a evitarlo o a nasconderne i difetti. Vale anche qui. Dietro una risposta che sembra spontanea c'è molta ingegneria che non vediamo, come mostrava l'analisi del codice di un agente AI finito online per errore. I controlli di sicurezza fanno parte di quel lavoro nascosto.
Per questo, quando uso uno strumento fornito da terzi, provo a ricordarmi una cosa semplice. Conosco le linee guida che l'azienda ha scritto. Non conosco i limiti che il sistema applica davvero e non li conoscerò finché qualcosa non mi ferma. Non è una colpa di nessuno in particolare e non è una ragione per diffidare di tutto. È una ragione per chiedere che il confine, almeno nelle sue linee generali, sia visibile a chi lo attraversa. Una fiducia che non si può verificare resta un atto di fede. Per strumenti così potenti, meglio qualche verifica in più.
Per chi vuole controllare le fonti: la pagina di assistenza sui controlli cyber in tempo reale, la politica d'uso e il resoconto di Kotaku sulle segnalazioni degli utenti.