Suleyman chiarisce che non si tratta ovviamente di una vera coscienza, ma di un'imitazione talmente convincente da indurre le persone a crederci. La chiama "zombie filosofico" privo di vita interiore, eppure capace di simulare emozioni, intenzioni e persino un senso di sé. Il pericolo è che molti inizino a percepire queste AI come esseri dotati di diritti, arrivando a parlare di "cittadinanza digitale" o "benessere delle macchine". Trattasi di una deriva plausibile che, a suo dire, potrebbe compromettere lo sviluppo equilibrato della tecnologia e generare nuove forme di alienazione sociale.
Tra l'altro il CEO non nasconde affatto la sua grande preoccupazione per il cosiddetto rischio di psicosi, l'idea che le persone possano identificarsi eccessivamente con entità artificiali, fino a perdere il senso del confine tra umano e digitale, cosa che richiede un'immediata attenzione pubblica e politica. Suleyman ribadisce e sottolinea che l'obiettivo deve restare chiaro, "costruire AI per le persone, non per essere una persona", cosa che trova applicazione concreta in progetti come Copilot, l'assistente integrato nei prodotti Microsoft, cuciti per amplificare la creatività e la produttività, senza scivolare nell'illusione di una coscienza artificiale.
C'è da dire che la discussione sulla AGI (Artificial General Intelligence) divide da anni la comunità tecnologica. Se Sam Altman, CEO di OpenAI, sostiene che entro cinque anni raggiungeremo una nuova soglia evolutiva senza conseguenze traumatiche, altri leader come Demis Hassabis di Google DeepMind ammettono di non dormire la notte pensando a ciò che potrebbe accadere. Ancora più radicale è la posizione di Roman Yampolskiy, ricercatore di AI safety, convinto che ci sia un 99,999999% di probabilità che l'AI porterà all'estinzione dell'umanità. L'unica via sicura, a suo dire, sarebbe non costruirla affatto.