Il Garante ha avviato una istruttoria nei confronti di LUKA Inc., una società che proponeva un chatbot in grado di migliorare l’umore ed il benessere emotivo dell’utente, aiutandolo a comprendere i suoi pensieri ed i suoi sentimenti.
L’istruttoria ha fatto emergere diverse criticità, tra cui l’assenza di:
– una procedura di verifica dell’età dell’utente (il sistema richiedeva solo nome, email e genere) con conseguente rischio di proposizione ai minori di risposte inidonee rispetto al loro grado di sviluppo ed autoconsapevolezza, tra cui contenuti sessualmente espliciti;
– meccanismi di interdizione o blocco anche a fronte di dichiarazioni dell’utente che rendessero evidente la sua minore età, nonché la proposizione di risposte da parte del chatbot palesemente in contrasto con le tutele che andrebbero assicurate ai minori e, più in generale, a tutti i soggetti più fragili.
L’Autorità ha inoltre ritenuto ravvisabile anche la violazione del principio di trasparenza, tenuto conto della gravità (assenza di informazioni agli interessati circa le basi giuridiche sottese alle varie operazioni di trattamento dei loro dati personali) della natura (mancanza di informazioni chiare circa gli elementi essenziali del trattamento quali base giuridica, finalità, principio di conservazione, trasferimento extra UE) e dell’impatto (trattasi di una tipologia di trattamento nuova connessa ad una tecnologia innovativa quale l’intelligenza artificiale generativa) delle singole specifiche violazioni degli obblighi di cui agli artt. da 12 e 13 del Regolamento.
Le violazioni rilevate hanno comportato l’ingiunzione di una sanzione pecuniaria di cinque milioni di euro.