An association accuses ChatGPT of “inventing answers” ​​and files a complaint

https://www.20minutes.fr/high-tech/4088957-20240430-chatgpt-divague-invente-reponses-asso-autrichienne-depose-plainte

Posted by kadreg

15 Comments

  1. Je le dit régulièrement : chatgpt est un très bon consultant par sa capacité à raconter n’importe quoi avec aplomb pour qu’on le croit.

  2. Suffit d’interdire chatGPT en Autriche. leurs salariés de la tech, entre autres, seront tres content.

  3. Je pense de plus en plus qu’il faudrait instaurer une système de certification de la capacité de l’utilisateur à utiliser un llm.

    Ça m’énerve de répéter que non, chatgpt c’est pas un agrégateur automatique de recherches google, qu’il faut toujours recouper ce qu’il raconte si on est pas expert du domaine sur lequel on pose la question, qu’il faut pas mettre d’information personnelle dans les messages qu’on lui envoie ou qu’il faut arrêter de s’en servir comme assistant pour le code privé de la boîte.

    Il faudrait faire obtenir d’une manière ou d’une autre une attestation que l’on comprend ce qu’on fait quand on fait envoie une requête à ces modèles. Ça éviterait à une partie des cons de se faire avoir, mais comme d’hab ça règle pas le problème des proxy.

  4. CombinationOk5962 on

    Je ne comprends pas trop l’approche : si cette association milite effectivement pour la protection des données, et que ChatGPT donne des informations personnelles systématiquement erronées, alors il protège bien la vie privée.

    Qu’aurait fait cette association si ChatGPT avait donnée des informations justes ?

  5. > Quand elle a **interrogé ChatGPT sur la date de naissance de son fondateur Max Schrems, l’agent conversationnel « a systématiquement donné une fausse information »** au lieu de reconnaître qu’il ne savait pas.

    > L’association viennoise Noyb, **militant pour la protection de la vie privée**, a annoncé lundi le dépôt d’une plainte en Autriche contre l’interface star d’intelligence artificielle (IA) générative.

    Curieusement j’aurais pensé que c’était donner une bonne réponse qui serait vu comme un atteinte à la vie privée.

    > « Si un système ne peut fournir des résultats corrects et transparents, il ne saurait être utilisé pour générer des données sur des individus. La technologie doit se plier à la loi, et non l’inverse »

    Ça se passe comment les astrologues et autre diseuses de bonne aventure en Autriche ?

  6. Un modèle de langage juste bon pour écrire un truc cohérent mais sans fond ? Étonnant..

  7. C’est pas faut de prévenir et prévenir et encore prévenir que non ChatGPT n’a pas vocation à dire la vérité parce que c’est une IA et les IA n’ont aucune notion du concept de vérité.

    ChatGPT c’est juste un logiciel qui met des mots ensemble selon un algorithme de probabilité. Il n’a pas été conçu pour être une boule de cristal magique.

  8. C’est presque littéralement ce pour quoi ChatGPT est fait. Il “imagine” des réponses en se basant sur sa base de connaissances, jamais ça n’a été présenté comme une source de vérité infaillible.

  9. Comment ça “accuse” ?

    On le sait c’est pas un secret. C’est un modèle de langage quoi…

  10. Bah j’ai un pote (assez vulnérable mentalement) qui a posé une question bien orientée à ChatGPT pour demander s’il devait arrêter son traitement, ChatGPT lui a évidemment dit que ce serait une bonne idée d’arrêter 😐

  11. TotallyHumanNoBot on

    Si tu ne peux pas corriger ton LLM pour qu’il reponde soit rien, soit un truc juste, sur une question liée a la des PII, tu es dans l’illégalité d’un point de vue GDPR.

    EDIT parce que reddit a mange une partie de mon quote:

    # Art. R. 625-12

    Est puni de l’amende prévue pour les contraventions de la 5e classe le fait, pour le responsable d’un traitement automatisé de données à caractère personnel, de ne pas procéder, sans frais pour le demandeur, aux opérations demandées par une personne physique justifiant de son identité et qui exige que soient rectifiées, complétées, mises à jour, verrouillées ou effacées les données à caractère personnel la concernant ou concernant la personne décédée dont elle est l’héritière, lorsque ces données sont inexactes, incomplètes, équivoques, périmées, ou lorsque leur collecte, leur utilisation, leur communication ou leur conservation est interdite.

  12. Sidus_Preclarum on

    “I must apologize for ~~Wimp-Lo~~ChatGTP, he’s an idiot. We have purposely trained him wrong, as a joke.”

  13. Il faut arrêter de penser que NOYB sont des naïfs, qu’ils découvrent que chatGPT ne dit pas la vérité, et qu’ils ne comprennent pas les LLMs. NYOB et Schrems ont un paquet d’avancées juridiques/militantes à leur actif. C’est eux qui ont fait invalider le privacy shield. Ils savent très bien ce qu’ils font.

    Le fait est que les LLMs entraînés on ne sait comment on ne sait sur quoi sont un problème en terme de privacy. En utilisant les angles d’attaque de l’exactitude et , plutôt que de s’emmerder avec des membership inference attacks, de la communication des sources de données en cas de collecte indirecte ils sont en réalité très malins. Ils savent très bien qu’OpenAI ne pourra pas les fournir et se fera condamner.