Bloc I · Les bases · Leçon 2

Comment un modèle d'IA réfléchit (et se trompe)

Vous comprendrez ce qui se passe à l'intérieur entre le moment où vous écrivez et sa réponse : ce que sont les tokens, la fenêtre de contexte et la température, pourquoi certains modèles raisonnent avant de répondre et pourquoi ils inventent parfois des données avec un aplomb total.

Accéder au cours

Ce que vous verrez dans cette leçon

  1. De votre question à sa réponse, token par token

    Un modèle de langage ne cherche la réponse nulle part : il l'écrit morceau par morceau, en prédisant ce qui vient ensuite.

  2. Les tokens : les briques Lego du langage

    Le modèle ne lit ni des lettres ni des mots entiers, mais des tokens : des morceaux de texte fréquents qui s'emboîtent comme des briques.

  3. En pratique : comptez les tokens de votre texte

    Collez n'importe quel texte dans le tokeniseur gratuit d'OpenAI et vous saurez combien de tokens il occupe avant de l'envoyer.

  4. Une saisie prédictive de téléphone, mais géante

    Pour chaque trou, le modèle calcule la probabilité de milliers de tokens possibles et choisit l'un des plus probables.

  5. Entraîner et inférer : réviser ou passer l'examen

    Le modèle apprend une seule fois, pendant des mois ; chaque fois que vous l'interrogez, il applique ce qu'il a appris. C'est l'inférence.

  6. La fenêtre de contexte : son bureau de travail

    C'est tout ce que le modèle a sous les yeux quand il répond. Ce qui n'est pas sur le bureau n'existe pas pour lui.

  7. La température : la pincée de sel de la créativité

    Elle règle à quel point le modèle prend des risques en choisissant le token suivant : basse, le plus probable ; haute, des choix plus variés.

  8. Essayez : la prédiction et la température en direct

    Transformer Explainer est un site gratuit qui fait tourner un petit modèle dans votre navigateur et vous montre ses probabilités.

  9. Modèles de raisonnement : ils réfléchissent avant de parler

    Avant de répondre, ils écrivent un brouillon interne de raisonnement, et résolvent ainsi mieux les problèmes en plusieurs étapes.

  10. Pourquoi il invente avec autant d'aplomb

    Une hallucination, c'est une donnée fausse affirmée avec conviction. Ce n'est pas un bug rare : elle vient de la façon dont il apprend et dont on l'évalue.

  11. Ce que coûte le fait de deviner : les chiffres d'OpenAI

    Dans un test de questions factuelles, le modèle qui ne disait jamais « je ne sais pas » a eu presque autant de bonnes réponses et presque trois fois plus d'erreurs.

  12. Comment demander pour qu'il invente moins

    Trois phrases dans votre prompt changent ce qui est payant pour le modèle : douter cesse d'être une erreur.

  13. Résumé : comment il pense et pourquoi il se trompe

    Un modèle est un prédicteur de tokens très bien entraîné : comprendre son fonctionnement vous aide à mieux lui demander et à vous méfier à temps.

Outils et notions

Connectez-vous avec votre compte Google pour accéder à cette leçon et à tout le cours.

Accéder au coursVoir le programme complet

Autres leçons du bloc