Critiquer et élaguer — là où les tests générés par IA deviennent aveugles

L'idée, en une ligne

Traitez chaque lot IA comme un brouillon, pas une réponse finie. Votre valeur est de connaître, de mémoire, les endroits exacts où l'IA devient aveugle de façon fiable — et de combler ces lacunes vous-même.

Les quatre angles morts que l'IA continue de rater

L'IA rédige de bons cas nominaux et négatifs simples, puis saute ceux qui attrapent les vrais bugs de production. Apprenez ces quatre par cœur :

• Locale — noms non-anglais, texte de droite à gauche, une virgule utilisée comme séparateur décimal (1,50 au lieu de 1.50).
• Fuseau horaire — horloges qui changent pour l'heure d'été, événements qui traversent minuit, et la différence entre UTC et l'heure locale d'un utilisateur.
• Multi-tenant — quand beaucoup de clients partagent un système, le client A peut-il d'une façon ou d'une autre voir les données du client B ?
• Négatifs profonds — un token à usage unique réutilisé, une requête falsifiée, ou un paiement qui échoue à mi-chemin.

Voyez-le à l'œuvre

Un geste pratique : étiquetez chaque cas généré avec l'angle qu'il prétend couvrir, puis vérifiez le lot contre une liste requise. Tout ce qui manque est une lacune qu'un humain doit combler.

# The angles every batch should cover.
REQUIRED = {"happy", "boundary", "negative",
            "security", "locale", "timezone", "multi_tenant"}

def coverage_gaps(cases):
    covered = {c["angle"] for c in cases}
    return REQUIRED - covered   # what's still missing

def test_ai_batch_has_no_blind_spots():
    ai_cases = load_generated_cases("reset_password.json")
    gaps = coverage_gaps(ai_cases)
    # Fail loudly so a human fills the gaps in
    assert not gaps, f"AI missed angles: {sorted(gaps)}"

Lisez-le de haut en bas : vous listez les angles attendus, soustrayez les angles que l'IA a réellement couverts, et ce qui reste est votre liste de tâches.

Avancé — la liste des lacunes est votre histoire

L'étude de Thoughtworks a trouvé qu'environ un quart des cas générés étaient ambigus, et que les angles plus durs et non-fonctionnels étaient sautés sauf si exigés. Alors notez ce que l'IA a raté. Cette liste de lacunes est la preuve concrète de votre jugement — et c'est exactement l'histoire que vous racontez à un examinateur sur la façon dont vous relisez le travail de l'IA.

Basé sur l'étude de Thoughtworks sur les cas de test générés par IA et les conseils de l'industrie pour les valider