Julie vs. Lea et les autres, test IA versus IN pour un site de décoration

Ça commence par une question toute bête sur un groupe Facebook “quels sont les avantages et les inconvénients d’un appartement en rez de chaussée dans une résidence fermée“. L’expression de longue traine parfaite, qui me titille parce que j’ai plein d’idées et que je suis en train de remonter un site déco.

Ça continue par un mail qui me présente un nouveau site de rédaction via l’IA, un mail bien rentre-dedans auquel tu as envie de répondre “chiche”.

Tous mes essais avec ChatGPT sur le Maroc se sont mal passés, avec des textes peu pertinents et bourrés d’erreurs, en gros du même niveau que “L’Empire Romain a donné son indépendance à la France en 1492“.

J’imagine donc que sur un sujet aussi grand public, aussi blindé de sites immobiliers, de sites de CP, etc. ChatGPT et les IA doivent avoir des données correctes, suffisamment de sources aussi pour faire du bon travail. J’ai donc l’idée de tester l’IA (Lea words pour ne pas la nommer) et ChatGPT. Et bien sûr, de comparer avec un article écrit de mes blanches mains.

La méthode de test

Pour que ce soit “juste”, les deux IA auront le même brief. En réalité, une grosse erreur, car, on va le voir, briefer Lea  correctement est aussi facile que donner une pilule à un chat ! ChatGPT aurait sans doute pu mieux faire.

Mon objectif : obtenir un article qui présente les avantages et les inconvénients de ce type de logement spécifiquement dans une résidence fermée. Autrement dit, comment les conditions de vie dans une “gated community” aggravent ou, au contraire, allègent les défauts d’un logement en rez-de-chaussée. J’attends autre chose que du bla-bla de CP, il y a par exemple des chiffres connus et disponibles sur le web sur les écarts de loyers, de primes d’assurances…

Pour sauter à la conclusion : je n’ai pas obtenu ce que je souhaitais, loin de là.

La plate forme de rédaction : esbroufe et fausse expertise

C’est une offre d’essai, limitée à 40 tokens, soit 2 euros. En gros, sur la base de mes mots clés, j’ai le droit de choisir un titre, un plan et de faire rédiger un article, d’environs 1.000 mots. Je reçois en plus quatre images générées par l’IA.

J’ai détaillé dans l’article le process du brief, avec tous problèmes. On peut rajouter qu’au moment de la rédaction, l’IA me prend vraiment pour une quiche, avec des petites roues qui tournent “je suis en train de rédiger”, “je suis en train de vérifier” (tu vérifies quoi chérie ?), le tout pendant 17 minutes, pour me persuader que, réellement le produit fini est de qualité.

Le résultat est là :  un article plat, sans aucune information précise, qui parle de “décoration” sous une thématique “investissement” et dont la moitié du texte au moins est totalement hors contexte, car trop générale et pouvant aussi bien s’adapter à un appartement de plain pied, à une maison individuelle ou à un appartement en haut d’un gratte-ciel.

Les photos générées par l’IA sont de format carré, 1024 pixels de large (pas vraiment les dimensions passe-partout maintenant) et surtout, surtout, pour les deux qui présentent des fenêtres, sont manifestement en hauteur. J’avais dit “rez de chaussée”. C’est joli, mais hors sujet.

ChatGPT va-t-il faire mieux ?

Clairement oui, même si ce n’est toujours pas ce que j’attends. Vous pouvez voir l’article ici (avec mes commentaires “in text” comme pour le premier. Chat GPT a un peu trop pris en compte mes “pointes d’humour”. Mais en fait, ChatGPT manque d’inspiration, se répète un peu. Au moins, il n’est pas complètement hors sujet et ne parle que de choses qui concerne un rez-de-chaussée, même si la résidence fermée, elle passe à l’as. Et surtout, il n’y a pas les grosses erreurs que j’ai vues dans des articles sur le Maroc. En même temps, comment dire des contre-vérités sur un sujet pareil ?

Pas de génération d’images, par contre la possibilité de lui poser des questions complémentaires pour creuser et approfondir.

Et mes blanches mains ? (sur mon clavier noir)

Le sujet a deux dimensions : un appartement en rez-de-chaussée, bien ou mal, et l’aspect résidence fermée. On pourrait partir sur un plan “avantage ou inconvénient / et dans le cas d’une résidence fermée” pour chaque point, ou faire un article “Avantages et inconvénients et (partie III) dans le cadre d’une résidence fermée”. Deux façons de parcourir le cube… c’est finalement la seconde solution que j’ai choisie, et en séparant ce qui aurait été un article très long en deux.

Vous avez donc d’une part l’article général, ici, (1930 mots) puis l’article spécifique aux résidences fermées. (1165 mots), qui bien entendu sont liés…

La très grosse différence avec la production des deux IA :

• du concret, des noms de résidences réelles, des chiffres, des digressions qui sortent du pur comparatif tout en restant dans le sujet ;
• des définitions des concepts, qui, au passage, sont différentes de celles qu’on trouve dans la plupart des articles (j’ai choisi de définir par la négative au lieu de lister les différents types d’appartements)
• un argumentaire cohérent, sans contradictions, sans redites
• nettement plus de temps de travail, quatre heures de rédaction en tout (je ne compte pas la recherche d’images, elle était nécessaire dans tous les cas)
• environ un quart d’heure pour la recherche de liens externes intéressants
• en fonction de mon site et des sujets que j’y traite, des liens vers des articles, plus naturels que le seul suggéré par la première IA, et des possibilités de lier des thématiques que je compte développer plus tard

Je vous invite à les lire pour vous faire une idée, et si vous les trouvez intéressants, un lien, un partage seront bienvenus, à vot’ bon coeur…

Ce que je retire de ce test

Si tu veux faire tester ton IA ne soit pas radin

A priori, il y a plein d’options dans Lea qui répondraient à mes frustrations, malheureusement je n’y ai pas accès, à moins de payer.

Honnêtement, c’est la stratégie marketing la plus nulle que je connaisse.

Parce que cet article “personnalisé à la perfection” selon les termes de Léa, m’a profondément déçue et m’a surtout donné envie de ne pas payer pour voir plus.

L’IA ne peut donner que ce qu’elle a, en l’occurrence ce qu’elle a trouvé sur le web.

C’est pour cela que Léa, la première, est partie dans la thématique “rentabilité de l’investissement”, car, si vous cherchez des infos sur ces fameux rez-de-chaussée, une grosse partie des pages qui ressortent parlent de cette rentabilité… parce que qu’elles sont écrites sur ou pour des sites immobiliers.

L’IA n’est pas plus originale et moins intéressante que Wikipedia

Comme Wkikipedia, elle ne crée pas d’idées, pas d’arguments. A l’inverse de Wikipedia, elle ne donne pas non plus beaucoup de concret (j’ai passé une demi-heure avec ChatGPT pour ne pas arriver à obtenir quatre chiffres que j’ai trouvés en trois minutes). Elle donne peu/pas de détails concrets, or ce sont ces détails qui permettent de rebondir, de lancer une recherche qui explore une autre branche du cocon et qui va, finalement, donner une certaine originalité à l’article.

(Et c’est d’ailleurs un des gros avantages de commencer par Wikipedia : explorer facilement une thématique).

L’IA est ennuyeuse

ChatGPT, qui promettait des piques d’humour, n’a pas tenu ses promesses. Je n’en peux plus des articles “oui mais bon mais ça dépend de vos préférences et tout le monde il est beau tout le monde il est gentil”.

L’IA n’est pas très performante pour la construction d’un linking interne

Ou alors avec des outils beaucoup plus évolués. ChatGPT bien sûr n’a aucune connaissance de mon site, ce serait donc à moi de lui fournir sans mon brief les expressions à insérer pour construire mes liens internes.

Lea a connaissance de mon site. Elle a manifestement essayé de me placer un lien vers un de mes articles déjà publiés, sans qu’il soit vraiment en thématique. Cela l’a conduite d’ailleurs à faire du texte totalement hors sujet. Et même si son lien avait été réussi, elle ne pouvait pas avoir connaissance de l’article prêt à publier, celui qui commence cette série ; je serais prête, d’ailleurs, à re-tester avec une autre plateforme de ce genre, pour voir comment elle peut se débrouiller pour faire un article intéressant alors que plusieurs ont déjà été publiés sur la thématique.

Le rapport qualité / prix est correct

En tout cas dans le cas de ChatGPT.

Mais la qualité est faible. On reste dans le schéma des empreintes et co-occurrences négatives, un peu moins criard, certes, mais toujours facilement identifiable, à moins de retravailler l’article en profondeur. Chacun sa méthode de travail, chacun ses besoins. Il est évident que ce ne sont pas les mêmes pour des sites e-commerce avec des milliers d’articles que sur des sites “pme”. Pour ces derniers, perso, je reste persuadée de l’avantage de la qualité.

Le lien entre plate-forme de ventes de spot de liens et AI est effrayant

Une semaine après Léa, c’est la plate-forme Boosterlink (l’autre face) qui m’envoie un mail pour me demander si je serais intéressée pour publier des articles sponsorisés sur un autre de mes sites. Je réponds comme d’habitude “pourquoi pas, mais JE rédige moi même personnellement”. J’ai eu un retour positif, mais je pense que beaucoup d’éditeurs rédigeront via Lea. Le modèle est très intéressant pour la société, qui vend non seulement des pelles, mais aussi les parcelles pour creuser. Moins à mon avis sur le résultat global final.

Que cela arrive en même temps que la chute de NextLevel est peut-être une coïncidence. Moi j’y vois une copie du modèle, avec des éditeurs qui offriront pour un faible prix des plate-formes pour publier des articles de faible qualité, qui seront “poussés” par d’autres sites de faible qualité.

AI et “EAAT” et “Helpful Content” ?

Et puisque c’est d’actualité, j’en profite pour vous mettre un lien ami et néanmoins plein d’autorité sur l’update “Helpful Content” de Google, qui vise les sites “créés pour le SEO”. Perso, je pense que les gens les plus doués pour écrire pour les humains sont des humains…Et vous ?

Les quatre articles, dans l’ordre (passez la souris sur l’image pour faire apparaitre le lien) :