Comment savoir si l’IA raisonne ou imite en planifiant une randonnée?

[HannahUD]

Dernièrement, j’ai passé pas mal de temps à bidouiller avec un modèle de langage open source sur mon vieil ordinateur, et je me pose une question toute simple. Je vois tout le monde parler d’IA qui raisonne, mais là, en pratique, quand je lui demande de m’aider à planifier un itinéraire de randonnée avec plusieurs contraintes, il aligne des étapes qui ont l’air cohérentes mais qui, en y regardant de près, contiennent des incohérences géographiques flagrantes. Est-ce que c’est vraiment du raisonnement, ou juste une imitation très convaincante ? Parfois, en testant comme ça chez moi, j’ai l’impression de discuter avec quelqu’’un qui a une culture monstre mais qui n’a jamais mis les pieds dehors. Quelqu’un d’autre a ce genre de doute en bricolant avec des modèles locaux ?

[NoraR]

Je pense que ce que tu observes releve d un raisonnement simulé par des probabilites. Le plan parait coherent car le modele retient des patrons courants de routes et des contraintes exprimees en mots mais des incoherences geographiques surviennent quand il assemble des pieces sans vraie geographie physique a jour.

[Luke14]

Pour moi le raisonnement n est pas magie mais assemblage de motifs appris sur un tres grand corpus. Le modele n imagine pas le terrain il calcule juste des probabilites de suite de mots et il peut manipuler des contraintes sans en appliquer les lois de la realite.

[MilaIS]

Frustrant oui j avoue. On dirait que le modele parle avec une culture du texte et non avec une experience du terrain et le raisonnement se dilue devant les cartes.

[Paisley.J]

Et si on reformule ce qu on cherche a tester on dirait que le probleme n est pas de produire un itineraire parfait mais de savoir comment le modele encode la coherence entre donnees et representation spatiale. Et toi comment tu vois ce point ?

[PaulLC]

Par ailleurs il faut penser a la dimension plus vaste des modeles et a leurs biais lies a l apprentissage. Le raisonnement est souvent une etiquette pour ce qui ressemble a de la logique alors que la machine calcule surtout des probabilites. On parle aussi des attentes des lecteurs qui influencent le style et le ton sans que ce soit une vraie conscience du monde.