Qu’est-ce que Modèle multimodal ?

C'est comme un expert qui lit à la fois la notice écrite et la photo du montage : il relie ce que vous dites à ce qu’il voit ou entend. Les modèles multimodaux étendent les [LLM](/lexique/llm-large-language-model) au-delà du seul texte en projetant images ou signaux audio dans un espace partagé de représentation. Ils alimentent assistants visuels, accessibilité, contrôle qualité visuel — avec coûts calcul et enjeux [biais](/lexique/hallucination-ia) spécifiques sur la perception.

Encodeurs spécialisés par modalité ; fusion représentations ; tête de prédiction texte ou classification ; parfois chaînage avec outils externes. Distinction avec pipeline séquentiel OCR puis LLM : le multimodal natif peut mieux capturer contexte visuel global.

Réduction effort manuel sur tri documentaire mixte (PDF scanné + texte) et support client avec captures d’écran — gains typiques alignés sur automatisation ciblée dès que précision suffisante ; erreurs coûteuses si cas limites non testés (OCR bruité, pièces faible lumière).

• Jeux de test représentatifs ; mentions usage données image ; sorties validées humain sur décisions sensibles ; monitoring dérive.

• Croire infail sur texte fine dans image basse résolution. Utiliser sans cadre légal sur biométrie ou mineurs.