Technisch übersetzt ein multimodales Modell alle Eingabeformen in dieselbe interne Darstellung, meist eine Abfolge von Token oder Vektoren, mit der das darunterliegende neuronale Netz einheitlich rechnen kann. Ein Bild wird also intern in eine Art Zahlenfolge zerlegt, die dasselbe Modell verarbeitet, das auch Textfolgen versteht. Dadurch kann das System Zusammenhänge zwischen den Formaten erkennen, etwa dass ein Foto von einem Kaffeebecher zum Wort "Kaffee" passt.
Für Unternehmen öffnet das neue Anwendungen: ein Foto vom Produktschaden hochladen und die KI schreibt automatisch das Schadensprotokoll, ein Screenshot einer fehlerhaften Webseite hochladen und ein Chatbot erklärt das Problem, oder aus einem Text-Briefing direkt ein erstes KI-Bild für Social Media generieren lassen. Multimodale KI ist auch die Basis für viele KI-Agenten, die einen Bildschirm sehen und darauf klicken können.
Die Grenze: Multimodale Modelle sind rechenintensiver als reine Text-Modelle und übernehmen Fehler einer Modalität leicht in eine andere, etwa wenn ein unscharfes Bild zu einer falschen Bildbeschreibung führt. Bei sicherheitskritischen Anwendungen (Medizin, Recht) bleibt menschliche Kontrolle über jede generierte Ausgabe Pflicht.
