GPT-4 Vision obsoleto? Scopri le alternative open source di LLaVA 1.5 che ti stupiranno!

Un’alternativa open source a GPT-4 Vision

L’intelligenza artificiale generativa ha visto una rapida evoluzione con l’emergere di modelli linguistici multimodali (LMM), come GPT-4 Vision di OpenAI. Tuttavia, l’aspetto chiuso e commerciale di alcune di queste tecnologie potrebbe limitarne l’adozione universale. È in questo contesto che la comunità open source offre un’alternativa promettente con LLaVA 1.5.

Come funzionano gli LMM

Gli LMM utilizzano un’architettura multistrato che combina un modello pre-addestrato per l’elaborazione di elementi visivi, un modello linguistico di grandi dimensioni (LLM) per comprendere e rispondere alle istruzioni dell’utente e un connettore multimodale per collegare visione e linguaggio. La formazione degli LMM avviene in due fasi: una fase iniziale di allineamento tra visione e linguaggio, seguita da un aggiustamento fine per rispondere alle richieste visive. Questo processo è molto intensivo dal punto di vista computazionale e richiede un database ricco e preciso.

I vantaggi di LLaVA 1.5

LLaVA 1.5 utilizza il modello CLIP per l’elaborazione visiva e Vicuna per il linguaggio. A differenza del modello originale, LLaVA, che sfruttava le versioni testuali di ChatGPT e GPT-4, LLaVA 1.5 collega il modello linguistico e il codificatore visivo utilizzando un percettrone multistrato (MLP). Questo aggiornamento ha arricchito il database della formazione con domande e risposte visive, per un totale di circa 600.000 esempi. LLaVA 1.5 ha quindi sovraperformato altri LMM open source su 11 dei 12 benchmark multimodali.

Il futuro degli LMM open source

LLaVA 1.5 offre risultati promettenti, anche con un budget limitato, grazie alla sua dimostrazione online accessibile. Si precisa tuttavia che l’utilizzo dei dati generati da ChatGPT è limitato a scopi non commerciali. Nonostante questa limitazione, LLaVA 1.5 apre la strada al futuro degli LMM open source in termini di rapporto costo-efficacia, scalabilità nella generazione di dati di addestramento ed efficienza nella regolazione delle istruzioni visive. Questo modello rappresenta quindi un preludio alle future innovazioni nel campo dell’intelligenza artificiale.

LLaVA 1.5 segna l’inizio di una nuova era per gli LMM open source. Anticipando modelli più efficienti e accessibili, possiamo immaginare un futuro in cui la tecnologia dell’intelligenza artificiale generativa sia alla portata di tutti, rivelando il potenziale illimitato dell’intelligenza artificiale.