Blog

Jun 23, 2023

5 semplici modi per eseguire un LLM a livello locale

Di Sharon Machlis Redattore esecutivo, Dati e analisi, InfoWorld | Chatbot come ChatGPT, Claude.ai e phind possono essere molto utili, ma potresti non volere sempre le tue domande o i tuoi dati sensibili

Di Sharon Machlis

Redattore esecutivo, Dati e analisi, InfoWorld |

Chatbot come ChatGPT, Claude.ai e phind possono essere molto utili, ma potresti non volere sempre che le tue domande o i tuoi dati sensibili vengano gestiti da un'applicazione esterna. Ciò è particolarmente vero per le piattaforme in cui le tue interazioni possono essere riviste da esseri umani e utilizzate in altro modo per aiutare ad addestrare modelli futuri.

Una soluzione è scaricare un modello linguistico di grandi dimensioni (LLM) ed eseguirlo sul proprio computer. In questo modo, un’azienda esterna non avrà mai accesso ai tuoi dati. Questa è anche un'opzione rapida per provare alcuni nuovi modelli speciali come la famiglia di modelli Code Llama recentemente annunciata da Meta, ottimizzati per la codifica, e SeamlessM4T, mirato alla sintesi vocale e alle traduzioni linguistiche.

Gestire il tuo LLM potrebbe sembrare complicato, ma con gli strumenti giusti è sorprendentemente facile. E i requisiti hardware per molti modelli non sono folli. Ho testato le opzioni presentate in questo articolo su due sistemi: un PC Dell con un processore Intel i9, 64 GB di RAM e una GPU Nvidia GeForce da 12 GB (che probabilmente non era impegnata nell'esecuzione di gran parte di questo software) e su un Mac con chip M1 ma solo 16 GB di RAM.

Tieni presente che potrebbe essere necessaria una piccola ricerca per trovare un modello che funzioni ragionevolmente bene per il tuo compito e funzioni sull'hardware del tuo desktop. E pochi potrebbero essere buoni quanto quello a cui sei abituato con uno strumento come ChatGPT (specialmente con GPT-4) o Claude.ai. Simon Willison, creatore dello strumento da riga di comando LLM, ha sostenuto in una presentazione della settimana scorsa che eseguire un modello locale potrebbe essere utile anche se le risposte fossero sbagliate:

Vale anche la pena notare che è probabile che i modelli open source continuino a migliorare e alcuni osservatori del settore si aspettano che il divario tra loro e i leader commerciali si riduca.

Se desideri un chatbot che funzioni localmente e non invii dati altrove, GPT4All offre un client desktop da scaricare che è abbastanza facile da configurare. Include opzioni per modelli che funzionano sul tuo sistema e sono disponibili versioni per Windows, macOS e Ubuntu.

Quando apri l'applicazione desktop GPT4All per la prima volta, vedrai le opzioni per scaricare circa 10 modelli (al momento della stesura di questo documento) che possono essere eseguiti localmente. Tra questi c'è la chat Llama-2-7B, un modello di Meta AI. Puoi anche configurare GPT-3.5 e GPT-4 di OpenAI (se hai accesso) per un uso non locale se disponi di una chiave API.

All'inizio la parte di download del modello dell'interfaccia GPT4All era un po' confusa. Dopo aver scaricato diversi modelli, vedevo ancora l'opzione per scaricarli tutti. Ciò suggeriva che i download non funzionassero. Tuttavia, quando ho controllato il percorso di download, i modelli erano lì.

Una parte dell'interfaccia di download del modello in GPT4All. Una volta aperta la parte relativa all'utilizzo dell'applicazione, i miei modelli scaricati sono apparsi automaticamente.

Una volta impostati i modelli, l'interfaccia stessa del chatbot è pulita e facile da usare. Le opzioni utili includono la copia di una chat negli appunti e la generazione di una risposta.

L'interfaccia della chat GPT4All è pulita e facile da usare.

C'è anche un nuovo plugin beta LocalDocs che ti consente di "chattare" con i tuoi documenti localmente. Puoi abilitarlo inImpostazioni > Pluginscheda, dove vedrai l'intestazione "Impostazioni plugin LocalDocs (BETA)" e un'opzione per creare una raccolta in un percorso di cartella specifico.

Il plug-in è in fase di elaborazione e la documentazione avverte che LLM potrebbe ancora "allucinare" (inventare cose) anche quando ha accesso alle informazioni degli esperti aggiunte. Tuttavia, è una caratteristica interessante che probabilmente migliorerà man mano che i modelli open source diventeranno più capaci.

Oltre all'applicazione chatbot, GPT4All dispone anche di collegamenti per Python, Node e un'interfaccia a riga di comando (CLI). C'è anche una modalità server che ti consente di interagire con l'LLM locale tramite un'API HTTP strutturata in modo molto simile a quella di OpenAI. L'obiettivo è consentirti di scambiare un LLM locale con OpenAI modificando un paio di righe di codice.