Server NVIDIA per l’IA in azienda: quando conviene tenerli in casa e come dimensionarli

Far girare un modello di intelligenza artificiale in casa conviene quando valgono insieme due condizioni: i dati non devono uscire dall’azienda, e il modello lo usate ogni giorno. Se manca la prima, il cloud è quasi sempre più semplice; se manca la seconda, il server resta fermo più di quanto lavora. Il resto — macchina, memoria, corrente — si calcola, e conviene farlo prima di guardare i listini.

In casa o nel cloud

I dati. La legge sulla protezione dei dati vale anche per l’IA, ricorda l’Incaricato federale, con obblighi di trasparenza e, per i trattamenti a rischio elevato, una valutazione d’impatto. Un servizio esterno che elabora dati personali per voi è un responsabile del trattamento: l’articolo 9 LPD lo ammette solo se nessun obbligo legale o contrattuale di segreto lo vieta, e se i dati vanno all’estero valgono anche le condizioni dell’articolo 16. Con accordi di riservatezza, segreti di fabbricazione o segreto professionale, un modello in casa toglie di mezzo la domanda più difficile: a chi stiamo dando i dati.

I costi e la latenza. Il cloud si paga a consumo: poco per un uso saltuario, sempre di più con molti utenti ogni giorno. Un server si paga una volta, poi costa corrente, manutenzione e qualcuno che lo segua: il confronto va fatto su tre anni. La latenza conta quando il modello è un passaggio di un processo automatico: in rete locale non dipende dalla linea internet.

Il cloud resta la scelta giusta se vi servono i modelli più grandi, se l’uso è occasionale o se nessuno in azienda può occuparsene. E c’è una via di mezzo: modelli aperti ospitati in Svizzera, come Apertus di EPFL, ETH Zurigo e CSCS, disponibile anche sulla piattaforma di IA che Swisscom gestisce in Svizzera.

Che cosa offre NVIDIA, dalla scrivania al rack

• DGX Spark: 15 centimetri per lato, chip GB10, 128 GB di memoria condivisa fra processore e GPU (alcuni produttori la vendono anche con 64), alimentatore da 240 W. NVIDIA la presenta come macchina per sviluppatori e dichiara modelli fino a 200 miliardi di parametri. In vendita da metà ottobre 2025, al lancio costava 3999 dollari negli Stati Uniti.
• DGX Station: chip GB300 e 748 GB di memoria coerente, 252 dei quali sulla GPU, divisibile fino a sette istanze per più utenti; 1600 W, con un circuito da 20 A. Si ordina tramite produttori come Dell, HP e ASUS; NVIDIA non indica un prezzo.
• GPU RTX PRO per server: la RTX PRO 6000 Blackwell Server Edition ha 96 GB e arriva a 600 W; i server da rack che la montano, proposti fra gli altri da Cisco, Dell, HPE, Lenovo e Supermicro, ne ospitano due, quattro oppure otto. La RTX PRO 4500 per server, a raffreddamento passivo, ha 32 GB e 165 W.
• HGX e DGX: sistemi da otto GPU per il data center. La DGX B300 ha 2,1 TB di memoria GPU e assorbe circa 14 kW in 10 unità di rack; su HGX, la piattaforma che NVIDIA fornisce ai produttori di server, nascono macchine simili di altre marche. NVIDIA presenta già la generazione successiva, Rubin.

Come si dimensiona

Il primo numero è la memoria: miliardi di parametri per byte per parametro. A 16 bit ogni parametro occupa 2 byte, e un modello da 7 miliardi chiede circa 14 GB solo per i pesi, come calcola NVIDIA; a 8 bit la metà, a 4 bit un quarto. Anche i 200 miliardi della DGX Spark tornano solo a 4 bit: circa 100 GB su 128.

Un esempio svizzero: Apertus 1.5, uscito a luglio 2026, esiste da 8 e da 70 miliardi di parametri. Il 70 miliardi a 16 bit chiede circa 140 GB e non sta su una RTX PRO 6000; a 8 bit circa 70, e ci sta con 26 GB liberi.

Il secondo numero sono gli utenti. Ogni conversazione aperta occupa altra memoria, la cosiddetta cache KV, che secondo NVIDIA cresce in proporzione alle richieste contemporanee e alla lunghezza del testo: nel suo esempio, circa 2 GB per una conversazione di 4096 token con Llama 2 da 7 miliardi. Dieci utenti insieme, 20 GB. Contano gli utenti contemporanei, non i dipendenti.

Il terzo numero è la corrente, che diventa calore: 240 W per una DGX Spark, 1600 W per una DGX Station, circa 14 kW per una DGX B300. Sopra il chilowatt la domanda non è dove appoggiarla, ma se il locale ha la potenza e il raffreddamento per reggerla.

Che cosa chiedere prima di comprare

1. Su quale prova si basa l’offerta: modello, precisione, utenti contemporanei, lunghezza dei testi. Meglio ancora, una prova sui vostri documenti.
2. Quanta memoria resta dopo aver caricato il modello: decide quanti utenti regge.
3. Consumo e calore a pieno carico, e se il locale li sostiene.
4. Il software: che cosa è compreso e che cosa si paga a parte, per esempio NVIDIA AI Enterprise, la suite commerciale di NVIDIA con assistenza per la produzione.
5. Chi lo gestisce: aggiornamenti, accessi, registri. Un server dimenticato in un angolo è un rischio, non un risparmio.
6. Per quanto vale l’offerta, e se il prezzo resta fermo fino alla consegna.

Se le vostre macchine virtuali girano su NexaVM, che dichiara il supporto delle GPU per i carichi di IA, verificate prima se una GPU entra nei server che avete.

Il percorso che proponiamo parte dal caso d’uso e dai dati, passa da un prototipo provato con chi lo userà e solo dopo arriva all’infrastruttura: a volte un server in casa, a volte il cloud. È descritto nella pagina sull’adozione dell’IA; per parlarne con noi, scriveteci.

Fonti: pagine prodotto e comunicati di NVIDIA; blog tecnico di NVIDIA; Engadget (prezzo di lancio della DGX Spark); LPD, RS 235.1, articoli 9 e 16; IFPDT; ETH Zurigo e Swiss AI Initiative su Apertus. Consultate il 13 ottobre 2026.