In Breve
- Qual è la strategia di LinkedIn riguardo l'investimento in GPU?
- LinkedIn manterrà invariato l'investimento in GPU e non prevede di aumentare la spesa per hardware AI.
- Quali miglioramenti ha ottenuto LinkedIn nelle sue GPU?
- LinkedIn ha raddoppiato l'efficienza delle GPU esistenti in sei mesi grazie a vari miglioramenti.
- Come si differenzia LinkedIn da Microsoft riguardo l'infrastruttura?
- LinkedIn adotta un approccio più conservativo rispetto all'espansione infrastrutturale di Microsoft.
LinkedIn ha comunicato che non prevede di aumentare in modo significativo la spesa per hardware AI nel prossimo anno fiscale, mantenendo sostanzialmente invariato l’investimento in GPU. Secondo la società, l’efficienza delle GPU esistenti è stata raddoppiata in circa sei mesi grazie a miglioramenti nell’utilizzo, nella distillazione dei modelli e nell’allocazione dei carichi di lavoro. Questo margine operativo sarà impiegato per sviluppare nuove funzionalità piuttosto che per acquistare nuovo hardware.
Erran Berger, CTO dell’ingegneria, ha sottolineato l’importanza di mantenere stabile il footprint di calcolo, consentendo al contempo l’introduzione di funzionalità più esigenti dal punto di vista computazionale. Questo piano si colloca in un contesto in cui LinkedIn, controllata da Microsoft dal 2016, adotta un approccio differente rispetto alla consistente espansione infrastrutturale del colosso tecnologico. Infatti, Microsoft ha registrato 41 miliardi di dollari di spesa in conto capitale nell’ultimo trimestre, aggiungendo 31 data center in quel periodo e 88 nell’anno, con previsioni di oltre 50 miliardi per il trimestre corrente.
In passato, LinkedIn aveva avviato un progetto di migrazione su Azure, noto come Blueshift, che è stato sospeso nel 2022. Attualmente, la società si concentra su data center propri situati in Oregon, Texas e Virginia. Avere il controllo dell’intero stack tecnologico è considerato un fattore abilitante, poiché permette di monitorare e ottimizzare ogni livello, trattando l’efficienza come un investimento continuo.
Raghu Hiremagalur, CTO per l’infrastruttura, ha evidenziato che mantenere invariati storage e compute per un anno è «non una piccola impresa» e ha richiesto un notevole impegno. I miglioramenti ottenuti sono il risultato di un approccio cumulativo piuttosto che di una singola innovazione tecnologica. Questi includono un migliore utilizzo delle GPU, la riallocazione dei carichi di lavoro, la distillazione di modelli più complessi in versioni più piccole e una riprogettazione della divisione del lavoro tra training, inference, storage e progettazione dei sistemi.
Il cambiamento è anche motivato dalla crescente dinamica dei costi: il costo per singola query era in aumento mentre la quantità di dati immagazzinati raddoppiava ogni anno, una tendenza che LinkedIn ha giudicato insostenibile. Sebbene la società non affermi di aver risolto definitivamente il problema, la scelta di mantenere invariato l’investimento in hardware rappresenta un’alternativa alla tendenza prevalente di crescita proporzionale dell’hardware. La sua efficacia dipenderà dalla capacità del programma di efficienza di sostenere nel tempo queste sfide.
