Por qué la inferencia local de IA puede tensionar el suministro de DRAM
47 sec Machine translated
Oh, creo que hay toda clase de formas en que la cadena de suministro es muy poco evidente. Eh, un ejemplo de esto es la gente— mucha gente quiere inferencia local, y de algún modo asume que el problema ya está resuelto porque tendremos modelos de código abierto,
y podremos ejecutarlos en nuestras computadoras, así que no necesitaremos todas estas cosas en el centro de datos. Pero desde una perspectiva de asignación global en realidad, es bastante terrible que todos tengan un montón de del suministro limitado mundial de DRAM en su propia computadora y se use— Mm.
—el cinco por ciento del tiempo. Es decir, quieres la máxima utilización en la nube si intentas, digamos, afrontar este entorno con tantas limitaciones de suministro.
Y, y de algún modo, la intuición de todos, de m-muchas personas es lo contrario de eso
End of transcript · 142 words · machine translated
Original transcript (English)
Oh, I think there are like all of these ways where the supply chain, it's just like super non-obvious. Um, an example of this is people-- a lot of people want local inference, and somehow they assume that like the problem is solved now because we're gonna have open source models,
and we're gonna be able to run them on our computers, and so we're not gonna need all this stuff in the data center. But from like a global allocation perspective, actually, it's quite terrible to have everybody like have a bunch of the world's limited supply of DRAM sitting in their own computer and being used- Mm.
-five percent of the time. Like, you want maximum utilization in the cloud if you're trying to, like, deal with this very supply-constrained environment.
And, and somehow everyone's, m-many people's intuition is the opposite of that
Up next
4:47 Candidato musulmán al Senado rechaza a los Hermanos Musulmanes y defiende la Constitución 
2:41 Hombre se niega a identificarse durante investigación policial 
1:46 Afirmaciones sobre la COVID-19, los biolaboratorios ucranianos y la guerra 
7:11 Tribunales secretos y dobles: teorías sobre un despertar mundial 
1:42 Issa Casajuha se disculpa por comentarios en un mitin en UTSA 
2:52 Un votante de Trump sueña con enfrentarlo por sus promesas incumplidas 
1:56 N722BD declara una emergencia durante un descenso vertiginoso: audio ATC 
1:43 Por qué un candidato de Michigan hace campaña con Obama pese a sus críticas 
1:12 Manuel Ferrara, consejos de intimidad y rodajes para adultos en Japón 
5:43 Elecciones en Brasil: Lula, Bolsonaro y las probabilidades en mercados predictivos 
3:36 Abdul y Jesse debaten la sharía, la supremacía blanca y la libertad religiosa 
1:26 Abdul El-Sayed cuestiona a periodista de Sky News por no votar en Michigan
iPhone app Translate videos on your iPhone Paste a TikTok, Instagram or X link, add subtitles in your language and save the video to Photos. 
Made with TranslateMom
TranslateMom transcribes and translates videos from X, TikTok, YouTube and Instagram. Paste a link and you get a page like this one, in your language.