Sakhanda Wire
NVDA $153.61 -1.62% MSFT $506.27 -2.26% GOOGL $280.41 -1.17% META $623.08 -0.53% AMZN $257.66 -0.03%
← Към новините

AI инференсът променя дизайна на паметта и центровете за данни

Разрастването на AI инференса променя начина, по който организациите проектират инфраструктурата си, се посочва в анализ на изискванията на технологията. За разлика от системите, ориентирани към обучение, инференсът поддържа непрекъснати и географски разпределени услуги, чувствителни към закъсненията. Затова резултатите зависят не само от процесорите, а и от пропускателната способност на паметта, скоростта на съхранението, мрежите и енергийната ефективност.

Джим Макгрегър, основател и главен анализатор в Tirias Research, смята, че компаниите трябва да разглеждат центъра за данни като интегрирана система, а не като набор от отделни компоненти. Приложенията в реално време и retrieval-augmented generation (RAG) изискват чести справки в големи бази данни, което превръща преноса, кеширането и доставката на данни в основно ограничение. Така паметта и съхранението придобиват стратегическо значение.

Анализът препоръчва първо да се определят работните натоварвания, да се използват модулни архитектури и редовно да се преразглеждат покупките. Наред с максималната производителност трябва да се оценяват мащабируемостта, разходите, ефективността и възвръщаемостта на инвестициите. Материалът е изготвен от Insights, специализираното звено за брандирано съдържание на MIT Technology Review, а не от редакционния му екип.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MIT Tech Review. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MIT Tech Review на

Прочетете оригинала в MIT Tech Review ↗

Репортажът и изображението принадлежат на MIT Tech Review и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини