معرفی حافظه سامسونگ HBM3E برای آموزش و استنتاج سریع‌تر هوش مصنوعی
سامسونگ به‌تازگی HBM3E 12H DRAM را با فناوری پیشرفته TC NCF معرفی کرد. HBM مخفف “حافظه با پهنای باند بالا” است و آنچه را که روی قلع می گوید انجام می دهد. در ماه اکتبر، سامسونگ HBM3E Shinebolt را معرفی کرد، نسخه پیشرفته‌ای از نسل سوم HBM که می‌توانست به 9.8 گیگابیت بر ثانیه در هر پین (و 1.2 ترابایت در ثانیه برای کل بسته) برسد.
سپس، 12H را ارائه کرد؛ این به سادگی تعداد تراشه هایی است که به صورت عمودی در هر ماژول انباشته شده اند (در این مورد 12 کیس). این راهی برای جا دادن حافظه بیشتر در یک ماژول است و سامسونگ با کیس 12H به 36 گیگابایت رسیده که 50 درصد بیشتر از طراحی 8H است. با این حال، پهنای باند 1.2 ترابایت بر ثانیه باقی می ماند.
در نهایت، TC NCF بوده که مخفف عبارت Thermal Compression Non Conductive Film است، یعنی موادی که در بین تراشه های روی هم قرار گرفته اند. سامسونگ در حال کار بر روی نازک‌تر ساختن آن تا 7 میکرومتر است، بنابراین پشته 12H تقریباً به همان ارتفاع پشته 8H است و امکان استفاده از بسته‌بندی HBM مشابه را فراهم می‌کند. مزیت اضافی TC NCF باعث بهبود خواص حرارتی برای کمک به بهبود خنک کننده می شود. حتی بهتر از آن، روش استفاده شده در این DRAM جدید HBM3E 12H نیز بازده را بهبود می بخشد.
این حافظه برای چه چیزی استفاده خواهد شد؟ همانطور که باید بپرسید، هوش مصنوعی امروزه به عنوان تبلیغات استفاده می شود. اگر بخواهیم انصاف داشته باشیم، برنامه ای است که به رم زیادی نیاز دارد. سال گذشته انویدیا سامسونگ را به لیست تامین کنندگان حافظه با پهنای باند بالا اضافه کرد و این شرکت طراحی های دیوانه کننده ای را ایجاد کرد.
پردازنده گرافیکی Nvidia H200 Tensor Core دارای 141 گیگابایت HBM3E است که در مجموع با سرعت 4.8 ترابایت بر ثانیه کار می کند. این بسیار فراتر از چیزی است که در یک گرافیک مصرف کننده با GDDR مشاهده می کنید. به عنوان مثال، RTX 4090 دارای 24 گیگابایت GDDDR6 است که تنها با سرعت 1 ترابایت در ثانیه کار می کند. به هر حال، بر اساس گزارش‌ها، H200 از شش ماژول 24 گیگابایتی HBM3E 8H از Micron استفاده می‌کند.
همین ظرفیت را می توان تنها با چهار ماژول 12H به دست آورد، در عوض، ظرفیت 216 گیگابایتی را می توان با شش ماژول 12H به دست آورد. بر اساس برآوردهای سامسونگ، ظرفیت اضافی طراحی جدید 12H آن، سرعت آموزش هوش مصنوعی را تا 34 درصد افزایش می‌دهد و به سرویس‌های استنتاج اجازه می‌دهد “بیش از 11.5 برابر” تعداد کاربران را مدیریت کنند.
