DeepSeek ve Pekin Üniversitesi, yapay zeka dünyasında yaşanan donanım darboğazını aşmak için Engram isminde yeni bir eğitim yolu geliştirdi. Bu yenilikçi yol, bellek depolama alanını hesaplama süreçlerinden ayırarak sistemlerin çok daha verimli çalışmasını sağlıyor. Bilindiği üzere, günümüzdeki büyük lisan modelleri bilgiye ulaşmak için çok kıymetli olan yüksek bant genişlikli belleklere (HBM) gereksinim duyuyor. Bu ağır talep, DRAM fiyatlarının yalnızca 10 hafta içinde 5 katına çıkmasının temel nedeni olarak gösteriliyor.
Yapay Zekada Değerli Donanım Periyodu Bitiyor mu? DeepSeek Engram’ı Tanıttı
Geliştirilen sistem, modellerin GPU belleğini gereksiz yere doldurmadan gereksinim duyduğu bilgileri “arayıp bulmasına” (lookup) imkan tanıyor. Böylelikle sistemin kapasitesi, kolay süreçler yerine daha karmaşık akıl yürütme vazifeleri için kullanılabiliyor. 27 milyar parametreli bir model üzerinde gerçekleştirilen testler, Engram metodunun sanayi standartlarında gözle görülür performans artışları sağladığını kanıtladı.
Engram, statik bilgi erişimini anlık süreç yoğunluğundan bağımsız hale getiriyor. Bu formül, Phison üzere uygun maliyetli SSD çözümleri ve yeni CXL standartlarıyla birlikte çalışarak toplam bellek kapasitesini artırmayı mümkün kılıyor. Sonuç olarak yapay zeka sistemleri, değerli bellek ünitelerini meşgul etmeden hızlı ve verimli bir şekilde çalışabiliyor.
Araştırmalar, parametre bütçesinin %20 ila %25’lik kısmını Engram modülüne ayırmanın, klâsik modellere kıyasla daha yüksek performans sağladığını gösteriyor. Bu teknik, bilhassa HBM belleklere erişimin güç ve kıymetli olduğu bölgelerde donanım üzerindeki baskıyı hafifletebilir. Bu da DRAM fiyatlarındaki ani dalgalanmaların önüne geçilmesine yardımcı olabilir.
Sizce bu cins yazılım tabanlı verimlilik tahlilleri, son devirde artan donanım fiyatlarının düşmesini sağlar mı?
