GIGABYTE, masaüstünde yerel yapay zekâ modelleri çalıştırmak amacıyla geliştirdiği AI TOP ATOM platformunun NVIDIA Nemotron 3.5 Lightning ve NeMo Switchyard desteğine kavuştuğunu duyurdu. Yeni yapı, sürekli çalışan yapay zekâ ajanlarının görevlerini buluta göndermeden yerel sistemlerde gerçekleştirebilmesini hedefliyor.
Yapay zekâ dünyasında odak noktası, sohbet botlarından kendi başına görev gerçekleştirebilen AI agent sistemlerine kayıyor. Donanım üreticileri de bu modelleri yerel olarak çalıştırabilecek sistemlere yöneliyor. GIGABYTE, bu kapsamda AI TOP ATOM masaüstü yapay zekâ platformunun NVIDIA Nemotron 3.5 Lightning modelini desteklediğini açıkladı.
Destek yalnızca yapay zekâ modelinin çalıştırılmasıyla sınırlı değil. Sistem, NVIDIA’nın açık kaynaklı NeMo Switchyard model yönlendirme kütüphanesiyle de kullanılabiliyor. Böylece farklı modellerden oluşan bir yapay zekâ sistemi, görevin türüne göre hangi modelin devreye gireceğine otomatik olarak karar verebiliyor.
Agentic AI sistemleri, klasik sohbet botlarından farklı olarak uzun süre boyunca çalışabiliyor, çevresindeki bilgileri değerlendirebiliyor, araçları çağırabiliyor ve bir hedefi gerçekleştirmek için birden fazla adımdan oluşan işlemler yürütebiliyor. Ancak bu işlemlerin her aşamasında büyük ve maliyetli bir frontier model kullanmak gerekmiyor.
Örneğin, bir AI agent’ın karmaşık bir görevin planını oluşturması yüksek muhakeme kapasitesine sahip büyük bir modele bırakılırken; kod çıktısını kontrol etmek, belirli bir belgeyi sınıflandırmak veya bir aracın döndürdüğü sonucu doğrulamak gibi daha rutin görevler daha küçük modellere aktarılabiliyor. NVIDIA’nın NeMo Switchyard teknolojisinin temel amacı da tam olarak bu. Sistem, gelen görevi değerlendirerek bunu uygun yapay zekâ modeline yönlendirebiliyor.
Bu yaklaşım, özellikle sürekli çalışan yapay zekâ ajanlarında hesaplama maliyetini ve gecikmeyi azaltma potansiyeli taşıyor. Nemotron 3.5 Lightning, NVIDIA’nın uzun süre çalışan AI agent sistemlerinin yoğun görev yürütme katmanı için geliştirdiği açık modellerden biri. Model, toplam 30 milyar parametreye sahip ancak Mixture-of-Experts (MoE) mimarisi sayesinde her işlem sırasında bunların yaklaşık 3 milyarını aktif olarak kullanıyor. Bu yapı, modelin daha büyük bir parametre havuzundan yararlanırken her token için gereken hesaplama miktarını azaltmasını sağlıyor.
NVIDIA, Nemotron 3.5 Lightning’ın kendi sınıfındaki modellere kıyasla belirli iş yüklerinde 4 kata kadar daha yüksek throughput sağlayabildiğini belirtiyor. Model, özellikle kodlama, talimat takip etme, araç çağırma ve uzun süreli agent iş akışlarına yönelik optimize edilmiş durumda. Bir diğer dikkat çekici özellik ise 1 milyon token’a kadar context length desteği. Bu kapasite, AI agent’ın çok büyük dokümanları veya uzun süren görev geçmişlerini aynı bağlam içerisinde değerlendirebilmesini mümkün kılıyor.
GIGABYTE’ın duyurusunda öne çıkan noktalardan biri, yapay zekâ işlemlerinin tamamen yerel altyapıda gerçekleştirilebilmesidir. Nemotron 3.5 Lightning açık bir model olduğu için şirketler modeli kendi sistemlerinde çalıştırabiliyor, belirli kullanım senaryoları için özelleştirebiliyor ve post-training işlemleri uygulayabiliyor. Böyle bir kurulumda verilerin üçüncü taraf bir bulut hizmetine gönderilmesine gerek kalmıyor. Bu durum, özellikle şirket içi belgeler, yazılım kaynak kodları, finansal bilgiler veya diğer hassas veriler üzerinde çalışan yapay zekâ sistemleri açısından önem taşıyor.
Elbette veri gizliliğinin seviyesi, modelin nasıl dağıtıldığına ve kullanılan diğer servislerin mimarisine bağlı olmaya devam ediyor. GIGABYTE, Nemotron 3.5 Lightning’ı masaüstünde çalıştırmak isteyen geliştiriciler için AI TOP ATOM sistemini öne çıkarıyor. Kompakt yapay zekâ bilgisayarı, NVIDIA GB10 Grace Blackwell Superchip üzerine kurulu. Amaç, geliştiricilerin büyük yapay zekâ modellerini doğrudan çalışma masalarında çalıştırabilmesi, test edebilmesi ve gerektiğinde özelleştirebilmesidir.
Bu tür sistemler, özellikle bulut GPU kaynaklarına sürekli erişmek istemeyen ekipler açısından yeni bir yerel AI geliştirme kategorisinin ortaya çıkmasına neden oluyor. Nemotron 3.5 Lightning ve NeMo Switchyard birlikteliğinin potansiyel kullanım alanları oldukça geniş. Yerel bir kişisel AI agent, e-postaları değerlendirmek, takvimi yönetmek, projeleri takip etmek veya rezervasyon işlemlerini gerçekleştirmek gibi görevlerde kullanılabilir. Yazılım geliştirme tarafında pull request özetleme, kod sınıflandırma ve test sonuçlarının önceliklendirilmesi gibi işlemler agent’lara bırakılabilir. Siber güvenlik sistemlerinde ise log analizi, uyarıların sınıflandırılması ve olay raporlarının hazırlanması gibi tekrarlayan operasyonların otomatikleştirilmesi mümkün.
Finans, sağlık yönetimi, telekomünikasyon ve perakende gibi sektörlerde de belge analizi, politika kontrolü, sipariş işlemleri ve envanter problemlerinin çözülmesi gibi süreçler potansiyel kullanım alanları arasında bulunuyor. GIGABYTE ve NVIDIA’nın yaklaşımı, yapay zekâ sektöründeki daha geniş bir değişime de işaret ediyor. Yeni nesil AI agent sistemlerinde tek ve dev bir modelin bütün işlemleri gerçekleştirmesi yerine, farklı yeteneklere ve hesaplama maliyetlerine sahip modellerin birlikte çalışması giderek daha önemli hale geliyor. Büyük modeller planlama ve karmaşık muhakemeyi üstlenirken, Nemotron 3.5 Lightning gibi daha verimli modeller binlerce rutin işlemi gerçekleştirebiliyor. NeMo Switchyard ise bu modeller arasında hangi görevin nereye gönderileceğini belirleyen yönlendirme katmanı olarak devreye giriyor.
GIGABYTE’ın AI TOP ATOM desteğiyle birlikte bu model mimarisi, veri merkezlerinin dışında, geliştiricilerin masalarındaki kompakt sistemlere kadar ulaşmaya başlıyor. Önümüzdeki dönemde yapay zekâ yarışının yalnızca “en güçlü modeli kim geliştirdi?” sorusuyla değil, birden fazla modeli ne kadar verimli biçimde birlikte çalıştırabildiğinizle de şekillenmesi bekleniyor.
