Rus teknoloji devi Yandex, yapay zeka şirketlerinin yeni modeller eğitirken maliyet ve kaynak tasarrufu yapmalarına yardımcı olacak yeni bir açık kaynak aracı tanıttı. YaFSDP adlı bu araç, büyük dil modelleri (LLM) eğitiminde daha hızlı ve verimli bir süreç sunarak GPU kaynaklarından %20'ye kadar tasarruf sağlayabiliyor.
Teknik Detaylar ve Hız Artışı
Yandex'in duyurusunda, yeni açık kaynak aracının GPU iletişimini artırma ve LLM eğitimi sırasında bellek kullanımını azaltma konularında en etkili araç olduğu belirtiliyor. YaFSDP, önceki versiyon olan FSDP'ye göre %26'ya kadar daha hızlı performans sunabiliyor.
"LLM eğitimi zaman alıcı ve kaynak yoğun bir süreçtir," diyen Yandex, makine öğrenimi mühendislerinin ve kendi LLM'lerini geliştiren şirketlerin, bu modelleri eğitirken önemli miktarda zaman ve GPU kaynakları (dolayısıyla para) harcadığını vurguluyor. Model ne kadar büyükse, eğitimi için harcanan zaman ve maliyet de o kadar artıyor.
Milyon Dolarlık Tasarruf
Yandex, 70 milyar parametreli bir modeli eğitmek için YaFSDP kullanmanın yaklaşık 150 GPU kaynağını tasarruf edebileceğini ve bu durumun aylık olarak yaklaşık 0.5 ila 1.5 milyon dolar arasında tasarruf sağlayabileceğini tahmin ediyor. Bu hesaplama, sanal GPU sağlayıcısına veya platformuna bağlı olarak değişiyor.
Yandex, Meta'nın Llama modellerini kullanarak yapılan testlerde, Llama 2 70B ve Llama 3 70B üzerinde sırasıyla %21 ve %26'lık nihai hız artışı elde edildiğini belirtti.
AI Geliştirmede Yandex'in Diğer Araçları
YaFSDP, Yandex'in AI araçları konusundaki ilk girişimi değil. Şirket daha önce CatBoost, YTsaurus, AQLM ve Petals gibi farklı AI geliştirme nişlerini hedefleyen araçlar da yayınladı.
Yandex'in Stratejik Adımı
Yandex'in bu hamlesi, Rusya'nın Ukrayna'yı işgali sonrasında yerel işini ülkenin önceki yönetimine satmak zorunda kaldığı bir dönemin ardından geldi. Birçok büyük teknoloji şirketi de ürünlerine yapay zekayı entegre etmeye devam ediyor. En son olarak, Apple, yaklaşan iOS 18 güncellemesi ile Apple Intelligence hizmetlerini tanıtmıştı.
