Aramizda
Aktif Üye
Ki-Update Deep-Dive: Bir AI talebinin gerçek fiyatı
Test tezgahındaki AI'dan gelen enerji
Chatgpt gibi bir AI sohbet botuna yapılan her istek enerji tüketir, genellikle geleneksel bir arama sorgusundan önemli ölçüde daha fazladır. Bu tüketim somut bir görev için ne kadar yüksek olduğu şimdiye kadar büyük ölçüde keşfedilmemiş bir alan olmuştur. Münih Teknik Üniversitesi'nde doktora öğrencisi olan Maximilian Dauner, bir çalışmada tam olarak bu konuyu ele aldı ve üretken AI'nın enerji tüketimini inceledi.
Dauner 14 büyük dil modelini inceledi. Kısa LLM'ler için büyük dil modelleri, tanınmış AI araçlarının arkasındaki temel teknolojidir. Yalnızca serbestçe mevcut olan ve üniversitenin yerel sunucusunda alan bulan modeller test edildi.
Alibaba'dan Meta ve Qwen Lama gibi modellere, matematik, felsefe ve dünya tarihi de dahil olmak üzere beş farklı konu alanından geniş karşılaştırılabilirlik sağlamak için 500 özdeş soru soruldu. Doktora öğrencisi, “Tüketim değerlerini yerel olarak gerçekten ölçebilir ve kullanabiliriz,” diyor doktora öğrencisi.
Ana faktörler olarak boyut ve düşünme süreçleri
Araştırma, özellikle iki faktörün enerji tüketimini ve ilişkili ortak emisyonları belirlediğini göstermiştir. Dauner, “Bir yandan, elbette, boyut, bu gerçekten bir sürpriz değil. Bu, daha fazla parametre, co₂ sürümü ne kadar büyük anlamına geliyor.” Test edilen modeller 7 milyar ila 72 milyar parametre arasında değişiyordu-bir AI modelinin karmaşıklığının ölçüsü.
Bununla birlikte, daha da büyük bir faktör, yani olarak adlandırılan “akıl yürütme” idi, yani bir modelin karmaşık problemleri kısmi adımlara ayırma ve neredeyse yüksek sesle düşünme yeteneğidir. Dauner, “Örneğin, soyut cebir ve bu akıl yürütmenin lise matematiğinden gelen sorular için birçok adım geçtiğini görebilirsiniz ve bu aynı zamanda CO₂ sürümünü veya eşdeğeri çok, çok yüksek hale getirir.”
Maliyet aralığı çok büyüktü. Dauner, aynı görevler 717 gram için “akıl yürütme” konusunda uzmanlaşmış 500 ila 8,7 gram co₂ civarında daha küçük modeller, “akıl yürütme” konusunda uzmanlaşmış bir modele neden olurken, matematiksel soruların modelinin sorunu çözmek için son derece çok sayıda kelime üretmek zorunda kaldığını söylüyor.
Doğru soru için doğru AI
Sonuçlar, en büyük ve en güçlü modelin her görev için gerekli olmadığını göstermektedir-AI sağlayıcıları da bunu söylüyor. Daha küçük modellerin performansı genellikle basit gerçek sorular için yeterlidir. Dauner, “Şimdi çok basit bir tarih sorum varsa, belki sekiz milyar parametreye sahip bir model yeterli” diyor.
Bir tüketici olarak, kullanılan hizmetlerin model seçimi üzerinde her zaman doğrudan bir etkiniz yoktur. Bununla birlikte, kendi ayak izinizi azaltmanın yolları vardır. Dauner, AI üzerindeki talimatları kısaca ve net bir şekilde formüle etmeyi tavsiye eder. “Prensip olarak, cevapların oldukça aşırı olduğunu zaten biliyorsunuz” diyor. “Kilit noktalarda cevap vermek, iki sette yanıt vermek, kendinizi kısaca ve hassas bir şekilde tutmak” gibi basit bir talimat, daha az metin oluşturulması gerektiğinden enerji tüketimini zaten önemli ölçüde azaltabilir.
Yapay zeka ne kadar zeki? İşimiz, boş zamanlarımız ve toplumumuz için üretken yapay zekanın sonuçları nelerdir? Haberler'nin “AI Güncellemesi” nde, kod çözücü ile birlikte en önemli AI gelişmelerine güncellemeler getiriyoruz. Cuma günleri uzmanlarla AI devriminin farklı yönlerine ışık tutuyoruz.
Geleceğin anahtarı olarak şeffaflık
Bununla birlikte, çalışmanın sınırları da vardır. Sonuçlar büyük ölçüde kullanılan donanıma ve konumun enerji karışımına bağlıdır. Dauner, “Bu, bu çalışmada onu genelleştiremeyeceğiniz çok sınırlayıcı bir faktör.” Bu aynı zamanda chatgpt gibi bir hizmetin tam tüketimini ölçmeyi de zorlaştırır.
Gelecekte, araştırmacı, AI Yasası'nda da tasarlandığı gibi, sağlayıcının önemli olduğunu daha fazla şeffaf olarak görüyor. Dauner, kullanıcıların ortaya çıkan maliyetler hakkında bir fikir edinmesi durumunda davranışlarının değişebileceği. “O zaman belki bir yeniden düşünme otomatik olarak kullanıcıların sadece, tamam, komik bir resim oluşturmak gerçekten gerekli mi yoksa burada şakalar söylediklerini mi söylüyor?”
(IGR)
Ne yazık ki, bu bağlantı artık geçerli değil.
Boşa harcanan eşyalara bağlantılar 7 günden daha büyükse veya çok sık çağrıldıklarında geçersiz hale gelir.
Bu makaleyi okumak için bir Haberler+ paketine ihtiyacınız var. Bir haftayı şimdi yükümlülük altına almadan test edin – yükümlülük olmadan!