Fatura nereden şişiyor?
Bir kodlama ajanına “şu butonu düzelt” dediğinde, arka planda çok şey olur. Ajan dosyaları okur, testleri çalıştırır, uzun log’lara bakar. Bunların hepsi modele girdi token’ı olarak gider ve hepsi para demek. Üstüne birkaç farklı abonelik ve unutulmuş API anahtarı eklenince tablo büyür.
Fireship’in videosu, bu masrafı açık kaynak araçlarla nasıl azaltabileceğini anlatıyor. Araçları tek tek değil, çözdükleri soruna göre ele alalım.
1. Model: Her iş için dev model gerekmez
Ollama, açık modelleri tek komutla kendi bilgisayarında ya da sunucunda çalıştırmanı sağlıyor. Basit işler için yerel bir model hem ücretsiz hem de gizli: Kodun makinenden çıkmıyor.
Sınırı da açık: En iyi modellerin boyutundaki bir modeli çalıştırmak için ciddi donanım gerekir. Yani yerel model, büyük modellerin yerini tamamen tutmaz. Onları gerektiği yerde kullanmanı sağlar.
2. Yönlendirici: Tek kapı, sıralı yedekler
9Router, kendi makinende çalışan bir ara katman. Kodlama araçların tek bir yerel adrese bağlanıyor. 9Router da istekleri 40’tan fazla sağlayıcıdan uygun olana yönlendiriyor. Bu adres OpenAI API’si ile uyumlu olduğu için çoğu araç ek ayar gerektirmeden bağlanabiliyor.
İşin akıllı tarafı yedek katmanları (fallback). Örneğin:
- Önce zaten ödediğin aboneliği kullan.
- Limit dolarsa ucuz bir API modeline geç.
- O da biterse ücretsiz sağlayıcılara düş.
Bu geçiş otomatik oluyor. Araç ayrıca git diff’leri ve dosya listeleri gibi çıktıları modele gitmeden önce sıkıştırıyor. Bir uyarı: Bir aboneliği üçüncü parti bir araçla kullanmak, bazı sağlayıcıların kullanım koşullarıyla çelişebilir. Kurmadan önce koşullara bak.
3. Sıkıştırma: Modele sadece gerekeni gönder
Headroom, uygulamanla model arasına giren bir sıkıştırma katmanı. Araç çıktılarını, log’ları, dosyaları ve RAG parçalarını (modelin cevap verirken baktığı belge parçaları) modele gitmeden önce kısaltıyor.
Güzel bir tasarım fikri var: Sıkıştırma geri alınabilir. Asıl içerik senin makinende saklanıyor. Model kırpılan bir kısma gerçekten ihtiyaç duyarsa, onu isteyip geri alabiliyor. Böylece “ya önemli bir şeyi attıysak?” korkusu azalıyor. Projenin kendi ölçümlerine göre kazanç, işin türüne göre %20 ile %95 arasında değişiyor.
4. Uygulama: Akışı sürükle bırak ile kur
Dify, yapay zekâ uygulamalarını görsel bir tuval üzerinde, kutucukları birbirine bağlayarak kurmanı sağlıyor. Örneğin “veritabanından kayıtları çek, modele özetlet, sonucu döndür” gibi bir akışı çizip tek bir API olarak yayınlayabiliyorsun. Farklı modelleri, kendi sunucundakiler de dahil, aynı akışta kullanabiliyorsun.
5. Ajan: Kendi sunucunda çalışan kodlama ajanı
OpenHands, GitHub’daki bir sorunu (issue) alıp kodu değiştiren, testleri çalıştıran ve PR açan açık kaynak bir kodlama ajanı. İzole bir Docker ortamında çalışıyor ve istediğin modele bağlanabiliyor. Kendi sunucuna kurarsan arka planda sürekli çalışan ajanlara sahip oluyorsun.
Asıl ders
Bu araçların hepsini kurman gerekmiyor. Önemli olan fikir şu: Yapay zekâ maliyeti tek bir düğmeden değil, üç yerden kontrol edilir. Hangi modeli kullandığın, modele ne kadar veri gönderdiğin ve nerede çalıştırdığın. Çoğu zaman en kolay kazanç, modele gereksiz log ve dosya göndermeyi bırakmaktır.
Düşün
- Kullandığın kodlama ajanı bir işte kaç token harcıyor, hiç baktın mı?
- Hangi işlerin için gerçekten en büyük model gerekiyor, hangileri küçük bir yerel modelle yapılabilir?
Videoyu izle
Kaynaklar (6, İngilizce)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.