Araçlar

llama.cpp

En son haberleri, açıklamaları ve bağlantılı teknoloji hikâyelerini takip edin.

Son haberler

CN
Rust, Rig Kullanarak Büyük Dil Modeli Uygulamalarını Nasıl Oluşturuyor?

Rust, Rig Kullanarak Büyük Dil Modeli Uygulamalarını Nasıl Oluşturuyor?

JetBrains ve Rust Foundation tarafından gerçekleştirilen ortak uygulamalı sunum, Rig kütüphanesini kullanarak Rust'ta yapay zekâ ajanlarının nasıl oluşturulacağını; model sağlayıcıları ve araçlar, RAG ve yerel modeller için destekle birlikte açıklıyor. Materyal ayrıca HTTP isteklerini kaydedip sürekli entegrasyon ortamında yeniden oynatarak model entegrasyonlarını test etme yöntemini de öne çıkarıyor.

CN
Qwen3.8-27B, gelişmiş yapay zekâ modellerini yerel çalıştırmaya yaklaştırıyor

Qwen3.8-27B, gelişmiş yapay zekâ modellerini yerel çalıştırmaya yaklaştırıyor

Alibaba’nın açık modeli Qwen3.8-27B, yaklaşık 17 gigabayta sıkıştırıldıktan sonra yerel olarak çalıştırılabilecek bir boyut içinde çok modlu yetenekler, kodlama ve yazılım ajanları sunuyor. Güçlü performans göstergelerine rağmen yüksek token tüketimi ve yavaş çıkarım, kalite ile hız arasında pratik bir denge kurulmasını gerektiriyor.

CN
bartowski deneyi, imatrix verilerinin sınırlarını ve GGUF modellerinde çeşitliliğin önemini ortaya koyuyor

bartowski deneyi, imatrix verilerinin sınırlarını ve GGUF modellerinde çeşitliliğin önemini ortaya koyuyor

bartowski, llama.cpp üzerinden modelleri nicemlerken imatrix için kullanılan kalibrasyon verilerini kapsamlı biçimde test ediyor ve en büyük kazanımların düşük bit oranlarında, özellikle de çok uzmanlı MoE modellerinde görüldüğü sonucuna varıyor. Yeni dataset daha küçük ve daha odaklı; ancak araç kullanımına yönelik çeşitli metinleri ve biçimlendirilmiş konuşmaları bir araya getiriyor.

CN
Liquid AI, LFM2.5-2.6B modelini cihazlarda yerel olarak ajan çalıştırmak için kullanıma sunuyor

Liquid AI, LFM2.5-2.6B modelini cihazlarda yerel olarak ajan çalıştırmak için kullanıma sunuyor

Liquid AI, LFM2.5-2.6B ve LFM2.5-2.6B-Base modellerini Hugging Face'te kullanıma sunduğunu açıkladı. Modeller, araç çağırma ve çok adımlı iş akışlarını yerel olarak destekliyor. Model, bilgisayarlarda ve telefonlarda hızlı ajanlar çalıştırmayı hedefliyor ve 2,5 gigabayttan az bellek tüketiyor.