AI Sözlüğü
ModelInference
Inference nedir?
Eğitimi tamamlanmış modelin gerçek soruya cevap üretmesi süreci.
Bir AI uygulamasının maliyeti büyük oranda inference maliyetidir. Prompt caching ve model seçimi (küçük modeli ön filtre, büyük modeli derinlik için) maliyeti çarpıcı düşürür.