İçeriğe geç
Gözlemlenebilirlik

Kararı açıklanabilir kılın

Hangi model çalıştı sorusu kolay. Denetimde sorulan asıl soru "hangi talimat metniyle ve hangi kural yüzünden". Karar izi bunu, eşleşip kaybeden kuralları da dahil ederek tutar.

  • Yanıt başlığında 512 bayttan küçük karar özeti
  • requestId ile tam iz
  • Eşleşip kaybeden kurallar da kayıtlı

< 512Bkarar özeti başlığı

Denetim izi "ne oldu" değil, "neden oldu" demeli

Model ve kural adını loglamak kolay. Bir denetçinin sorduğu soru ise şudur: bu cevabı üreten talimat metni neydi, hangi kural kazandı, hangi kurallar eşleşip kaybetti ve karar hangi sinyallere bakarak verildi. Karar izi bu dördünü birlikte tutar; ikisini tutan bir sistem denetimde bir işe yaramıyor.

Neler yapıyor

Karar özeti başlığı

Her yanıt Modelion-Decision başlığında 512 bayttan küçük bir özet taşır. Uygulamanız kararı ayrıca sorgulamak zorunda kalmaz.

Tam iz

requestId ile çekilen iz: sinyaller, değerlendirilen katmanlar, kazanan ve kaybeden kurallar, uygulanan yükümlülükler.

Maliyet kırılımı

Token, gecikme ve maliyet; sanal anahtar, model, prompt sürümü ve combo bazında kırılabilir.

Konuşma kayıtları

Uçtan uca konuşmalar saklanır ve paylaşılabilir bağlantıyla ekip içinde incelenebilir.

Sapma raporu

Shadow modda üretilen kararlar mevcut davranışla karşılaştırılır; uyum oranı ve ayrışan istekler listelenir.

Standart telemetri

OpenTelemetry izleri, Grafana panoları, Tempo ve Loki. Kendi gözlemlenebilirlik yığınınıza akar.

Gözlemlenebilirlik

"Bu cevabı neden bu model üretti?" sorusunun cevabı

Karar izi yalnızca kazanan kuralı değil, eşleşip kaybedenleri de tutar. Denetimde sorulan asıl soru budur.

Bu ay istek

4,8 Mn

sanal anahtar bazında kırılabilir
p99 gecikme

812 ms

politika + yönlendirme + sağlayıcı
Önbellek isabeti

31,4%

semantik, org kapsamlı
Tahmini maliyet

$6.240

token bazlı, canlı

İstek hacmi ve p99 gecikme

Son 24 saat

Canlı
İstek hacmip99 gecikme

Model dağılımı

  • gpt-4o-mini42%
  • llama-3.3-70b27%
  • claude-sonnet-419%
  • gpt-4o12%

Karar izleri

ZamanKazanan kuralEtkiModelGecikmeMaliyet
14:22:07kvkk-pii-route-residentroutegpt-4o-mini812 ms$0.0021
14:22:07default-allow-with-cachecache hit41 ms$0.0000
14:22:06free-tier-constrainconstrainllama-3.3-70b394 ms$0.0003
14:22:05regulatory-data-denydeny6 ms$0.0000
14:22:04long-context-upgraderouteclaude-sonnet-41 284 ms$0.0184

Modelion-Decision başlığı

Her yanıt 512 bayttan küçük bir karar özeti taşır. Tam iz requestId ile çekilir.

Bu sayfadaki demo tarayıcınızda çalışır; gerçek bir gateway çağrısı yapılmaz.

Nasıl çalışıyor

Kayıt hattı isteğin kritik yolunda değil; telemetri asenkron yazılır.

  1. 1

    Karar üretilir

    Değerlendirme sonucu, kazanan ve kaybeden kurallarla birlikte bellekte toplanır.

    PDP çıktısı
  2. 2

    Özet başlığa yazılır

    Yanıtla birlikte dönen 512 bayttan küçük digest, istemcinin kararı hemen görmesini sağlar.

    Modelion-Decision
  3. 3

    Tam iz saklanır

    Analitik depoya asenkron yazılır; sorgulanabilir ve saklama süresi organizasyon bazında ayarlanır.

    decision_traces
  4. 4

    Fatura ve bütçe beslenir

    Kullanım kaydı çift girişli defterle uyumlu olarak işlenir; tahmin ile fatura ayrı tutulur.

    ledger · usage

Teknik özet

Karar özeti
Modelion-Decision yanıt başlığı, < 512 bayt
Tam iz
requestId ile çekilir
Kayıtlı alanlar
Sinyaller · katmanlar · kazanan kural · kaybeden kurallar · yükümlülükler
Maliyet kırılımı
Sanal anahtar · model · prompt sürümü · combo
Telemetri
OpenTelemetry · Grafana · Tempo · Loki
Analitik depo
Kolon bazlı, sorgulanabilir
Konuşma kayıtları
Paylaşılabilir bağlantı desteği
Sapma raporu
Shadow modda uyum oranı ve ayrışan istekler

Kaybeden kuralları saklamanın maliyeti

Yalnızca kazanan kuralı loglamak daha az yer tutar ve daha hızlıdır. Ama denetimde "bu istek neden reddedilmedi" sorusu en az "neden reddedildi" kadar sık soruluyor ve cevabı yalnızca eşleşip kaybeden kuralların listesinde. O yüzden iz, kararın kendisiyle birlikte ona yaklaşan alternatifleri de tutuyor.

Kontrol düzleminin diğer parçaları

Bu yetenek tek başına da çalışır, ama değerinin çoğu diğerleriyle aynı karar sözleşmesini paylaşmasından geliyor.

Kendi trafiğinizde görün

30 dakikalık bir oturumda kendi kural setinizi shadow modda çalıştırıyoruz.