İçeriğe geç
Hosted LLM Gateway · KVKK & GDPR'a hazır

LLM trafiğinizin önünde duranpolitika motoru, karar düzlemi, maliyet kontrolü, denetim izi

Tek OpenAI-uyumlu endpoint'ten onlarca modele erişin. Yönlendirmeyi, PII maskelemeyi, bütçeyi ve uyumluluğu uygulama kodunuza dokunmadan değiştirin — karar milisaniyenin altında, gateway'in içinde verilir.

  • Sağlayıcı anahtarı yönetmeyin
  • Politika değişikliği deploy gerektirmez
  • Her istek için tam karar izi
Demo talep edinPolitika motorunu deneyin

Canlı istek akışı

Tek istek, altı aşama — ve çıkışta değişmiş hâli

req_01JQ8Z3K7M2N4P6R8T0V2X4Y6A
Geçen süre0µs
  1. Uygulama
  2. Kimlik
  3. Sinyal
  4. Politika
  5. Rota
  6. Yanıt
Promptsağlayıcıya gitmeden önce

10000000146 TCKN'li müşterinin limitini artır

Uygulamanız

OpenAI SDK · yalnızca base_url değişir

POST /v1/chat/completions{"model": "combo/production-chat","messages": [{ "role": "user", … }],"stream": true}

Bir aşamaya dokunun — akış durur, o aşamada kalır

Sağlayıcı yüzeyi

Tek entegrasyon, tüm sağlayıcılar

Uygulamanız yalnızca Modelion ile konuşur. Arkasında hangi sağlayıcının çalıştığına politika karar verir — ve bu kararı değiştirmek için kod dağıtmanız gerekmez.

  • OpenAIOpenAI-uyumlu
  • AnthropicYerel adaptör
  • AWS BedrockYerel adaptör
  • Google Vertex AIYerel adaptör
  • Together AIOpenAI-uyumlu
  • Fireworks AIOpenAI-uyumlu
  • GroqOpenAI-uyumlu
  • vLLMKendi altyapınız

Yeni bir OpenAI-uyumlu sağlayıcı eklemek katalog işlemidir, kod değişikliği değil.

Ölçülen değerler

Sayılarla kontrol düzlemi

Aşağıdaki değerler ürünün mimari kararlarından geliyor; pazarlama yuvarlaması değil.

222µs

p99 politika kararı

Rego, WASM'e derlenir ve gateway sürecinin içinde çalışır. Ağ atlaması yok. Referans kural seti üzerinde ölçüldü.

5

karar ekseni

route · constrain · deny · redact · cache — hepsi aynı motorda.

3

veri bölgesi

tr-west-1 · eu-east-1 · us-east-1. Veri yerleşimi politikayla zorlanır.

0

müşteri API anahtarı

Sağlayıcı ilişkilerini Modelion yürütür; anahtar sorumluluğu sizde değil.

Neden bir gateway

Uyumluluk if bloklarında yaşarsa

LLM çağrısını doğrudan sağlayıcıya yapan her ekip, aynı beş sorunu bağımsız olarak yeniden keşfediyor.

Gateway olmadan

  • Her politika değişikliği bir dağıtımPII kuralını değiştirmek için release pipeline'ını uyandırmak gerekir — ortalama iki hafta.
  • Kurallar kod tabanına dağılmışHangi isteğin neden hangi modele gittiğini tek bir yerden okuyamazsınız.
  • Sağlayıcı anahtarları sizin sorumluluğunuzdaRotasyon, rate limit ve sızıntı riski mühendislik ekibinin sırtında.
  • Maliyet istek bazında görünmezFatura ay sonunda tek kalem gelir; hangi özellik ne harcadı belirsiz.
  • Yeni model denemek riskÜretimde karşılaştırma yapmanın güvenli bir yolu olmadığı için model geçişleri erteleniyor.

Modelion ile

  • Politika değişikliği dakikalar içindeYAML kural setini yayınlarsınız; gateway pod'larına imzalı bundle olarak dağıtılır.
  • Kararlar tek bir motordaPlatform tabanı, organizasyon yönetişimi ve özel kurallar aynı havuzda birleşir.
  • Anahtarlar Modelion havuzundaAES-256-GCM ile şifreli, yalnızca istek anında çözülür.
  • Her istek için token, gecikme, maliyetSanal anahtar, model ve prompt sürümü bazında kırılım — sorgulanabilir olarak.
  • Önce shadow, sonra uygulamaKuralı gözlem modunda çalıştırıp sapmayı ölçün; uyum yeterliyse tek çağrıyla uygulamaya alın.
Yetenekler

Beş yetenek, tek kontrol düzlemi

Her biri tek başına bir ürün olabilirdi. Aynı karar sözleşmesini paylaştıkları için birlikte daha fazlasını yapıyorlar.

Etkileşimli · Politika motoru

Kararı kendiniz verdirin

Aşağıdaki anahtarlar gerçek bir kural setinin girdileri. Değiştirdiğinizde hangi kuralın kazandığını, isteğin hangi modele gittiğini ve hangi yükümlülüklerin doğduğunu görürsünüz.

İstek yaşam döngüsü

Bir isteğin gateway içinde geçirdiği 8 aşama

Sıralama keyfi değil. Örneğin prompt hydration politika değerlendirmesinden önce çalışır: PII değişkenlerin içinden gelir, şablonu sonradan giydirmek yanlış metni taramak olurdu.

Etkileşimli · Guardrails

Prompt'u politikadan önce okuyan katman

Aşağıya yazdığınız metin tarayıcıda, gateway'in kullandığı örüntülerle taranır. Çıkan sinyaller politikanın girdisi olur — yani "TCKN varsa Türkiye'ye çivile" kuralını mümkün kılan şey bu adımdır.

Etkileşimli · Yönlendirme

Sağlayıcı düşer, istek düşmez

Bir combo, sıralı adaylardan oluşur. Aşağıdaki sağlayıcılardan birini devre dışı bırakın ve isteğin zinciri nasıl indiğini izleyin.

Gözlemlenebilirlik

"Bu cevabı neden bu model üretti?" sorusunun cevabı

Karar izi yalnızca kazanan kuralı değil, eşleşip kaybedenleri de tutar. Denetimde sorulan asıl soru budur.

Etkileşimli · Maliyet

Aynı trafik, daha düşük fatura

İki kaldıraç var: benzer isteklerin semantik önbellekten dönmesi ve düşük riskli trafiğin ucuz modele inmesi. İkisini de politika belirler, kod değil.

Geliştirici deneyimi

Mevcut kodunuzda değişen tek şey base_url

Modelion OpenAI'nin tel formatını konuşur. Streaming, tool call ve embedding çağrılarınız olduğu gibi çalışır; arkada hangi sağlayıcının olduğunu politika belirler.

 1from openai import OpenAI 2 3client = OpenAI( 4    # The only line that changes. 5    base_url="https://api.modelion.ai/v1", 6    api_key="mersel-a7b3c9d1_...", 7) 8 9response = client.chat.completions.create(10    # A combo, not a model: the candidate chain lives in the console.11    model="combo/production-chat",12    messages=[{"role": "user", "content": "Summarise this invoice."}],13    stream=True,14)1516for chunk in response:17    print(chunk.choices[0].delta.content or "", end="")

Yanıtla birlikte dönen karar özeti

Modelion-Decision: v1;
  rule=kvkk-pii-route-resident;
  effect=route;
  model=gpt-4o-mini;
  region=tr-west-1;
  obligations=redact,no-fallback;
  cache=off;
  eval=181us;
  requestId=req_01JQ8Z3K7M2N4P6R8T0V2X4Y6A

Tüm örneklerde mersel-… sanal anahtarınız kullanılır. Anahtar bir organizasyona, bir bölgeye ve bir bütçeye bağlıdır.

Tam tel formatı referansı
Kullanım senaryoları

Aynı motor, üç farklı problem

Fintech · KVKK

TCKN gören istek Türkiye'de kalır

Guardrail TCKN'yi tespit eder, politika isteği tr-west-1 bölgesindeki modele çiviler, prompt'u maskeler ve önbellek yazımını kapatır. Yedekleme zinciri bilinçli olarak kapatılır — uyumlulukta failover bir güvenlik açığıdır.

politika değişikliği
5 dk
kod dağıtımı
0
B2B SaaS · Maliyet

Katman fiyatlandırması gateway'de uygulanır

Free katman ucuz model havuzuna kısıtlanır, Pro katman token aralığına göre yönlendirilir, benzer istekler semantik önbellekten döner. Ürün ekibi fiyat katmanını değiştirmek için backend'e dokunmaz.

önbellekten dönebilen trafik
%40+
katman, tek kural seti
4
Platform ekipleri · Geçiş

Yeni modeli üretimde, risk almadan ölç

Kuralı shadow modda çalıştırın: karar üretilir, uygulanmaz. Sapma raporu mevcut davranışla uyumu gösterdiğinde tek çağrıyla uygulamaya alın.

önce gözlem
shadow
çağrıyla uygulama
1
Sık sorulanlar

Muhtemelen bunları soracaksınız

Hayır. Modelion hosted-only çalışır: tüm sağlayıcı ilişkilerini ve kimlik bilgilerini Modelion yürütür. Bu bilinçli bir mimari sadeleştirmesi — sizin tarafta rotasyon, rate limit ve sızıntı sorumluluğu kalmıyor, bizim tarafta ise tek bir kimlik bilgisi havuzu şifreli olarak yönetiliyor.

Politika kararı gateway sürecinin içinde, WASM üzerinde alınır: referans kural seti üzerinde p50 154µs, p99 222µs. Sağlayıcıya giden ağ turu yanında bu ölçülebilir ama hissedilmez bir maliyettir. Semantik önbellek isabetlerinde toplam gecikme düşer.

Kural setleri YAML olarak yazılır ve konsoldan yayınlanır; ileri seviye ihtiyaçlar için doğrudan Rego modülü de yükleyebilirsiniz. Hazır uyumluluk şablonları bilinçli olarak kaldırıldı: her şablon tek bir kiracı için doğru, sonraki için sessizce yanlış varsayımlar taşıyordu.

Shadow mod tam bu yüzden var: kural değerlendirilir, karar kaydedilir, ama uygulanmaz. Sapma raporunda mevcut davranışla uyumu gördükten sonra uygulamaya alırsınız. Ayrıca yayın sırasında bundle'ın değerlendirme maliyeti ölçülür; fuel bütçesini aşan bir bundle dağıtılmaz.

Organizasyonunuz bir ana bölgeye bağlanır: tr-west-1, eu-east-1 veya us-east-1. Veri yerleşimini politika seviyesinde zorlayabilirsiniz — örneğin TCKN tespit edilen isteğin bölge dışına çıkmasını yasaklayabilirsiniz.

Evet. Sağlayıcı hangisi olursa olsun istemci OpenAI şeklinde bir akış görür; Anthropic'in çok olaylı SSE çerçevelemesi de aynı ChatChunk akışına eşlenir. İlk chunk'a kadar failover mümkündür.

Uygulama tarafında base_url ve anahtar değişir. Asıl iş politikaların taşınması ve shadow modda doğrulanması; tipik olarak birkaç gün. Geçiş planı için çözüm mimarlarımızla görüşebilirsiniz.

Kurumsal planda on-prem lisanslama konuşulabilir; kendi vLLM kümenizi sağlayıcı olarak katalogda tanımlamak ise standart bir kurulum adımıdır. Detaylar için satış ekibiyle görüşün.

Sonraki adım

Trafiğinizi bir kez gateway'in arkasına alın

Kendi kural setinizi shadow modda çalıştırdığımız 30 dakikalık bir oturumla başlıyoruz. Sonunda elinizde, kendi trafiğinizle ölçülmüş bir sapma raporu oluyor.

Demo talep edinPlanları karşılaştırın
  • Kredi kartı gerekmez
  • Kendi trafiğinizle ölçüm
  • Türkçe ve İngilizce destek