İçeriğe geç
Hosted LLM Gateway · KVKK & GDPR uyumlu

LLM trafiğinizin önünde duranpolitika motoru, karar düzlemi, maliyet kontrolü, denetim izi

Tek OpenAI-uyumlu endpoint'ten onlarca modele erişin. Yönlendirmeyi, PII maskelemeyi, bütçeyi ve uyumluluğu uygulama kodunuza dokunmadan değiştirin — karar milisaniyenin altında, gateway'in içinde verilir.

  • Sağlayıcı anahtarı yönetmeyin
  • Politika değişikliği deploy gerektirmez
  • Her istek için tam karar izi
Demo talep edinPolitika motorunu deneyin

Canlı istek akışı

Tek istek, altı aşama — ve çıkışta değişmiş hâli

req_01JQ8Z3K7M2N4P6R8T0V2X4Y6A
Geçen süre0µs
  1. Uygulama
  2. Kimlik
  3. Sinyal
  4. Politika
  5. Rota
  6. Yanıt
Promptsağlayıcıya gitmeden önce

10000000146 TCKN'li müşterinin limitini artır

Uygulamanız

OpenAI SDK · yalnızca base_url değişir

POST /v1/chat/completions{"model": "combo/production-chat","messages": [{ "role": "user", … }],"stream": true}

Bir aşamaya dokunun — akış durur, o aşamada kalır

Sağlayıcı yüzeyi

Tek entegrasyon, tüm sağlayıcılar

Uygulamanız yalnızca Modelion ile konuşur. Arkasında hangi sağlayıcının çalıştığına politika karar verir — ve bu kararı değiştirmek için kod dağıtmanız gerekmez.

  • OpenAIOpenAI-uyumlu
  • AnthropicYerel adaptör
  • AWS BedrockYerel adaptör
  • Google Vertex AIYerel adaptör
  • Azure OpenAIOpenAI-uyumlu
  • Together AIOpenAI-uyumlu
  • Fireworks AIOpenAI-uyumlu
  • GroqOpenAI-uyumlu
  • DeepInfraOpenAI-uyumlu
  • vLLMKendi altyapınız

Yeni bir OpenAI-uyumlu sağlayıcı eklemek katalog işlemidir, kod değişikliği değil.

Ölçülen değerler

Sayılarla kontrol düzlemi

Aşağıdaki değerler ürünün mimari kararlarından geliyor; pazarlama yuvarlaması değil.

222µs

p99 politika kararı

Rego, WASM'e derlenir ve gateway sürecinin içinde çalışır. Ağ atlaması yok.

5

karar ekseni

route · constrain · deny · redact · cache — hepsi aynı motorda.

3

veri bölgesi

tr-west-1 · eu-east-1 · us-east-1. Veri yerleşimi politikayla zorlanır.

0

müşteri API anahtarı

Sağlayıcı ilişkilerini Modelion yürütür; anahtar sorumluluğu sizde değil.

Neden bir gateway

Uyumluluk if bloklarında yaşarsa

LLM çağrısını doğrudan sağlayıcıya yapan her ekip, aynı beş sorunu bağımsız olarak yeniden keşfediyor.

Gateway olmadan

  • Her politika değişikliği bir dağıtımPII kuralını değiştirmek için release pipeline'ını uyandırmak gerekir — ortalama iki hafta.
  • Kurallar kod tabanına dağılmışHangi isteğin neden hangi modele gittiğini tek bir yerden okuyamazsınız.
  • Sağlayıcı anahtarları sizin sorumluluğunuzdaRotasyon, rate limit ve sızıntı riski mühendislik ekibinin sırtında.
  • Maliyet istek bazında görünmezFatura ay sonunda tek kalem gelir; hangi özellik ne harcadı belirsiz.
  • Yeni model denemek riskÜretimde karşılaştırma yapmanın güvenli bir yolu olmadığı için model geçişleri erteleniyor.

Modelion ile

  • Politika değişikliği dakikalar içindeYAML kural setini yayınlarsınız; gateway pod'larına imzalı bundle olarak dağıtılır.
  • Kararlar tek bir motordaPlatform tabanı, organizasyon yönetişimi ve özel kurallar aynı havuzda birleşir.
  • Anahtarlar Modelion havuzundaAES-256-GCM ile şifreli, KMS zarflı, yalnızca istek anında çözülür.
  • Her istek için token, gecikme, maliyetSanal anahtar, model ve prompt sürümü bazında kırılım — sorgulanabilir olarak.
  • Önce shadow, sonra uygulamaKuralı gözlem modunda çalıştırıp sapmayı ölçün; uyum yeterliyse tek çağrıyla uygulamaya alın.
Yetenekler

Beş yetenek, tek kontrol düzlemi

Her biri tek başına bir ürün olabilirdi. Aynı karar sözleşmesini paylaştıkları için birlikte daha fazlasını yapıyorlar.

Etkileşimli · Politika motoru

Kararı kendiniz verdirin

Aşağıdaki anahtarlar gerçek bir kural setinin girdileri. Değiştirdiğinizde hangi kuralın kazandığını, isteğin hangi modele gittiğini ve hangi yükümlülüklerin doğduğunu görürsünüz.

İstek bağlamı

Abonelik katmanı
1.200
Veri sınıfı

Karar

Karar süresi 201µs
İzin ver
Kazanan kural
default-allow-with-cache
Seçilen model
gpt-4o-mini
Bölge
tr-west-1
Semantik önbellek
Oku ve yaz
Eşleşip kaybeden
Yok
Yükümlülükler
  • Karar özeti yanıt başlığına eklenir

Kısıtlayıcı bir kural eşleşmedi. İstek varsayılan model havuzuna gider ve semantik önbellek açık kalır.

Değerlendirilen kural seti
apiVersion: modelion.ai/v1kind: PolicyRuleSetmetadata:  name: production-governance  class: compliancespec:  - name: regulatory-data-deny    when:      - field: request.headers.dataClass        operator: equals        value: regulatory    then:      effect: deny      statusCode: 403  - name: kvkk-pii-route-resident    when:      - field: signals.pii.detected        operator: is        value: true    then:      effect: route      route:        candidates: [gpt-4o-mini]        region: tr-west-1        fallbackToOriginal: false      obligations:        redactTypes: detected        auditTags: [kvkk_pii_detected]        cache: { mode: off }  - name: free-tier-constrain    when:      - field: principal.subscription.tier        operator: equals        value: free    then:      effect: constrain      constraints:        allowedModels: [llama-3.3-70b, gpt-4o-mini]        maxOutputTokens: 500      obligations:        cache: { mode: lookup_only }  - name: long-context-upgrade    when:      - field: request.prompt.tokens        operator: greaterThan        value: 4000    then:      effect: route      route:        candidates: [claude-sonnet-4, gpt-4o]  - name: default-allow-with-cache    then:      effect: allow      obligations:        cache:          mode: read_write          scope: org          threshold: 0.85          ttlSeconds: 3600

Bu demo tarayıcıda çalışır ve gerçek bir gateway çağrısı yapmaz. Motorun kendisi aynı kural sözleşmesini üretimde WASM üzerinde değerlendirir.

İstek yaşam döngüsü

Bir isteğin gateway içinde geçirdiği 8 aşama

Sıralama keyfi değil. Örneğin prompt hydration politika değerlendirmesinden önce çalışır: PII değişkenlerin içinden gelir, şablonu sonradan giydirmek yanlış metni taramak olurdu.

  1. 01

    Kimlik & kota

    Sanal anahtar doğrulanır, organizasyon ve bölge bağlamı çözülür, rate limit uygulanır.

    mk_live_… · X-Modelion-Organization
  2. 02

    Sinyal toplama (PIP)

    Guardrail tarayıcıları, bütçe durumu ve sağlayıcı sağlığı politikanın göreceği girdiye yazılır.

    signals.pii · signals.injection · runtime.health
  3. 03

    Prompt hydration

    İstek prompt_id + variables ile geldiyse şablon burada giydirilir — politikadan önce, çünkü PII değişkenlerin içindedir.

    prompts registry · imzalı bundle
  4. 04

    Politika kararı (PDP)

    Platform tabanı, organizasyon yönetişimi ve özel kurallar tek havuzda değerlendirilir; kısıtlar kesişir, yükümlülükler birleşir.

    Rego → WASM · p99 222µs
  5. 05

    Uygulama (PEP)

    Karar burada eyleme dönüşür: reddet, prompt'u maskele, model havuzunu daralt, yükümlülükleri işaretle.

    deny · redact · constrain
  6. 06

    Semantik önbellek

    Politika izin verdiyse benzer bir prompt'un yanıtı okunur. PII tespit edildiyse önbellek yazımı kapatılır.

    pgvector · org kapsamı · eşik 0.85
  7. 07

    Yönlendirme & failover

    Combo çözülür, aday zinciri sırayla denenir; ilk chunk'a kadar failover mümkündür. Circuit breaker sağlıksız rotayı devreden çıkarır.

    combo/production-chat · 20 aday
  8. 08

    Bütçe, çalıştırma & telemetri

    Harcama rezerve edilir, istek sağlayıcıya gider, karar izi ve kullanım kaydı yazılır.

    ledger · decision_traces · Modelion-Decision
Etkileşimli · Guardrails

Prompt'u politikadan önce okuyan katman

Aşağıya yazdığınız metin tarayıcıda, gateway'in kullandığı örüntülerle taranır. Çıkan sinyaller politikanın girdisi olur — yani "TCKN varsa Türkiye'ye çivile" kuralını mümkün kılan şey bu adımdır.

Prompt

152
Örnek yükler

Tespit edilenler

Merhaba, 10000000146 TCKN'li müşterinin kredi limitini 25.000 TL'ye çıkarabilir misin? İletişim: ayse.yilmaz@ornekbank.com.tr, kart 4111 1111 1111 1111.

  • T.C. Kimlik No1
  • Kart numarası1
  • E-posta1
Politikaya giden sinyallerinput.signals
{
  "pii": { "detected": true, "types": ["tckn", "email", "creditCard"], "available": true },
  "secrets": { "detected": false, "available": true },
  "injection": { "detected": false, "score": 0.00, "available": true }
}

Maskelenmiş hâli

redactTypes: detected yükümlülüğü doğduğunda sağlayıcıya giden metin

Merhaba, [TCKN_TR] TCKN'li müşterinin kredi limitini 25.000 TL'ye çıkarabilir misin? İletişim: [EMAIL], kart [CARD].

Tarama tamamen tarayıcınızda yapılır; yazdığınız metin hiçbir yere gönderilmez.

Etkileşimli · Yönlendirme

Sağlayıcı düşer, istek düşmez

Bir combo, sıralı adaylardan oluşur. Aşağıdaki sağlayıcılardan birini devre dışı bırakın ve isteğin zinciri nasıl indiğini izleyin.

combo/production-chat

Sağlayıcıyı devre dışı bırakmak için tıklayın

Sonuç

İstek gönder →

Adım koşulları

  • Token aralığı — kısa istekler ucuz modele iner
  • Rota etiketi — Modelion-Route-Tag başlığı
  • Streaming — akış modu ayrı dallanabilir
  • İçerik anahtar kelimesi — "fatura" → finans modeli

Circuit breaker

Ardışık hata eşiği aşıldığında rota bir süre devreden çıkar. Sağlık bilgisi politikaya input.runtime üzerinden verilir — ama hepsi bozuksa baypas yapılmaz, fail-open uyumluluk sınırını genişletmez.

Gözlemlenebilirlik

"Bu cevabı neden bu model üretti?" sorusunun cevabı

Karar izi yalnızca kazanan kuralı değil, eşleşip kaybedenleri de tutar. Denetimde sorulan asıl soru budur.

Bu ay istek

4,8 Mn

sanal anahtar bazında kırılabilir
p99 gecikme

812 ms

politika + yönlendirme + sağlayıcı
Önbellek isabeti

31,4%

semantik, org kapsamlı
Tahmini maliyet

$6.240

token bazlı, canlı

İstek hacmi ve p99 gecikme

Son 24 saat

Canlı
İstek hacmip99 gecikme

Model dağılımı

  • gpt-4o-mini42%
  • llama-3.3-70b27%
  • claude-sonnet-419%
  • gpt-4o12%

Karar izleri

ZamanKazanan kuralEtkiModelGecikmeMaliyet
14:22:07kvkk-pii-route-residentroutegpt-4o-mini812 ms$0.0021
14:22:07default-allow-with-cachecache hit—41 ms$0.0000
14:22:06free-tier-constrainconstrainllama-3.3-70b394 ms$0.0003
14:22:05regulatory-data-denydeny—6 ms$0.0000
14:22:04long-context-upgraderouteclaude-sonnet-41 284 ms$0.0184

Modelion-Decision başlığı

Her yanıt 512 bayttan küçük bir karar özeti taşır. Tam iz requestId ile çekilir.

Etkileşimli · Maliyet

Aynı trafik, daha düşük fatura

İki kaldıraç var: benzer isteklerin semantik önbellekten dönmesi ve düşük riskli trafiğin ucuz modele inmesi. İkisini de politika belirler, kod değil.

2 Mn
1.400
%30
%45

Hesap, herkese açık liste fiyatlarına yakın örnek birim maliyetlerle yapılan bir büyüklük tahminidir. Gerçek tasarruf trafiğinizin şekline bağlıdır; kendi verinizle çalışmak için bize yazın.

Tek premium modele giderken

$12.250

Politika güdümlü yönlendirmeyle

$4.960

Aylık tasarruf

$7.290

−60%

Yıllık: $87.476

Nereden geliyor

  • Önbellekten dönen istekler600 B · $13
  • Ucuz modele inen trafik630 B · $232
  • Premium modelde kalan trafik770 B · $4.716
Geliştirici deneyimi

Mevcut kodunuzda değişen tek şey base_url

Modelion OpenAI'nin tel formatını konuşur. Streaming, tool call ve embedding çağrılarınız olduğu gibi çalışır; arkada hangi sağlayıcının olduğunu politika belirler.

 1from openai import OpenAI 2 3client = OpenAI( 4    # The only line that changes. 5    base_url="https://api.modelion.ai/v1", 6    api_key="mk_live_...", 7) 8 9response = client.chat.completions.create(10    # A combo, not a model: the candidate chain lives in the console.11    model="combo/production-chat",12    messages=[{"role": "user", "content": "Summarise this invoice."}],13    stream=True,14)1516for chunk in response:17    print(chunk.choices[0].delta.content or "", end="")

Yanıtla birlikte dönen karar özeti

Modelion-Decision: v1;
  rule=kvkk-pii-route-resident;
  effect=route;
  model=gpt-4o-mini;
  region=tr-west-1;
  obligations=redact,no-fallback;
  cache=off;
  eval=181us;
  requestId=req_01JQ8Z3K7M2N4P6R8T0V2X4Y6A

Tüm örneklerde mk_live_… sanal anahtarınız kullanılır. Anahtar bir organizasyona, bir bölgeye ve bir bütçeye bağlıdır.

Tam tel formatı referansı
Kullanım senaryoları

Aynı motor, üç farklı problem

Fintech · KVKK

TCKN gören istek Türkiye'de kalır

Guardrail TCKN'yi tespit eder, politika isteği tr-west-1 bölgesindeki modele çiviler, prompt'u maskeler ve önbellek yazımını kapatır. Yedekleme zinciri bilinçli olarak kapatılır — uyumlulukta failover bir güvenlik açığıdır.

politika değişikliği
5 dk
kod dağıtımı
0
B2B SaaS · Maliyet

Katman fiyatlandırması gateway'de uygulanır

Free katman ucuz model havuzuna kısıtlanır, Pro katman token aralığına göre yönlendirilir, benzer istekler semantik önbellekten döner. Ürün ekibi fiyat katmanını değiştirmek için backend'e dokunmaz.

önbellekten dönebilen trafik
%40+
katman, tek kural seti
4
Platform ekipleri · Geçiş

Yeni modeli üretimde, risk almadan ölç

Kuralı shadow modda çalıştırın: karar üretilir, uygulanmaz. Sapma raporu mevcut davranışla uyumu gösterdiğinde tek çağrıyla uygulamaya alın.

önce gözlem
shadow
çağrıyla uygulama
1
Sık sorulanlar

Muhtemelen bunları soracaksınız

Hayır. Modelion hosted-only çalışır: tüm sağlayıcı ilişkilerini ve kimlik bilgilerini Modelion yürütür. Bu bilinçli bir mimari sadeleştirmesi — sizin tarafta rotasyon, rate limit ve sızıntı sorumluluğu kalmıyor, bizim tarafta ise tek bir kimlik bilgisi havuzu şifreli olarak yönetiliyor.

Politika kararı gateway sürecinin içinde, WASM üzerinde alınır: p50 154µs, p99 222µs. Sağlayıcıya giden ağ turu yanında bu ölçülebilir ama hissedilmez bir maliyettir. Semantik önbellek isabetlerinde toplam gecikme düşer.

Kural setleri YAML olarak yazılır ve konsoldan yayınlanır; ileri seviye ihtiyaçlar için doğrudan Rego modülü de yükleyebilirsiniz. Hazır uyumluluk şablonları bilinçli olarak kaldırıldı: her şablon tek bir kiracı için doğru, sonraki için sessizce yanlış varsayımlar taşıyordu.

Shadow mod tam bu yüzden var: kural değerlendirilir, karar kaydedilir, ama uygulanmaz. Sapma raporunda mevcut davranışla uyumu gördükten sonra uygulamaya alırsınız. Ayrıca yayın sırasında bundle'ın değerlendirme maliyeti ölçülür; fuel bütçesini aşan bir bundle dağıtılmaz.

Organizasyonunuz bir ana bölgeye bağlanır: tr-west-1, eu-east-1 veya us-east-1. Veri yerleşimini politika seviyesinde zorlayabilirsiniz — örneğin TCKN tespit edilen isteğin bölge dışına çıkmasını yasaklayabilirsiniz.

Evet. Sağlayıcı hangisi olursa olsun istemci OpenAI şeklinde bir akış görür; Anthropic'in çok olaylı SSE çerçevelemesi de aynı ChatChunk akışına eşlenir. İlk chunk'a kadar failover mümkündür.

Uygulama tarafında base_url ve anahtar değişir. Asıl iş politikaların taşınması ve shadow modda doğrulanması; tipik olarak birkaç gün. Geçiş planı için çözüm mimarlarımızla görüşebilirsiniz.

Kurumsal planda on-prem lisanslama konuşulabilir; kendi vLLM kümenizi sağlayıcı olarak katalogda tanımlamak ise standart bir kurulum adımıdır. Detaylar için satış ekibiyle görüşün.

Sonraki adım

Trafiğinizi bir kez gateway'in arkasına alın

Kendi kural setinizi shadow modda çalıştırdığımız 30 dakikalık bir oturumla başlıyoruz. Sonunda elinizde, kendi trafiğinizle ölçülmüş bir sapma raporu oluyor.

Demo talep edinPlanları karşılaştırın
  • Kredi kartı gerekmez
  • Kendi trafiğinizle ölçüm
  • Türkçe ve İngilizce destek