Çıkarım API'leri
OpenAI Uyumlu API'ler
GPUStack, /v1 uç noktasında OpenAI uyumlu API'ler sağlar.
GPUStack'te dağıtılan modelleri, OpenAI uyumlu API'yi destekleyen herhangi bir uygulama veya çerçeveyle, yalnızca GPUStack'in OpenAI uyumlu uç noktasına işaret ederek entegre edebilir ve kullanabilirsiniz.
Desteklenen Uç Noktalar
Aşağıdaki API uç noktaları desteklenir:
- Modelleri Listele
- Tamamlama Oluştur
- Sohbet Tamamlama Oluştur
- Yanıt Oluştur
- Gömmeler Oluştur
- Resim Oluştur
- Resim Düzenleme Oluştur
- Konuşma Oluştur
- Transkripsiyon Oluştur
Kullanım
cURL Örneği
Anthropic Uyumlu API'ler
GPUStack, Anthropic uyumlu /v1/messages API'yi sağlar.
Kullanım
Jina Uyumlu Yeniden Sıralama API'si
Erişimle Artırılmış Üretim (RAG) bağlamında yeniden sıralama, alınan belgelerden veya bilgi kaynaklarından en uygun bilgilerin kullanıcıya sunulmadan veya yanıt oluşturmak için kullanılmadan önce seçilmesi sürecini ifade eder.
OpenAI uyumlu API'lerin bir rerank uç noktası sağlamadığını unutmayın. Bu boşluğu doldurmak için GPUStack, /v1/rerank yolunda Jina uyumlu bir Rerank API sağlar.
Kullanım
cURL Örneği
Örnek çıktı:
System One Karar API'si
Karar modelleri — decision kategorisindeki dağıtımlar — metin üretmek yerine System One (Jev) karar sözleşmesine göre yanıt verir: bir state ve bir dizi soru verildiğinde tamamlama yerine tiplendirilmiş yanıtlar döndürür. GPUStack bu sözleşmeyi /v1/systemone yolunda sunar.
model alanı zorunludur ve /v1/chat/completions ile tam olarak aynı şekilde model rotası adını alır. GPUStack modeli çözer ve istek gövdesinin geri kalanını ve tüm yanıtı karar motoruna dokunulmadan iletir.
Kullanım
cURL Örneği
Örnek çıktı:
state, kararın verildiği durumdur — düz metin veya sohbet mesajları gibi yapılandırılmış JSON. questions altındaki her giriş bir soru kimliğini soru tanımına eşler ve üç tür gelenekseldir:
| Tür | Anlamı | criteria | Yanıt alanı |
|---|---|---|---|
choice | Bir seçenek seçin | Seçenek adı → açıklama | choice — seçilen seçeneğin adı |
score | Durumu sıralı düzeylere göre puanlayın | Düzey açıklamalarının sıralı listesi | score — düzey dizini |
noul | İkili (evet/hayır) soru | true / false taraflarının isteğe bağlı açıklamaları | noul — bir boole değeri |
Bir sorunun yanıtı answers içinde aynı kimlikle döner ve sonuçla birlikte confidence ve probabilities taşır. Sözleşmedeki soru seti açıktır — motorlar başka alanlar kabul edebilir — ve GPUStack yalnızca model alanını doğrular, geri kalanı olduğu gibi iletir. Karar modellerinin dağıtımı için Karar Modellerini Kullanma bölümüne bakın.
Diğer API'ler
Diğer API türleri için GPUStack, bir modeli dağıtırken Generic Proxy özelliğini etkinleştirmenize olanak tanır.
Etkinleştirildiğinde hedef modele ulaşmanın iki yolu vardır:
Yol tabanlı form (önerilir) — model rota kimliğini doğrudan URL'de /model/proxy/<model_route_id>/<upstream-path> olarak kodlayın. Ekstra başlığa gerek yoktur:
Başlık tabanlı form (kullanımdan kaldırıldı) — /model/proxy/<upstream-path>'ye gönderin ve X-GPUStack-Model başlığı veya JSON gövdesindeki model alanı aracılığıyla hedef modeli belirtin:
Başlığa dayalı form, geriye dönük uyumluluk amacıyla tutuldu ve gelecekteki bir sürümde kaldırılacaktır; yeni entegrasyonlar yol tabanlı formu kullanmalıdır.
Daha fazla ayrıntı için bkz. Genel Proxy'yi Etkinleştirme.