Akış (Streaming)

Uzun yanıtları kullanıcı beklerken tek seferde almak yerine, parça parça (kelime kelime) alabilirsiniz. Bu, sohbet arayüzlerinde "yazıyor" etkisini verir ve algılanan hızı artırır.

Nasıl etkinleştirilir?

İstek gövdesine "stream": true ekleyin:

curl

curl https://app.qevron.ai/v1/chat/completions \
  -H "Authorization: Bearer $QEVRON_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "verinova",
    "stream": true,
    "messages": [{ "role": "user", "content": "Üç maddede RAG anlat." }]
  }'

Python

stream = client.chat.completions.create(
    model="verinova",
    messages=[{"role": "user", "content": "Üç maddede RAG anlat."}],
    stream=True,
)
for chunk in stream:
    delta = chunk.choices[0].delta.content or ""
    print(delta, end="", flush=True)

JavaScript

const stream = await client.chat.completions.create({
  model: "verinova",
  messages: [{ role: "user", content: "Üç maddede RAG anlat." }],
  stream: true,
});
for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0].delta.content ?? "");
}

Yanıt biçimi (SSE)

Akış, Server-Sent Events (SSE) olarak döner. Content-Type: text/event-stream başlığıyla, her parça data: satırı olarak gelir:

data: {"id":"chatcmpl-...","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"}}]}

data: {"id":"chatcmpl-...","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"RAG"}}]}

data: {"id":"chatcmpl-...","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":", "}}]}

data: {"id":"chatcmpl-...","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

• Her parçada metin choices[0].delta.content içindedir.
• Son parçada finish_reason dolu gelir.
• Akış data: [DONE] ile biter.

Token kullanımını akışta almak

Varsayılan olarak akış sonunda usage gelmez. İstiyorsanız ekleyin:

{
  "model": "verinova",
  "stream": true,
  "stream_options": { "include_usage": true },
  "messages": [ ... ]
}

Bu durumda son parçadan hemen önce yalnızca usage içeren bir parça gönderilir.

Hangi uç noktalar akış destekler?

• Chat completions — stream: true
• Ses: TTS — stream_format ile ses parçaları SSE olarak
• Ses: STT — transkripsiyon parça parça
• Responses API

SDK kullanın

SSE'yi elle ayrıştırmak yerine resmi openai SDK'sını kullanmanız önerilir; parçaları sizin için çözümler.