LangChain ile Kullanım

Qevron OpenAI uyumlu olduğu için, LangChain'in OpenAI bileşenlerini yalnızca base_url'i değiştirerek Qevron'a yönlendirebilirsiniz.

Kurulum

pip install langchain langchain-openai
export QEVRON_API_KEY="sk-..."

Sohbet modeli

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="verinova",
    api_key=os.environ["QEVRON_API_KEY"],
    base_url="https://app.qevron.ai/v1",
)

print(llm.invoke("RAG nedir, bir cümleyle?").content)

Embeddings

from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(
    model="veriEmbedding",
    api_key=os.environ["QEVRON_API_KEY"],
    base_url="https://app.qevron.ai/v1",
)

vec = embeddings.embed_query("Qevron bir AI gateway'idir.")
print(len(vec))

Zincir (chain) örneği

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "Sen kısa yanıt veren bir asistansın."),
    ("user", "{soru}"),
])

chain = prompt | llm
print(chain.invoke({"soru": "Embedding ne işe yarar?"}).content)

Diğer çerçeveler

Aynı mantık base_url/api_base kabul eden tüm araçlarda geçerlidir:

# LlamaIndex
from llama_index.llms.openai import OpenAI
llm = OpenAI(model="verinova", api_base="https://app.qevron.ai/v1", api_key="sk-...")

// Vercel AI SDK
import { createOpenAI } from "@ai-sdk/openai";
const qevron = createOpenAI({
  baseURL: "https://app.qevron.ai/v1",
  apiKey: process.env.QEVRON_API_KEY,
});

İlgili: OpenAI Uyumluluğu.