Integrer den upolstrede LLM API

Indstil din base URL og API-nøgle

Peg din klient mod vores specifikke endpoint. Brug https://api.openaicompatibleserver.com/v1 som din base URL. Generer en nøgle via dashboardet. Nøglen autentificerer alle anmodninger.

Send din første chat-completion

POST til chat-completions-endpointet. Send dit prompt og modtag tekst. Model-id er uncensored. Den håndterer kontekst op til 100.000 tokens.

Aktivér streaming og få realtids-tokens

Indstil stream: true i din anmodning. Modtag Server-Send Events. Tokenforbrug vises i den sidste chunk. Dette reducerer den opfattede latens for lange output.

Brug funktionssamtale og JSON-tilstand

Indsend tools i request-body. Modellen følger strenge JSON-skemaer. Indstil response_format til {"type": "json_object"} for pålidelig parsing. Dette sikrer struktureret data til dine applikationer.

Håndter fejl og forbrugsgrænser

Tjek HTTP-statuskoder for problemer. En 401 betyder, at din nøgle er ugyldig. En 402 indikerer utilstrækkelig kredit. En 429 signalerer hastighedsbegrænsninger. Du får 300 anmodninger per minut. 100k kontekstvinduet inkluderer prompt og completion.

Integrer med OpenAI-kompatible serverklienter

Erstat din base URL i ethvert SDK. Brug de samme Python- eller Node-biblioteker. Protokollen forbliver identisk. Dette fungerer med værktøjer som Cline eller Roo Code. Skift backend uden at omskrive kode.

cURL

Copycurl https://api.openaicompatibleserver.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set the server timeout to 30 seconds"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleserver.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleserver.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)