Integreer de onbeperkte LLM API

Stel je base URL en API-sleutel in

Wijs uw client naar ons specifieke eindpunt. Gebruik https://api.openaicompatibleserver.com/v1 als je basis-URL. Genereer een sleutel via het dashboard. De sleutel authenticeert alle verzoeken.

Stuur uw eerste chatcompletie

POST naar het chat-completions-eindpunt. Verstuur je prompt en ontvang tekst. De model-id is uncensored. Het verwerkt context tot 100.000 tokens.

Activeer streaming en ontvang realtime tokens

Instellen stream: true in je verzoek. Ontvang Server-Sent Events. Tokenverbruik verschijnt in het laatste chunk. Dit vermindert de waargenomen latentie voor lange uitvoeren.

Gebruik function calling en JSON-modus

Geef tools door in de request body. Het model volgt strikte JSON-schema's. Stel response_format naar {"type": "json_object"} voor betrouwbare parsing. Dit zorgt voor gestructureerde gegevens voor je applicaties.

Verwerk fouten en gebruikslimieten

Controleer HTTP-statuscodes voor problemen. Een 401 betekent dat je sleutel ongeldig is. Een 402 geeft onvoldoende tegoed aan. Een 429 signaleert snelheidslimieten. Je krijgt 300 verzoeken per minuut. Het contextvenster van 100k omvat prompt en voltooiing.

Integreer met OpenAI-compatible serverclients

Vervang uw basis-URL in elke SDK. Gebruik dezelfde Python- of Node-bibliotheken. Het protocol blijft identiek. Dit werkt met tools zoals Cline of Roo Code. Wissel backends zonder code te herschrijven.

cURL

Copycurl https://api.openaicompatibleserver.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set the server timeout to 30 seconds"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleserver.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleserver.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)