Integrujte API LLM bez omezení

Nastavte svou základní URL a klíč API

Nasměrujte klienta na naši konkrétní koncovou adresu. Použijte https://api.openaicompatibleserver.com/v1 jako vaši základní URL. Vygenerujte klíč přes ovládací panel. Klíč autentizuje všechny požadavky.

Odeslat své první dokončení chatu

POST na endpoint dokončení chatu. Pošlete svůj prompt a přijměte text. ID modelu je uncensored.Zvládá kontext až do velikosti 100,000 tokenů.

Povolte streamování a získejte reálné tokeny

Nastavit stream: true ve vaší žádosti. Přijímejte Server-Sent Events. Využití tokenů se zobrazí v posledním bloku. To snižuje vnímanou latenci u dlouhých výstupů.

Používejte volání funkcí a režim JSON

Předložte tools v těle požadavku. Model dodržuje přísná schémata JSON. Nastavte response_format na {"type": "json_object"} pro spolehlivé parsování. To zajišťuje strukturovaná data pro vaše aplikace.

Zvládněte chyby a limity využití

Zkontrolovat kódy stavu HTTP pro řešení problémů. 401 znamená, že váš klíč je neplatný. 402 naznačuje nedostatečný kredit. 429 signalizuje omezení rychlosti. Máte 300 požadavků za minutu. Kontextové okno 100k zahrnuje podnět i dokončení.

Integrujte do klientů serverů kompatibilních s OpenAI

Nahraďte svou základní URL v libovolném SDK. Použijte stejné knihovny Python nebo Node. Protokol zůstává identický. To funguje s nástroji jako Cline nebo Roo Code. Přepněte backend bez přepisování kódu.

cURL

Copycurl https://api.openaicompatibleserver.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set the server timeout to 30 seconds"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleserver.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleserver.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamování

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)