Integrasi API LLM tanpa sensor

Tetapkan URL asas dan kunci API anda

Arahkan klien anda ke titik akhir khusus kami. Gunakan https://api.openaicompatibleserver.com/v1 sebagai URL asas anda. Jana kunci melalui papan pemuka. Kunci ini mengesahkan semua permintaan.

Hantar penyelesaian sem pertama anda

POST ke hujung titik penyelesaian sembang. Hantar prompt anda dan terima teks. ID model ialah uncensored. Ia mengendalikan konteks sehingga 100,000 token.

Aktifkan aliran dan dapatkan token masa nyata

Tetapkan stream: true dalam permintaan anda. Terima Acara Dihantar Pelayan. Penggunaan token muncul dalam potongan akhir. Ini mengurangkan latensi yang dirasakan untuk output yang panjang.

Gunakan panggilan fungsi dan mod JSON

Luluskan tools dalam badan permintaan. Model mengikuti skema JSON ketat. Tetapkan response_format ke {"type": "json_object"} untuk penguraian yang boleh dipercayai. Ini memastikan data terstruktur untuk aplikasi anda.

Kendalikan ralat dan had penggunaan

Semak kod status HTTP untuk isu. 401 bermaksud kunci anda tidak sah. 402 menunjukkan kredit tidak mencukupi. 429 menandakan had kadar. Anda mendapat 300 permintaan setiap minit. Tetingkap konteks 100k termasuk prompt dan penyelesaian.

Integrasi dengan klien pelayan serasi OpenAI

Gantikan URL asas anda dalam mana-mana SDK. Gunakan pustaka Python atau Node yang sama. Protokol kekal serupa. Ini berfungsi dengan alat seperti Cline atau Roo Code. Tukar backend tanpa menulis semula kod.

cURL

Copycurl https://api.openaicompatibleserver.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set the server timeout to 30 seconds"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleserver.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleserver.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Aliran

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)