अनसेंसर्ड LLM API को इंटीग्रेट करें

अपना बेस URL और API कुंजी

अपने क्लाइंट को हमारे विशिष्ट एंडपॉइंट की ओर निर्देशित करें। उपयोग करें https://api.openaicompatibleserver.com/v1 अपने बेस URL के रूप में। डैशबोर्ड के माध्यम से एक कुंजी उत्पन्न करें। कुंजी सभी अनुरोधों को प्रमाणीकृत करती है।

अपना पहला चैट कंप्लीशन

चैट कंप्लीशंस एंडपॉइंट पर POST करें। अपना प्रॉम्प्ट भेजें और टेक्स्ट प्राप्त करें। मॉडल आईडी है uncensored. यह 100,000 टोकन तक संदर्भ संभालता है।

स्ट्रीमिंग सक्षम करें और रियल-टाइम टोकन प्राप्त करें

सेट करें stream: true अपने अनुरोध में। सर्वर-सेंटेड इवेंट्स प्राप्त करें। टोकन उपयोग अंतिम चंक में दिखाई देता है। यह लंबे आउटपुट के लिए अनुभवगत विलंबता को कम करता है।

फ़ंक्शन कॉलिंग और JSON मोड का उपयोग करें

अनुरोध बॉडी में tools पास करें। मॉडल सख्त JSON स्कीमा का पालन करता है। सेट करें response_format को {"type": "json_object"} विश्वसनीय पarsing के लिए। यह आपके एप्लिकेशनों के लिए संरचित डेटा सुनिश्चित करता है।

त्रुटियों और उपयोग सीमाओं को हैंडल करें

समस्याओं के लिए HTTP स्टेटस कोड की जांच करें। 401 का अर्थ है कि आपकी कुंजी अमान्य है। 402 का अर्थ है अपर्याप्त क्रेडिट। 429 का अर्थ है रेट सीमा। आपके पास प्रति मिनट 300 अनुर हैं। 100k संदर्भ विंडो में प्रॉम्प्ट और कंप्लीशन शामिल हैं।

OpenAI-संगत सर्वर क्लाइंट्स के साथ एकीकरण करें

किसी भी SDK में अपना बेस URL बदलें। समान Python या Node लाइब्रेरी का उपयोग करें। प्रोटोकॉल समान रहता है। यह Cline या Roo Code जैसे टूल्स के साथ काम करता है। बिना कोड लिखे बैकएंड स्विच करें।

cURL

Copycurl https://api.openaicompatibleserver.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set the server timeout to 30 seconds"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleserver.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleserver.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

स्ट्रीमिंग

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)