เรียก LLM API ครั้งแรกด้วย Python และ curl Python และ curl
นี่คือวิธีเรียก LLM API ในทางปฏิบัติ: คำขอ POST หนึ่งครั้งพร้อมคีย์ ชื่อโมเดล และรายการข้อความ แล้วรับ JSON กลับมา หน้านี้อธิบาย curl Python การสตรีมมิง ค่าใช้จ่าย และข้อผิดพลาดที่คุณจะพบเป็นครั้งแรก
อัปเดต

การเรียกใช้งานในห้าขั้นตอน
หากคุณต้องการรู้วิธีเรียกใช้งาน LLM API โดยไม่ต้องอ่านคู่มือ นี่คือขั้นตอนทั้งหมด การเรียกใช้งานโมเดลภาษาแบบแชททุกคำขอจะผ่านห้าขั้นตอนเดียวกัน ไม่ว่าคุณจะใช้งานไคลเอนต์ใด
- รับคีย์ API จากหน้า คีย์ บัญชีใหม่สามารถรับยอดทดลองใช้เล็กน้อยได้ด้วยการคลิกเพียงครั้งเดียว
- เลือกเอนด์พอยต์:
https://api.llmwebsearchapi.com/v1/chat/completions - ส่งคีย์ใน header
Authorization: Bearer YOUR_API_KEY - ส่ง body JSON โดยตั้งค่า
modelเป็นuncensoredและส่งรายการmessages - อ่านค่า
choices[0].message.contentจาก JSON ที่ได้รับกลับ
เพียงเท่านี้ รายละเอียดอื่นๆ ในหน้านี้คือรายละเอียดรอบขั้นตอนทั้งห้า: รายการข้อความควรมีอะไร, วิธีดูต้นทุนการเรียก และวิธีจัดการเมื่อเซิร์ฟเวอร์ตอบกลับด้วยข้อผิดพลาดแทนข้อความ
คำขอแรกของคุณด้วย curl
curl เป็นวิธีที่เร็วที่สุดในการพิสูจน์ว่าคีย์และเส้นทางเครือข่ายของคุณใช้งานได้ เนื่องจากไม่มีไลบรารีคั่นอยู่ บันทึกคีย์ของคุณในตัวแปรสภาพแวดล้อมก่อนเพื่อไม่ให้ปรากฏในประวัติ shell ของคุณเป็นส่วนหนึ่งของคำสั่งที่ยาว
export API_KEY="YOUR_API_KEY"
curl https://api.llmwebsearchapi.com/v1/chat/completions -H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" -d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You answer in two short sentences."},
{"role": "user", "content": "What is a token in a language model?"}
],
"temperature": 0.7
}'
บอดี้มีสามส่วนที่สำคัญ model ระบุโมเดลที่จะตอบคุณ; บริการนี้มีโมเดลเดียว ดังนั้นค่าคือ uncensored เสมอ messages คือบทสนทนาจนถึงปัจจุบัน temperature ควบคุมความสุ่ม/ความสร้างสรรค์ ตั้งแต่ใกล้ 0 สำหรับผลลัพธ์ที่ซ้ำกัน ไปจนถึงประมาณ 1 สำหรับความหลากหลายมากขึ้น
คุณยังสามารถตรวจสอบว่าคีย์ได้รับการยอมรับโดยไม่ต้องสร้างอะไรเลย: ส่งคำขอ GET ไปยัง /v1/models พร้อม header Authorization เดียวกัน หากรายการมี uncensored การตรวจสอบสิทธิ์ทำงานได้ และความล้มเหลวในภายหลังเกิดจาก body ของคำขอ ไม่ใช่คีย์
คำขอเดียวกันใน Python
คุณไม่ต้องการไคลเอนต์พิเศษ แพ็กเกจ openai ใช้งานได้หากชี้ไปที่ Base URL อื่น ติดตั้งด้วยคำสั่ง pip install openai
from openai import OpenAI
client = OpenAI(
base_url="https://api.llmwebsearchapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You answer in two short sentences."},
{"role": "user", "content": "What is a token in a language model?"},
],
temperature=0.7,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
สองสิ่งที่มีค่าควรคัดลอกไปยังโค้ดของคุณเอง ประการแรก เก็บคีย์ไว้นอกไฟล์ซอร์ส; อ่านจาก environment variable ด้วย os.environ["API_KEY"] เมื่อคุณก้าวข้ามการทดลอง ประการที่สอง พิมพ์ resp.usage ขณะที่คุณกำลังเรียนรู้ การเห็นจำนวนโทเคนถัดจากข้อความคือวิธีที่เร็วที่สุดในการสร้างความรู้สึกว่าหนึ่งคำขอมีต้นทุนเท่าไร
เพราะอินเทอร์เฟซเป็นไปตามรูปแบบ OpenAI รูปแบบเดียวกันจึงใช้ได้กับ Node, Go, Ruby หรือ fetch ธรรมดา การเปลี่ยนแปลงมีเพียงไวยากรณ์รอบ POST คู่มือเริ่มต้นใช้งานในเอกสารระบุพารามิเตอร์ที่รองรับ
การอ่านการตอบกลับ
การตอบกลับเป็นวัตถุ JSON คุณจะเข้าถึงสี่ส่วนของมันบ่อยที่สุด:
choices[0].message.contentคือข้อความที่สร้างโดยโมเดลchoices[0].finish_reasonบอกว่าทำไมการสร้างข้อความจึงหยุดstopหมายถึงโมเดลเสร็จสิ้น;lengthหมายถึงโมเดลถึงขีดจำกัดโทเคนและข้อความอาจถูกตัดusageเก็บค่าprompt_tokens,completion_tokensและยอดรวม นี่คือสิ่งที่การเรียกเก็บเงินอ้างอิง- header ของการตอบกลับรวมถึง
X-Request-IdและX-Balance-USDบันทึก ID คำขอพร้อมกับการเรียกใช้งานทุกครั้ง หากคุณติดต่อ ฝ่ายสนับสนุน ในภายหลัง ID นั้นช่วยให้พวกเขาพบคำขอที่แน่นอนของคุณได้
หน้าต่างบริบทมีขนาด 100,000 โทเคน โดยนับรวมพรอมต์และการสร้างข้อความรวมกัน การสนทนาแชทปกติใช้พื้นที่เพียงเล็กน้อยเท่านั้น คุณเริ่มรู้สึกถึงขีดจำกัดเมื่อคุณวางเอกสารทั้งฉบับหรือส่งประวัติที่ยาวมาก max_tokens เป็นค่าไม่บังคับ; หากคุณละเว้น ค่าการสร้างข้อความสามารถใช้พื้นที่ที่เหลืออยู่ในหน้าต่างบริบทได้
ข้อความ, ความจำ และการสตรีมมิง
API ไม่จำคุณ
สิ่งนี้ทำให้ผู้คนประหลาดใจที่เพิ่งใช้เว็บไซต์แชท การเรียกใช้งานแต่ละครั้งเป็นอิสระต่อกัน หากผู้ใช้ถามคำถามต่อเนื่อง คุณต้องส่งการสนทนาครั้งก่อนหน้าอีกครั้ง: ข้อความระบบ, คำถามแรก, คำตอบครั้งแรกของโมเดล จากนั้นจึงเป็นคำถามใหม่ โค้ดของคุณจะเก็บรายการนี้ไว้และเพิ่มข้อความใหม่เข้าไป
from openai import OpenAI
client = OpenAI(base_url="https://api.llmwebsearchapi.com/v1", api_key="YOUR_API_KEY")
history = [{"role": "system", "content": "You are a concise assistant."}]
def ask(text):
history.append({"role": "user", "content": text})
r = client.chat.completions.create(model="uncensored", messages=history)
answer = r.choices[0].message.content
history.append({"role": "assistant", "content": answer})
return answer
print(ask("Name one use for a text API."))
print(ask("Give a second one."))
จำไว้ว่าประวัติที่ยาวขึ้นหมายถึงโทเคนอินพุตมากขึ้นในการเรียกใช้งานครั้งถัดไป สำหรับเซสชันที่ยาวนาน ให้ตัดหรือสรุปการสนทนาครั้งเก่าที่สุด
สตรีมมิงสำหรับอินเทอร์เฟซที่ตอบสนองเร็ว
ตั้งค่า stream เป็น true และเซิร์ฟเวอร์จะส่งข้อความทีละส่วนผ่าน server-sent events เพื่อให้หน้าต่างแชทสามารถแสดงคำได้ทันทีที่ข้อความมาถึง ข้อมูลการใช้งานจะส่งมาที่ท้ายสตรีม
from openai import OpenAI
client = OpenAI(base_url="https://api.llmwebsearchapi.com/v1", api_key="YOUR_API_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain HTTP in three sentences."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
ประเด็นเชิงปฏิบัติข้อหนึ่ง: การเรียกใช้งานแบบสตรีมมิงจะครอบครองหนึ่งช่องการทำงานพร้อมกัน (concurrency slot) ของคุณจนกว่าสตรีมจะสิ้นสุดลง ดังนั้นการเชื่อมต่อที่ถูกทิ้งไว้จะครอบครองช่องนั้นไว้สักระยะหนึ่ง
ต้นทุนของการเรียกใช้งานหนึ่งครั้ง
การคิดราคาเป็นต่อโทเคนและจ่ายตามการใช้งานจริง: $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต ซึ่งหักจากเครดิตแบบเติมเงินล่วงหน้า ไม่มีแพ็กเกจรายเดือน และการเรียกใช้งานที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกคิดเงิน เครดิตไม่หมดอายุ
นำการเรียกใช้งานขนาดเล็กจากตัวอย่างก่อนหน้าและสมมติว่ามีการใช้โทเคนอินพุต 1,200 และโทเคนเอาต์พุต 400:
- อินพุต: 1,200 / 1,000,000 x $0.15 = $0.00018
- เอาต์พุต: 400 / 1,000,000 x $0.50 = $0.00020
- รวม: $0.00038
ยอดทดลองใช้ $0.50 จะครอบคลุมการเรียกขนาดนั้นประมาณ 1,300 ครั้ง เนื่องจาก $0.50 หารด้วย $0.00038 ได้ประมาณ 1,316 ยอดทดลองใช้มีอายุ 7 วันและไม่ต้องใช้บัตร เมื่อคุณดำเนินการต่อ ยอดเติมเงินจะอยู่ที่ $20 ถึง $500 เป็นจำนวนเต็ม พร้อมโบนัส 5% จาก $50 10% จาก $100 และ 15% จาก $200 หน้า ราคา มีรายละเอียดปัจจุบันและวิธีการชำระเงินที่ยอมรับ
โทเคนเอาต์พุตมีราคาสูงกว่าโทเคนอินพุต ดังนั้นนิสัยที่ประหยัดที่สุดคือการขอคำตอบสั้นๆ เมื่อคำตอบสั้นๆ เพียงพอ ข้อความระบบเช่น "ตอบเป็นสองประโยค" จะช่วยลดบิลและเวลาในการรอได้
ข้อผิดพลาดและขีดจำกัดที่คุณจะพบเป็นครั้งแรก
ความล้มเหลวในช่วงแรกส่วนใหญ่อยู่ในกลุ่มไม่กี่กลุ่ม
| อาการ | สาเหตุทั่วไป | การแก้ไข |
|---|---|---|
| ข้อผิดพลาดการตรวจสอบสิทธิ์ (โดยทั่วไปคือ HTTP 401) | คีย์หายไปหรือผิด หรือลืมใส่คำว่า Bearer | ตรวจสอบ header และตรวจสอบว่าคีย์ไม่มีช่องว่างท้าย |
| คำขอถูกปฏิเสธเนื่องจากโครงสร้างไม่ถูกต้อง (โดยทั่วไปคือ HTTP 400) | JSON ไม่ถูกต้อง หรือ messages หายไป | ตรวจสอบความถูกต้องของ JSON; ใน curl ให้ระวังเครื่องหมายคำพูดรอบ -d |
HTTP 429, รหัส rate_limited | มากกว่า 300 คำขอต่อนาทีบนคีย์เต็ม หรือ 60 บนคีย์ทดลอง | ลดความเร็วลงแล้วลองใหม่ |
HTTP 429, รหัส concurrency | มากกว่า 8 คำขอพร้อมกันบนคีย์เต็ม หรือ 2 บนคีย์ทดลอง | จัดคิวคำขอในโค้ดของคุณ |
HTTP 429 พร้อม Retry-After: 5 | โอเวอร์โหลดชั่วคราว | รอตามเวลาที่กำหนด 5 วินาทีแล้วลองอีกครั้ง |
การลองใหม่ทำได้ง่าย เวอร์ชันนี้รอนานขึ้นเล็กน้อยหลังจากความล้มเหลวแต่ละครั้ง:
import time
from openai import OpenAI, RateLimitError
client = OpenAI(
base_url="https://api.llmwebsearchapi.com/v1",
api_key="YOUR_API_KEY",
max_retries=0,
)
def call_with_retry(messages, tries=4):
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("still rate limited after retries")
body ของคำขอสามารถมีขนาดได้สูงสุด 8 MB ซึ่งมากกว่าพรอมต์ที่พอดีกับหน้าต่างบริบทมาก
หมายเหตุสำหรับเว็บไซต์ที่มีลักษณะการค้นหา
หน้าเว็บของเว็บไซต์นี้กล่าวถึงการค้นหาเว็บ ดังนั้นการชี้แจงหนึ่งอย่างจึงมีประโยชน์: เอนด์พอยต์ที่อธิบายที่นี่เป็นโมเดลข้อความ มันไม่ได้เรียกดูอินเทอร์เน็ตด้วยตัวเอง และไม่มีสิทธิ์เข้าถึงหน้าเว็บที่คุณไม่ได้ให้มัน หากคุณต้องการผลลัพธ์เว็บที่สดใหม่ ให้ดึงข้อมูลในโค้ดของคุณเองและวางส่วนที่เกี่ยวข้องในข้อความผู้ใช้ หรือเปิดเผยฟังก์ชันการค้นหาของคุณเป็นเครื่องมือผ่านการเรียกใช้ฟังก์ชันและให้โมเดลถามหา
ไม่ว่าจะเป็นแบบใด รูปแบบของการเรียกจะเหมือนกับตัวอย่างข้างต้น คุณส่งข้อความ คุณรับข้อความกลับ และคุณจ่ายสำหรับโทเคนในทั้งสองทิศทาง เมื่อคุณพร้อม สร้างคีย์ และรันคำสั่ง curl จากด้านบนของหน้านี้
คู่มือเพิ่มเติม
ถาม-ตอบ
ฉันจำเป็นต้องใช้ไลบรารี OpenAI เพื่อเรียกใช้ API นี้หรือไม่
ไม่ ไคลเอนต์ HTTP ใด ๆ ทำงานได้เพราะเป็นการ POST JSON ปกติ SDK ของ OpenAI สะดวก และต้องการเพียง base URL และคีย์ที่แตกต่างกัน
ทำไมคำถามต่อเนื่องของฉันถึงได้รับคำตอบที่ไม่มีบริบท
API ไม่เก็บความจำระหว่างการเรียกใช้ ส่งข้อความก่อนหน้านี้ใหม่ในอาร์เรย์ messages ทุกครั้ง
ฉันจะดูจำนวนโทเคนที่ใช้ในการเรียกใช้ได้อย่างไร
อ่านฟิลด์ usage ในการตอบกลับ มันระบุโทเคนพรอมต์และโทเคนการสร้างข้อความ ซึ่งเป็นตัวเลขสองตัวที่ใช้คำนวณราคา
ฉันควรทำอย่างไรหลังจากได้รับ HTTP 429
รอและลองใหม่ หากมี header Retry-After ให้รอนานตามนั้น; มิฉะนั้นให้รอสักสองสามวินาทีและลดจำนวนคำขอที่คุณส่งพร้อมกัน
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด