TH ▾
llmwebsearchapi.com
llmwebsearchapi.com›คู่มือ
รับคีย์ API

เรียก LLM API ครั้งแรกด้วย Python และ curl Python และ curl

นี่คือวิธีเรียก LLM API ในทางปฏิบัติ: คำขอ POST หนึ่งครั้งพร้อมคีย์ ชื่อโมเดล และรายการข้อความ แล้วรับ JSON กลับมา หน้านี้อธิบาย curl Python การสตรีมมิง ค่าใช้จ่าย และข้อผิดพลาดที่คุณจะพบเป็นครั้งแรก

ภาพประกอบ isometric ของเทอร์มินัลที่ส่งแพ็กเก็ตข้อมูลไปยังลูกบาศก์ซึ่งส่งฟองข้อความตอบกลับ

การเรียกใช้งานในห้าขั้นตอน

หากคุณต้องการรู้วิธีเรียกใช้งาน LLM API โดยไม่ต้องอ่านคู่มือ นี่คือขั้นตอนทั้งหมด การเรียกใช้งานโมเดลภาษาแบบแชททุกคำขอจะผ่านห้าขั้นตอนเดียวกัน ไม่ว่าคุณจะใช้งานไคลเอนต์ใด

  1. รับคีย์ API จากหน้า คีย์ บัญชีใหม่สามารถรับยอดทดลองใช้เล็กน้อยได้ด้วยการคลิกเพียงครั้งเดียว
  2. เลือกเอนด์พอยต์: https://api.llmwebsearchapi.com/v1/chat/completions
  3. ส่งคีย์ใน header Authorization: Bearer YOUR_API_KEY
  4. ส่ง body JSON โดยตั้งค่า model เป็น uncensored และส่งรายการ messages
  5. อ่านค่า choices[0].message.content จาก JSON ที่ได้รับกลับ

เพียงเท่านี้ รายละเอียดอื่นๆ ในหน้านี้คือรายละเอียดรอบขั้นตอนทั้งห้า: รายการข้อความควรมีอะไร, วิธีดูต้นทุนการเรียก และวิธีจัดการเมื่อเซิร์ฟเวอร์ตอบกลับด้วยข้อผิดพลาดแทนข้อความ

คำขอแรกของคุณด้วย curl

curl เป็นวิธีที่เร็วที่สุดในการพิสูจน์ว่าคีย์และเส้นทางเครือข่ายของคุณใช้งานได้ เนื่องจากไม่มีไลบรารีคั่นอยู่ บันทึกคีย์ของคุณในตัวแปรสภาพแวดล้อมก่อนเพื่อไม่ให้ปรากฏในประวัติ shell ของคุณเป็นส่วนหนึ่งของคำสั่งที่ยาว

export API_KEY="YOUR_API_KEY"

curl https://api.llmwebsearchapi.com/v1/chat/completions   -H "Authorization: Bearer $API_KEY"   -H "Content-Type: application/json"   -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You answer in two short sentences."},
      {"role": "user", "content": "What is a token in a language model?"}
    ],
    "temperature": 0.7
  }'

บอดี้มีสามส่วนที่สำคัญ model ระบุโมเดลที่จะตอบคุณ; บริการนี้มีโมเดลเดียว ดังนั้นค่าคือ uncensored เสมอ messages คือบทสนทนาจนถึงปัจจุบัน temperature ควบคุมความสุ่ม/ความสร้างสรรค์ ตั้งแต่ใกล้ 0 สำหรับผลลัพธ์ที่ซ้ำกัน ไปจนถึงประมาณ 1 สำหรับความหลากหลายมากขึ้น

คุณยังสามารถตรวจสอบว่าคีย์ได้รับการยอมรับโดยไม่ต้องสร้างอะไรเลย: ส่งคำขอ GET ไปยัง /v1/models พร้อม header Authorization เดียวกัน หากรายการมี uncensored การตรวจสอบสิทธิ์ทำงานได้ และความล้มเหลวในภายหลังเกิดจาก body ของคำขอ ไม่ใช่คีย์

คำขอเดียวกันใน Python

คุณไม่ต้องการไคลเอนต์พิเศษ แพ็กเกจ openai ใช้งานได้หากชี้ไปที่ Base URL อื่น ติดตั้งด้วยคำสั่ง pip install openai

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmwebsearchapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You answer in two short sentences."},
        {"role": "user", "content": "What is a token in a language model?"},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

สองสิ่งที่มีค่าควรคัดลอกไปยังโค้ดของคุณเอง ประการแรก เก็บคีย์ไว้นอกไฟล์ซอร์ส; อ่านจาก environment variable ด้วย os.environ["API_KEY"] เมื่อคุณก้าวข้ามการทดลอง ประการที่สอง พิมพ์ resp.usage ขณะที่คุณกำลังเรียนรู้ การเห็นจำนวนโทเคนถัดจากข้อความคือวิธีที่เร็วที่สุดในการสร้างความรู้สึกว่าหนึ่งคำขอมีต้นทุนเท่าไร

เพราะอินเทอร์เฟซเป็นไปตามรูปแบบ OpenAI รูปแบบเดียวกันจึงใช้ได้กับ Node, Go, Ruby หรือ fetch ธรรมดา การเปลี่ยนแปลงมีเพียงไวยากรณ์รอบ POST คู่มือเริ่มต้นใช้งานในเอกสารระบุพารามิเตอร์ที่รองรับ

การอ่านการตอบกลับ

การตอบกลับเป็นวัตถุ JSON คุณจะเข้าถึงสี่ส่วนของมันบ่อยที่สุด:

  • choices[0].message.content คือข้อความที่สร้างโดยโมเดล
  • choices[0].finish_reason บอกว่าทำไมการสร้างข้อความจึงหยุด stop หมายถึงโมเดลเสร็จสิ้น; length หมายถึงโมเดลถึงขีดจำกัดโทเคนและข้อความอาจถูกตัด
  • usage เก็บค่า prompt_tokens, completion_tokens และยอดรวม นี่คือสิ่งที่การเรียกเก็บเงินอ้างอิง
  • header ของการตอบกลับรวมถึง X-Request-Id และ X-Balance-USD บันทึก ID คำขอพร้อมกับการเรียกใช้งานทุกครั้ง หากคุณติดต่อ ฝ่ายสนับสนุน ในภายหลัง ID นั้นช่วยให้พวกเขาพบคำขอที่แน่นอนของคุณได้

หน้าต่างบริบทมีขนาด 100,000 โทเคน โดยนับรวมพรอมต์และการสร้างข้อความรวมกัน การสนทนาแชทปกติใช้พื้นที่เพียงเล็กน้อยเท่านั้น คุณเริ่มรู้สึกถึงขีดจำกัดเมื่อคุณวางเอกสารทั้งฉบับหรือส่งประวัติที่ยาวมาก max_tokens เป็นค่าไม่บังคับ; หากคุณละเว้น ค่าการสร้างข้อความสามารถใช้พื้นที่ที่เหลืออยู่ในหน้าต่างบริบทได้

ข้อความ, ความจำ และการสตรีมมิง

API ไม่จำคุณ

สิ่งนี้ทำให้ผู้คนประหลาดใจที่เพิ่งใช้เว็บไซต์แชท การเรียกใช้งานแต่ละครั้งเป็นอิสระต่อกัน หากผู้ใช้ถามคำถามต่อเนื่อง คุณต้องส่งการสนทนาครั้งก่อนหน้าอีกครั้ง: ข้อความระบบ, คำถามแรก, คำตอบครั้งแรกของโมเดล จากนั้นจึงเป็นคำถามใหม่ โค้ดของคุณจะเก็บรายการนี้ไว้และเพิ่มข้อความใหม่เข้าไป

from openai import OpenAI

client = OpenAI(base_url="https://api.llmwebsearchapi.com/v1", api_key="YOUR_API_KEY")

history = [{"role": "system", "content": "You are a concise assistant."}]

def ask(text):
    history.append({"role": "user", "content": text})
    r = client.chat.completions.create(model="uncensored", messages=history)
    answer = r.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    return answer

print(ask("Name one use for a text API."))
print(ask("Give a second one."))

จำไว้ว่าประวัติที่ยาวขึ้นหมายถึงโทเคนอินพุตมากขึ้นในการเรียกใช้งานครั้งถัดไป สำหรับเซสชันที่ยาวนาน ให้ตัดหรือสรุปการสนทนาครั้งเก่าที่สุด

สตรีมมิงสำหรับอินเทอร์เฟซที่ตอบสนองเร็ว

ตั้งค่า stream เป็น true และเซิร์ฟเวอร์จะส่งข้อความทีละส่วนผ่าน server-sent events เพื่อให้หน้าต่างแชทสามารถแสดงคำได้ทันทีที่ข้อความมาถึง ข้อมูลการใช้งานจะส่งมาที่ท้ายสตรีม

from openai import OpenAI

client = OpenAI(base_url="https://api.llmwebsearchapi.com/v1", api_key="YOUR_API_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain HTTP in three sentences."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

ประเด็นเชิงปฏิบัติข้อหนึ่ง: การเรียกใช้งานแบบสตรีมมิงจะครอบครองหนึ่งช่องการทำงานพร้อมกัน (concurrency slot) ของคุณจนกว่าสตรีมจะสิ้นสุดลง ดังนั้นการเชื่อมต่อที่ถูกทิ้งไว้จะครอบครองช่องนั้นไว้สักระยะหนึ่ง

ต้นทุนของการเรียกใช้งานหนึ่งครั้ง

การคิดราคาเป็นต่อโทเคนและจ่ายตามการใช้งานจริง: $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต ซึ่งหักจากเครดิตแบบเติมเงินล่วงหน้า ไม่มีแพ็กเกจรายเดือน และการเรียกใช้งานที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกคิดเงิน เครดิตไม่หมดอายุ

นำการเรียกใช้งานขนาดเล็กจากตัวอย่างก่อนหน้าและสมมติว่ามีการใช้โทเคนอินพุต 1,200 และโทเคนเอาต์พุต 400:

  • อินพุต: 1,200 / 1,000,000 x $0.15 = $0.00018
  • เอาต์พุต: 400 / 1,000,000 x $0.50 = $0.00020
  • รวม: $0.00038

ยอดทดลองใช้ $0.50 จะครอบคลุมการเรียกขนาดนั้นประมาณ 1,300 ครั้ง เนื่องจาก $0.50 หารด้วย $0.00038 ได้ประมาณ 1,316 ยอดทดลองใช้มีอายุ 7 วันและไม่ต้องใช้บัตร เมื่อคุณดำเนินการต่อ ยอดเติมเงินจะอยู่ที่ $20 ถึง $500 เป็นจำนวนเต็ม พร้อมโบนัส 5% จาก $50 10% จาก $100 และ 15% จาก $200 หน้า ราคา มีรายละเอียดปัจจุบันและวิธีการชำระเงินที่ยอมรับ

โทเคนเอาต์พุตมีราคาสูงกว่าโทเคนอินพุต ดังนั้นนิสัยที่ประหยัดที่สุดคือการขอคำตอบสั้นๆ เมื่อคำตอบสั้นๆ เพียงพอ ข้อความระบบเช่น "ตอบเป็นสองประโยค" จะช่วยลดบิลและเวลาในการรอได้

ข้อผิดพลาดและขีดจำกัดที่คุณจะพบเป็นครั้งแรก

ความล้มเหลวในช่วงแรกส่วนใหญ่อยู่ในกลุ่มไม่กี่กลุ่ม

อาการสาเหตุทั่วไปการแก้ไข
ข้อผิดพลาดการตรวจสอบสิทธิ์ (โดยทั่วไปคือ HTTP 401)คีย์หายไปหรือผิด หรือลืมใส่คำว่า Bearerตรวจสอบ header และตรวจสอบว่าคีย์ไม่มีช่องว่างท้าย
คำขอถูกปฏิเสธเนื่องจากโครงสร้างไม่ถูกต้อง (โดยทั่วไปคือ HTTP 400)JSON ไม่ถูกต้อง หรือ messages หายไปตรวจสอบความถูกต้องของ JSON; ใน curl ให้ระวังเครื่องหมายคำพูดรอบ -d
HTTP 429, รหัส rate_limitedมากกว่า 300 คำขอต่อนาทีบนคีย์เต็ม หรือ 60 บนคีย์ทดลองลดความเร็วลงแล้วลองใหม่
HTTP 429, รหัส concurrencyมากกว่า 8 คำขอพร้อมกันบนคีย์เต็ม หรือ 2 บนคีย์ทดลองจัดคิวคำขอในโค้ดของคุณ
HTTP 429 พร้อม Retry-After: 5โอเวอร์โหลดชั่วคราวรอตามเวลาที่กำหนด 5 วินาทีแล้วลองอีกครั้ง

การลองใหม่ทำได้ง่าย เวอร์ชันนี้รอนานขึ้นเล็กน้อยหลังจากความล้มเหลวแต่ละครั้ง:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.llmwebsearchapi.com/v1",
    api_key="YOUR_API_KEY",
    max_retries=0,
)

def call_with_retry(messages, tries=4):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

body ของคำขอสามารถมีขนาดได้สูงสุด 8 MB ซึ่งมากกว่าพรอมต์ที่พอดีกับหน้าต่างบริบทมาก

หมายเหตุสำหรับเว็บไซต์ที่มีลักษณะการค้นหา

หน้าเว็บของเว็บไซต์นี้กล่าวถึงการค้นหาเว็บ ดังนั้นการชี้แจงหนึ่งอย่างจึงมีประโยชน์: เอนด์พอยต์ที่อธิบายที่นี่เป็นโมเดลข้อความ มันไม่ได้เรียกดูอินเทอร์เน็ตด้วยตัวเอง และไม่มีสิทธิ์เข้าถึงหน้าเว็บที่คุณไม่ได้ให้มัน หากคุณต้องการผลลัพธ์เว็บที่สดใหม่ ให้ดึงข้อมูลในโค้ดของคุณเองและวางส่วนที่เกี่ยวข้องในข้อความผู้ใช้ หรือเปิดเผยฟังก์ชันการค้นหาของคุณเป็นเครื่องมือผ่านการเรียกใช้ฟังก์ชันและให้โมเดลถามหา

ไม่ว่าจะเป็นแบบใด รูปแบบของการเรียกจะเหมือนกับตัวอย่างข้างต้น คุณส่งข้อความ คุณรับข้อความกลับ และคุณจ่ายสำหรับโทเคนในทั้งสองทิศทาง เมื่อคุณพร้อม สร้างคีย์ และรันคำสั่ง curl จากด้านบนของหน้านี้

ถาม-ตอบ

ฉันจำเป็นต้องใช้ไลบรารี OpenAI เพื่อเรียกใช้ API นี้หรือไม่

ไม่ ไคลเอนต์ HTTP ใด ๆ ทำงานได้เพราะเป็นการ POST JSON ปกติ SDK ของ OpenAI สะดวก และต้องการเพียง base URL และคีย์ที่แตกต่างกัน

ทำไมคำถามต่อเนื่องของฉันถึงได้รับคำตอบที่ไม่มีบริบท

API ไม่เก็บความจำระหว่างการเรียกใช้ ส่งข้อความก่อนหน้านี้ใหม่ในอาร์เรย์ messages ทุกครั้ง

ฉันจะดูจำนวนโทเคนที่ใช้ในการเรียกใช้ได้อย่างไร

อ่านฟิลด์ usage ในการตอบกลับ มันระบุโทเคนพรอมต์และโทเคนการสร้างข้อความ ซึ่งเป็นตัวเลขสองตัวที่ใช้คำนวณราคา

ฉันควรทำอย่างไรหลังจากได้รับ HTTP 429

รอและลองใหม่ หากมี header Retry-After ให้รอนานตามนั้น; มิฉะนั้นให้รอสักสองสามวินาทีและลดจำนวนคำขอที่คุณส่งพร้อมกัน

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด