PL ▾
llmwebsearchapi.com
llmwebsearchapi.com›Przewodnik
Pobierz klucz API

Wykonaj pierwsze zapytanie LLM API w Pythonie i curl

Tak wygląda praktyczne wywołanie LLM API: jedno zapytanie POST z kluczem, nazwą modelu i listą wiadomości, a odpowiedź wraca jako JSON. Na tej stronie omawiamy curl, Pythona, strumieniowanie, koszt i błędy, z którymi się spotkasz.

Izolometryczna ilustracja terminala wysyłającego pakiety danych do sześcianu, który zwraca dymki z tekstem

Wywołanie w pięciu krokach

Jeśli chcesz wiedzieć, jak wykonać wywołanie LLM API bez czytania podręcznika, to jest cały proces. Każde zapytanie do modelu językowego typu chat podąża tymi samymi pięcioma krokami, niezależnie od używanego klienta.

  1. Pobierz klucz API ze strony z kluczami. Nowe konta mogą jednym kliknięciem odebrać tam mały kredyt próbny.
  2. Wybierz endpoint: https://api.llmwebsearchapi.com/v1/chat/completions.
  3. Wyślij klucz w nagłówku Authorization: Bearer YOUR_API_KEY.
  4. Wyślij ciało żądania w formacie JSON z model ustawionym na uncensored oraz listą messages.
  5. Odczytaj choices[0].message.content ze zwróconego JSON-a.

To wszystko. Wszystko inne na tej stronie to szczegóły dotyczące tych pięciu kroków: co powinna zawierać lista wiadomości, jak sprawdzić koszt wywołania i co zrobić, gdy serwer odpowie błędem zamiast tekstem.

Twoje pierwsze zapytanie za pomocą curl

curl to najszybszy sposób, by sprawdzić, czy twój klucz i ścieżka sieciowa działają, ponieważ nie ma między nimi żadnej biblioteki. Najpierw zapisz swój klucz w zmiennej środowiskowej, aby nie trafił do historii powłoki jako część długiego polecenia.

export API_KEY="YOUR_API_KEY"

curl https://api.llmwebsearchapi.com/v1/chat/completions   -H "Authorization: Bearer $API_KEY"   -H "Content-Type: application/json"   -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You answer in two short sentences."},
      {"role": "user", "content": "What is a token in a language model?"}
    ],
    "temperature": 0.7
  }'

Ciało żądania ma trzy istotne części. model określa, kto powinien odpowiedzieć; w tej usłudze jest jeden model, więc wartość to zawsze uncensored. messages to dotychczasowa rozmowa. temperature kontroluje stopień eksperymentalności sformułowań, od blisko 0 dla powtarzalnego wyniku do około 1 dla większej różnorodności.

Możesz też sprawdzić, czy klucz jest akceptowany bez generowania czegokolwiek: wyślij żądanie GET do /v1/models z tym samym nagłówkiem Authorization. Jeśli lista zawiera uncensored, uwierzytelnianie działa, a każda późniejsza awaria dotyczy ciała żądania, a nie klucza.

To samo wywołanie w Pythonie

Nie potrzebujesz specjalnego klienta. Oficjalny pakiet openai zadziała, jeśli wskażesz mu inny bazowy URL. Zainstaluj go poleceniem pip install openai.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmwebsearchapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You answer in two short sentences."},
        {"role": "user", "content": "What is a token in a language model?"},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Dwie rzeczy warto skopiować do własnego kodu. Po pierwsze, trzymaj klucz z dala od pliku źródłowego; odczytuj go ze zmiennej środowiskowej za pomocą os.environ["API_KEY"], gdy przejdziesz już poza fazę eksperymentów. Po drugie, wypisuj resp.usage, gdy się uczysz. Widok liczb tokenów obok tekstu to najszybszy sposób, by zbudować wyobrażenie o tym, ile kosztuje zapytanie.

Ponieważ interfejs jest zgodny z formatem OpenAI, ten sam kształt działa z Node, Go, Ruby lub zwykłym fetch. Zmienia się tylko składnia wokół POST. Szybki start w dokumentacji wymienia obsługiwane parametry.

Odczytywanie odpowiedzi

Odpowiedź to obiekt JSON. Najczęściej będziesz mieć do czynienia z czterema jego częściami:

  • choices[0].message.content to wygenerowany tekst.
  • choices[0].finish_reason mówi, dlaczego generowanie się zakończyło. stop oznacza, że model skończył; length oznacza, że przekroczono limit tokenów i tekst może być ucięty.
  • usage zawiera prompt_tokens, completion_tokens oraz sumę. Na tym opiera się rozliczenie.
  • Nagłówki odpowiedzi zawierają X-Request-Id i X-Balance-USD. Loguj identyfikator zapytania przy każdym wywołaniu. Jeśli kiedykolwiek skontaktujesz się z wsparciem, ten identyfikator pozwoli im znaleźć Twoje dokładne zapytanie.

Okno kontekstu ma 100 000 tokenów, licząc razem prompt i completion. Zwykła tura czatu zużywa znikomy ułamek tego zasobu. Dopiero gdy wkleisz całe dokumenty lub wyślesz bardzo długą historię, zaczynasz odczuwać limit. max_tokens jest opcjonalne; jeśli je pominiesz, completion może wykorzystać dowolną ilość miejsca, jaka pozostała w oknie.

Wiadomości, pamięć i strumieniowanie

API nie zapamiętuje Cię

To zaskakuje ludzi, którzy używali tylko stron czatu. Każde wywołanie jest niezależne. Jeśli użytkownik zada pytanie doprecyzowujące, musisz wysłać ponownie poprzednie tury: wiadomość systemową, pierwsze pytanie, pierwszą odpowiedź modelu, a następnie nowe pytanie. Twój kod utrzymuje listę i dopisuje do niej.

from openai import OpenAI

client = OpenAI(base_url="https://api.llmwebsearchapi.com/v1", api_key="YOUR_API_KEY")

history = [{"role": "system", "content": "You are a concise assistant."}]

def ask(text):
    history.append({"role": "user", "content": text})
    r = client.chat.completions.create(model="uncensored", messages=history)
    answer = r.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    return answer

print(ask("Name one use for a text API."))
print(ask("Give a second one."))

Pamiętaj, że dłuższa historia oznacza więcej tokenów wejściowych przy każdym kolejnym wywołaniu. Przy długich sesjach skracaj lub streszczaj najstarsze tury.

Strumieniowanie dla responsywnego interfejsu

Ustaw stream na true, a serwer wysyła tekst kawałkami przez zdarzenia wysyłane przez serwer (SSE), dzięki czemu okno czatu może pokazywać słowa w miarę ich przybywania. Dane dotyczące zużycia przychodzą na końcu strumienia.

from openai import OpenAI

client = OpenAI(base_url="https://api.llmwebsearchapi.com/v1", api_key="YOUR_API_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain HTTP in three sentences."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Jeden praktyczny punkt: żądanie strumieniowania zajmuje jeden z Twoich slotów współbieżności do końca strumienia, więc przerwane połączenie trzyma slot zajęty przez jakiś czas.

Koszt jednego wywołania

Cennik jest oparty na tokenach i rozliczaniu za zużycie: $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, pobierane z przedpłaconego kredytu. Nie ma subskrypcji, a nieudane lub odrzucone zapytania nie są rozliczane. Kredyt nie wygasa.

Weźmy małe zapytanie z wcześniejszego przykładu i powiedzmy, że użyło ono 1 200 tokenów wejściowych i 400 tokenów wyjściowych:

  • Wejście: 1 200 / 1 000 000 x $0,15 = $0,00018
  • Wyjście: 400 / 1 000 000 x $0,50 = $0,00020
  • Razem: $0,00038

Saldo próbne $0,50 wystarczyłoby na około 1 300 wywołań tego rozmiaru, ponieważ $0,50 podzielone przez $0,00038 daje około 1 316. Okres próbny jest ważna przez 7 dni i nie wymaga karty. Po przejściu na płatności doładowania wynoszą od $20 do $500 w pełnych kwotach, z bonusem 5% od $50, 10% od $100 i 15% od $200. Na stronie z cenami znajdziesz aktualne szczegóły i akceptowane metody płatności.

Tokeny wyjściowe kosztują więcej niż tokeny wejściowe, więc najtańszą praktyką jest proszenie o krótkie odpowiedzi, gdy krótkie odpowiedzi wystarczają. Wiadomość systemowa typu „odpowiedz w dwóch zdaniach” obniża rachunek i czas oczekiwania jednocześnie.

Błędy i limity, z którymi się spotkasz

Większość wczesnych niepowodzeń mieści się w kilku grupach.

ObjawTypowa przyczynaNaprawa
Błąd uwierzytelniania (zwykle HTTP 401)Brakujący lub zły klucz lub pominięte słowo BearerSprawdź nagłówek i upewnij się, że klucz nie ma spacji na końcu
Zapytanie odrzucone jako niepoprawne (zwykle HTTP 400)Nieprawidłowy JSON lub brakuje messagesSprawdź poprawność JSON; w curl zwróć uwagę na cudzysłowy wokół -d
HTTP 429, kod rate_limitedPowyżej 300 zapytań na minutę przy pełnym kluczu lub 60 przy kluczu próbnymZwolnij i spróbuj ponownie
HTTP 429, kod concurrencyWięcej niż 8 zapytań naraz przy pełnym kluczu lub 2 przy kluczu próbnymKolejkuj zapytania w swoim kodzie
HTTP 429 z Retry-After: 5Tymczasowe przeciążeniePoczekaj wskazane 5 sekund i spróbuj ponownie

Dodanie ponownych prób jest łatwe. Ta wersja czeka nieco dłużej po każdej nieudanej próbie:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.llmwebsearchapi.com/v1",
    api_key="YOUR_API_KEY",
    max_retries=0,
)

def call_with_retry(messages, tries=4):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

Treść zapytania może mieć maksymalnie 8 MB, co jest znacznie więcej niż jakikolwiek prompt mieszczący się w oknie kontekstu.

Uwaga dla witryn związanych z wyszukiwaniem

Strony tej witryny mówią o wyszukiwaniu w sieci, więc jedno wyjaśnienie jest przydatne: endpoint opisany tutaj to model tekstowy. Nie przegląda internetu samodzielnie i nie ma dostępu do stron, których mu nie podałeś. Jeśli twój produkt potrzebuje świeżych wyników wyszukiwania, pobierz je we własnym kodzie i umieść odpowiednie fragmenty w wiadomości użytkownika lub udostępnij swoją funkcję wyszukiwania jako narzędzie przez wywoływanie funkcji i pozwól modelowi o nią zapytać.

W każdym przypadku struktura wywołania pozostaje taka sama jak w powyższych przykładach. Wysyłasz wiadomości, otrzymujesz tekst i płacisz za tokeny w obu kierunkach. Kiedy będziesz gotowy, utwórz klucz i uruchom polecenie curl z początku tej strony.

Pytania i odpowiedzi

Czy potrzebuję biblioteki OpenAI, aby wywołać to API?

Nie. Działa dowolny klient HTTP, ponieważ jest to zwykłe zapytanie POST JSON. SDK OpenAI są wygodne i wymagają tylko innego Base URL i klucza.

Dlaczego moje kolejne pytanie otrzymuje odpowiedź bez kontekstu?

API nie przechowuje pamięci między wywołaniami. Za każdym razem wysyłaj ponownie wcześniejsze wiadomości w tablicy messages.

Jak sprawdzić, ile tokenów zużyło wywołanie?

Przeczytaj pole usage w odpowiedzi. Wymienia tokeny prompt i tokeny completion, czyli dwie liczby, na podstawie których naliczana jest cena.

Co zrobić po otrzymaniu HTTP 429?

Poczekaj i spróbuj ponownie. Jeśli nagłówek Retry-After jest obecny, poczekaj tak długo; w przeciwnym razie odczekaj kilka sekund i zmniejsz liczbę wysyłanych naraz zapytań.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.