Serverless Inference - Weights & Biases Documentation

Serverless Inference를 사용하면 W&B Weave와 OpenAI 호환 API를 통해 대표적인 오픈 소스 파운데이션 모델을 이용할 수 있습니다.

Inference를 사용하면 호스팅 서비스를 신청하거나 모델을 자체 호스팅하지 않고도 AI 애플리케이션과 에이전트를 구축할 수 있습니다.
Weave를 사용하면 Serverless Inference 기반 애플리케이션을 트레이스하고, 평가하고, 모니터링하고, 개선할 수 있습니다.

UI에서 Inference 사용해 보기

사용 가능한 모델을 살펴보고 Weave 플레이그라운드에서 직접 사용해 보려면 https://wandb.ai/inference로 이동하세요. 웹 인터페이스에 대한 자세한 내용은 UI Guide를 참조하세요.

API를 통해 Inference 사용하기

이 Python 예시에서는 Inference를 사용해 LLM에 Chat Completion 요청을 보냅니다.

import openai

client = openai.OpenAI(
    # 맞춤형 기본 URL은 Serverless Inference를 가리킵니다
    base_url='https://api.inference.wandb.ai/v1',

    # https://wandb.ai/settings 에서 API 키를 생성하세요
    api_key="<your-api-key>",

    # 선택 사항: 사용량 추적을 위한 팀 및 프로젝트
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

다음 단계

사전 요구 사항에 따라 계정을 설정하세요.
사용 가능한 모델과 사용 정보 및 한도를 확인하세요.
API 또는 UI를 통해 서비스를 사용하세요.
W&B Weave Playground에서 지원되는 모델을 사용해 보세요.
사용 예시를 살펴보세요.

가격, 사용 한도, 크레딧에 관한 정보는 사용 정보 및 한도를 참조하세요.

사전 요구 사항

⌘I

​UI에서 Inference 사용해 보기

​API를 통해 Inference 사용하기

​다음 단계

UI에서 Inference 사용해 보기

API를 통해 Inference 사용하기

다음 단계