Inférence serverless - Weights & Biases Documentation

L’Inférence serverless vous donne accès à des modèles fondamentaux open source de premier plan via W&B Weave et une API compatible avec OpenAI.

Avec Inférence, vous pouvez créer des applications d’IA et des agents sans vous inscrire chez un fournisseur d’hébergement ni héberger vous-même un modèle.
Avec Weave, vous pouvez tracer, évaluer, surveiller et améliorer vos applications basées sur l’Inférence serverless.

Essayez Inférence dans l’interface utilisateur

Accédez à https://wandb.ai/inference pour explorer les modèles disponibles et les essayer dans le Weave Playground. Pour plus d’informations sur l’interface web, voir le guide de l’interface utilisateur.

Utiliser Inférence via l’API

Cet exemple Python utilise Inférence pour envoyer une requête de complétion de chat à un LLM.

import openai

client = openai.OpenAI(
    # L'URL de base personnalisée pointe vers Inférence serverless
    base_url='https://api.inference.wandb.ai/v1',

    # Créez une clé API sur https://wandb.ai/settings
    api_key="<your-api-key>",

    # Facultatif : équipe et projet pour le suivi d'utilisation
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

Prochaines étapes

Configurez votre compte à l’aide des prérequis.
Consultez les modèles disponibles ainsi que les informations sur l’utilisation et les limites.
Utilisez le service via l’API ou l’interface utilisateur.
Essayez les modèles pris en charge dans le W&B Weave Playground.
Essayez les exemples d’utilisation.

Pour en savoir plus sur la tarification, les limites d’utilisation et les crédits, voir Informations sur l’utilisation et les limites.

Prérequis

⌘I

​Essayez Inférence dans l’interface utilisateur

​Utiliser Inférence via l’API

​Prochaines étapes

Essayez Inférence dans l’interface utilisateur

Utiliser Inférence via l’API

Prochaines étapes