Passer au contenu principal
Serverless Inference vous permet d’utiliser un LoRA personnalisé avec certains modèles de base. Ce tutoriel vous explique comment créer un LoRA fine-tuné à l’aide du post-entraînement supervisé via la bibliothèque TRL, puis le téléverser vers W&B en tant qu’artefact pour l’utiliser avec l’API Serverless Inference ou le Playground. L’exemple utilise un jeu de données de paires requête/réponse pour effectuer le fine-tuning d’un modèle afin qu’il réponde comme un cow-boy, mais vous pouvez adapter le même flux de travail à n’importe quel personnage ou à n’importe quelle tâche. Ce tutoriel s’adresse aux développeurs qui souhaitent personnaliser le comportement d’un modèle de base sans gérer leur propre infrastructure d’inférence. Vous pouvez également créer un LoRA à l’aide de Serverless RL, qui fournit un apprentissage par renforcement sans serveur. Le tutoriel comporte trois parties : préparer un jeu de données de post-entraînement, exécuter le script de post-entraînement qui génère et téléverse le LoRA, puis essayer le LoRA obtenu dans le Playground ou dans du code.

Jeu de données post-entraînement

Cette section présente le jeu de données d’exemple utilisé pour effectuer le fine-tuning du modèle. Le jeu de données suivant contient 50 paires de requêtes et de réponses, présentées sous forme de liste de messages, par exemple :
Utilisateur : “Quelle est votre couleur préférée ?”
Assistant : “Eh bien, partenaire, ma couleur préférée, c’est l’orange flamboyant d’un coucher de soleil dans le désert.”
Le fichier d’exemple contient un objet JSON par ligne. Enregistrez les données suivantes dans votre répertoire de travail sous le nom cowboy_examples.jsonl.
cowboy_examples.jsonl
Après avoir enregistré ce jeu de données, vous êtes prêt à passer au post-entraînement.

post-entraînement

Cette section vous guide dans l’exécution du script d’entraînement qui produit un adaptateur LoRA à partir de votre jeu de données et le téléverse vers W&B. Ce script entraîne un adaptateur LoRA sur des exemples du fichier JSONL et le téléverse vers W&B en tant qu’Artefact afin qu’il puisse être utilisé avec la Serverless Inference API ou le Playground. Dans les grandes lignes, ce script effectue les opérations suivantes :
  1. Se connecte à W&B. L’intégration Hugging Face Transformers de W&B Models enregistre automatiquement la progression de l’entraînement et les métriques.
  2. Charge le modèle de base (OpenPipe/Qwen3-14B-Instruct) depuis Hugging Face.
  3. Configure LoRA à l’aide d’hyperparamètres, tels que le rang et alpha, que le script définit comme constantes en haut du fichier.
  4. Charge les exemples du fichier dans un jeu de données, puis exécute SFTTrainer. Par défaut, le script utilise tous les exemples.
  5. Enregistre le LoRA et le téléverse vers W&B en tant qu’Artefact afin qu’il puisse être utilisé avec Serverless Inference.
Une fois le script terminé, ouvrez dans votre navigateur la dernière URL affichée pour voir l’artefact enregistré. Elle ressemble à ceci : Artifact URL: https://wandb.ai/[YOUR-ENTITY]/create-lora-tutorial/artifacts/lora/OpenPipe_Qwen3-14B-Instruct_cowboy/v0 Enregistrez le programme suivant sous create_lora.py et mettez à jour la valeur ENTITY avec votre entité W&B. Le script utilise des métadonnées de script intégrées pour déclarer ses dépendances, afin que vous puissiez l’exécuter directement avec uv sans gérer d’environnement virtuel distinct.
create_lora.py
Exécutez le script avec uv :
Le temps d’exécution dépend du matériel. Pour accélérer l’entraînement, ajoutez l’argument --max-examples=10, mais avec moins d’exemples, le LLM répondra moins bien en restant dans le personnage. Une fois le script terminé, vous disposez d’un adaptateur LoRA entraîné stocké sous forme d’artefact W&B, prêt à être utilisé avec Serverless Inference.

Utiliser LoRA

Cette section montre comment essayer le LoRA que vous avez créé, soit de manière interactive dans le playground, soit par programmation. Vous pouvez essayer votre LoRA dans le playground W&B Weave. Lorsque vous ouvrez l’URL de l’artefact, cliquez sur Try in playground.
LoRA dans l’interface Artifacts
Saisissez ensuite votre prompt en bas de l’interface de chat.
LoRA dans l’interface Playground
Pour utiliser votre LoRA depuis votre code, voir le guide Use Serverless LoRA Inference pour suivre les instructions étape par étape.

Étapes suivantes

Maintenant que vous disposez d’un LoRA fonctionnel, vous pouvez expérimenter davantage pour voir comment les choix d’entraînement influent sur le résultat :
  • Entraîner le LoRA avec moins d’exemples pour voir s’il produit toujours l’effet souhaité.
  • Modifier les réponses dans le jeu de données pour mettre en scène un autre personnage, comme un pirate ou un ninja.