Artikelerreichbar
Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL
huggingface.co (externe Seite)
Hugging Face beschreibt am 10.09.2026 die LoRA-Erweiterung des asynchronen GRPO-Trainers in TRL v1.14: Nur der Adapter geht an vLLM, Trainer und Inferenz laufen als getrennte Jobs auf getrennten Maschinen, verbunden über ein eingehängtes Speicher-Bucket. Dazu ein Proxy, der Rollouts nach KV-Präfix verteilt, und fünf Testläufe, deren Beschleunigung aus drei Umbauten am Trainer stammt.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 15.09.2026:
AsyncGRPOTrainer can now train a LoRA adapter and sync only that adapter to vLLM (TRL v1.14)
bestätigt 24.09.2026A rank-1 adapter for a 1.5B model is a few megabytes, while the full model is around 3 GB
bestätigt 24.09.2026No network path between the Jobs is needed at all
bestätigt 24.09.2026Nothing in TRL or vLLM had to change for this
bestätigt 24.09.2026Old rollouts finish with the policy they started with, while new rollouts use the latest one
bestätigt 24.09.2026vLLM keys its prefix cache by adapter name
bestätigt 24.09.2026500 steps took 3 h 27 min
bestätigt 24.09.2026Packing, disabling checkpointing and raising the in-flight limit made the difference
bestätigt 24.09.2026Running all three costs ~$20 per hour
bestätigt 24.09.2026
TRL schickt beim asynchronen Training nur noch den LoRA-Adapter an vLLM, Trainer und Inferenz brauchen keine gemeinsame Maschine mehrNVIDIA Collective Communications Library im GlossarTransformer Reinforcement Learning im GlossarvLLM im Glossar