NVIDIA ogłosiła publiczne udostępnienie swojej nowej biblioteki o nazwie TensorRT-LLM. Jest to narzędzie stworzone z myślą o przyspieszeniu i optymalizacji wnioskowania na dużych modelach językowych (LLM) działających na GPU firmy NVIDIA.
Biblioteka jest dostępna za darmo na repozytorium GitHub oraz jako integralna część frameworku NVIDIA NeMo.
Dlaczego to ważna informacja?
Duże modele językowe zrewolucjonizowały dostęp do sztucznej inteligencji, oferując nowe sposoby interakcji z cyfrowym światem. Jednak ich skomplikowana natura i duże rozmiary stawiają przed deweloperami i organizacjami wyzwania, takie jak wysokie koszty i wolny czas odpowiedzi. TensorRT-LLM ma na celu rozwiązanie tych problemów poprzez różne techniki optymalizacji.
Kluczowe funkcje
TensorRT-LLM oferuje szeroki zakres funkcji, które znacznie przyspieszają wnioskowanie na dużych modelach językowych. Obejmuje to wsparcie dla różnych modeli, takich jak Llama 1 i Llama 2, ChatGLM, Falcon, MPT, Baichuan i Starcoder. Biblioteka umożliwia również wsadowe wnioskowanie i uwagę na stronach, co jest kluczowe dla efektywnego działania modeli na dużą skalę.
Wsparcie dla różnych architektur GPU
TensorRT-LLM jest zgodny z różnymi architekturami GPU NVIDIA, w tym z najnowszymi, takimi jak Ampere, Ada Lovelace i Hopper. To oznacza, że deweloperzy mają teraz więcej opcji pod względem sprzętu, na którym mogą uruchamiać swoje zaawansowane modele językowe.
Dostępność na Windows
Jedną z ważniejszych informacji jest dostępność TensorRT-LLM w wersji beta dla systemu Windows. Otwiera to drzwi dla szerokiego spektrum deweloperów i entuzjastów AI, którzy preferują to środowisko operacyjne.
TensorRT-LLM działa jako optymalizacyjny rdzeń dla wnioskowania LLM w ramach NVIDIA NeMo. NeMo to kompleksowa platforma do budowania, dostosowywania i wdrażania generatywnych aplikacji AI, która teraz oferuje pełne kontenery, w tym TensorRT-LLM i NVIDIA Triton, dla generatywnych wdrożeń AI.
Dokładny opis wdrożenia znajdziesz tutaj.
Współpraca z czołowymi firmami w dziedzinie LLM
Przez ostatnie dwa lata NVIDIA ściśle współpracowała z wiodącymi firmami specjalizującymi się w dużych modelach językowych (LLM). Wśród nich znaleźli się gracze tak znaczący jak Anyscale, Baichuan, Cohere, Deci, Grammarly, Meta, Mistral AI, MosaicML (obecnie część Databricks), OctoML, Perplexity AI, Tabnine, Together.ai, Zhipu i wielu innych. Celem tej współpracy było przyspieszenie i optymalizacja procesu wnioskowania w LLM. Dzięki temu partnerstwu, NVIDIA nie tylko udoskonaliła swoje technologie, ale również zyskała cenne doświadczenia i wglądy, które przyczyniły się do stworzenia tak zaawansowanych narzędzi jak TensorRT-LLM.
