NVIDIA har lanserat en uppdatering av sin Jetson Orin Nano Developer Equipment kallad ”Tremendous”, som erbjuder upp until 70% ökad prestanda för generativ AI och en prissänkning until 249 greenback.
Enligt rapporter från NVIDIA:s egna blogg ger denna uppgradering betydande förbättringar i AI-bearbetning och minnesbandbredd, vilket gör den until ett kraftfullt verktyg för utvecklare inom robotik och edge AI-applikationer.
Jetson Orin Nano Tremendous är särskilt lämpad för att köra populära generativa AI-modeller och transformerbaserade datorseendemodeller.
Generativa AI-modeller och Jetson
Jetson Orin Nano Tremendous är särskilt lämpad för att köra populära generativa AI-modeller och transformerbaserade datorseendemodeller.
Den kan hantera en mängd olika stora språkmodeller (LLM), visuella språkmodeller (VLM) och Imaginative and prescient Transformers (ViT), inklusive modeller med upp until 8 miljarder parametrar som Llama-3.1-8B.
Jetson-plattformen stöder samma maskininlärningsramverk och optimerade inferensinfrastruktur som andra plattformar, såsom HuggingFace Transformers, Ollama och NVIDIA TensorRT-LLM.
Möjligheter för utvecklare
Jetson Orin Nano Tremendous Developer Equipment öppnar upp nya möjligheter för utvecklare att arbeta med generativ AI på kanten. Detta inkluderar:
- Utveckling av LLM-baserade chattbotar med förbättrad prestanda.
- Skapande av visuella AI-agenter som kan tolka och reagera på sin omgivning.
- Implementering av AI-baserad robotik för en mängd olika applikationer.
Nyckelfunktioner och fördelar
- Förbättrad prestanda: Upp until 67 INT8 TOPS AI-prestanda, en ökning med 70% jämfört med föregångaren.
- Ökad minnesbandbredd: Från 68 GB/s until 102 GB/s, vilket ger 50% bättre prestanda.
- Kompatibilitet: Stöder populära generativa AI-modeller som LLMs (Giant Language Fashions), VLMs (Imaginative and prescient Language Fashions) och ViTs (Imaginative and prescient Transformers).
- Kompakt design: Passar i handflatan och är idealisk för prototypning av edge-AI-applikationer.
- Bred ekosystemstöd: Kompatibel med NVIDIA:s AI-programvara inklusive Isaac för robotik, Metropolis för imaginative and prescient AI och Holoscan för sensorbearbetning.
https://developer.nvidia.com/buy-jetson?product=all&location=SE
https://blogs.nvidia.com/weblog/jetson-generative-ai-supercomputer
