https://www.hardwareluxx.de/index.php/news/...llms-unter-windows.html
"Auf der CES 2025 stellte AMD mit dem Ryzen AI Max+ 395 den weltweit ersten Windows-AI-PC-Prozessor vor, der in der Lage ist, Llama 70B lokal auszuführen. Diese Funktion wird durch die Integration von llama.cpp und LM Studio ermöglicht und stellte einen wichtigen Schritt für die Bereitstellung großer Sprachmodelle auf lokalen Windows-Systemen dar. Nun kündigte AMD eine Erweiterung der variablen Grafikspeichernutzung an, die es ermöglicht, Modelle mit bis zu 128 Milliarden Parametern in Vulkan llama.cpp auf Windows auszuführen. Diese Verbesserung wird mit den kommenden Adrenalin Edition 25.8.1 WHQL-Treibern eingeführt und erlaubt es, speicherintensive KI-Workloads vollständig auszunutzen, insbesondere auf Maschinen wie dem Ryzen AI Max+ 395 mit 128 GB, der über 96 GB variablen Grafikspeicher verfügt.
Mit diesem Upgrade wird der Ryzen AI Max+ 395 so zum weltweit ersten Windows-AI-PC-Prozessor, der in der Lage ist, Metas Llama 4 Scout 109B mit voller Vision- und MCP-Unterstützung auszuführen. Dieses Modell verwendet eine Mixture-of-Experts-Architektur, bei der nur 17 Milliarden Parameter gleichzeitig aktiv sind, während alle 109 Milliarden Parameter im Speicher gehalten werden müssen. Dies ermöglicht eine praxisnahe Ausgabe von bis zu 15 Tokens pro Sekunde und soll das Modell zu einem leistungsfähigen Begleiter für mobile KI-Anwendungen machen...."
BT |