Häufig gestellte Fragen zur Verwendung von KI in Windows-Apps

Dies hängt von Der Zielhardware und dem Anwendungsfall ab. Windows KI-APIs bieten den einfachsten Pfad für Copilot+ PCs – einzelne API-Aufrufe für OCR, Bildbeschreibung, Textzusammenfassung und Phi-Silika-Chat ohne Modellverwaltung erforderlich. Foundry Local ist die richtige Wahl, wenn Sie einen breiteren Modellkatalog, nicht Copilot+ PC Hardwareunterstützung oder OpenAI-kompatiblen API-Zugriff benötigen. Windows ML bietet Ihnen die meiste Kontrolle – bringen Sie jedes ONNX-Modell mit und verwalten Sie Ausführungsanbieter direkt. Siehe Wählen Sie Ihre Windows KI-Lösung für einen parallelen Vergleich aus.

Dies hängt davon ab, welches Feature Sie verwenden. Windows KI-APIs erfordern eine Copilot+ PC mit einer NPU. Foundry Local wird auf jedem Windows Gerät mit einer DirectX 12-fähigen GPU ausgeführt – einschließlich Geräten ohne NPU. Windows ML unterstützt eine breite Palette von CPUs, GPUs und NPUs. Weitere Informationen finden Sie in der unterstützten Hardwareliste .

Yes. Foundry Local macht eine openAI-kompatible REST-API verfügbar. Starten Sie den lokalen Dienst mit foundry service start, und zeigen Sie dann Ihren OpenAI-Client auf den lokalen Endpunkt – Ihr Modellname, Nachrichten und Streaminganrufe funktionieren ohne Änderungen. Weitere Informationen finden Sie unter "Erste Schritte mit Foundry Local " für das Endpunktformat.

Die nativen SDKs (C#, Python, JavaScript, Rust) befinden sich derzeit in Alpha/Pre-Release. Die zugrunde liegende ONNX Runtime und die Infrastruktur für die Modellbereitstellung sind für den Produktiveinsatz geeignet. Wenn Sie derzeit Apps veröffentlichen, betrachten Sie die API-Oberfläche des SDKs als änderungsanfällig und fixieren Sie Ihre Paketversionen. Informationen zum aktuellen Stabilitätsstatus finden Sie unter "What is Foundry Local ".

Ja, sobald ein Modell heruntergeladen und auf dem Gerät zwischengespeichert wurde, führt Foundry Local eine vollständige Rückleitung auf dem Gerät ohne Cloudabhängigkeit durch. Der anfängliche Modelldownload erfordert Internetzugriff. Beim Start versucht Foundry Local möglicherweise, den Modellkatalog zu aktualisieren, dies ist jedoch nicht erforderlich – wenn das Gerät offline ist, fällt es auf den zwischengespeicherten Katalog zurück, und die Rückschlüsse werden normal fortgesetzt. Mit der Methode (C#) / IsCachedAsync (Python) des is_cached SDK können Sie die Modellverfügbarkeit überprüfen, bevor Sie eine Ableitung durchführen, damit Sie den Offlinefall ordnungsgemäß behandeln können.

Foundry Local erkennt verfügbare Hardware beim Start und wählt den besten Ausführungsanbieter aus – Qualcomm NPU (QNN), jede DirectX 12-fähige GPU über WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), NVIDIA GPU über CUDA oder CPU-Fallback. Sie fragen ein Modell über einen Alias an (z. B. phi-3.5-mini), und Foundry Local stellt automatisch die hardware-optimierte Variante für das Gerät bereit. Ihr App-Code ist für alle Hardwarekonfigurationen identisch.

No. Foundry Local wird vollständig auf dem Gerät ausgeführt. Eingaben und Ausgaben der Inferenz verlassen die Maschine nie. Der einzige Netzwerkdatenverkehr ist der anfängliche Modelldownload und optionale Aktualisierungen von Katalogmetadaten. Beim Start versucht Foundry Local möglicherweise, den Modellkatalog zu aktualisieren, dies ist jedoch nicht erforderlich – wenn das Gerät offline ist, fällt es auf den zwischengespeicherten Katalog zurück, und die Rückschlüsse werden normal fortgesetzt.

Windows AI-APIs verarbeiten Daten lokal auf dem Gerät mithilfe der NPU. Eingabedaten werden nicht an Microsoft Server gesendet. Anleitungen zu verantwortungsvollen KI-Praktiken, Zustimmung und Transparenz finden Sie unter Developing Responsible Generative AI Applications and Features on Windows.

Windows ML ermöglicht Es Ihrer App, eine gemeinsam genutzte systemweite ONNX-Runtime zu verwenden und anbieterspezifische Ausführungsanbieter (EPs) dynamisch herunterzuladen, sodass die Modellausleitung für die CPU, GPU oder NPU des Geräts optimiert ist, ohne dass Ihre App große Laufzeit- oder EP-Binärdateien enthält. Verwenden Sie es, wenn Sie Ihr eigenes ONNX-Modell einbinden müssen oder die vollständige Kontrolle über die EP-Auswahl wünschen. Siehe Windows ML-Übersicht.

DirectML ist eine GPU-Beschleunigungs-API mit niedriger Ebene für maschinelles Lernen, die auf Direct3D 12 basiert. Es unterstützt alle DirectX 12-fähigen GPUs von AMD, Intel, NVIDIA und Qualcomm. ONNX Runtime verwendet DirectML als Ausführungsanbieter für Windows, wenn CUDA nicht verfügbar ist.

foundry-local-sdk-winmlist das Windows spezifische Paket – es enthält Hardwarebeschleunigung über Windows ML und wird für Windows empfohlen. foundry-local-sdkist das plattformübergreifende Paket für macOS, Linux oder Windows ohne Hardwarebeschleunigung. Installieren Sie nur eines davon: Die beiden Pakete legen unterschiedliche Versionen von onnxruntime-core fest und stehen in Konflikt, wenn beide installiert sind. Beachten Sie, dass foundry-local auf PyPI (ohne -sdk) ein unabhängiges Drittanbieterpaket ist – installieren Sie foundry-local-sdk oder foundry-local-sdk-winml.

Öffnen Sie den Task-Manager (Ctrl+Shift+Esc), wählen Sie die Registerkarte "Leistung " aus, und suchen Sie im linken Bereich nach GPU- und NPU-Einträgen. Sie können auch über die Befehlszeile ausführen foundry model list – Foundry Local zeigt an, welche Ausführungsanbieter für Ihre Hardware aktiv sind, wenn der Dienst gestartet wird.