Dieser Browser wird nicht mehr unterstützt.
Führen Sie ein Upgrade auf Microsoft Edge durch, um die neuesten Features, Sicherheitsupdates und den technischen Support zu nutzen.
Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Dieser Artikel enthält Architekturmuster und grundlegende Referenzarchitekturen, mit denen Sie KI-Workloads auf Azure entwerfen, bereitstellen und steuern können. Es deckt die Kernkomponenten, Interaktionen und bewährten Methoden zum Erstellen sicherer, skalierbarer und gut gesteuerter KI-Systeme ab.
Verwenden Sie dieses Architekturmuster als Basislinie beim Entwerfen von KI-Workloads. Beginnen Sie mit den kernen Komponenten und Interaktionen, die im Muster gezeigt werden, und passen Sie sie dann an Ihre Geschäftsziele, technischen Einschränkungen und Risikostatus an.
Beispielsweise möchte eine Organisation eine KI-Assistentanwendung für Unternehmen erstellen, mit der Mitarbeiter Fragen zu internen Dokumenten und Betriebsdaten stellen können. Wenn ein Benutzer eine Frage stellt, stellt die Anwendung fest, welche Daten benötigt werden, ruft den relevanten Kontext ab und ruft das richtige Modell auf, um eine geerdete Antwort zu generieren. Hierfür wird eine Datenpipeline benötigt, die interne Dokumente bereinigt, anreichert und indiziert, damit der Assistent vertrauenswürdigen, aktuellen Kontext abrufen kann. Verwenden Sie wie bei jeder Anwendung Well-Architected-Praktiken, um die Anwendung zuverlässig, sicher und kostenoptimiert zu gestalten.
Während dieser KI-Assistent ein bestimmtes Geschäftsszenario darstellt, ist das folgende Architekturmuster generisch genug, um sich an viele KI-Anwendungsfälle mit ähnlichen Merkmalen anzupassen.
Dieser Artikel führt Sie durch dieses generische Muster, das ein grundlegendes Wissen über die Kernkomponenten, deren Funktionen und Interaktionen in einer KI-Workload festlegt. Mit dieser Grundlage können Sie fundierte Designentscheidungen treffen, um robuste KI-Lösungen zu erstellen, während Sie die Architektur an Ihren spezifischen Anwendungsfall anpassen.
Dieses Diagramm zeigt die wichtigsten Komponenten, die Sie in Ihrem AI-Workload-Design haben könnten.
| Bestandteil | Description |
|---|---|
| Datenverarbeitung und -analyse | Sammeln Sie Rohdaten aus verschiedenen Quellen, bereinigen und transformieren Sie diese und organisieren Sie sie in Datensätze, die für die Modellschulung, Feinabstimmung und Verankerung bereit sind. Diese Ebene interagiert nicht direkt mit Benutzern, sondern ermöglicht präzise, effiziente KI-Interaktionen nachgelagert. |
| Modelltraining und Feinjustierung | Trainieren Sie Modelle für Ihre Daten, verfolgen Sie Versionen und überwachen Sie die Leistung durch einen wiederholbaren Prozess. Verwenden Sie MLOps-Methoden, um kontinuierlich zu verbessern, während neue Daten eintreffen, und um die Ausrichtung an den Geschäftsanforderungen zu gewährleisten. |
| Intelligente KI-Anwendungen | Hier interagieren Benutzer mit Ihrer KI. Es kombiniert vortrainierte Modelle mit Anwendungslogik, um die richtigen Informationen zu finden, Aufforderungen zu erstellen, Schnittstellen zu erstellen und aus Feedback zu lernen. |
| KI-Praktiken und -Prozesse | Sorgen Sie dafür, dass Ihre KI-Lösung zuverlässig ist, indem Sie DevOps-Prinzipien, Versionssteuerung und automatisierte Pipelines in MLOps-Workflows integrieren. Stellen Sie iterativ mit Sicherheitsvorkehrungen bereit und überprüfen Sie kontinuierlich auf Genauigkeit, Leistung und Verzerrung. |
| Plattformdienste und -tools | Kern-Cloud-Dienste, die Ihre Ressourcen sichern, Kosten kontrollieren und die Systemgesundheit von der Entwicklung bis zur Bereitstellung überwachen. Verwenden Sie CI/CD-Pipelines für eine zuverlässige Automatisierung sowie spezielle Tools, um KI-Ausgaben auf die Einhaltung von Vorschriften zu prüfen. |
In diesem Abschnitt werden zwei Hauptarbeitslasten beschrieben: die intelligente Anwendungsarbeitslast sowie die Schulungs- und Feinabstimmungsarbeitslast. Jede Workload hat eigene Entwurfsüberlegungen für Lebensdauer und Zustand, Reichweite und Abhängigkeiten, Skalierbarkeit und Verfügbarkeit sowie Sicherheit und verantwortungsvolle KI.
Nicht alle KI-Workloads erfordern Schulungen und Feinabstimmungskomponenten. Wenn Sie nur vortrainierte Modelle ohne benutzerdefinierte Schulung verwenden, konzentrieren Sie sich auf die intelligente Anwendungsauslastung. Wenn Ihr Anwendungsfall jedoch das Erstellen benutzerdefinierter Modelle oder eine kontinuierliche Verbesserung mit neuen Daten umfasst, ist die Schulungs- und Feinabstimmungsworkload unerlässlich. Beide Workloads sind modular, sodass Sie die Komponenten implementieren können, die für Ihren spezifischen Anwendungsfall relevant sind, während Sie die in den Entwurfsüberlegungen beschriebenen bewährten Methoden beachten.
| Designmerkmal | Description |
|---|---|
| Lebensdauer und Zustand |
Die Lebensdauer bezieht sich auf die erwartete Dauer der Existenz und Aktivität einer Ressource innerhalb der Workload. Der Zustand bezieht sich auf die Daten oder Informationen, die eine Ressource im Laufe der Zeit verwaltet. |
| Reichweite und Abhängigkeiten |
Reichweite bezieht sich auf den Umfang, in dem eine Ressource zugänglich oder verteilt werden muss. Abhängigkeiten beziehen sich auf die Beziehungen und die Abhängigkeit von anderen Ressourcen. |
| Skalierbarkeit und Verfügbarkeit |
Skalierbarkeit ist die Fähigkeit einer Ressource, erhöhte Last oder Nachfrage zu bewältigen. Verfügbarkeit ist die Fähigkeit einer Ressource, betriebsbereit und zugänglich zu bleiben. |
| Sicherheit und verantwortungsvolle KI |
Sicherheit bezieht sich auf die Maßnahmen, die Daten schützen und die Einhaltung von Vorschriften sicherstellen. Verantwortungsvolle KI bezieht sich auf die Praktiken, die ethische KI gewährleisten, einschließlich Fairness, Transparenz und Rechenschaftspflicht. |
Dieses Diagramm zeigt die wichtigsten Komponenten der intelligenten Anwendungsauslastung, die in Ihr Design einbezogen werden sollen.
| Bestandteil | Description |
|---|---|
| Client-Ebene | Auf der Clientebene können Benutzer und externe Systeme eine Verbindung mit KI herstellen. Diese Ebene verwendet Ihre Anforderungen und gibt KI-generierte Antworten zurück und stellt sicher, dass die Benutzeroberfläche einfach und einfach zu verwenden ist. |
| Intelligence Layer – API | Die Intelligence Layer-API verbindet Clients und die Intelligence-Features des Systems über gut definierte APIs. Es ist verantwortlich für das Weiterleiten von Anfragen an den richtigen Agent- oder Orchestrierungsprozess, um sicherzustellen, dass Interaktionen zwischen Benutzern und Diensten reibungslos und konsistent sind. Diese Ebene behandelt auch den Zugriff auf Daten, legt Sicherheitsmaßnahmen fest und legt Grenzwerte fest, um zu verhindern, dass das System überlastet wird. Wenn eine App nur eine einfache Vorhersage benötigt, kann diese Ebene die komplexen Orchestrierungsschritte überspringen und die Anforderung direkt an das Rückschlussmodul senden, um eine schnelle Antwort zu erhalten. |
| Intelligence-Ebene – Orchestrierung und Agent-Compute | Die Orchestrierungs- und Agent-Computeebene ist dafür verantwortlich, zu koordinieren, wie verschiedene KI-Komponenten zusammenarbeiten, um die einzelnen Aufgaben zu erledigen. Je nachdem, was erforderlich ist, kann es Aufgaben nacheinander ausführen oder mehrere Agents gleichzeitig arbeiten lassen und dann ihre Ergebnisse zusammenführen. Es erkennt die Absicht des Benutzers, überprüft die Antworten, um sicherzustellen, dass sie sicher sind, integriert sich in die Wissensschicht, um Informationen bereitzustellen, und verwendet Werkzeuge, um alles zu kombinieren und Ihnen die beste Antwort zu geben. |
| Intelligence Layer – Konversationsmanagement | Schicht für die Konversationsverwaltung ist der Speicher- und Konversationsmanager des Systems. Sie ermöglicht es dem KI-Chat natürlich, indem er frühere Nachrichten zurückruft, laufende Themen nachverfolgt und wichtige Teile aus der Diskussion speichert, sodass Unterhaltungen auch während langer Sitzungen reibungslos ablaufen können. Außerdem wird überprüft, wie die Unterhaltungsdaten aufbewahrt oder gelöscht werden, um sicherzustellen, dass Ihre Informationen verantwortungsbewusst behandelt werden. |
| Ableitungsebene – Foundation oder Predictive Models | Die Inferenzebene ist der Bereich, in dem ein trainiertes Modell Vorhersagen trifft, Inhalte generiert oder Entscheidungen basiert auf den Informationen trifft, die es erhält. Der Prozess beginnt mit dem Laden Ihres KI-Modells, dem Vorbereiten der Daten, dem Ausführen der Vorhersagen und dem anschließenden Formatieren der Ergebnisse, sodass sie sofort (Echtzeit) oder höher verfügbar sind (Batchverarbeitung). |
| Wissensschicht | Wissensschicht ist der Ort, an dem das System die Informationen und den Kontext abruft, die es benötigt, um Fragen genau zu beantworten. Dadurch wird sichergestellt, dass sicher auf Daten zugegriffen wird, indem Berechtigungen und Autorisierung verwendet werden. Die Wissensschicht hilft KI, den RAG-Ansatz zu verfolgen, indem sie Indizes oder Vektordatenbanken durchsucht, um nur den richtigen Inhalt zu finden. Dadurch kann KI auf verschiedene interne und externe Datenquellen einheitlich zugreifen, unabhängig davon, ob es sich um MCP- oder REST-Protokolle handelt. |
| Tools-Ebene | Die Werkzeugebene ist der Bereich, in dem Geschäftsvorgänge und externe Funktionen zugänglich gemacht werden. Die Intelligence-Ebene kann diese Aktionen auslösen oder eine Verbindung mit anderen Systemen herstellen, indem Tools oder Agents auf standardisierte Weise aufgerufen werden, unabhängig davon, ob dies über MCP, A2A oder OpenAPI/REST erfolgt. Diese Funktionen werden als nutzbare Optionen dargestellt, die für die zu verwendende Intelligenzschicht bereit sind, und sie können direkt von der Workload oder von externen Diensten bearbeitet werden. |
Berücksichtigen Sie beim Entwerfen ihrer intelligenten Anwendungsauslastungsarchitektur die folgenden Designmerkmale, um fundierte Entscheidungen über den Komponentenentwurf und die Interaktionen zu treffen.
Die Intelligence-API, die Orchestrierung, die Ableitung und die Wissensebenen sind alle langlebigen Dienste, die für die Lebensdauer Ihrer Workload ausgeführt werden. Investieren Sie in Verfügbarkeit, Überwachung und operative Exzellenz für jeden Dienst.
Jede Ebene entwickelt sich in einem anderen Tempo, sodass Sie eine bewusste Bereitstellungskoordination benötigen. Die Intelligence-API entwickelt sich langsam, um stabil zu bleiben und die Abwärtskompatibilität aufrechtzuerhalten. Die Orchestrierungs- und Agentebenen werden schneller weiterentwickelt, wenn Sie neue Funktionen hinzufügen. Die Ableitungsebene wird aktualisiert, wenn Sie neue Modelle bereitstellen. Die Wissensschicht weiterentwickelt sich kontinuierlich, wenn sich Daten ändern.
Zustandslose Komponenten können bei Bedarf zugeordnet oder freigegeben werden, während zustandsbehaftete Komponenten Daten verwalten, die über Interaktionen hinweg fortbestehen.
Die Intelligence-API, die Orchestrierung und die Ableitungsebenen sind zustandslos, wodurch sie einfach skaliert werden können, indem weitere Instanzen hinzugefügt werden. Die Orchestrierungsebene kann während der Ausführung einen kurzlebigen Zustand halten, aber sie speichert ihn nicht über die Anforderungsverarbeitung hinaus. Der kurzlebige Zustand reduziert die betriebstechnische Komplexität, beschränkt aber die Möglichkeiten zur Fehlerbehebung. Daher sollte sorgfältig im Hinblick auf Wiederholungen und Idempotenz entworfen werden.
Daten von Konversationsverwaltungssitzungen können von Minuten bis zu Tagen gespeichert bleiben. Längere Sitzungen ermöglichen umfangreichere Unterhaltungen, kosten jedoch mehr und erhöhen das Datenschutzrisiko. Die Wissensschicht speichert Daten in Indizes und Datenbanken, die sich entwickeln, während Sie Informationen hinzufügen, aktualisieren oder entfernen.
Kompromiss. Entscheidungen zur Lebenszyklus- und Zustandsverwaltung wirken sich direkt auf Kosten, Zuverlässigkeit und Leistung aus. Langlebige, zustandsbehaftete Komponenten erfordern größere Investitionen in die Skalierung und Resilienz, während zustandslose, ephemerale Komponenten kostengünstiger sind, aber möglicherweise Latenz durch Kaltstarts oder das Abrufen des externen Zustands verursachen können.
Die Intelligence-API ist der einzige öffentlich zugängliche Endpunkt in der Architektur, alles andere bleibt intern. Sie können sie in mehreren Regionen bereitstellen, um Benutzer nahe an einem Endpunkt zu halten und die Resilienz zu verbessern.
Die Orchestrierungsebene befindet sich im Zentrum, arbeitet innerhalb Ihres Netzwerks und koordiniert alles, wie den Zustand der Unterhaltung, Modellaufrufe, Wissensabrufe und Toolaufrufe. Fehler hier blockieren das gesamte System, machen Sie es also hochverfügbar.
Die Ableitungsebene wird intern ohne externe Abhängigkeiten ausgeführt. Stellen Sie ihn in der Nähe des Orchestrators bereit, um die Latenz gering zu halten.
Die Wissens- und Toolsebenen sind intern, können aber von externen Systemen abhängen. Diese externen Abhängigkeiten können Verzögerungen oder Verfügbarkeitsprobleme verursachen, die sich auf die Antwortqualität auswirken.
Ihre intelligente Anwendung verfügt über zwei Skalierungsmuster. Zustandslose Ebenen wie API, Orchestrierung und Ableitungsskala durch Hinzufügen weiterer Instanzen. Datenebenen wie die Verwaltung von Gesprächen und die Skalierung von Wissen skalieren, indem Daten über mehrere Speicher hinweg mittels Mechanismen wie Lesereplikaten, Partitionierung und Sharding verteilt werden.
Die Intelligence-API wird skaliert, um weitere Anforderungen zu verarbeiten. Stellen Sie sie über mehrere Zonen oder Regionen bereit, um eine bessere Verfügbarkeit zu erzielen und benutzer in der Nähe eines Endpunkts zu halten.
Orchestrierung und Agent-Compute sitzen in der Mitte Ihres Systems, sodass Fehler hier alles blockieren. Fügen Sie weitere Instanzen hinzu, verwenden Sie den Lastenausgleich, und stellen Sie Failover bereit, damit das System weiterhin ausgeführt wird, wenn einzelne Instanzen fehlschlagen.
Die Ableitungsebene wird basierend auf den Anforderungen Ihrer Modelle skaliert. Fügen Sie weitere Instanzen mit GPUs hinzu, wenn die Nachfrage wächst. Verwenden Sie die Infrastruktur als Code (IaC), um Umgebungen während der Wiederherstellung schnell neu zu erstellen.
Die Skalierbarkeit der Gesprächsverwaltung wächst mit der Anzahl der gleichzeitigen Benutzer. Verwenden Sie Kopien und Sicherungen, um Sitzungsdaten verfügbar zu halten.
Die Wissensschicht skaliert basierend darauf, wie viele Daten Sie haben und wie oft sie abgefragt werden. Verwenden Sie effiziente Indizierung und Datenbankoptimierung, um schnelle Antworten zu gewährleisten. Richten Sie Kopien an mehreren Speicherorten für die Verfügbarkeit ein.
Jede Ebene in Ihrer intelligenten Anwendung trägt unterschiedliche Risiken und benötigt eigene Kontrollen. Tools können reale Aktionen auslösen, Wissen prägt, was Ihre KI weiß, und die Schlussfolgerungen erzeugen Ergebnisse, die Benutzer sehen. Beschränken Sie den Zugriff auf jede Ebene, überwachen Sie, was passiert, und stellen Sie sicher, dass Sie erklären können, wie Entscheidungen getroffen werden.
Die Werkzeugschicht trägt das höchste Risiko, da Aktionen reale Folgen haben können, die potenziell unumkehrbar sind. Fügen Sie bei Vorgängen mit hohem Risiko Schritte zur menschlichen Genehmigung hinzu. Verwenden Sie strenge Authentifizierung, geringstmögliche Berechtigungen und die Durchsetzung der Datenschutzbestimmungen, um nicht autorisierte Aktionen und die Gefährdung personenbezogener Daten zu verhindern. Bewerten Sie jedes Tool, bevor Sie es integrieren, damit Governance über Ihre Workloadgrenze hinausgeht.
Die Wissensschicht benötigt qualitativ hochwertige, unvoreingenommene Daten, um vertrauenswürdige Ergebnisse zu liefern. Schützen Sie den Datenzugriff mit ordnungsgemäßer Authentifizierung, Autorisierung und Einhaltung der Datenhaltungsanforderungen. Schreibschutz und Netzwerkisolation verhindern Datenkorruption. Notieren Sie, welche Quellen für jede Antwort über Überwachungspfade abgerufen wurden, mit diesem Prozess können Sie Entscheidungen erläutern und Probleme später untersuchen.
Auf die Ableitungsebene sollte nur für Operationsrollen und die Identität der Orchestrierungsebene zugegriffen werden kann. Überwachen Sie die Ausgaben über einen Validierungsdienst, der auf Toxizität und andere Sicherheitsprobleme prüft. Überprüfen Sie Modelle vor der Bereitstellung, um Verzerrungen abzufangen, und halten Sie Rollbackmechanismen bereit, wenn Probleme in der Produktion auftreten.
Diese Basisbeispiele dienen als empfohlene Architektur für KI-Workloads.
Verwenden Sie diese Architektur als Referenz zum Erstellen und Bereitstellen von sicheren, skalierbaren Konversations-KI-Lösungen auf Azure unter Verwendung von Foundry, Azure OpenAI und anderen verwandten Diensten. Es betont private Netzwerke, Zonenredundanz und strenge Sicherheitskontrollen, um die Compliance und Unternehmensbereitschaft sicherzustellen.
Diese Architektur basiert auf dem Design Microsoft Foundry Chat und platziert sie in einer sicheren Azure Zielzone. Es vereint wichtige Komponenten – Foundry Agent Service, Azure OpenAI und App Service – in einer privaten, netzwerkisolten Umgebung. Alle Dienste verbinden sich über private Endpunkte und sind durch Azure Firewall geschützt, mit Zonenredundanz für hohe Verfügbarkeit.
Verwenden Sie diese Architektur als Referenz beim Entwerfen einer einheitlichen Datenplattform, die den vollständigen Analyselebenszyklus optimiert.
Überprüfen Sie die bewährten Methoden zum Entwerfen intelligenter Anwendungsszenarien.
