Transformieren von Daten mithilfe von Filtern und Teilen in Microsoft Sentinel

Da das Volumen von Sicherheitsdaten weiter wächst, stehen Organisationen vor der Herausforderung, die kosteneffektive Aufbewahrung von Telemetriedaten, die für KI, Compliance und Untersuchungen verwendet werden, auszugleichen und gleichzeitig sicherzustellen, dass nur erforderliche Daten in Hochleistungsspeicherebenen aufbewahrt werden. Verwenden Sie in Microsoft Sentinel die Datentransformationen „Filtern“ und „Teilen“, um diese Herausforderung zu bewältigen, indem Sie Daten bei der Erfassung ändern, um Ihre Datenaufbewahrungsstrategie zu optimieren.

In diesem Artikel wird beschrieben, wie Sie Filter- und Aufteilen von Datentransformationen konfigurieren, ohne dass sie manuell benutzerdefinierte Konfigurationen für die Datensammlungsregel (Data Collection Rule, DCR) erstellen müssen. Durch die gezielte Anpassung der Datenaufnahme verbessern Filter- und Aufteilungstransformationen die Leistung und reduzieren Störsignale.

Mithilfe von Datentransformationen können Sie Ihre Sicherheitsdatenpipeline optimieren, indem Sie steuern, welche Daten auf welcher Ebene gespeichert werden. Die Verwendung von Filter- und Split-Transformationen bietet die folgenden Vorteile:

• Kostenoptimierung: Reduzieren Sie die Speicher- und Verarbeitungskosten, indem Sie Daten mit geringem Wert herausfiltern, die nicht zur Bedrohungserkennung beitragen. Verschieben Sie seltener genutzte Daten in den kostengünstigen Data-Lake-Speicher, während Daten mit hoher Priorität in der Analytics-Ebene verbleiben.

• Verbesserte SOC-Effizienz: Konzentrieren Sie Ihr Security Operations Center (SOC) auf umsetzbare, hochwertige Ereignisse. Durch das Entfernen von Rauschen während der Erfassungszeit verbringen Analysten weniger Zeit damit, irrelevante Protokolle zu durchsuchen, und mehr Zeit mit der Untersuchung realer Bedrohungen.

• Schnellere Abfrageleistung: Kleinere Datasets auf der Analyseebene führen zu schnelleren Abfrageausführungszeiten, wodurch Ihre Bedrohungssuche, Vorfalluntersuchungen und Analyseregeln reaktionsfähiger werden.

• Compliance- und Aufbewahrungsflexibilität: Verwalten Sie eine umfassende Datenaufbewahrung für behördliche Überwachungen und forensische Analysen auf der Data Lake-Ebene, während Sie die Analytics-Ebene für operative Workloads optimieren. Die Beibehaltung einer umfassenden Aufbewahrung in der Data-Lake-Ebene bei gleichzeitiger Optimierung der Analytics-Ebene erfüllt die Compliance-Anforderungen, ohne die Leistung zu beeinträchtigen.

• Skalierbare Datenverwaltung: Wenn die Datenvolumen Ihrer organization wachsen, helfen Ihnen Transformationen dabei, die Kontrolle über Kosten und Leistung zu behalten. Wenden Sie tabellenübergreifend konsistente Richtlinien an, um eine vorhersagbare Datenverwaltung sicherzustellen.

Filter- und Splittransformationen sind die ersten Schritte in einem größeren Transformationsframework, mit dem Sie Ihre Daten entsprechend Ihren Anforderungen weiterentwickeln können. Weitere Informationen zu Konzepten der Datentransformation finden Sie unter Benutzerdefinierte Datenerfassung und -transformation in Microsoft Sentinel.

Voraussetzungen

Überprüfen Sie vor dem Konfigurieren von Filter- oder Splittransformationsregeln die folgenden Anforderungen:

• Ihr Microsoft Sentinel Arbeitsbereich muss im Defender-Portal integriert werden. Weitere Informationen finden Sie unter Verbinden von Microsoft Sentinel mit dem Microsoft Defender-Portal.

• Im Microsoft Defender-Portal mit einheitlicher rollenbasierter Zugriffssteuerung (RBAC), Daten (Verwalten)-Berechtigungen unter der Berechtigungsgruppe Datenvorgänge.

• Für den Microsoft Sentinel Arbeitsbereich benötigen Sie die folgenden Berechtigungen:

• Rolle "Log Analytics-Mitwirkender ", um Folgendes bereitzustellen:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write-Berechtigungen für den Log Analytics-Arbeitsbereich.

Unterstützte Tabellen

Für Filter- und Splittransformationen gelten unterschiedliche Anforderungen für die Tabellenunterstützung:

• Filterung: Wird für alle Tabellen unterstützt, die Datensammlungsregeln (Data Collection Rules, DCRs) unterstützen.
• Aufteilung: Wird von jeder Tabelle unterstützt, die ausschließlich Analytics-Erfassung, ausschließlich Data Lake-Erfassung und Datensammlungsregeln (Data Collection Rules, DCRs) unterstützt.

Um zu überprüfen, ob die Tabellen eines Connectors DCRs unterstützen, finden Sie unter Ihren Microsoft Sentinel-Datenconnector finden.

Filtertransformationen

Mit Filtertransformationen können Sie Rauschen reduzieren, indem Daten während der Erfassung verworfen werden, die für Untersuchungen nicht nützlich sind. Verwenden Sie eine Filtertransformationsregel, um eine KQL-Bedingung anzugeben, die bestimmt, welche Daten herausgefiltert werden sollen, wobei die restlichen Daten an die Analytics-Ebene gesendet werden.

Verwenden Sie Filtertransformationen, wenn Sie Folgendes benötigen:

• Rauschen reduzieren: Konzentrieren Sie sich in Ihrem SOC auf maßnahmenrelevante Ereignisse, indem Sie routinemäßige Logeinträge mit niedrigem Schweregrad herausfiltern, z. B. „Allow“-Ereignisse aus Firewall-Protokollen.
• Optimieren der Kosten: Senken Sie die Speicher- und Verarbeitungskosten, indem Sie Daten verwerfen, die nicht zur Bedrohungserkennung beitragen.
• Verbessern der Leistung: Beschleunigen Sie Abfragen, und optimieren Sie analysen, indem Sie die Menge der gespeicherten Daten reduzieren.

Betrachten Sie das folgende Beispiel für eine Filtertransformation:

Ihr Unternehmen nutzt Firewallprotokolle, um Anomalien zu identifizieren. Die meisten Firewallprotokolle sind routinemäßige "Zulassen"-Ereignisse mit niedrigem Schweregrad, die nicht zur Bedrohungserkennung beitragen. Um nur kritische Ereignisse wie blockierten Datenverkehr oder Ereignisse mit hohem Schweregrad beizubehalten und wenig aussagekräftige Protokolle herauszufiltern, erstellen Sie eine Regel für die Filtertransformation mit einer KQL-Bedingung, um nur Daten mit mittlerem oder hohem Schweregrad, bei denen es sich nicht um "allow"-Ereignisse handelt, an den Analytics-Tarif zu senden.

Transformationen aufteilen

Split-Transformationen ermöglichen es Ihnen, Daten basierend auf angegebenen Bedingungen zwischen der Analytics-Ebene und der Data Lake-Ebene weiterzuleiten. Verwenden Sie eine Split-Transformationsregel, um einen KQL-Ausdruck zu definieren, der bestimmt, welche Daten in Analytics landen. Daten, die nicht mit dem Ausdruck übereinstimmen, werden nur an die Data Lake-Ebene weitergeleitet.

Verwenden Sie Geteilte Transformationen, wenn Sie Kosten und Leistung ausgleichen müssen, indem Sie Daten an die entsprechende Speicherebene weiterleiten:

• Optimieren der Speicherkosten: Leiten Sie ältere oder weniger häufig verwendete Protokolle an die Data Lake-Ebene weiter, um eine kostengünstige langfristige Speicherung zu erzielen.
• Leistung aufrechterhalten: Behalten Sie aktuelle Protokolle in der Analytics-Ebene, um sie während der aktiven Bedrohungssuche schneller abzufragen.
• Complianceanforderungen erfüllen: Bewahren Sie Verlaufsprotokolle für behördliche Überwachungen und forensische Analysen auf, ohne Einbußen bei der betrieblichen Agilität zu erzielen.

Betrachten Sie das folgende Beispiel für eine Geteilte Transformation:

Ihr Unternehmen erfasst täglich Millionen von Firewallprotokolleinträgen zur Bedrohungserkennung und Compliance. Ihr SOC-Team benötigt Echtzeitzugriff auf aktuelle Protokolle für aktive Untersuchungen, muss aber auch Verlaufsprotokolle für behördliche Überprüfungen aufbewahren. Erstellen Sie eine Regel für eine Aufteilungstransformation, um Echtzeitdaten an die Analytics-Ebene und historische Daten an die Data-Lake-Ebene weiterzuleiten.

Konfigurieren von Filtertransformationsregeln

Führen Sie die folgenden Schritte aus, um eine Filtertransformationsregel zu erstellen:

1. Navigieren Sie im Microsoft Defender-Portal zu Microsoft Sentinel>Konfigurationstabellen>.

2. Wählen Sie eine Tabelle aus. Wählen Sie im Seitenbereich Filterregel aus.

   

3. Geben Sie im Seitenbereich einen Regelnamen ein.

4. Geben Sie im Feld Bedingung einen KQL-Ausdruck ein, der angibt, welche Daten heraus gefiltert werden sollen. Der KQL-Ausdruck sollte für Daten, die Sie nicht erfassen möchten, als true ausgewertet werden.

5. Stellen Sie den Schalter „Regelstatus“ auf Ein, um den Filter zu aktivieren.

   Wichtig

   Filter filtern Daten heraus. Daten, die der Filterbedingung entsprechen, werden verworfen und weder in die Analytics- noch in die Data-Lake-Ebenen ingestiert. Stellen Sie sicher, dass Ihr KQL-Ausdruck die Daten, die Sie ausschließen möchten, genau erfasst.

6. Um eine weitere Bedingung hinzuzufügen, wählen Sie Bedingung hinzufügen aus, und geben Sie einen neuen KQL-Ausdruck ein, um Daten herauszufiltern. Mehrere Bedingungen werden mit einem logischen OR kombiniert, sodass Daten herausgefiltert werden, die einer der Bedingungen entsprechen.

7. Wählen Sie Speichern aus, um die Regel anzuwenden.

8. Überprüfen Sie, ob die Filterregel angewendet wird, indem Sie die Spalte Transformationsregeln für die Tabelle überprüfen. Die Spalte zeigt Filter an, wenn eine Filterregel aktiv ist.

   

Konfigurieren einer Geteilten Transformationsregel

Führen Sie die folgenden Schritte aus, um eine Regel für eine geteilte Transformation zu erstellen:

1. Navigieren Sie im Defender-Portal zu Microsoft Sentinel>Konfigurationstabellen>.

2. Wählen Sie eine Tabelle aus, und wählen Sie dann Teilungsregel aus.

3. Geben Sie im Seitenbereich einen Regelnamen ein.

4. Geben Sie im Feld KQL-Ausdruck den KQL-Ausdruck ein, der definiert, welche Daten auf der Analytics-Ebene erfasst werden sollen. Daten, die nicht mit diesem Ausdruck übereinstimmen, werden in die Data-Lake-Ebene aufgenommen.

5. Wählen Sie Speichern aus, um die Regel anzuwenden.

6. Überprüfen Sie, ob die Teilungsregel angewendet wird, indem Sie die Spalte Transformationsregeln für die Tabelle überprüfen. Die Spalte zeigt Split an, wenn eine Teilungsregel aktiv ist.

Konfigurieren der Aufbewahrung für geteilte Tabellen

Konfigurieren Sie nach dem Erstellen einer Teilungsregel die Aufbewahrungseinstellungen für jede Ebene:

1. Unter der ursprünglichen Tabelle sehen Sie die resultierenden aufgeteilten Analytics- und Data lake-Tabellen.

2. Wählen Sie zum Konfigurieren der Aufbewahrung die Tabelle Analytics oder Data Lake aus.

3. Wählen Sie Datenaufbewahrungseinstellungen aus.

4. Konfigurieren Sie den Aufbewahrungszeitraum, und speichern Sie sie.

Alternativ können Sie die ursprüngliche Tabelle auswählen und sowohl Analytics als auch Data Lake-Aufbewahrung über das kombinierte Dialogfeld Datenaufbewahrungseinstellungen konfigurieren.

Verwalten von Regeln

Um vorhandene Regeln zu verwalten, wählen Sie die Tabelle aus, und wählen Sie dann je nach regeltyp, den Sie verwalten möchten, entweder Regel aufteilen oder Filterregel aus.

• Um eine Regel zu deaktivieren, wählen Sie die Option Regel status aus, um die Regel zu deaktivieren, und wählen Sie dann Speichern aus.
• Um eine Regel zu löschen, wählen Sie "Löschen" aus. Das Löschen einer Transformationsregel beendet die Datenverarbeitung für diese Regel sofort und kann sich auf die aktive Datenaufnahme auswirken.

Überprüfen Sie Regeln, indem Sie KQL-Abfragen ausführen, um zu bestätigen, dass die Daten ordnungsgemäß erfasst und an die richtige Ebene weitergeleitet werden.

Bekannte Einschränkungen

Beachten Sie die folgenden Einschränkungen bei der Verwendung von Filter- und Split-Transformationen:

• XDR-Tabellensichtbarkeit: Split- und Filtertransformationen, die auf XDR-Tabellen angewendet werden, werden in den ersten 30 Tagen der Daten nicht in der erweiterten Suche angezeigt. Die Transformationen werden angewendet, und sobald daten älter als die ersten 30 Tage sind, verhalten sie sich in der erweiterten Suche normal. Daten, die von Log Analytics oder Microsoft Sentinel abgefragt werden, spiegeln die Kosteneinsparungen sofort wider.

• Weitergabeverzögerung: Transformationen können bis zu einer Stunde dauern, bis sie wirksam werden.

• Tabellenunterstützung: Nur Tabellen, die Datensammlungsregeln (Data Collection Rules, DCRs) unterstützen, unterstützen auch Aufteilungs- und Filtertransformationen.

Verwandte Inhalte

• Benutzerdefinierte Datenerfassung und -transformation in Microsoft Sentinel
• Daten bei der Erfassung in Microsoft Sentinel transformieren oder anpassen
• Datensammlungsregeln in Azure Monitor
• Beispielregeln für die Datensammlung in Azure Monitor
• Finden Sie Ihren Microsoft Sentinel-Datenconnector