Monitorare i costi del gateway di intelligenza artificiale unity

Osservare e analizzare i costi per tutto il traffico del gateway di intelligenza artificiale Unity in base al servizio modello, al modello di destinazione e all'entità richiesta.

Requirements

• Unity AI Gateway abilitato per il tuo account.
• Un'area di lavoro Azure Databricks in un'area Unity AI Gateway supportata.
• La tabella di sistema per l'utilizzo fatturabile è abilitata per il tuo account. Vedere Abilitare le tabelle di sistema.

Attribuzione

Unity AI Gateway fornisce l'attribuzione dei costi tramite la tabella del sistema di utilizzo fatturabile (system.billing.usage).

Unity AI Gateway arricchisce i MODEL_SERVING record di fatturazione in system.billing.usage con metadati specifici del servizio, in modo da poter attribuire il costo di Azure Databricks ai servizi associati, ai modelli di destinazione, alle identità e ai tag di servizio. Per le definizioni complete dello schema e dei campi, vedere le informazioni di riferimento sulla tabella del sistema di utilizzo della fatturazione.

La tabella del sistema per l'utilizzo fatturabile include l'attribuzione dei costi per i modelli ospitati in Azure Databricks. Per la spesa del modello esterno, vedere Modelli esterni.

Per le richieste gestite tramite un servizio di modelli Unity AI Gateway, Azure Databricks compila i campi seguenti nei record MODEL_SERVING in system.billing.usage:

Unity AI Gateway popola questi campi per le richieste di inferenza in tempo reale e batch indirizzate attraverso di esso.

Modelli esterni

Per le richieste instradate verso modelli esterni tramite servizi del provider di modelli in Unity Catalog, Azure Databricks calcola la spesa stimata in USD per ogni richiesta in base all'utilizzo dei token e ai prezzi pubblicati dal provider esterno. La spesa viene aggregata ogni ora e registrata nella tabella di system.ai_gateway.external_model_spend sistema. Usare questa tabella per analizzare la spesa esterna del modello in base al servizio provider di modelli, al modello di destinazione e all'entità richiesta.

Schema di spesa del modello esterno

La system.ai_gateway.external_model_spend tabella presenta lo schema seguente:

Observability

Il dashboard di utilizzo predefinito include una pagina analisi dei costi per il monitoraggio dei costi e l'analisi dei dettagli dei costi nel tempo. È possibile analizzare i costi in più dimensioni, tra cui:

• Servizio modello
• Modello di destinazione
• Utente o entità servizio richiedente

Oltre al costo di Azure Databricks, la dashboard include i costi del modello esterno dalla tabella system.ai_gateway.external_model_spend.

Per aprire il dashboard, fare clic su Govern in alto a destra nella pagina Unity AI Gateway, quindi fare clic su Usage Dashboard. Per informazioni dettagliate sull'importazione e l'aggiornamento del dashboard, vedere Dashboard di utilizzo predefinito.

Analisi dei costi

Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.

Modelli ospitati da Databricks

Le query seguenti analizzano i costi dei modelli ospitati in Azure Databricks in system.billing.usage. I costi possono essere suddivisi in base al servizio modello, al modello di destinazione e all'entità.

Per servizio modello

SELECT
  usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;

Per modello di destinazione

SELECT
  usage_metadata.ai_gateway.destination_model AS destination_model,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;

Per utente o entità di servizio

SELECT
  identity_metadata.run_by AS run_by,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND identity_metadata.run_by IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;

Modelli esterni

Le query seguenti analizzano la spesa per modelli esterni in system.ai_gateway.external_model_spend. La spesa può essere suddivisa in base al servizio provider di modelli, al modello di destinazione e ai tag di richiesta.

Per servizio del provider di modelli

SELECT
  usage_metadata.endpoint_name AS model_provider_service,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY model_provider_service
ORDER BY usd DESC;

Per modello di destinazione

SELECT
  usage_metadata.model AS destination_model,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY usd DESC;

Per utente o entità di servizio

SELECT
  identity_metadata.run_by AS run_by,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY usd DESC;

Per tag di richiesta

Per aggiungere tag di richiesta alle query, consulta Aggiungere tag alle richieste per il monitoraggio dell'utilizzo.

SELECT
  custom_tags.request_tags['team'] AS team,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY team
ORDER BY usd DESC;

Limitations

• L'attribuzione dei costi per i modelli ospitati in Azure Databricks si applica ai record MODEL_SERVING in system.billing.usage.
• Per i servizi del modello con più destinazioni, ad esempio la suddivisione del traffico o il fallback, ai_gateway.destination_model e ai_gateway.destination_id identificano la destinazione che ha infine gestito la richiesta.
• La spesa per modelli esterni è supportata solo per i servizi del provider di modelli in Unity Catalog.