Keskusteluagenttien analysointi

Copilot Studion Analytics -sivu tarjoaa koostetun kuvan agenttisi yleisestä tehokkuudesta analytiikkaistuntojen välillä. Sivu on jaettu pääalueisiin, joilla keskitytään erilaisiin suorituskykyä koskeviin konteksteihin. Sivulla on myös Yleiskatsaus-alue, joka sisältää korkean tason tunnuslukuja (KPI-lukuja) agenttia varten, Säästöt-alue, jolla analysoidaan agentin ja agentin työkalujen tuomat aika- ja kustannussäästöt, sekä Yhteenveto-alue, joka sisältää tärkeitä merkityksellisiä analyysitietoja agentin suorituskyvystä.

On neljä ydinosaa, joihin kannattaa keskittyä, kun tarkastellaan keskusteluagenttien tehokkuutta ja parannetaan sitä.

• Yhteenveto-, Yleiskatsaus- ja Säästöt-osiossa näkyvät tärkeimmät analytiikan merkitykselliset tiedot asiakaspalvelimista sekä laskutus- ja kustannussäästötilastot. Lisätietoja kustakin alaosiosta on kohdassa Yhteenveto, Yleiskatsaus ja Säästöt.
• Mukautetut mittarit -osion avulla voit määrittää liiketoimintakohtaisia mittareita agentteihisi käyttötapauksissa.
• Tehokkuus-osiossa voit arvioida käyttäjäkokemusten laatua näyttämällä, missä keskustelut onnistuvat, missä ne hajoavat ja miten käyttäjät tuntevat tuloksia.
• Käytä-osion avulla voit parantaa toiminnallista suorituskykyä näyttämällä, miten hyvin agenttisi vastaa kysymyksiin, miten luotettavasti työkalut ja tietolähteet tukevat näitä vastauksia ja missä kohdennetut päivitykset voivat lisätä kattavuutta ja johdonmukaisuutta.

Voit tarkastella viimeisen 360 päivän aikana tapahtuneiden tapahtumien analyysia.

Mukautetut mittarit

Mukautetut mittarit -osion avulla voit määrittää enintään kolme liiketoimintakohtaista mittausarvoa luonnollisella kielellä ja seurata, kuinka usein kukin tulos näkyy malliistuntojen aikana. Näiden mittareiden avulla voit täydentää vakioanalytiikan merkityksellisiä tietojasi agentin tavoitteita ja liiketoimintakäyttöä vastaavilla indikaattorilla. Jos haluat oppia luomaan, testaamaan ja tarkentamaan mukautettuja mittareita, katso Analysoi agenttisi mukautettujen mittareiden avulla.

Tehokkuutta

Tehokkuus-osiossa näkyy istunnon reaktioista, agenttivastauksista, kyselyn tuloksista ja asennepisteistä kerätty palaute. Tehokkuus jakautuu useisiin alaosioihin:

• Keskustelun tulokset: Keskustelun lopputuloksen tietäminen auttaa sinua tunnistamaan, missä agenttisi onnistuu ja missä se tarvitsee parannusta.
• Reaktiot: Käyttäjän vastaukset, mukaan lukien peukalo ylös/peukalo alas -palaute ja käyttäjän kommentit agenttivastauksia varten.
• Asiakastyytyväisyys: Asiakastyytyväisyyden (CSAT) pistemäärä.
• Asenne (esiversio): Tekoälypohjainen asenneanalyysi koko istunnolle.
• Agentit: Katso kutsun volyymitiedot, onnistumisprosentit ja nykyinen tila aliagenteille ja yhdistetyille agenteille.

Palautteen tiedot tallennetaan keskustelutallenteen taulukkoon Dataversessa. Tätä ominaisuutta tukevien kanavien luettelo löytyy kohdasta Ominaisuuden tiedot.

Keskustelun tulokset

Keskustelun tulokset -osassa on kaavio, jonka avulla seurataan agentin ja käyttäjien välisten istuntojen tulostyyppiä.

Kaavio, joka voidaan näyttää pinottuna histogrammina tai pinottuna aluekaaviona, visualisoi tulosten suhteelliset määrätä värikoodattuina ja tyypin mukaan pinottuina. Kukin ratkaistu, eskaloitu, hylätty ja ei osallistuttu ilmaistaan kunkin tietopisteen osalta omalla värillä. Y-akseli ilmaisee istuntojen määrän.

Tiettyä arvopistettä (tiettyä päivää) koskevat yksittäiset tulokset saadaan näkyviin pitämällä osoitinta toivotun tuloksen värisellä alueella (esimerkiksi sinivihreä, jos kyseessä on hylätty) toivottuna päivänä.

Lataa keskustelun tuloksen tiedot (kaaviossa visualisoidut tiedot) valitsemalla valikkokuvake ja valitsemalla Lataa CSV.

Keskustelun tuloksia koskevat tarkat tiedot sisältävä sivupaneeli avataan valitsemalla kaaviossa Näytä tiedot. Keskustelun tulokset -sivupaneelin sisältö:

• Istunnon tulosten ympyräkaavion erittely, jossa näkyy ratkaistujen, eskaloitujen ja hylättyjen tulosten suhteellinen painotus (joka ilmaistaan prosenttiosuutena).
• Pinotussa pylväskaaviossa näkyy vahvistetun ratkaisun ja oletetun ratkaisun tuloksen syiden suhteellisen painotuksen (prosenttiosuutena ilmaistuna), jotka kuvaavat kaikkia ratkaistuja istuntotuloksia.
• Pinotussa palkkikaaviossa näkyy järjestelmän tarkoittaman, järjestelmän tarkoittamattoman ja käyttäjän pyytämän tuloksen syiden suhteellinen painotus (prosenttiosuutena ilmaistuna), jotka kuvaavat kaikkia eskaloituja istuntotuloksia.
• Tärkeimmät kuhunkin tulokseen johtaneet aiheet.

Istunto kuuluu jompaankumpaan seuraavista kahdesta tilasta:

• Ei osallistuttu: Istunto alkaa, kun käyttäjä on vuorovaikutuksessa agentin kanssa tai agentti lähettää käyttäjälle viestin ennakoivasti. Istunto alkaa Ei osallistuttu-tilassa.

• Varattu: Käyttäjä on aktiivisesti vuorovaikutuksessa agentin kanssa. Toimintatavassa on eroa agentin orkestrointitilan perusteella.

  • Perinteinen orkestrointi: Istunto käynnistyy, kun jokin seuraavista aiheista käynnistetään:

    • Mukautettu aihe, jonka käyttäjä käynnistää suoraan
    • aiheen eskalointi
    • Vara-aihe
    • keskustelua tehostava aihe.

  • Generatiivinen tekoälyn orkestrointi: Istunnosta tulee aktiivinen, kun käyttäjä käynnistää suunnitelman suoraan ja sisällyttää jonkin seuraavista elementeistä:

    • Ei-järjestelmäaihe
    • aiheen eskalointi
    • Vara-aihe
    • Tietolähde
    • Työkalu

Osallistuttu-tilassa olevan istunnon tulos on jokin seuraavista:

Voit myös määrittää työkalujen tuloksen parametrin conversationOutcome avulla työkalukoodieditorin avulla. Esimerkki conversationOutcome: ResolvedConfirmed vahvistetusta onnistumisesta tai conversationOutcome: ResolvedImplied epäsuorasta onnistumisesta.

Katso ohjeistus sitoutumisen mittaamisesta saadaksesi ehdotuksia ja parhaita käytäntöjä sitoutumisen mittaamiseen ja parantamiseen.

Reaktiot

Reaktiot-osiossa näytetään palautetta, joka on kerätty reaktioista agenttivastauksiin. Kaaviossa lasketaan, miten monta kertaa käyttäjät valitsivat Peukku ylös (positiivinen)- ja Peukku alas (negatiivinen) -painikkeet, jotka ovat saatavilla kaikissa agentilta saaduissa vastauksissa.

Reaktiot-ominaisuus on oletusarvoisesti käytössä . Voit halutessasi poistaa tämän ominaisuuden käytöstä. Voit myös lisätä käyttäjille ilmoituksen palautteen käytöstä tai muokata sitä seuraavasti:

1. Avaa agentti, valitse sitten asetukset ja etsi Käyttäjäpalaute-osa.

2. Ota Käyttäjien reaktioiden kerääminen agenttiviesteihinkäyttöön tai poista ne käytöstä.

3. Lisää ilmoitus tai muokkaa sitä, jotta käyttäjät tietävät, miten heidän palautettaan käytetään. Voit myös antaa tietosuojatietoja ja vinkkejä.

Käyttäjät, joilla on Bot Transcript Viewer -oikeus, voivat porautua yksittäisten reaktioiden agentin vastauksiin ja suodattaa käyttäjien kommenttien mukaan.

Reaktiotrendien tarkasteleminen ajan kuluessa

Avaa Reaktiot-sivupaneeli valitsemalla Reaktiot-ruudustaNäytä tiedot. Paneelista näet, miten positiiviset ja negatiiviset reaktiot ( peukalo ylös- ja peukalo alas) -trendit ajan mittaan.

Asiakastyytyväisyys

Asiakastyytyväisyys-osiossa näkyy käyttäjätyytyväisyyttä koskevia tietoja käyttäjäkyselyn tulosten perusteella:

• Tyytyväisyyspisteet: Tuloksesi/ 5 laskettuna asiakastyytyväisyyden (CSAT) keskiarvosta istunnoissa, joissa käyttäjät vastasivat istunnon loppupyyntöihin kyselyn ottamiseksi.

  Note

  Pistemäärät 1 ja 2 saavat arvon Tyytymätön, pistemäärä 3 arvon Neutraali ja pistemäärät 4 ja 5 arvon Tyytyväinen.

• Tyytyväisyys istunnoittain: Pinottu pylväskaavio, joka visualisoi kunkin kyselyn pistekategorian suhteellisen painotuksen, eli Dissatisfied, Neutral, ja Satisfied. Vie hiiri jokaisen kaavion osan päälle nähdäksesi otoksen koon ja kunkin pistekategorian painotuksen numeerisen arvon. Jos käyttäjällä on Botin tallennuksen katselu -oikeus, voit porautua alaspäin asiakasistuntojen luetteloon, joka suodatetaan valitun palkkisegmentin osan perusteella.

Valitse Näytä tiedot , jos haluat tarkastella tyytyväisyyspisteytyksen trendiä valitulla ajanjaksolla.

Asenne (esikatselu)

[Tämä osa sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Asenneanalyysi analysoi tekoälyn avulla käyttäjäviestejä istuntomallista ja arvioi agentin yleisen käyttäjätunnuksen. Numeerinen arvo kuvaa sessioiden osuutta, jossa käyttäjien mielipiteet ovat negatiivisia.

Valitse Näytä tiedot , jos haluat tarkastella asennetietojen tietoja kunkin asenneluokan suhteellisesta painotuksesta (ovat Positive, Neutralja Negative).

Voit ottaa käyttöön ja poistaa käytöstä agenttisi asenneanalyysin kohdassa Asetukset. Kun asenneanalyysi on poistettu käytöstä, käyttäjien asennetta ei analysoida istuntojen aikana.

1. Siirry kohtaan Asetukset ja valitse Lisäasetukset.

2. Ota Asenneanalyysi käyttöön tai poista se käytöstä.

   

Agentit

Agentit-luettelossa on pääagentin yhdistettyjen agenttien ja aliagenttien korkean tason määrä, suorituskyky ja tilamittari. Luettelossa määritetään suhteen tyyppi, joka luettelossa olevalla agentilla on pääagenttiin Tyyppi-sarakkeessa. Jos agentti on aliagentti, sen tyyppi on Child. Yhdistetyillä agenteilla on luettelotyyppi, joka kuvastaa luontipaikastaan (esimerkiksi Copilot Studio, Azure AI Foundry). Kunkin luettelossa olevan agentin Puhelut-mittari kuvaa pääagentilta yhdistetylle agentille tai aliagentille siirtyvien puheluiden määrää. Onnistumisprosentti kuvaa onnistuneiden puheluiden osuutta (prosenttiosuutena kaikista puheluista). Tila ilmaisee jokaisen yhdistetyn agentin ja aliagentin yksittäisen järjestelmänvalvojan tilan.

Oletusarvoisesti Agentit-luettelossa näkyvät pääagentin viisi (5) yleisintä yhdistettyä agenttia ja aliagenttia kysymysten määrän mukaan järjestettyinä suurimmasta pienimpään. Jos agentteja on enemmän kuin viisi, näet kaikki agentit valitsemalla Näytä kaikki -kohdan.

Käytä

Käytä-osion avulla ymmärrät, miten käyttäjät käyttävät agenttiasi ja missä voit parantaa vastausten luotettavuutta. Käyttö on jaettu useisiin aliosioihin:

• Teemat: Teemojen avulla voit saada analytiikan merkityksellisiä tietoja klusteroinmalla käyttäjien kysymyksiä tekoälyn ehdottamiin luokkiin.
• Luotu vastausaste ja laatu: Kun ymmärrät, milloin agentti yrittää antaa vastauksia käyttäjien kysymyksiin, ja miten se käyttää tietolähteitä, voit löytää tapoja parantaa agenttisi vastausastetta ja laatua.
• Työkalun käyttö: Kun opit, kuinka usein työkaluja käytetään ja kuinka usein ne onnistuvat, voit auttaa ymmärtämään, ovatko työkalut hyödyllisiä ja onnistuneita käyttäjille.
• Tietolähteen käyttö: Kun opit, kuinka usein yksittäisiä tietolähteitä käytetään ja kuinka usein ne palauttavat virheitä, voit parantaa agenttisi vastausten laatua ja kattavuutta.

Generoitu vastausprosentti ja laatu

Generatiivisten vastausten avulla agentti voi käyttää tekoälyä käyttäjien kyselyihin vastatessaan. Tätä varten käytössä ovat määritetyt tietolähteet ja ohjeet. Agenttisi ei kuitenkaan välttämättä pysty vastaamaan kaikkiin käyttäjän kyselyihin. Luotujen vastausten määrä ja laatu -osiossa seurataan, järjestetään ja analysoidaan vastaamattomia kyselyitä ja vastauksen laatua, jotta saat ohjeita agenttisi vastaustehon parantamiseen.

Vastausprosentti näyttää vastattujen ja vastaamattomien kysymysten määrän valitulla ajanjaksolla ja prosenttimuutoksen ajan kuluessa.

Vastauksen laatu mittaa vastausten laatua tekoälyn avulla. Copilot Studio tarkastelee vastatun kysymyksen mallijoukkoa ja analysoi sen eri laatua, kuten täydellisyyttä, osuvuutta ja vastauksen pohjautuvuutta. Jos vastaus vastaa määritettyä standardia, Copilot Studio luokittelee vastauksen hyväksi laaduksi. Copilot Studio merkitsee vastaukset, jotka eivät täytä normeja, huonoksi laaduksi. Huonojen vastausten kohdalla Copilot Studio määrittää laadun luokituksen syyn ja näyttää kullekin luokalle määritettyjen vastausten prosenttiosuuden.

Joko Hyvä- tai Huono-laatuselitteen yksittäisen syyn suhteellinen painotus saadaan näkyviin pitämällä osoitinta jonkin kaavion pylvään segmentin päällä. Työkaluvihje ilmaisee myös otoksen saapuvien vastausten määrän lasketulla prosenttiarvolla.

Kun osoitat kaavion alapuolella olevan selitteen laatusyyn kohdalle, kyseinen syy korostuu kaaviossa.

Valitse palkkikaavion segmentti, jolloin avautuu sivu käyttäjän kysymyksistä , jotka on suodatettu kyseisen vastauksen laadun mukaan. Valitse Näytä kysymykset , jos haluat nähdä suodattamattoman luettelon kaikista kysymyksistä määritetyn ajanjakson aikana.

Työkalujen käyttö

Työkalun käyttö -osiossa näytetään kaavio ja mittausarvot, jotka seuraavat, kuinka usein työkalut käynnistetään ajan kuluessa ja kuinka usein agenttisi käytti näitä työkaluja onnistuneesti. Osa sisältää myös trendi-ilmaisimia, jotka osoittavat, miten usein agentti käyttää kutakin työkalua sekä kutsuttujen työkalujen onnistuneen käytön prosenttiosuuden.

Kaaviossa näkyvät viisi parasta työkalua, joita on käytetty analytiikkasivun yläreunassa määritetyn päivämäärän aikana.

Kun osoitinta pidetään kaavion alapuolella olevassa selitteessä työkalujen päällä, kyseinen työkalu korostuu kaaviossa

Jos haluat avata kaikkien määritetyllä ajanjaksolla käytettyjen työkalujen luettelon ja trendi-ilmaisimet sisältävän sivupaneelin, valitse kaaviossa Näytä tiedot. Työkalun käyttö -paneelissa näkyvät kysymysten prosenttiosuuksien laskelmat kunkin työkalun osalta. Jos agentilla on aliagentteja, voit määrittää näytettäväksi sekä pää- että aliagenttien laskelmat (Kaikki) tai vain pää- tai aliagentin laskelmat.

Tietolähteiden käyttö

Tietolähteen käyttö -osiossa on tietoja siitä, miten agenttisi käyttää tietolähteitään ja kuinka usein nämä lähteet palauttavat virheitä. Täydelliset tiedot käytettävissä olevista mittareista, suodatuksesta ja porautumistoiminnoista ovat ohjeartikkelissa Tietolähteen käyttö.