Automaattiset evaluoinnit pisteyttävät jokaisen vastauksen teidän omilla mittareillanne. Guardrail-testaus varmistaa, ettei agentti vuoda tietoja tai taivu väärinkäyttöön.
Vastausten laatu pisteytetään liiketoimintanne mittareilla – ei pelkällä tuntumalla tai satunnaisotannalla.
Kaikki evalit ja testit kirjautuvat samaan mittaristoon. Näette, kuinka paljon agentti on käsitellyt pyyntöjä, mitä niiden aikana on tapahtunut ja kuinka moni niistä on pisteytetty – päivä päivältä.
Evalit, guardrail-testit ja käyttäjäpalaute kirjautuvat samaan mittaristoon tracejen rinnalle.
Näette, miten käyttömäärät ja laatupisteet muuttuvat päivä päivältä – ja paransiko viimeisin muutos laatua.
Piikit ja notkahdukset erottuvat kaaviosta, ja niistä voi porautua suoraan yksittäisiin traceihin.
Havainto esimerkistä: lokakuun puolivälin käyttöpiikistä ei kertynyt juuri lainkaan laatupisteitä, koska automaattiset arvioinnit eivät olleet vielä käytössä. Lokakuun lopun piikissä pisteitä kertyi jo lähes yhtä monta kuin traceja.
Kaikkea ei kannata eikä voi mitata samalla tavalla. Yhdistämme kolmea evaluointityyppiä sen mukaan, mitä kriteeri vaatii ja paljonko arviointi saa maksaa.
Ohjelmakoodina kirjoitetut tarkistukset yksiselitteisille asioille: onko vastaus oikeassa muodossa, kutsuiko agentti oikeaa työkalua oikeilla parametreilla ja pysyykö vastaus sovituissa rajoissa.
Nopeita, lähes ilmaisia ja aina toistettavia – siksi ne ajetaan jokaiselle vastaukselle.
Kielimalli arvioi agentin vastauksen kirjallisen arviointiohjeen mukaan: onko vastaus relevantti, perustuuko se lähteisiin ja noudattaako se sävyä ja ohjeita.
Sopii kriteereihin, joita ei voi kirjoittaa säännöksi. Kalibroimme arvioijan ihmisten arvioita vasten, jotta pisteisiin voi luottaa.
Kun agentti tekee päätöksiä – hyväksyy, hylkää, luokittelee tai ohjaa eteenpäin – sen ratkaisua verrataan päätösmalliin, kuten päätöstaulukkoon tai sääntömoottoriin, joka määrittää oikean lopputuloksen.
Näette, kuinka usein agentti päätyy samaan ratkaisuun kuin sovittu prosessi ja missä tapauksissa se poikkeaa.
Vaiheistettu toteutus, jossa jokaisella vaiheella on selkeä tuotos.
Mitä hyvä vastaus tarkoittaa teidän liiketoiminnassanne – sovitaan yhdessä.
Aineisto kootaan todellisista keskusteluista ja reunatapauksista.
Evaluoinnit automatisoidaan ja hyökkäysskenaariot ajetaan läpi.
Pisteytys pyörii tuotannossa ja hälyttää poikkeamista.
