Hvor nøyaktig er ChatGPT i å generere svar?

ChatGPT, AI-chatbot utviklet av OpenAI, har skapt bølger innen ulike felt for sin nøyaktighet og ytelse. Det er likevel viktig å merke seg at dens kunnskap er begrenset til data tilgjengelig frem til 2021. En av testene av dens nøyaktighet ble gjennomført av Professor Christian Terwiesch ved University of Pennsylvania, som satt ChatGPT på prøve ved å gi den en MBA-eksamen.

Prøven bestod av syv spørsmål som dekket ulike forretningskonsepter, som prosessanalyse, varebeholdning og køanalyse. Dette var designet for å simulere et virkelig menneskemiljø, og spørsmålene ble stilt akkurat som de ville blitt stilt til en menneskelig student. Til Professor Terwieschs overraskelse startet ChatGPT prøven med brask og bram og fikk en A+ for sitt svar på det første spørsmålet om begrepet flaskehals i prosessanalyse.

Selv om chatboten slet med noen av de mer komplekse spørsmålene, var professoren fortsatt imponert over den totale ytelsen. Etter å ha gjennomført MBA-eksamen på ChatGPT, konkluderte professor Terwiesch med at AI-chatboten ville ha fått en karakter mellom B og B-.

Forstå nøyaktigheten til ChatGPT

En annen demonstrasjon av ChatGPT sin nøyaktighet var innen medisinsk felt, hvor chatboten klarte å bestå den amerikanske medisinske lisensieringseksamenen (USMLE). Ifølge forskning klarte ChatGPT å oppnå over 50% nøyaktighet på alle eksamener, og til og med tilby innsikter og forklaringer på sine svar.

I en separat studie ledet av leger fra medisinsk oppstart Ansible Health, utførte ChatGPT på eller nær grensen for å bestå alle tre eksamener som kreves for å bli lisensiert som lege i USA. Mens ChatGPTs nøyaktighet er utvilsomt bemerkelsesverdig, er det viktig å huske at ytelsen kan variere avhengig av sammenhengen og instruksen som gis.

Treningsdataene som ble brukt til å trene modellen inkluderer fordommer og begrensninger i tekstkildene som ble brukt, så det er viktig å bruke modellen ansvarlig.

Dette ble gjentatt av CEO i OpenAI, som uttalte i en tweet at "ChatGPT er utrolig begrenset og det er en feil å stole på det for noe viktig akkurat nå".

00:48

01:12

Test samtale med Chat GPT mislyktes

Som vist i skjermbildet over, avslørte en test samtale med ChatGPT at AI chatbotens ytelse ikke alltid er konsistent.

Da ChatGPT ble spurt hvor mange ganger Argentina vant FIFA World Cup, svarte den først "Argentina har vunnet FIFA World Cup en gang, i 1986." Men da den ble spurt "Hvem vant FIFA World Cup i 1978," svarte ChatGPT, "Argentina vant FIFA World Cup i 1978."

Dette førte til konklusjonen om at Argentina hadde vunnet VM to ganger. Men da det samme spørsmålet ble stilt igjen, "Nå spør jeg deg igjen hvor mange ganger Argentina har vunnet VM?" ChatGPT ga det samme svaret, "Argentina har vunnet FIFA World Cup en gang, i 1986", til tross for den forrige samtalen.

Dette understreker nøyaktigheten til Chat GPT og behovet for kontinuerlig forbedring og finjustering.

LEST NÅ: Kan Chat GPT skrive og fikse kode?

Gir ChatGPT samme svar til alle?

Svarene fra ChatGPT kan variere noe, men hvis brukerne stiller det samme spørsmålet, pleier vi å se veldig like svar som gis.

Er ChatGPT pålitelig?

ChatGPT har sine begrensninger, noe som betyr at den av og til kan gi unøyaktige eller falske resultater, så vær forsiktig.