11 Ulemper ved ChatGPT-innhold

Høydepunkter

• Hvorfor lavkvalitets ChatGPT-innhold passerer menneskelig gjennomgang.
• ChatGPT er omfattende selv når det burde være konsist.
• Professor nevner en feil som ødelegger ChatGPT-genererte essayer.
• ChatGPT mislykkes i den fiktive Voight-Kampff android-deteksjonstesten og den overraskende grunnen til at dette betyr noe.

ChatGPT produserer innhold som er omfattende og trolig nøyaktig.

Men forskere, kunstnere og professorer advarer om svakheter som man bør være oppmerksom på, og som svekker kvaliteten på innholdet.

I denne artikkelen vil vi se på 11 ulemper med ChatGPT-innhold. La oss dykke inn.

1. Bruk av fraser gjør det tydelig at det ikke er et menneske

Forskere som studerer hvordan man oppdager maskin-genererte tekster, har oppdaget mønstre som gjør det unaturlig.

En av disse særegenhetene er hvordan AI sliter med idiomer.

Et idiom er en frase eller et ordtak med en figurativ betydning, for eksempel "hver sky har en sølvfôring".

Mangel på idiomer i innholdet kan signalisere at innholdet er maskin-generert - og dette kan være en del av en deteksjonsalgoritme.

Dette er hva forskningsartikkelen for 2022, "Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers", sier om denne egenarten i maskin-generert innhold:

"Komplekse frasale funksjoner er basert på hyppigheten av spesifikke ord og uttrykk innen analysert tekst som forekommer hyppigere i menneskelig tekst."

...Av disse komplekse frasale egenskapene beholder idiomegenskapene den mest prediktive kraften i deteksjon av dagens genererende modeller."

Denne mangelen på muligheten til å bruke idiomer bidrar til at ChatGPTs utdata høres og leses unaturlig ut.

2. ChatGPT mangler evne til å uttrykke seg

En kunstner kommenterte hvordan resultatet av ChatGPT imiterer hva kunst er, men mangler de faktiske kvalitetene til kunstnerisk uttrykk.

Uttrykk er handlingen med å formidle tanker eller følelser.

ChatGPT-utgangen inneholder ikke uttrykk, bare ord.

Den kan ikke produsere innhold som berører mennesker emosjonelt på samme nivå som et menneske kan - fordi den ikke har faktiske tanker eller følelser.

Musikeren Nick Cave kommenterte i et innlegg på nyhetsbrevet sitt, Red Hand Files, en ChatGPT-sangtekst som ble sendt til ham, som var skrevet i stil med Nick Cave.

Nytt AI-drevet Verktøysett for Innholdsmarkedsføring
Adopter neste generasjons teknologier før dine konkurrenter gjør det. Lag godt-optimalisert og målrettet innhold som leverer resultater tre ganger raskere.

Han skrev:

"Det som gjør en flott sang flott er ikke dens nære likhet med et gjenkjennbart verk."

...det er det pusteløse møtet med ens sårbarhet, ens farefullhet, ens småhet, satt opp mot en følelse av plutselig sjokkerende oppdagelse; det er den forløsende kunstneriske handlingen som rører lytterens hjerte, der lytteren gjenkjenner i verkets indre arbeid sin egen blod, sin egen kamp, sitt eget lidelse."

Cave kalte ChatGPT-tekstene for en hån.

Dette er ChatGPT-teksten som ligner på en Nick Cave-tekst:

“Jeg har englenes blod på hendene mine
Jeg har helvetes ild i øynene mine
Jeg er kongen av avgrunnen, herskeren av det mørke
Jeg er den de frykter, i skyggene de lytter”

Og dette er en faktisk Nick Cave-lyrikk (Brother, My Cup Is Empty):

“Vel, jeg har sklidd ned regnbuer
Jeg har svingt fra stjernene
Nå banker denne fyr i tiggerklær med koppen sin på gitteret
Se, koppen min er tom!
Det virker som jeg har mistet lystene mine
Det virker som jeg feier sammen asken
Av alle mine tidligere bål”

Det er lett å se at den maskin-genererte teksten likerner artistens tekst, men den formidler ikke egentlig noe.

Nick Caves tekster forteller en historie som gjenspeiler personens patos, begjær, skam og villet bedrag i sangen. Den uttrykker tanker og følelser.

Det er lett å se hvorfor Nick Cave kaller det en hån.

3. ChatGPT produserer ikke innsikter

En artikkel publisert i The Insider siterte en akademiker som påpekte at akademiske essay generert av ChatGPT mangler innsikt om emnet.

ChatGPT oppsummerer emnet, men gir ikke et unikt innsyn i emnet.

Mennesker skaper gjennom kunnskap, men også gjennom deres personlige erfaringer og subjektive oppfatninger.

Professor Christopher Bartel fra Appalachian State University er sitert av The Insider som sier at selv om et ChatGPT-essay kan ha høy grammatikkvalitet og sofistikerte ideer, mangler det fortsatt innsikt.

Bartel sa:

«De er virkelig fluffy. Det er ingen kontekst, det er ingen dybde eller innsikt.»

Innsikt er kjennetegnet på et godt utført essay, og dette er ikke noe ChatGPT er spesielt god på.

Dette manglende innsikten er noe å huske på når du evaluerer maskin-generert innhold.

4. ChatGPT er for ordfylt

En forskningsartikkel publisert i januar 2023 oppdaget mønstre i ChatGPT-innhold som gjør det mindre egnet for kritiske applikasjoner.

Papiret har tittelen, Hvor nær er ChatGPT til menneskelige eksperter? Sammenligningskorpus, evaluering og deteksjon.

Forskningen viste at mennesker foretrakk svar fra ChatGPT i mer enn 50% av spørsmål besvart relatert til økonomi og psykologi.

Men ChatGPT mislyktes med å svare på medisinske spørsmål fordi mennesker foretrakk direkte svar - noe som AI ikke kunne gi.

Forskerne skrev:

"...ChatGPT leverer dårlig i forhold til hjelpsomhet innen medisindomenet både på engelsk og kinesisk."

ChatGPT gir ofte lange svar på medisinsk rådgivning i vår samlede datasett, mens menneskelige eksperter kan gi direkte enkle svar eller forslag, noe som delvis kan forklare hvorfor frivillige anser menneskelige svar for å være mer nyttige innen medisinske feltet.

ChatGPT har en tendens til å dekke et emne fra forskjellige vinkler, noe som gjør det upassende når det beste svaret er direkte.

Markedsførere som bruker ChatGPT må ta dette i betraktning, fordi besøkende på nettsiden som trenger et direkte svar vil ikke være fornøyd med en langtekkelig nettside.

Og lykke til med å rangere en altfor langtekkelig side i Googles utvalgte utdrag, der et kortfattet og tydelig uttrykt svar som kan fungere bra i Google Voice kan ha bedre sjanser til å rangere enn et langdrygt svar.

OpenAI, skaperne av ChatGPT, erkjenner at å gi utfyllende svar er en kjent begrensning.

Kunngjøringsartikkelen fra OpenAI sier:

"Modellen er ofte altfor utfyllende ..."

ChatGPTs tendens til å gi lange svar er noe å være oppmerksom på når man bruker ChatGPT-utdata, da du kan møte situasjoner der kortere og mer direkte svar er bedre.

5. ChatGPT innhold er høyt organisert med klar logikk

ChatGPT har en skrivestil som ikke bare er verbose, men som også pleier å følge en mal som gir innholdet en unik stil som ikke er menneskelig.

Dette umenneskelige kvaliteten avsløres i forskjellene mellom hvordan mennesker og maskiner svarer på spørsmål.

Filmen Blade Runner har en scene med en rekke spørsmål som er designet for å avsløre om den som svarer på spørsmålene er et menneske eller en android.

Disse spørsmålene var en del av en fiktiv test kalt "Voigt-Kampff-testen".

En av spørsmålene er:

«Du ser på TV. Plutselig skjønner du at det kryper en veps på armen din. Hva gjør du?»

En normal menneskelig respons ville vært å si noe som at de ville skrike, gå ut og slå på den, og så videre.

Men da jeg stilte dette spørsmålet til ChatGPT, tilbød det et nøye organisert svar som oppsummerte spørsmålet og deretter tilbød logiske mulige utfall - men det klarte ikke å svare på det faktiske spørsmålet.

Skjermbilde av ChatGPT som besvarer et Voight-Kampff-testspørsmål

Svaret er svært organisert og logisk, noe som gir det en svært unaturlig følelse, noe som er uønsket.

6. ChatGPT er for detaljert og omfattende

ChatGPT ble trent på en måte som belønnet maskinen når mennesker var fornøyd med svaret.

Menneskelige bedømmere hadde en tendens til å foretrekke svar som hadde mer detaljer.

Men noen ganger, som i en medisinsk sammenheng, er et direkte svar bedre enn et omfattende svar.

Dette betyr at maskinen må aktiveres til å være mindre omfattende og mer direkte når disse egenskapene er viktige.

Fra OpenAI:

"Disse problemene oppstår på grunn av skjevheter i treningsdataene (trenere foretrekker lengre svar som ser mer omfattende ut) og velkjente overoptimeringsproblemer."

7. ChatGPT lyver (hallusinerer fakta)

Den ovennevnte forskningsartikkelen, Hvor nær er ChatGPT til menneskelige eksperter?, bemerket at ChatGPT har en tendens til å lyve.

Det rapporterer:

“Når du svarer på et spørsmål som krever fagkunnskap fra et spesielt felt, kan ChatGPT fabrikkere fakta for å gi et svar...

For eksempel kan ChatGPT finne på noen ikke-eksisterende lovmessigheter for å svare på spørsmålet i juridiske spørsmål.

"…I tillegg, når en bruker stiller et spørsmål som ikke har et eksisterende svar, kan ChatGPT også konstruere fakta for å gi et svar."

Nettstedet Futurism dokumenterte tilfeller der maskin-generert innhold som ble publisert på CNET var feil og fullt av "dumme feil".

CNET burde ha hatt en ide om at dette kunne skje, fordi OpenAI publiserte en advarsel om feilaktig output:

"ChatGPT skriver av og til svar som høres plausible, men som er feil eller meningsløse."

CNET hevder at de har sendt maskin-genererte artikler til menneskelig gjennomgang før publisering.

Et problem med menneskelig gjennomgang er at ChatGPT-innhold er designet for å høres overtalende korrekt ut, noe som kan lure en gjennomgangsperson som ikke er en emneekspert.

8. ChatGPT er unaturlig fordi det ikke er divergent

Forskningsrapporten "Hvor nærme er ChatGPT til menneskelige eksperter?" bemerket også at menneskelig kommunikasjon kan ha indirekte betydning, som krever en endring i tema for å forstå det.

ChatGPT er for bokstavelig, noe som fører til at svarene noen ganger bommer målet fordi AI overser det faktiske emnet.

Forskerne skrev:

"ChatGPTs svar er generelt strengt fokusert på det gitte spørsmålet, mens menneskers er avvikende og kan lett forskyve seg til andre temaer."

Når det gjelder rikheten av innhold, er mennesker mer forskjellige på forskjellige områder, mens ChatGPT foretrekker å fokusere på selve spørsmålet.

Mennesker kan svare på den skjulte betydningen under spørsmålet basert på deres egen sunne fornuft og kunnskap, men ChatGPT stoler på de bokstavelige ordene i det aktuelle spørsmålet..."

Mennesker er bedre i stand til å avvike fra det bokstavelige spørsmålet, noe som er viktig for å svare på spørsmål av typen "hva med".

For eksempel, om jeg spør:

“Hester er for store til å være et husdyr. Hva med vaskebjørner?”

Det ovenforstående spørsmålet spør ikke om skogsvin er egnet som kjæledyr. Spørsmålet handler om størrelsen på dyret.

ChatGPT legger vekt på passende egenskaper ved vaskebjørn som kjæledyr i stedet for størrelsen.

Skjermbilde av en altfor bokstavelig ChatGPT-svar

9. ChatGPT Har En Tendens Til Å Være Nøytral

Outputen fra ChatGPT er generelt nøytral og informativ. Det kan være en skjevhet i outputen som kan virke nyttig, men det er ikke alltid tilfelle.

Forskningsartikkelen vi nettopp diskuterte bemerket at nøytralitet er en uønsket egenskap når det gjelder juridiske, medisinske og tekniske spørsmål.

Mennesker har en tendens til å velge en side når de tilbyr slike meninger.

10. ChatGPT er skjev mot å være formell

ChatGPT-utgangen har en skjevhet som hindrer den i å løsne opp og svare med vanlige uttrykk. I stedet har svarene en tendens til å være formelle.

Mennesker, derimot, har en tendens til å besvare spørsmål med en mer uformell stil, ved hjelp av hverdagslig språk og slang - det motsatte av formelt.

ChatGPT bruker ikke forkortelser som GOAT eller TL;DR.

Svarene mangler også eksempler på ironi, metaforer og humor, noe som kan gjøre ChatGPT-innholdet for formelt for noen typer innhold.

Forskerne skriver:

"...ChatGPT liker å bruke konjunksjoner og adverb for å formidle logisk flyt av tanker, som for eksempel "Generelt sett", "på den annen side", "Først", "For det andre", "Til slutt" og så videre."

11. ChatGPT Er Fortsatt Under Opplæring

ChatGPT er for øyeblikket fortsatt i prosessen med opplæring og forbedring.

OpenAI anbefaler at all innhold generet av ChatGPT blir gjennomgått av et menneske og lister dette som en beste praksis.

OpenAI foreslår å holde mennesker med i prosessen:

"Så langt det er mulig, anbefaler vi å ha en menneskelig vurdering av resultater før de tas i bruk i praksis."

Dette er spesielt kritisk i høyrisiko-områder og for kodegenerering.

Mennesker bør være klar over begrensningene til systemet og ha tilgang til all informasjon som trengs for å verifisere resultatene (for eksempel, hvis applikasjonen summerer notater, bør mennesket ha enkel tilgang til de opprinnelige notatene for å referere tilbake).

Uønskede egenskaper ved ChatGPT

Det er tydelig at det er mange problemer med ChatGPT som gjør det uegnet for generering av innhold uten tilsyn. Den inneholder fordommer og klarer ikke å skape innhold som føles naturlig eller inneholder genuin innsikt.

Ytterligere, dens manglende evne til å føle eller skape originale tanker gjør den til et dårlig valg for å generere kunstneriske uttrykk.

Brukere bør bruke detaljerte instruksjoner for å generere innhold som er bedre enn standardinnholdet som vanligvis produseres.

Til slutt er menneskelig gjennomgang av maskin-generert innhold ikke alltid tilstrekkelig, fordi ChatGPT innhold er designet for å virke korrekt, selv når det ikke er det.

Dette betyr at det er viktig at menneskelige vurderere er fageksperter som kan skille mellom riktig og feil innhold innen et spesifikt tema.