Microsoft-forskere bruker ChatGPT til å instruere roboter og droner

OpenAI's ChatGPT er ikke bare flink til å generere koherente tekstsvar på naturlige språkinnputt, men kan også spille en rolle i menneske-til-robot interaksjoner og bruke sensor tilbakemelding til å skrive kode for robot handlinger.

Microsoft utførte nylig forskning for å "se om ChatGPT kan tenke utover tekst og resonere om den fysiske verden for å hjelpe med robotoppgaver." Målet var å se om folk kan bruke ChatGPT til å instruere roboter uten å lære programmeringsspråk eller forstå robotiske systemer.

I dybden: Disse ekspertene løper for å beskytte AI fra hackere. Tiden renner ut

"Den viktigste utfordringen her er å lære ChatGPT hvordan man løser problemer med tanke på fysikkens lover, konteksten til det operative miljøet, og hvordan robotens fysiske handlinger kan endre verden," bemerker et team fra Microsoft Autonome Systemer og Robotikk Forskning i en bloggpost.

Microsoft-forskerne utforsket ChatGPT sin evne til å generere kode, hovedsakelig i Python, for robotikk-scenarioer, som null- skuddsplanlegging og kodegenerering, etter at ChatGPT fikk tilgang til objektdeteksjon og -avstanddata gjennom bruksområdegrensesnitt.

ChatGPT kan produsere kode fordi den ble trent på store mengder kode og skrevet tekst. Systemet har vist seg å være i stand til å løse kodingsproblemer og feilsøke programmer, med den unike evnen til å svare på dialog og søke etter avklaringer. Det finnes også Codex, OpenAI's GPT-3-baserte modell som ligger til grunn for GitHub's Copilot, en samarbeidsprogramvare som automatisk fullfører kode for utviklere på flere språk

Også: Hva er ChatGPT? Her er alt du trenger å vite

Med disse dialog- og avklaringsmulighetene i tankene, testet Microsoft ChatGPTs evne som en språkbasert grensesnitt mellom en ikke-teknisk bruker og en drone. Som forskerne påpeker i en artikkel, mens GPT-3, LaMDA og Codex viste seg lovende i oppgaver som robotplanlegging og kodegenerering, er ChatGPT spesielt "et potensielt mer allsidig verktøy for robotdomenet, ettersom det inkorporerer styrkene til naturlige språk- og kodegenereringsmodeller sammen med fleksibiliteten til dialog."

Forskerne skriver i blogginnlegget sitt: "ChatGPT stilte avklarende spørsmål når brukerens instruksjoner var uklare, og skrev komplekse kode-strukturer for dronen, som for eksempel et zig-zag mønster for å inspisere hyller visuelt."

Microsoft testet ChatGPT for å bruke en robotarm til å flytte blokker rundt for å danne Microsoft-logoen. Forskerne ga også ChatGPT i oppdrag å skrive en algoritme for en drone til å nå et punkt uten å krasje inn i hindringer. De testet også om ChatGPT kan bestemme hvor en robot skal gå basert på sanseinformasjon i sanntid.

Forskere ved Google Research og Alphabet-eide Everyday Robots har også jobbet med lignende utfordringer innen robotikk ved hjelp av store språkmodeller kalt PaLM, eller Pathways Language Model, som hjalp en robot å behandle åpne spørsmål og svare på en fornuftig måte.