Nemački matematičar Andreas Tom sa Tehničkog univerziteta u Drezdenu javno je optužio OpenAI da nije bio iskren u pogledu porekla dokaza koji je model Astra predstavio početkom avgusta. Tom tvrdi da je mesecima pre objave razgovarao sa ChatGPT-om o srodnim matematičkim problemima, i da odgovor OpenAI istraživača na njegovo pitanje, da li su ti razgovori ušli u podatke za treniranje modela, nije bio potpun. Prepisku sa kompanijom objavio je 9. septembra, prenose Notebookcheck i Quartz.
Dokaz star 27 godina
OpenAI je 1. avgusta saopštio da je Astra rešila deset dugo nerešenih matematičkih problema, među njima i dokaz o postojanju takozvanih nesofik grupa, pitanje koje je pre 27 godina postavio matematičar Mihail Gromov. Ključni tehnički korak u dokazu, prema Tomovim navodima, oslanjao se direktno na rad koji su on i mađarski matematičar Gabor Kun objavili 2019. godine, kao i na Kunov raniji rad iz 2016.
Tom kaže da je krajem juna isključio treniranje modela na svom nalogu, pošto je mesecima ranije sa ChatGPT-om razmenjivao ideje o srodnom, takozvanom problemu podudaranja ekspandera. Kada je posle avgustovske objave pitao istraživače Marka Selkea i Sebastijana Bubeka da li su njegovi razgovori uticali na trening, Selke mu je kratko odgovorio da se to nije desilo.
Otvoreno nepošteno
Tom takav odgovor naziva otvoreno nepoštenim, jer se, kako kaže, odnosi samo na to da li su istraživači ili sistem imali direktan uvid u njegov rad tokom rešavanja problema, a ne na to da li su njegovi raniji razgovori sa ChatGPT-om, pre nego što je isključio treniranje, ušli u podatke na kojima je model učen. Deidentifikacija uklanja ime, napisao je Tom, ali ne uklanja intelektualni sadržaj matematičke ideje, i zatražio je od OpenAI-ja da objasni na čemu zasniva svoje poricanje. Kompanija se do objave ovog teksta nije javno oglasila povodom Tomovih navoda.
Drugi slučaj za nedelju dana
Tomova optužba je druga ove vrste u kratkom roku. Nekoliko dana ranije matematičar sa Njujorškog univerziteta Tristan Bakmaster optužio je OpenAI da je do dokaza o singularitetu u Navier-Stokesovim jednačinama došao uvidom u njegov neobjavljen rad. U tom slučaju OpenAI je saopštio da ne može da isključi da su deidentifikovani podaci izvedeni iz korišćenja njegovih proizvoda pomogli modelu, iako tvrdi da niko od njegovih istraživača ili agenata nije video Bakmasterov rad pre objave.
Oba slučaja se tiču istog avgustovskog paketa od deset matematičkih rešenja kojim je OpenAI najavio ono što je opisao kao veliki iskorak modela Astra, čija su ranija ograničenja u testiranju kompanija ranije i sama priznala. Kritičari, među njima matematičari Fransesko Furnije Fačio i Stiven Miler, ranije su upozoravali da OpenAI zaobilazi standardnu recenziju struke pri objavljivanju ovakvih rezultata, tvrdeći da kompanija često ne objašnjava jasno u kojoj meri je rešenje zaista samostalno, a u kojoj se oslanja na već postojeće, manje poznate radove.
Zašto je poreklo podataka sporno
U centru oba spora nalazi se pitanje na koje OpenAI do sada nije dao potpun odgovor, da li i u kojoj meri privatni razgovori korisnika sa ChatGPT-om, uključujući one koje je korisnik kasnije isključio iz treniranja, mogu da uđu u podatke na kojima se obučavaju budući modeli. Kompanija u svojim uslovima korišćenja dozvoljava korisnicima da isključe deljenje razgovora radi treniranja, što je Tom, prema sopstvenim rečima, i uradio krajem juna, ali tek posle meseci prepiske o srodnim problemima koja je prethodila toj odluci.
Za matematičku zajednicu sporno je i to što OpenAI decenijski problem, poput Gromovljevog pitanja o nesofik grupama, predstavlja kao samostalno dostignuće modela, a pritom ne objavljuje detaljno na kojim je izvorima i razgovorima model bio treniran. Bez tog uvida, kažu kritičari, teško je sa sigurnošću utvrditi da li je Astra do rešenja došla nezavisnim rezonovanjem ili je, makar delimično, sastavila već postojeće ideje iz javnih radova i privatnih razgovora korisnika.
Često postavljana pitanja
Ko je Andreas Tom?
Nemački matematičar, profesor teorije grupa na Tehničkom univerzitetu u Drezdenu, koautor rada iz 2019. na kome se, prema njegovim navodima, zasniva jedan od dokaza modela Astra.
Šta su nesofik grupe?
Matematički objekti čije je postojanje kao otvoreno pitanje 1999. postavio Mihail Gromov. OpenAI tvrdi da je Astra u avgustu 2026. dokazala da takve grupe postoje.
Šta OpenAI kaže o optužbi?
Kompanija se do objave ovog teksta nije javno izjasnila povodom Tomovih navoda, iako je u sličnom ranijem slučaju rekla da ne može da isključi uticaj deidentifikovanih korisničkih podataka na treniranje.
Da li je ovo prvi ovakav slučaj?
Ne. Nekoliko dana ranije matematičar Tristan Bakmaster optužio je OpenAI za sličan propust povodom dokaza o Navier-Stokesovim jednačinama.
