Googleov prevoditelj - nova era umjetne inteligenc

"Kilimandžaro je planina prekriven snijegom 19,710 stopa visoke, pa se kaže da je najviša planina u Africi. Njegov zapadni summit zove Masai 'Ngaje Ngai', u Domu Božjem. U neposrednoj blizini zapadnog vrha tu je sušeno i smrznuto carcas u leoparda. Još nitko nije objasnio što leopard traži na toj visini. "

Ernest Hemingway , snijeg od Kilimandžara i druge priče

Naprosto sam iznenadjen 

"U Hrvatskoj još ne, ali prema najavama Googlea trebalo bi do kraja 2017."

 Forgive me, I'm sorry, my condolences

 Za beton se koristi izraz concrete, nisu ameri bauštelci, pa da se razumiju u te stvari.

Sto se tice I'm sorry primjera, to sto neko ne zna sve opcije ne znaci da nemaju daleko siri rijecnik ;)

Nemojte davati zakljucke o bogastvu jezika, a poznajete 1% fonda rijeci.

Na kraju kkrajeva i maternji je zik vecina ljudi nepoznaje ni priblizno da bi mogli zakljuciti jel boatiji rijecnik ili ne.

Takodje sta bi onda eskimi trebali reci. 100 i kusir rijeci za razne vrsta snijega, a ovamo sta ima, snijeg i bljuizga i mozda jos pokoja. 

Znaci eskimi imaju najbogatiji rijecnik takvom logikom. 

A drugi problem sa prevodjenjem rijeci sto nazalost velika vecina zavrsi u stilu okolotrbuisnog opasala, jer prevoid odrade ljudi koji nemaju veze sa strukom i koji je realno i smisao rijeci pa je prevedu katastrofalno. S druge strane vecinski korisnici te iste rijeci su tinejdzeri koji ce prije pokupiti stranu rijec u z eventualno neke izmjene, uzeti je samljeti kroz svoj govor i izbaciti u upotrebu brze nego sto ce tzv struccnjaci ponuditi alternativu :)

The summit of the west

Near the top of the west

Te dvije fraze su ono što mi nije štimalo u drugom primjeru i što otkriva da nije prevoditelj preveo, više nego nedostatak člana.

No prevođenje literarture nije samo traženje doslovnog prijevoda knjige nego i traženje frazema koji će prenijeti značenje i smisao na adekvatan način čitateljima druge zemlje, ili približiti stvari i običaje koji im nisu poznati. Puno je više tu faktora od toga da prijevod izgleda donekle tečno i točno.

HrvaCki jezik treba ukinuti, potpuno je beskoristan, svi trebaju učit engleski od početka.

 Zastario si, za par novih verzija ce te GT preteci. Sreca sto si vec u penziji. 

 eo primjer:

CESARIĆ:

Gle malu voćku poslije kiše:
Puna je kapi pa ih njiše.
I bliješti suncem obasjana,
Čudesna raskoš njenih grana.

Al nek se sunce malko skrije,
Nestane sve te čarolije.
Ona je opet kao prvo,
Obično, jadno, malo drvo.

GT NA KINESKI:

Kàn nǎ, yǔ hòu de xiǎo guǒshù:
Zhè shì chōngmǎn dī, suǒyǐ tā yáobǎi.
Wǒ shǎnyào yángguāng,
qí fèn zhī jīgòu de jīngrén de guāngcǎi.

Dànshì, ràng tàiyáng yī diǎndiǎn de yǐncáng,
xiāoshī zhè yīqiè de mólì.
Zhè yòu shì dì yī cì,
tōngcháng qíngkuàng xià, cǎnle, xiǎo shù.

KINESKI POVRATNO NA HRVATSKI:

Evo, mali voćka poslije kiše:
Ona je puna kapi, tako da ljuljačka.
I sjaj sunca,
Njegove grane nevjerojatna sjaj.

Ali neka se sunce malo skriven,
Nestanak sve ove magije.
Ovo je prvi put,
Tipično, žalosno, drveće.

dakle, smisao će manje ili više većina shvatiti no ipak, aj se uozbiljite. 

 Pise ti lijepo da za male jezike poput hrvatskog algoritam nije nadogradjen. Evo ti primjer engleski-spanjolski:

So, we’ll go no more a-roving

So late into the night,

Though the heart be still as loving,

And the moon be still as bright.

For the sword outwears its sheath,

And the soul wears out the breast,

And the heart must pause to breathe,

And love itself have rest.

Though the night was made for loving,

And the day returns too soon,

Yet we’ll go no more a-roving

By the light of the moon.

-------------------------------------------
Por lo tanto, vamos a ir no más a-roving
Tan tarde en la noche,
Aunque el corazón sea todavía tan amoroso,
Y la luna estará todavía tan brillante.
Para la espada outwears su vaina,
Y el alma lleva el pecho,
Y el corazón debe hacer una pausa para respirar,
Y el amor mismo tiene descanso.
Aunque la noche fue hecha para amar,
Y el día vuelve demasiado pronto,
Sin embargo, no iremos más lejos
Bajo la luz de la luna.

------------------------------------

So, let's go no further a-roving
So late at night,
Although the heart is still so loving,
And the moon will still be so bright.

For the sword outwears its sheath,
And the soul carries the breast,
And the heart must pause to breathe,
And love itself has rest.

Although the night was made for love,
And the day comes back too soon,
However, we will not go further
Under the moonlight.

Engleski jezik nije uopce jednostavan ni lagan jezik, a nikada ne bi bio sto je danas da nije bilo kolonijalizma i imperijalizma od strane zemalja u kojima se govori taj jezik.

Ono sto je danas engleski, nekada davno (a i ne tako davno, jos pred 300-400 godina to je bio slucaj) bio je latinski. Sva velika djela iz tog razdoblja pisana su latinskim, evo prvo mi na pamet pada Newtonova Principia. A latinski je bio lingua franca iz istog razloga zbog kojeg je danas engleski - ekspanzije Rimskog Carstva. Naravno, nije engleski jedini lingua franca. Prije njega tu je bio spanjolski, francuski, pa i njemacki, ruski, danas je to engleski. Svi su bili jedno vrijeme lingua franca ne zbog jednostavnosti/kompliciranosti, vec zbog utjecaja zemalja u kojima se ti jezici govore i njihovog ekspanzionizma.

Da je do jednostavnosti, onda bi lingua franca trebao biti esperanto, a govori ga milijun do dva milijuna ljudi u svijetu. Vise ljudi govori hrvatski lol. :)

EDIT: Da se vratim na temu. Rijec je o tome da je Google poceo prelaziti na neuronske mreze u strojnom prevodenju, tocnije, povratne neuronske mreze. Prvotno je program bio pokrenut samo za kineski (mandarinski) -> engleski i engleski -> mandarinski, no ocito su ga prosirili i na druge jezike (to nisam znao do danas).

Ovdje je clanak u kojem opisuju prelazak, sto su do sad koristili i sto sad koriste. Ukratko, model koji su do nedavno imali zasnivao se na tzv. n-gramima. U racunarskoj lingvistici n-gram je slijed n elemenata iz nekakvog veceg niza teksta ili govora. Ti elementi mogu biti pojedinacne rijeci, fonemi, slogovi, pojedinacna slova ili parovi rijeci ili vec nesto slicno. Uglavnom, kod statistickog modeliranja jezika rijesava se problem aproksimacije vjerojatnostne razdiobe preko nekog niza elemenata n-grama. Za sljedeci primjer cu kao jedan element n-grama smatrati rijec. Npr., ako imamo niz rijeci "Danas je lijep i suncan dan" to je niz duljine 6 rijeci i jezicni ce model pridodati vjerojatnost P(w) = P(w1, ..., w_n) tom nizu rijeci, a tu vjerojatnost interpretiramo kao vjerojatnost da se taj niz pojavi u stvarnom jeziku.

Medutim, ovdje dolazimo do problema, a to je da niz moze narasti prilicno velik (mislim da je prosjek duljine recenica u hrvatskom jeziku 12, ali recenice mogu biti puno dulje, kao npr. ova moja xD). Ubrzo dolazi do toga da standardni statisticki modeli jezika radi izracunljivosti i rijetkosti podataka ne mogu modelirati proizvoljno duge nizove, pa se onda radi kompenzacija - prihvaca se aproksimacija prozorom rijeci (tzv. kontekst) konstantne duljine. Tu sad ulaze u igru spomenuti n-grami i takvi modeli se zovu modelima n-grama.

Imamo nas niz "Danas je lijep i suncan dan", i ako uzmemo model 5-grama (dakle n=5, a elementi su rijeci) vjerojatnost pojavljivanja niza ce biti P(w) = P(Danas)*P(je | Danas)*P(lijep | je, Danas)*P(i | lijep, je, Danas)*P(suncan | i, lijep, je, Danas). Primjetite da je iz vjerojatnosti ispala rijec "dan" jer koristimo 5-gram, tj. prozor duljine 5 rijeci. Drugim rijecima, ovakvi modeli cuvaju kontekst samo unutar malog kratkog prozora i tesko, bolje receno, nikako ne pamte dulje veze unutar teksta. Takoder, kao sto vidimo tu ima jako puno racunanja i veci n-grami koji bi mogli uhvatiti bolji kontekst su jednostavno racunski neisplativi. Bez obzira na to, do prije nekog vremena n-gramski modeli (konkretno, mislim da Google koristi 5-grame) bili su najsuvremenija tehnologija za strojno prevodenje.

U novije vrijeme sve vise su se pocele koristiti povratne neuronske mreze i ovo bolje prevodenje u GT-u koje vidimo je rezultat toga. Iako, u posljednje vrijeme pocele su se koristiti i adaptacije konvolucijskih slojeva (konvolucijske neuronske mreze se inace koriste za racunalni vid - raspoznavanje objekata na slikama i sl.) i mreza za projekciju podataka varijabilne duljine u reprezentacije skrivenih slojeva koje uzimaju sve vise maha i konkuriraju povratnim mrezama. Vidite da cesto koristim sintagme "u novije vrijeme", "u zadnje vrijeme", ali tako je to trenutno u podrucju dubokog ucenja. Google je tek implementirao i pustio u opticaj povratne modele (koji su drasticno podigli kvalitetu prijevoda), a vec se radi na novim varijantama mreza koje bi te iste modele mogle istisnuti i to cak kroz par godina. Podrucje je brutalno inovativno i strasno zivahno, tako da danas ucite jedno, a mozda za godinu ili dvije vise to necete trebati jer nitko nece koristiti. A opet, ni to ne mora biti slucaj. U svakom slucaju interesantno.

 Lako za engleski, poradi ti na hrvatskom :)

 Ajd nek' ihusha prevede taj Googlet