DeepSeekov otvoreni kôd: udar na američke AI tvrtk

...
"činjenica da se korisnički podaci pohranjuju na serverima u Kini izazvali su zabrinutost stručnjaka”

Izuzev vojne i vladinih institucija koje ne bi trebale imati podatke na tudim serverima, sto ih tocno brine?

Sto se nas ostalih tice u ovim, novim vremenima nisu ni americki serveri bas za ne zabrinuti se

misliš da je za doći do AGIja dovoljno samo pumpati broj parametara? ja mislim da se cijela paradigma na kojoj radi AI mora promijeniti, jer ovo i dalje nije razmišljanje nego od milijardi mogućih rješenja nuđenje onog što se čini kao najbolje, naravno to radi jako dobro pa nam se čini kao da misli svojom glavom, ali kad zapadne u probleme ne može se više izvući iz njih

• - Trenutno je u LLM modelu od 70B parametara pohranjena jako velika količina ljudskog znanja. Barem ono što je digitalno dostupno. Ljudski mozak nema ni priližno takav kapacitet za pohranu informacija.
• - ako pitaš prosjećnog čovijeka detalje iz biokemije, kvantne fizike, neurokirurgije, povijesti, kako lakirati auto, obrezati voćke, napraviti salatu od hobotnice, zaljevati dracenu, manje više ćeš dobiti "tihu misu". LLM će ispaliti odgovore kao metak. Toliko o kapacitetu.

• - "Ljudski mozak ima oko 100 bilijuna parametara" - ljudski mozak nema parametre. Sinapse nisu parametri. Niti su principi funkcioniranja isti. Samim tim nisu ni usporedivi. 

- DeepSeek modeli imaju manje parametara, a uz to su brži i kvalitetniji od LLM modela koji imaju za rang veličine veći broj parametara. Kvaka je u "destilaciji" i kvaliteti inputa a onda i outputa. Princip je objašnjen još 2015 (objavili Hinton i ekipa, Distilling the Knowledge in a Neural Network), samo što je trebalo vremena da modeli doesgnu razinu kvalitete sa kojom se destilacija može ispravno demonstrirati kao i benchmarci sa kojima se može provjeriti rezultat

Koga tema zanima više, evo link:

https://medium.com/data-science-collective/how-to-distill-a-llm-step-by-step-58f06fcf4bfa

- ne trebaju milijarde, niti za trening niti za HW. Sam Altman je prošle godine u ovo vrijeme tražio 7 trilijuna dollara za "AI chip". Bit će da se balon od sapunice raspukao. Valjda je htio što više napumpati market cap za burzu jednog dana. Jbg nije prošlo . DeepSeek je odradio trening za $5.6M

Primjer:

https://www.zdnet.com/article/450-and-19-hours-is-all-it-takes-to-rival-openais-o1-preview

• - mi ćemo u firmi uskoro vrtiti nekoliko različitih LLM modela: dio za agente, dio kao enhance postojećih aplikacija (UI dio), sažeci na poljima, sažeci konverzacija (telefonskih i video poziva), text summarisation koji odrađuje automatika, i dio koji je on demand (on click). Dio AI fukcionalnosti će ići kao REST servis, pa će se moći pozivati iz ostalih sustava. Ako bude sve ok, kroz neko vrijeme će se ići na automatizaciju poslovnih procesa sa AI. Nebo je granica. Živi bili pa vidjeli.

Da dostignemo ČOKAGI, ne pomaže ni model sa brojem parametara mozgova cijelog ćovječanstva.

 SAD su oduvijek i isključivo bile samo svoj saveznik i prijatelj.