Budućnost velikih jezičnih modela je u jednom bitu
Kaže autor, što je rezultiralo modelom od 2 milijarde parametara temeljenom na skupu podataka za treniranje od 4 trilijuna tokena. 4 trilijuna na hrvatskom iznosi 4x1018
Budućnost velikih jezičnih modela je u jednom bitu
- poruka: 2
- |
- čitano: 1.064
- |
- moderatori:
vincimus
- +/- sve poruke
- ravni prikaz
- starije poruke gore
Ovo je tema za komentiranje sadržaja Bug.hr portala. U nastavku se nalaze komentari na "Budućnost velikih jezičnih modela je u jednom bitu".
3 godine
offline
Budućnost velikih jezičnih modela je u jednom bitu
Jedna od najboljih "značajki" 1 bit LLmova je eliminacija potrebe za GPUom.
Bit će interesantno, obzirom na poznatu "Nvidia is no longer a graphics company'" izjavu.
Možda se povijest ponovi i cjene grafulja se konačno spuste na zemlju (kao što je bilo kod crypta, iz gpuova u risc/asic tako sad kod AIa; iz gpu => arm)
Whenever you find yourself on the side of the majority, it is time to pause and reflect - Mark Twain