Epizoda podcastu KniHOVník
Díl 52: FreeToken: velké MoE modely na jedné spotřebitelské grafice
21. 11. 2026 · 1 min
Epizoda podcastu KniHOVník
21. 11. 2026 · 1 min
Ke každé audioknize i e-knize je ukázka zdarma – vyzkoušejte ji hned na webu nebo v aplikaci. Všechny audioknihy →
Podle Stanislava Beliajeva na LinkedInu 20. listopadu je FreeToken otevřený engine pro velké modely směsi expertů na běžných kartách. Srovnali jsme to s článkem na arXiv a kódem FlashML. Příspěvek připisuje vydání Berkeley, korespondenční autor je z Berkeley. Autoři uvádějí u DeepSeek V4 Flash na 32 gigabajtech 22 až 25 tokenů za sekundu. Dvoj- až čtyřnásobek proti Ollamě článek neuvádí.
Zdroj: Stanislav Beliaev, LinkedIn – https://www.linkedin.com/posts/stasbel_uc-berkeley-open-sourced-an-inference-engine-activity-7529575940390203392-JuNu
Namluveno syntetickým hlasem (AI), text připravila AI.