Edge AI Hardverek
Számítási modulok beágyazott és peremhálózati AI üzembe helyezéshez.
| Kép | Termék | Ár | Kapacitás |
|---|
A modellkapacitás megértése
A modellkapacitás az AI-modell paramétereinek számára utal (pl. 70B = 70 milliárd paraméter). A nagyobb modellek általában több memóriát és számítási teljesítményt igényelnek, de jobb következtetési képességet és kimeneti minőséget nyújthatnak.
A precizitás (FP16 / FP8 / FP4) befolyásolja, hogy egy adott modellkapacitás mennyi memóriát igényel: az alacsonyabb precizitású formátumok durván felére csökkentik a memóriaigényt lépésenként (FP16 → FP8 → FP4), azonban ez a kimeneti precizitás rovására történik.
| Modellméret | Tipikus memória (FP16) | Tipikus memória (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |