Markt + Trends | KI und Data Science | iX

Intel, Nvidia und ARM arbeiten an Gleitkomma-Standard

Um bisherige Workarounds bei Gleitkommazahlen für Machine Learning zu vereinheitlichen, treiben Intel, Nvidia und ARM einen gemeinsamen Standard voran.

Intel, Nvidia und ARM wollen mit FP8 einen neuen Standard für Gleitkommazahlen etablieren, der die bisherigen in IEEE 754 normierten Formate für 16, 32 und 64 Bit ergänzt. FP8 soll vor allem beim Trainieren von Machine-Learning-Modellen zum Einsatz kommen und Prozesse ohne nennenswerten Einfluss auf die Genauigkeit beschleunigen.

Wie die drei Hersteller erklären, gibt es derzeit verschiedene Ansätze, Gleitkommazahlen für das Machine Learning zu optimieren. Viele setzen auf einen Mixed-Precision-Weg, der beispielsweise Gleitkommazahlen halber und einfacher Präzision, aber auch FP16 mit 8-Bit-Integer-Werten (INT8) mischt. Aktuelle Prozessoren und Rechenbeschleuniger verarbeiten auch das benutzerdefinierte BFloat16 (BF16).