Das minimalistische ML-Framework tinygrad
Mit reduziertem Befehlssatz und hoher Portabilität sagt das kleine ML-Framework tinygrad den Dickschiffen TensorFlow und PyTorch den Kampf an.
Auch wenn sich in den letzten Jahren PyTorch und TensorFlow bei der Deep-Learning-Entwicklung durchsetzen konnten, gibt es darüber hinaus viele weitere Frameworks, die Lücken füllen oder besonders gut auf bestimmte Hardware abgestimmt sind. George Hotz, PS3- und iPhone-Hacker der ersten Stunde und Gründer der offenen Fahrzeugassistenzsoftware openpilot [1], hat mit tinygrad ein weiteres, leichtgewichtiges Deep-Learning-Framework geschaffen, das auf unterschiedlicher Beschleunigerhardware läuft. Sein Ziel ist es, die Kosten für das Training und die Inferenz von KI-Modellen so zu senken, dass sich für beides bezahlbare eigene Hardware nutzen lässt.
Absoluter Marktführer bei KI-Hardware ist Nvidia: Systeme wie die A100- oder H100-GPUs sind aktuell der Renner, wenn es um Training oder Feintuning großer KI-Modelle in der Cloud geht. Wenn die Modelle dann in Betrieb gehen, liefert der Grafikkartenhersteller auch dort die nötige Hardware, um den rund 100 Millionen Nutzern von ChatGPT Textausgaben zu präsentieren. Frameworks wie TensorFlow, PyTorch und andere setzen dabei auf die hardwarespezifischen Beschleunigerbibliotheken CUDA, cuDNN, cuBLAS und andere, um das Training der Abermilliarden Parameter dieser Modelle überhaupt in endlicher Zeit zu ermöglichen.