Meta veröffentlicht das bisher umfangreichste Open Source LLM

Meta hat Llama 3.1 405B, eine neue Version ihres Open Source Large Language Models, veröffentlicht. Es umfasst 405 Milliarden Parameter und soll mit den besten geschlossenen Modellen wie GPT-4 konkurrieren können, dabei aber kostengünstiger sein. Die Kontextlänge beträgt 128’000 Token.

Mark Zuckerberg hat begleitend einen Blogpost publiziert: «Open Source AI Is the Path Forward». Darin argumentiert er, dass Open-Source-KI der beste Weg für die zukünftige Entwicklung der Technologie sei. Zuckerberg vergleicht die Entwicklung der KI mit der Entwicklung von Unix-Systemen, bei der sich Open-Source-Systeme (Linux) letztlich durchgesetzt haben. Er führt aus, warum Open Source sowohl für Entwickler als auch für Meta selbst und für die Welt («Why Open Source AI Is Good for the World») von Vorteil ist. Insbesondere betont er die Vorteile der Transparenz, der Sicherheit, der Kosteneffizienz und des Zugangs für alle.

Natürlich sollten wir nicht davon ausgehen, dass Mark Zuckerberg und Meta ihre strategischen Überlegungen von der Frage, was gut für die Welt ist, leiten lassen. Das Veröffentlichen von leistungsfähigen Open Source LLMs ist allerdings grundsätzlich begrüssenswert, auch wenn die Meta-Llama-Lizenz nicht allen Aspekten der Open-Source-Ideen entspricht.