Fremdes Training prüfen, ohne es zu wiederholen

In verteilten Berechnungen kostet die Prüfung eines Ergebnisses meist so viel wie seine Erzeugung. Um sicher zu sein, dass ein Knoten wirklich Gradienten berechnet und nicht einen Haufen Zufallszahlen ausgegeben hat, müsste ein Prüfer den ganzen Lauf wiederholen — und der ganze Nutzen des Auslagerns verfliegt auf der Stelle.

Warum das historisch wichtig ist, legt das erste Kapitel des Artikels dar: Das Training großer Netze war ein Vorrecht von Konzernen mit Zugang zu zentralen Supercomputern, und mit der Hardware wanderte die Kontrolle — zensierte Gewichte, ideologische Beschränkungen, Eigentum am Ergebnis. Die Antwort von CODE heißt dezentrale neuronale Synthese und vereint Tausende unabhängiger Knoten, die Trainingsminer, in einem föderierten Lernnetz.

Frage eins: Wurde die angegebene Berechnung ausgeführt, und zwar richtig? Frage zwei: Taugt der eingereichte Teil überhaupt etwas, oder hat der Knoten eine Hintertür ins Modell geschmuggelt? Das sind verschiedene Fragen, die verschiedene Mechanismen behandeln — der Nachweis beantwortet nur die erste.

Daher die Gestalt der Verteidigung. Die Mathematik fängt Lügen in der Arithmetik ab, die Statistik der Aggregation fängt Sabotage im Inhalt ab, die Ökonomie macht beides unrentabel. Nimmt man eine der drei weg, decken die beiden übrigen ihren Abschnitt nicht ab.

Nachdem ein Trainingsknoten auf einem Batch von den Gewichten `Wₜ` zu `Wₜ₊₁` übergegangen ist, stellt er einen zk-SNARK `πₜᵣₐᵢₙ` zusammen, der drei Dinge behauptet. Der Vorwärtsdurchlauf wurde richtig berechnet: Die Aktivierungen der Schichten ergaben sich als `Y = f(Wₜ · X + B)`. Der Rückwärtsdurchlauf folgte streng der Regel der Fehlerrückführung. Die neuen Gewichte gehorchen der Formel des Optimierers, `Wₜ₊₁ = Wₜ − η · Update(∇ W)`, ob Adam oder SGD.

Der Gewinn liegt genau in der Prüfzeit: Ein Solana-Validator braucht Millisekunden für einen kurzen Nachweis, der für Stunden fremder GPU-Arbeit steht. Diese Lücke ist der ganze Grund, warum es die Konstruktion gibt.

ReLU, in Gleichungen zerlegt

In einer Schaltung ist eine Nichtlinearität nie eine Funktion, sondern ein System von Beschränkungen. Eine Schicht lautet `aₗ₊₁ = σ(Wₗ · aₗ + bₗ)`, und σ für den Gleichrichter geht über einen binären Selektor `s ∈ {0, 1}` und drei Bedingungen ein: `y · (1 − s) = 0`, `(x − y) · s = 0`, `y ≥ 0`. Für den Rückwärtsdurchlauf beweist die Schaltung, dass die Summe der Produkte `∂L/∂wⱼₖ = Σᵢ δⱼ · aₖ` ehrlich über den ganzen Batch aufaddiert wurde, sodass ein Gradient vor dem Senden nicht mehr verschoben werden kann.

Warum jede Zahl mit einer Milliarde multipliziert wird

Der Körper, in dem das Schema lebt, ist endlich: eine Ordnung von etwa `2²⁵⁴` für die Kurve BN254. Brüche gibt es dort nicht, deshalb werden Matrixelemente im Maßstab `10⁹` genommen, und das Produkt landet sofort bei `10¹⁸`. Damit das Register nicht verrutscht, trägt jeder Zwischenwert eine Bereichsbeschränkung `z < 2⁶⁴` über 64-Bit-Selektoren, und der Rückweg wird durch Division mit Rest geprüft: `ȳᵢ = qᵢ · 10⁹ + rᵢ` mit `rᵢ < 10⁹`. Der Nebennutzen wiegt schwerer als der Hauptnutzen — das Ergebnis hängt nicht mehr davon ab, welcher Beschleuniger es erzeugt hat.

Hunderte lokaler Aktualisierungen verschmelzen zu einem Modell durch föderierte Mittelung, die um die Reputation herum neu geschrieben wurde: `W_global = Σᵢ (Rᵢ / Σ Rⱼ) · Wᵢ`, wobei `Rᵢ` mit der Genauigkeit vergangener Runden und der Höhe des gesperrten Einsatzes wächst. Wer zusammenzählt, ist im Voraus unbekannt: Aggregatoren werden durch eine überprüfbare Zufallsfunktion gezogen, und die Richtigkeit der Verschmelzung bestätigt ein eigener Nachweis, `π_merge`.

Hier wird auch die Vergiftung des Modells abgefangen — genau das, was ein Schrittnachweis grundsätzlich nicht sehen kann. Die Konvergenz hält, solange byzantinische Knoten unter einem Drittel der Gesamtzahl bleiben, `f < n/3`. Darüber läuft ein geometrischer Median: Ein Vektor, der zu weit vom Schwerpunkt der Mehrheit entfernt liegt, erhält in der Mittelung das Gewicht null, und der gesperrte Einsatz seines Absenders wird vom Smart Contract eingezogen.

Eine Trainingskampagne beginnt mit dem Sperren eines Budgets in $GALATIN, und der ganze Strom läuft durch den kanonischen Router 5/5/15/7/3/65. Fünf Prozent verbrennen, fünf gehen in den Forschungspool des Fonds von Maksim Valentinovich Galatin, 15/7/3 erreichen Botschafter auf drei Ebenen, und 65 % teilen sich die Trainingsminer, die Kapazität vermieten, die Nutzer, die ihre kognitiven Spuren beigetragen haben, und die Prüfer der Nachweise.

Die Hälfte dieser 65 % bleibt im Escrow, bis eine Aggregationsrunde bestätigt ist. Stellt sich heraus, dass ein Knoten falsche Gewichte oder einen gefälschten Nachweis eingereicht hat, greift das Slashing: Die Adresse kommt auf die schwarze Liste des souveränen Registers `did:code`, der ganze gesperrte Einsatz geht an einen Versicherungsfonds, und das nicht verbrauchte Kampagnenbudget kehrt zum Auftraggeber zurück.

Der teuerste Posten für einen Beweiser ist die Multiskalarmultiplikation — bis zu 80 % seiner Arbeitszeit. Das Verfahren von Pippenger mit festen Fenstern, typisch `c ≈ 4`, senkt die Zahl der Punktadditionen auf der elliptischen Kurve um 75 %. Lokale Nachweise einzelner Schichten werden dann durch Faltung in Nova- oder Halo2-Schemata gepackt, bei denen die Zahl der Beschränkungen nicht mit der Zahl der Schichten wächst, und nur der endgültige komprimierte Polynomhash des Modells wird in der Blockchain geprüft.

Die Devnet-Messungen fallen schlicht linear aus. Eine Schicht mit 512 Neuronen braucht 1,2 Sekunden, 16 GB Knotenspeicher und einen Nachweis von 45 KB. Doppelte Breite verdoppelt alles: 1024 Neuronen ergeben 2,4 Sekunden, 32 GB und 90 KB; 2048 ergeben 4,8 Sekunden, 64 GB und 180 KB; 4096 ergeben 9,6 Sekunden, 128 GB und 360 KB.

Ergebnisse mit Stand 5. März 2026: ein Netz aus 250 aktiven Trainings-GPU-Knoten auf Nvidia A100 und H100, das trainierte Modell Llama-3-8B-Instruct, etwa 4,5 Sekunden für den Nachweis eines Schritts bei Batchgröße 32 und eine On-Chain-Prüfung mit 210.000 Recheneinheiten. Die Zeile zur Genauigkeit formuliert die Quelle vorsichtig: In der Simulation wurden falsche Gewichte blockiert.

Der Zeitplan dauerte etwas über eine Woche. Am 27. Februar wurden hundert H100-Knoten aufgebaut und die grundlegende Koordination gestartet. Am 1. März wurde Vergiftung simuliert: Fünfzehn Knoten schickten gefälschte Aktualisierungen, die Prüfschemata wiesen in dieser Simulation jeden Versuch ab, und der Einsatz der Angreifer wurde verbrannt. Am 3. März wurde Llama-3-8B-Instruct auf einem medizinischen Datensatz trainiert und die Verschmelzung der Gewichte auf drei Minuten pro Runde gesenkt. Am 5. März wurde das Solana-Devnet angeschlossen, und die endgültigen Zahlen wurden erhoben.

Die Privatsphäre beruht auf der Reihenfolge der Schritte, nicht auf einem Versprechen: Die Basisgewichte kommen auf das Gerät des Nutzers oder auf einen geschützten lokalen Knoten, Aktualisierungen und Gradienten werden vor Ort mit Sitzungsschlüsseln verschlüsselt, und Prüfer von außen sehen nur die Tatsache, dass die Berechnung richtig war, nie den Datensatz selbst. Der Verkehr zwischen Knoten läuft über P2P mit Noise-Verschlüsselung.

Die Zahl, wonach Training bis zu 80 % weniger kostet als bei zentralen Hyperscalern, stellt die Quelle als Zielschätzung für eine offene Versteigerung von Kapazität dar, nicht als Messung. Auch der Fahrplan wird als Plan benannt: Juni 2026, ein mobiler Schwarm auf Verbrauchergeräten; September, ein kettenübergreifender Modellmarkt über Solana, Ethereum und Cosmos; Dezember, fortlaufende Selbstverbesserung, bei der das Modell seine eigene Kampagne ausruft. Als der Text erschien, war keine einzige Phase abgeschlossen.

Und die wichtigste Einschränkung, die direkt aus dem Aufbau der ersten Linie folgt. Der Nachweis bezeugt die Arithmetik, nicht den Wert der Daten: Ein Knoten, der ehrlich Gradienten über einen nutzlosen Datensatz berechnet hat, bekommt ein makelloses `πₜᵣₐᵢₙ`, weil dem Prüfer die Ausgangsdaten überhaupt nie gezeigt werden. Genau deshalb stehen zwei weitere Linien hinter der ersten, und genau deshalb ist die Untergrenze der Hardware hart gesetzt: nicht unter einer Nvidia RTX 4090 mit 24 GB Videospeicher, 16 physischen Kernen ab 3,5 GHz, 64 GB Arbeitsspeicher und einem symmetrischen Anschluss ab 100 Mbit/s.