Ein Nullergebnis veröffentlichen — und eine eigene Zahl korrigieren

Unsere Forecast-Research-Demo Xommodo ist abgeschlossen, der Ergebnisbericht liegt vor. Er beantwortet die Ausgangsfrage mit Nein. Beim Nachrechnen für diesen Bericht kam allerdings etwas heraus, das uns mehr beschäftigt hat als das Nullergebnis selbst: eine Zahl, die wir hier im August veröffentlicht haben, war falsch. Dieser Beitrag korrigiert sie und erklärt, warum ausgerechnet der Fehler der übertragbare Teil ist.

Zuerst die Korrektur

Im Update vom August steht, der ausgewiesene Gesamt-Return sei durch die Einrechnung von Roll-Kosten von +135,0 % auf +127,3 % gesunken, versehen mit dem Satz „Genauigkeit hat Vorrang vor der schöneren Zahl".

Der Satz stimmt, die Zahl nicht. +127,3 % war nicht der korrigierte Wert, sondern ein knapp korrigierter falscher. Die Roll-Kosten waren rund 8 von rund 67 Prozentpunkten Abweichung. Der belastbare Wert für dasselbe Datum lautet +67,9 %. Im echten Vorwärtsfenster lag die Simulation zudem hinter Buy-and-Hold — 10,3 Prozentpunkte, auf 37 Handelstagen.

Der alte Beitrag bleibt stehen und trägt jetzt einen datierten Korrekturhinweis. Die falsche Zahl wird nicht entfernt: Wer eine Veröffentlichung berichtigt, sollte nachlesbar lassen, was vorher dastand.

Wie eine geprüfte Kette eine falsche Zahl tragen konnte

Xommodo hatte genau dafür Vorkehrungen: Jede Prognose wurde vor dem Ergebnis in eine SHA-256-Hash-Chain geschrieben und über OpenTimestamps in der Bitcoin-Blockchain verankert. Diese Kette wurde nie verletzt. Sie ist bis heute prüfbar, und ihr Protokoll ist zutreffend.

Der Fehler lag in drei Lücken daneben:

• Besichert war nicht, was veröffentlicht wurde. Das Qualitätsgate, das die Kette mitprotokollierte, maß eine andere Strategie als die, deren Kurve auf der Seite stand. Eine Modelländerung verbesserte die eine Größe und ließ die andere einbrechen — das Gate blieb also völlig korrekt grün.
• Gemessen war nicht, was gezeigt wurde. Die veröffentlichte Kurve wurde jede Nacht neu gerechnet, aber aus gespeicherten Entscheidungen. Eine geänderte Konfiguration schlug durch, ein geändertes Modell konnte es nicht. Die Anzeige blieb in sich stimmig und wurde nach außen falsch — die ungünstigste Kombination, weil innere Stimmigkeit genau das ist, was eine Prüfung kontrolliert.
• Der Wächter konnte nicht greifen. Ein Test sollte genau diese Fehlerklasse verhindern. Er suchte im Quelltext nach einer Zeichenkette — und die stand dort. Er lief die ganze Zeit grün.

Was daraus für Prüfsysteme folgt

Ein manipulationssicherer Nachweis beweist, was wann festgeschrieben wurde. Er beweist nicht, dass eine daraus abgeleitete Kennzahl noch dazu gehört, und er sagt nichts darüber, welche Größe eine Freigabeprüfung misst. Wer Auditierbarkeit baut, sollte beide Lücken von vornherein mitdenken:

• Abgeleitete Kennzahlen gegen eine frische Herleitung abgleichen — regelmäßig, automatisch, mit Alarm ab einer Schwelle. Wir hatten diesen Abgleich nicht; er wäre billig gewesen.
• Prüfen, worauf das Gate tatsächlich schaut. Ein grünes Signal ist nur so viel wert wie die Übereinstimmung zwischen gemessener und gezeigter Größe.
• Verhalten prüfen, nicht Quelltext. Ein Test, der nach einer Zeichenkette sucht, prüft die Schreibweise, nicht die Wirkung.

Und das Nullergebnis

Die Ausgangsfrage — können schwache, öffentlich verfügbare Vorlaufsignale Rohstoffpreise vorhersagen? — ist mit Nein beantwortet. Über zehn vorregistrierte Läufe mit 7.825 geprüften Kombinationen überstand kein Kandidat das vorab festgelegte Kriterium. Der abschließende Test verfehlte seine vorher gesetzte Schwelle um 0,023; die ebenfalls vorher niedergeschriebene Entscheidungsregel sah dafür die Einstellung vor, und so wurde entschieden.

Der Bericht enthält daneben zwei methodische Befunde, die über das Projekt hinausreichen: eine von uns absichtlich eingebaute Placebo-Kontrolle bestand die Bonferroni-Korrektur — was unsere erste Screening-Phase entwertete — und eine synthetische Kontrolle trennte danach eine kaputte Methode von einer bloß falsch kalibrierten.

Zum vollständigen Bericht auf xommodo.com →

Deutsche Fassung. Die englische Fassung mit DOI und dem vollständigen Reproduktionspaket — Roh-Prognosen, Ledger samt Zeitstempel-Ankern, Vorregistrierungen — erscheint auf Zenodo.

Xommodo war eine Forschungs-Demonstration, keine Anlageberatung. Alle genannten Renditezahlen stammen aus Simulationen beziehungsweise einem neunwöchigen Vorwärtsfenster und sind kein Indikator für künftige Ergebnisse.