Offener Benchmark

Wie genau ist Helios-Forecast?

Ehrlich lässt sich das nur beantworten, indem man es an echten Anlagen misst, überall, und laufend veröffentlicht.Je mehr Beitragende, desto mehr ist die Antwort wert: deshalb brauche ich Sie.An der Integration ändert sich nichts: sie braucht nie einen Schlüssel, sendet von sich aus nichts und berechnet alles bei Ihnen. Die Teilnahme ist freiwillig, ohne Konto und ohne gespeicherte Identität, und endet, wann Sie wollen, mit einem entfernten Häkchen.Lokal, privat, quelloffen, kostenlos: das ist die Regel, und sie bleibt.

Wo das steht

Die Messung begann vor der Behauptung.

Eine Prognose lässt sich nur an dem messen, was tatsächlich eingetreten ist, und kein Prognosedienst veröffentlicht, was er in der Vergangenheit angekündigt hat. Eine Vorhersage, die im Moment ihrer Entstehung nicht festgehalten wurde, lässt sich später nicht rekonstruieren. Die Aufzeichnung muss also lange vor jeder Schlussfolgerung beginnen und über Monate laufen.

Diese Seite behauptet noch nichts. Sie wird nie jemanden einordnen: Sie sagt, was die Prognose wert ist, und wird es umso besser sagen, je mehr Daten sich ansammeln.

Sammler wird gelesen

Abdeckung

Woher die Messungen stammen.

Jede teilnehmende Anlage gibt ihr Land an, und das ist die einzige Ortsangabe auf dieser Seite; die Rohdatei enthält zusätzlich ihre Position, auf eine Dezimalstelle geglättet. Die Streuung zählt ebenso viel wie die Anzahl: Ein Modell, das unter mediterranem Himmel gut trifft, beweist unter nordischer Bewölkung nichts.

Sammler wird gelesen

Über die Zeit

Eine Prognose beurteilt man nicht an einem Tag.

Die Stunden, in denen sich die Prognose irrt

Stunde für Stunde der mittlere Abstand zwischen dem, was Helios-Forecast angekündigt hatte, und dem, was die Zähler gemessen haben, über alle Anlagen. Die beiden anderen Kurven dienen als Bezug: die Physik allein, die nichts lernt, und die Persistenz, also der Vortag unverändert wiederholt. Alles ist auf die installierte Leistung bezogen, damit jede Anlage gleich viel zählt, und in Ortszeit gelesen, damit der Sonnenaufgang überall an derselben Stelle liegt. Man liest darin nicht, um wie viel sich die Prognose irrt, sondern zu welcher Tageszeit.

Der Fehler über der Sonnenhöhe

Derselbe Fehler, abgelegt nach der Höhe der Sonne statt nach der Tageszeit. Das ist die Achse, der der Fehler wirklich folgt: zwei Stunden mit derselben Uhrzeit haben zwischen Dezember und Juni fast nichts gemeinsam, zwei Stunden mit derselben Sonnenhöhe verhalten sich überall und zu jeder Jahreszeit gleich. Eine Schwäche bei flacher Sonne zeigt sich hier und verbirgt sich im Stundenbild.

Beständig oder nur Glück gehabt?

Der Fehler eines ganzen Tages, Quelle für Quelle, über alle bewerteten Tage. Die Linie markiert den mittleren Tag, der Kasten die gewöhnlichen Tage, die Enden den besten und den schlechtesten. Zwei Quellen können denselben mittleren Fehler haben und doch nicht gleich viel wert sein: die eine irrt sich jeden Tag ein wenig, die andere selten, aber schwer. Für die Planung einer Batterie lässt sich mit der ersten leben, mit der zweiten nicht.

Der Fehler, Tag für Tag

Jeder Balken ist der Abstand zwischen der am Morgen angekündigten und der tatsächlich erzeugten Energie, als Median über die Anlagen, mit der Spanne dahinter von der optimistischsten bis zur vorsichtigsten. Über null zielte die Prognose zu hoch. Hier trennt sich Rechthaben von Glückgehabt.

Der Fehler nach Vorlaufzeit

Mittlerer Fehler, normiert auf die installierte Leistung, nach dem Abstand zwischen Prognose und vorhergesagtem Zeitpunkt. Die nächste Stunde vorherzusagen und übermorgen vorherzusagen sind zwei verschiedene Handwerke. Das ist die Grafik, die Fachkundige zuerst ansehen.

Hält der Bereich, was er verspricht?

Helios-Forecast kündigt keinen Wert an, sondern einen Bereich, und verspricht damit implizit, dass die Wirklichkeit in acht von zehn Fällen darin liegt. Hier steht, wie oft das zutrifft. Ein Bereich, den niemand prüft, ist Dekoration.

Methode

Wie hier gemessen wird.

1

Festgehalten, bevor der Tag eintritt

Jede Stunde zeichnet jede teilnehmende Anlage die Kurve auf, die sie für die nächsten sieben Tage vorhersagt, dazu ihren Unsicherheitsbereich und die bereits gemessene Produktion. Der Eintrag trägt den Zeitstempel des Prognosemoments.
2

An einem echten Zähler gemessen

Die Wahrheit ist der Energiezähler einer echten Anlage. Nirgends wird simulierte Produktion verwendet: Eine Prognose, die gegen synthetische Daten geprüft wird, misst nur ihre Ähnlichkeit mit dem, was diese Daten erzeugt hat.
3

Nicht umschreibbar

Einträge werden ausschließlich angehängt, erzwungen von der Datenbank selbst, die jede Änderung und jede Löschung ablehnt. Ein schlechter Tag kann nicht stillschweigend verschwinden, auch nicht durch meine eigene Hand. Eine ganze Runde kann dagegen neu beginnen: diese wurde am 8. September 2026 geleert, damit sie die 2026.9.5 und die folgenden Versionen misst. Unmöglich bleibt, einen Tag innerhalb einer Runde zu verändern.
4

Bewertet an dem, worauf es ankommt

Mittlerer absoluter Fehler je Vorlaufzeit, bezogen auf die installierte Leistung, und derselbe Fehler über der Sonnenhöhe gelesen, der Achse, der er wirklich folgt. Der Gewinn gegenüber der reinen Physik und gegenüber der Persistenz, also der dümmsten Prognose überhaupt. Fehler bei der Tagesenergie. Und wie oft die Wirklichkeit tatsächlich in den angekündigten Bereich fällt. Bewertet werden nur die Stunden, in denen die Anlage erzeugt hat, für jede Quelle dieselben: nachts nichts anzukündigen ist für niemanden eine Leistung.

Lesehilfe

Wie diese Zahlen zu lesen sind.

Es gibt keinen Vergleich mit anderen Prognosediensten, und das ist eine Entscheidung. Unter den Kontingenten ihrer kostenlosen Tarife wäre die Stichprobe zu dünn gewesen, um irgendetwas abzubilden, und ein nicht repräsentativer Vergleich ist schlechter als keiner. Der Benchmark misst Helios-Forecast an seinen eigenen Referenzen: dem physikalischen Modell allein und der Persistenz, also dem gestrigen Tag, unverändert wiederholt. Ziel ist es, seine Stärken und Schwächen zu kennen, Version für Version, um es zu verbessern.
Bislang <b>ein einziger Teilnehmer</b>. Diese Zahl macht die Prognosen nicht besser, sie macht die Messung repräsentativer: je mehr Anlagen, Klimazonen und Konfigurationen dabei sind, desto weniger wiegt ein Einzelfall in den Mittelwerten.
Die aufgezeichneten Tage dienen auch dazu, die nächsten Versionen von Helios-Forecast vorzubereiten. Jeder davon lässt sich offline gegen den Zähler nachspielen, um zu prüfen, ob eine Änderung am Modell wirklich etwas verbessert, bevor sie veröffentlicht wird. Eine neue Version fängt in der Messung dann bei null an: Sie wird nur an Tagen nach ihrer Veröffentlichung bewertet, nie an denen, die zu ihrer Abstimmung gedient haben.
Weniger als eine ganze Jahreszeit. Alles, was sich im Lauf des Jahres verändert, entzieht sich daher noch der Messung, allen voran das Verhalten des Modells, sobald die Sonne höher steigt, als es sie je gesehen hat.
Es gibt daher noch kein Fazit, und es wird nie eine Rangliste geben: Diese Seite vergleicht Helios-Forecast nur mit sich selbst, Version für Version. Die Zähler oben auf der Seite sagen, wie weit die Messung ist, und sonst nichts.

Mitmachen

Eine Anlage ist kein Benchmark.

Dieser Benchmark ist genau so viel wert wie seine Vielfalt. Verschattete Anlagen, ungewöhnliche Ausrichtungen, getrennte Felder, schwierige Klimazonen und lange Historien sind die interessanten Fälle, weit mehr als eine weitere freie Südanlage. Es gibt kein Konto anzulegen und keinen Namen zu nennen: ein Häkchen in den Einstellungen von Helios Forecast, und das war es. Der Versand läuft danach von selbst, einmal pro Stunde und anonym.

Die tatsächlich gesendeten Daten

Die für die nächsten sieben Tage vorhergesagte Kurve, mit ihrem oberen und unteren Bereich.
Was das physikalische Modell allein angekündigt hätte, damit sich der Beitrag des Lernens messen lässt.
Die Produktion, die Ihr Zähler in den letzten zweiundsiebzig Stunden bereits erfasst hat.
Die Geometrie Ihrer Module: Neigung, Ausrichtung, Spitzenleistung, Wechselrichtergrenze.
Der Zuverlässigkeitsindex und die Anzahl der gelernten Tage.
Ihre auf zwei Nachkommastellen gerundeten Koordinaten, also etwa ein Kilometer, und das Land der Anlage. Die öffentliche Datei nimmt davon noch eine Stelle weg.

Was nicht in Ihren Daten steht

Kein Name, keine E-Mail-Adresse, kein Konto.
Kein Name einer Home-Assistant-Entität.
Kein Verbrauch, keine anderen Sensoren, nichts aus dem übrigen Haus.
Keine genaue Position: Die Rundung geschieht bei Ihnen, vor dem Senden.
Keine rückverfolgbare Kennung: Ihre Anlage wird durch einen lokal berechneten Fingerabdruck bezeichnet.

Um alles zu beenden, entfernen Sie das Häkchen in den Einstellungen. Das Senden hört auf der Stelle auf, es gibt nichts zu deinstallieren und niemanden zu fragen.

Rohdaten

Prüfen Sie es selbst.

Alles, was der Sammler für den jüngsten Tag von allen Anlagen erhalten hat, genau so, wie es eingegangen ist, bis auf die Position, ein JSON-Objekt pro Zeile. Die Zähler auf dieser Seite lesen dieselbe Datei, und in Ihrem Browser wird nichts berechnet.

Den jüngsten Tag herunterladen Live-Status des Sammlers

Die Koordinaten jeder Anlage werden vor der Veröffentlichung auf eine Nachkommastelle geglättet, aus Respekt vor der Privatsphäre der Beitragenden. Die Reichweite entspricht weiterhin dem Raster der Open-Meteo-Modelle, sodass sich das Wetter identisch nachrechnen lässt und die Berechnung überprüfbar bleibt.