01 · Statisch
Was ist enthalten?
Manifeste, Skills, Commands, Hooks, MCP-Komponenten, ausführbare Dateien, Pfade und mögliche Secrets werden geprüft. Dateien werden dabei nicht ausgeführt.
Ansicht wird geladen …
Ansicht wird geladen …
Testbank für KI-Skills und Plugins
Die Testbank macht aus einem Upload einen nachvollziehbaren Prüfbericht: Was ist enthalten, welche Risiken gibt es und welchen Unterschied macht das Werkzeug bei derselben Aufgabe?
Was die Testbank ist
Skills und Plugins können Regeln, Wissen, Befehle und Hooks mitbringen. Von außen ist oft schwer zu erkennen, was davon tatsächlich hilft, was nur Kontext verbraucht und wo eine riskante Ausführungsfläche entsteht.
Die Testbank trennt deshalb zwei Fragen: Was liegt im Paket? Und verändert es ein beobachtbares Ergebnis, wenn die Aufgabe mit und ohne das Paket bearbeitet wird?
Methodik
01 · Statisch
Manifeste, Skills, Commands, Hooks, MCP-Komponenten, ausführbare Dateien, Pfade und mögliche Secrets werden geprüft. Dateien werden dabei nicht ausgeführt.
02 · Deterministisch
Eingebaute Kriterien prüfen Antworten und Dateien. Grenzen für Pfade, Ausgaben, Dateizahl, Bytes und Traces werden vor der Bewertung durchgesetzt.
03 · Statistisch
Kontroll- und Behandlungsarm erhalten dieselbe Aufgabe, denselben Seed und dieselbe Umgebung. Wiederholungen zeigen Median, Streuung und – falls zulässig – den Uplift.
Sicherheitsmodell
Die Webapp führt hochgeladene Skills und Plugins nicht aus. ZIPs und GitHub-Archive werden vor der Speicherung auf Pfade, Symlinks, Größe und Dateizahl geprüft.
Verhaltensläufe bleiben bis zum belegten privaten Worker mit unabhängigem Collector gesperrt. Ein Bericht ist ein begrenzter Test, keine Sicherheitsgarantie.
Ablauf
ZIP oder öffentliches GitHub-Repository auswählen. Bei GitHub wird ein konkreter Commit geprüft, damit der Ausgangspunkt nachvollziehbar bleibt.
Manifest, Dateien, Pfade, Hooks, MCP-Komponenten und mögliche Secrets werden erfasst. Unzulässige Archive werden vor der Speicherung abgewiesen.
Wenn die Ausführungsumgebung freigegeben ist, treten Kontroll- und Behandlungsarm mit derselben Aufgabe gegeneinander an.
Der Bericht trennt Beobachtung, Vergleich und Interpretation. Ein Ergebnis ist ein begrenzter Test unter definierten Bedingungen, keine Sicherheitsgarantie.
Testtiefe
Kostenlos
Inventar, Struktur und Risikosignale. Das ist der Startpunkt für jedes Paket.
Gering
Ein kurzer, begrenzter Verhaltenstest für eine schnelle Plausibilitätsprüfung.
Standard
Drei Kontroll- und drei Behandlungsläufe mit festen Kriterien und begrenztem Budget.
Variabel
Mehr Wiederholungen innerhalb eines festgelegten Rahmens, wenn Streuung und Uplift belastbarer eingeordnet werden sollen.
Kostenmodell
Der statische Erstscan kann kostenlos bleiben. Vollständig kostenlos ist die Plattform trotzdem nicht: Server, Mail, Speicher, Backups, Zahlungsabwicklung und optionale Drittprüfungen sind echte Kostenstellen.
Nutzerpreis: 0 €
ZIP oder öffentliches GitHub, Inventar und statischer Bericht. Kein Modelllauf und kein kostenpflichtiger Drittcheck im Free-Pfad. Vorläufige Kostenbasis: 23,89 €/Monat für Server, Backups und IPv4 plus 10 €/Jahr Domain; die Testbank trägt den Server zunächst vollständig.
Variabel
Smoke, Standard und Adaptive werden erst nach einer Kostenreservierung mit harter Obergrenze vorgemerkt.
Vor Produktstart
Provider-Cap und 10 % Puffer sind vorhanden. Infrastrukturanteil und Zahlungsgebühr müssen noch als eigener Preis bekannt und gedeckt werden.
| Kostenstelle | Status | Was kostet Geld? | Schutz gegen Verlust |
|---|---|---|---|
| Hetzner-Server | bereit unter IP | Testbank hat einen eigenen CPX22-Server im Hetzner-Projekt Testbank. Der angezeigte Gesamtpreis beträgt 23,89 €/Monat exklusive USt. inklusive Backups und IPv4; der bestehende KundenDashboard-Server bleibt davon getrennt und unverändert. | Eigene Kostenstelle, kein gemeinsamer Serverzugriff und keine dynamischen Worker ohne separaten Sicherheits- und Kosten-Checkpoint. |
| Domain und DNS | Basis vorhanden | Nach deiner Angabe kostet die Hauptdomain 10 €/Jahr, also rechnerisch 0,83 €/Monat. Cloudflare-DNS kann im Free-Plan 0 € kosten. | Keine neue Domain und keine bezahlten Cloudflare-Add-ons im MVP. Cloudflare-Quelle |
| PostgreSQL, Caddy und Laufzeit | selbst gehostet | Keine separate Lizenzrechnung für die eingesetzten Open-Source-Bausteine; CPU, RAM, SSD, Updates und Betrieb stecken in der Infrastruktur. | Keine parallele Datenbank-SaaS für denselben Zweck. |
| SMTP und Magic Links | offen | Jede Anmeldung braucht Mailversand. Resend nennt 0 USD für 3.000 Mails/Monat und 100/Tag; Pro kostet 20 USD/Monat für 50.000 Mails, danach 0,90 USD je 1.000. | Mail pro Tag/Monat begrenzen; Provider und Tarif vor Produktstart bestätigen. Resend-Quelle |
| Uploads, Speicher und Backups | variabel | SSD, Backup-Ziel, Traffic und Aufbewahrung wachsen mit Uploads und Berichten. | Dateien, Bytes, Nutzer, Aufbewahrung und Backup-Größe begrenzen. |
| GitHub-Import | Free-Pfad | Öffentliche Daten haben keine Importgebühr; die Testbank schützt ihr gemeinsames GitHub-Anfragebudget mit einem globalen Limit. | Nur öffentliche Repositories, Commit einfrieren und Rate-Limit einhalten. GitHub-Quelle |
| Lemon Squeezy | optional | Keine Monatsgebühr, aber 5 % + 0,50 USD pro Verkauf. International, PayPal, Abos und Auszahlungen können weitere Gebühren auslösen. | Keine zu kleinen Credit-Pakete; alle Gebühren vor der Gutschrift einrechnen. Preis · Gebühren |
| PostHog und Supabase | verbunden, nicht im Runtime-Kern | PostHog Free: 1 Projekt, 1 Jahr Aufbewahrung und 1 Mio. Analytics-Events/Monat; danach nutzungsabhängig. Supabase: letzte Kontoprüfung Free-Plan; öffentlich u. a. 500 MB Datenbank, 1 GB Storage und 5 GB Egress. | Im kostenlosen Testbank-Pfad nicht zusätzlich aktivieren; keine doppelte Datenbank. PostHog · Supabase |
| TruthScan und ClearPolicy | optionale Drittanbieter | TruthScan Free: 25 Ergebnisse/Monat; Starter 24 USD/Monat für 1.000 Ergebnisse, danach 0,03 USD/Ergebnis. ClearPolicy: 29 USD/Monat nach 30 Tagen Test. | Nicht automatisch im Static- oder Free-Pfad aufrufen. TruthScan · ClearPolicy |
| Tailscale, SonarQube und Figma | Arbeits-/Zukunftswerkzeuge | Tailscale Personal ist für bis zu 6 Nutzer kostenlos, Standard kostet 8 USD/Nutzer/Monat. SonarQube Free gilt für private Projekte bis 50k LOC, Team startet bei 34 USD/Monat. Figma Starter ist kostenlos; Professional kostet 16 USD Full-, 12 USD Dev- oder 3 USD Collab-Sitz/Monat. | Nicht als Testbank-Freeleistung verkaufen; nur nach Bedarf und mit eigenem Budget aktivieren. Tailscale · Sonar · Figma |
No-Loss-Regel für den Produktstart: BYOK beseitigt nur die Modellrechnung. Mail, Server, Speicher, Support und Zahlungsabwicklung können trotzdem Geld kosten. Der aktuelle Code reserviert Provider-Cap plus 10 % Puffer; Infrastruktur- und Zahlungsanteil sind noch nicht als eigener Preis eingebaut. Der dynamische Lauf darf erst nach dieser Preisfreigabe für Nutzer geöffnet werden. Der Testbank-Server ist unter testbank.graypath.devmit TLS erreichbar und besitzt ein verfügbares Hetzner-Backup. Vor der Nutzerfreigabe fehlen noch die echte SMTP-Zustellung und ein zusätzliches verschlüsseltes Off-Server-Ziel für Datenbank-Dumps.
Fragen
Nein. Sie analysiert Pakete und kann definierte Verhaltenstests vergleichen. Daraus folgt keine vollständige Sicherheitsprüfung und keine Garantie.
Nein. Der Erstscan bleibt bei Inventar- und Strukturprüfung. Verhaltenstests sind bis zur Freigabe der dafür nötigen isolierten Infrastruktur gesperrt.
Deterministische Kriterien prüfen ein Ergebnis nach festen Regeln. Statistische Tests wiederholen einen Vergleich, um Streuung und einen möglichen Uplift einzuordnen.
ZIP-Dateien und öffentliche GitHub-Repositories. Bei GitHub wird ein konkreter Commit eingefroren; Git-Historie, Hooks und Submodule werden nicht als Laufzeitquelle übernommen.
Der Bericht ist zunächst für deinen geschützten Arbeitsbereich gedacht. Freigabe, Aufbewahrung und öffentliche Veröffentlichung sind noch offene Produktentscheidungen.
Transparenz
Einige Betriebs- und Rechtstexte gehören bewusst noch nicht in eine scheinbar fertige Zusage. Vor einem öffentlichen Produktstart müssen mindestens diese Punkte bestätigt werden:
Nächster Schritt
Nach der Anmeldung kannst du eine ZIP-Datei oder ein öffentliches GitHub-Repository einreichen. Erst wenn Test, Budget und Kriterien bestätigt sind, wird ein Verhaltenstest vorgemerkt.
Magic Link statt Passwort. Noch kein Konto? Es wird mit deiner ersten bestätigten E-Mail angelegt.