EngineeringStratégie de tests

Stratégie de tests

Tester la sémantique, la sécurité et l’UX d’Orbit — pas seulement les fonctions.

Pyramide de tests

Unitaires

  • scoring ;
  • calcul qualité/CU ;
  • policy evaluation ;
  • parsing ;
  • transitions d’état ;
  • règles de routing.

Intégration

  • DB + workflows ;
  • connecteurs mockés ;
  • MCP/API ;
  • stockage objet ;
  • idempotence ingestion ;
  • migrations.

End-to-end

  • empty → encode → filled ;
  • ajout/suppression mémoire ;
  • focus/popovers ;
  • paywall CU ;
  • Space switching ;
  • permissions client.

Contract tests

Valider que MCP/API et connecteurs respectent leurs schemas indépendamment de l’implémentation.

Golden tests

Pour le Context Engine, conserver des jeux de requêtes/mémoires avec résultats attendus :

  • sélection de sources ;
  • exclusions de permissions ;
  • contradictions ;
  • ordre de pertinence ;
  • budget CU.

Tests de sécurité

  • cross-Space leakage ;
  • prompt injection ;
  • write poisoning ;
  • token scope escalation ;
  • suppression/retention.

UX visuelle

La production doit disposer de snapshots ou tests visuels pour les invariants du graphe, en complément des tests comportementaux.