Moteur de workflow 3D : au-delà des DAGs pour le traitement documentaire intelligent

Contexte

Un groupe de services financiers traitant des milliers de documents par mois - demandes de prêts, déclarations de conformité, dossiers de sinistres, correspondances réglementaires - était en difficulté avec son automatisation de workflow existante. Il avait investi dans une plateforme d'orchestration traditionnelle basée sur les DAGs (comparable à Airflow/Temporal/Camunda) pour automatiser ses pipelines de traitement documentaire.

Le problème n'était pas la technologie en elle-même. C'était que les modèles de workflow plats et séquentiels ne peuvent pas exprimer la complexité du traitement documentaire réel : formats variés, langues multiples, contenus ambigus, boucles de feedback entre extraction et validation, et des règles métier qui changent en cours de route.

Le problème : pourquoi les workflows 2D échouent sur les domaines complexes

Le pipeline de traitement documentaire du client était un DAG classique : Analyser le PDF → Extraire les entités → Valider → Stocker. Cela fonctionnait pour les documents simples et standardisés. Pour tout le reste, cela cassait.

Défaillances spécifiques :

• Ordre d'exécution fixe: quand l'extraction d'entités échouait sur un document malformé, tout le chemin aval était bloqué. Pas de routage alternatif, pas de reconsidération stratégique de l'approche
• Pas de raisonnement stratégique: les nœuds DAG sont des exécuteurs, pas des penseurs. Lors du traitement d'un état financier complexe, un nœud ne peut pas prendre du recul et demander : "Devrais-je utiliser une stratégie d'extraction différente étant donné ce que j'ai appris sur la structure de ce document ?"
• Propagation destructive des erreurs: quand une tâche échouait, toutes les tâches aval étaient automatiquement bloquées, même si elles pouvaient s'exécuter partiellement avec les données disponibles
• Pas d'apprentissage entre exécutions: chaque exécution de workflow était isolée. Si le système extrayait avec succès des données d'un format de document rare le lundi, il n'avait aucune mémoire de ce succès le mardi. Les connaissances opérationnelles précieuses restaient enfermées dans un savoir tribal non documenté
• Incapacité d'adaptation aux exigences changeantes: quand les formats réglementaires changeaient, tout le pipeline devait être arrêté, reconfiguré et redéployé. Aucune capacité d'adaptation en vol

L'équipe opérationnelle avait construit une logique de retry de plus en plus complexe, des conditions de branchement et des gestionnaires d'erreurs - mais ils combattaient la limitation fondamentale : les moteurs de workflow traditionnels aplatissent les problèmes multi-dimensionnels en une seule couche d'exécution.

La solution : architecture de workflow 3D

CMX avait recherché exactement ce problème. Nous avions identifié que les experts humains résolvant des problèmes complexes opèrent naturellement à travers plusieurs couches cognitives : méta-cognitive ("Quel problème est-ce que je résous ?"), stratégique ("Quelle approche devrais-je adopter ?"), tactique ("Quelles étapes spécifiques me faut-il ?") et opérationnelle ("Comment exécuter cette étape ?"). Les moteurs de workflow traditionnels aplatissent tout cela en une seule couche - ils ne peuvent que "exécuter des étapes", pas "décider quelles étapes entreprendre en fonction d'une compréhension évolutive."

Nous avons proposé et construit 2yFlow: un moteur de workflow distribué 3D qui introduit des couches d'abstraction avec une connectivité inter-couches bidirectionnelle.

Les trois dimensions

• Axe X (Temporel) : Dépendances séquentielles entre tâches au sein d'une couche - la chaîne causale traditionnelle : "La tâche B a besoin de la sortie de la tâche A"
• Axe Y (Parallèle) : Alternatives de tâches concurrentes et variations au même niveau d'abstraction - permettant les tests A/B, le raisonnement multi-hypothèses et la tolérance aux pannes
• Axe Z (Abstraction) : Décomposition hiérarchique des problèmes, des objectifs méta-cognitifs jusqu'à l'exécution opérationnelle

Les quatre couches d'abstraction

• Couche 3 - Méta-Cognitive : Objectifs de haut niveau, critères de succès, contraintes. "Traiter cette demande de prêt avec 99% de précision et conformité réglementaire"
• Couche 2 - Stratégique : Sélection d'approche, allocation de ressources, évaluation des risques. "Ce document a des annotations manuscrites - utiliser une stratégie hybride OCR + LLM"
• Couche 1 - Tactique : Décomposition des tâches, planification, gestion des dépendances. "Exécuter ces trois méthodes d'extraction en parallèle et fusionner les meilleurs résultats"
• Couche 0 - Opérationnelle : Invocations concrètes d'outils, appels API, calculs. "Appeler le modèle Mistral avec ce prompt structuré sur ce bloc de texte"

L'innovation critique : le feedback bidirectionnel

Pas seulement une décomposition descendante, mais un apprentissage ascendant et une coordination latérale. Quand une extraction opérationnelle échoue, le signal se propage vers le haut : la couche tactique ajuste le plan de tâches, la couche stratégique peut changer complètement d'approche, et la couche méta-cognitive réévalue si les objectifs actuels sont atteignables avec les données disponibles.

Cela reflète la façon dont les experts humains résolvent les problèmes - naviguant fluidement entre pensée stratégique, planification tactique et exécution opérationnelle tout en maintenant des boucles de feedback résilientes.

Ce que CMX a livré

Phase 1 - Conception architecturale et modèle formel (6 semaines)

Nous avons conçu l'architecture de workflow 3D fondée sur les sciences cognitives et la vérification formelle :

• Modèle d'espace pensée-action: une architecture unifiée où pensées et actions coexistent à de multiples niveaux d'abstraction, avec un flux bidirectionnel permettant une pensée informée par l'action et une action guidée par la pensée
• Protocole de communication inter-couches: définitions formelles de la propagation des signaux entre couches : les commandes de décomposition descendent, les agrégations de résultats remontent, et les signaux de coordination circulent latéralement
• Architecture d'intelligence émergente: points d'intégration pour le reinforcement learning (RL), le deep learning (DL) et les grands modèles de langage (LLMs) au sein du moteur de workflow, permettant au système d'apprendre de chaque exécution

Phase 2 - Implémentation du moteur (10 semaines)

Nous avons construit le moteur distribué 2yFlow :

• Espace de tâches 3D: les tâches existent dans un système de coordonnées tridimensionnel, avec des relations temporelles, parallèles et d'abstraction explicites
• Exécution auto-réparatrice: quand une tâche échoue, le moteur ne se contente pas de réessayer ou d'abandonner. Il escalade vers la couche stratégique, qui peut sélectionner des approches alternatives, redistribuer les ressources ou reformuler le problème
• Mémoire inter-exécutions: une couche de connaissance qui persiste l'apprentissage entre les exécutions de workflow. Les stratégies d'extraction réussies pour des types de documents spécifiques sont mémorisées et réappliquées. Les patterns d'échec sont catalogués et évités
• Reconfiguration dynamique: les workflows s'adaptent en vol en fonction du contexte d'exécution, sans arrêt ni redéploiement

Phase 3 - Déploiement pour le traitement documentaire (6 semaines)

Nous avons déployé 2yFlow pour l'opération de traitement documentaire du client :

• Analyse de documents de prêt: documents financiers multi-formats traités par des stratégies d'extraction adaptatives qui se sélectionnent elles-mêmes en fonction des caractéristiques du document
• Correspondance réglementaire: documents complexes et ambigus où la couche stratégique choisit entre le matching de templates, l'extraction basée sur LLM et l'escalade humaine en fonction des évaluations de confiance
• Traitement des sinistres: documents standardisés à haut volume où le système apprend les chemins de traitement optimaux et route préventivement les cas limites vers des stratégies spécialisées

Phase 4 - Évaluation et transfert de connaissances (2 semaines)

• Benchmarks comparatifs avec le pipeline DAG précédent du client
• Documentation opérationnelle et formation des équipes
• Architecture d'intégration pour étendre 2yFlow à des domaines métier supplémentaires

Résultats

• +34% de précision d'extraction sur les documents complexes et non standardisés par rapport au pipeline statique précédent
• Récupération auto-réparatrice: les échecs de workflow qui nécessitaient auparavant une intervention manuelle sont désormais gérés de manière autonome par la reconsidération de la couche stratégique
• Apprentissage inter-exécutions: le système s'améliore à chaque lot, réduisant les taux d'erreur sur les formats de documents déjà rencontrés de 12% supplémentaires par mois
• 4 couches cognitives opérant en production: le premier déploiement entreprise d'un moteur de workflow qui raisonne à travers les niveaux d'abstraction, pas seulement exécute des tâches
• Adaptation dynamique: quand un nouveau format de document réglementaire est apparu en cours de trimestre, le système a adapté sa stratégie de traitement sans modification du pipeline

Pourquoi c'est important

Toute l'industrie de l'orchestration de workflow - Airflow, Prefect, Temporal, Camunda - est construite sur le même paradigme de DAG 2D. Ces moteurs sont puissants pour les processus prévisibles et séquentiels. Mais les entreprises modernes font face à des problèmes multi-dimensionnels, ambigus et évolutifs : workflows de recrutement, processus de conformité, synthèse documentaire, prise de décision stratégique.

2yFlow représente la conviction de CMX que la prochaine génération d'automatisation d'entreprise nécessite une pensée architecturale, pas simplement de meilleurs outils. Les workflows ont besoin de raisonner, d'apprendre et de s'adapter - de la même manière que les experts humains.

Ce n'est pas théorique. C'est en production, traitant de vrais documents, prenant de vraies décisions et apprenant de chaque exécution.