Costruire soluzioni di IDP ben progettate con una lente personalizzata – Parte 1 Eccellenza operativa

Creare soluzioni di IDP ben strutturate con una lente personalizzata - Parte 1 L'eccellenza operativa

La lente ben progettata IDP è destinata a tutti i clienti AWS che utilizzano AWS per eseguire soluzioni di elaborazione intelligente dei documenti (IDP) e sono alla ricerca di indicazioni su come creare soluzioni IDP sicure, efficienti e affidabili su AWS.

La creazione di una soluzione pronta per la produzione nel cloud comporta una serie di compromessi tra risorse, tempo, aspettative dei clienti e risultati aziendali. Il Framework ben progettato AWS ti aiuta a comprendere i vantaggi e i rischi delle decisioni che prendi durante la creazione di carichi di lavoro su AWS. Utilizzando il framework, imparerai le migliori pratiche operative e architettoniche per la progettazione e l’esecuzione di carichi di lavoro affidabili, sicuri, efficienti, economici e sostenibili nel cloud.

Un’pipeline IDP combina di solito il riconoscimento ottico dei caratteri (OCR) e l’elaborazione del linguaggio naturale (NLP) per leggere e comprendere un documento ed estrarre termini o parole specifiche. La lente personalizzata ben progettata IDP illustra i passi per una revisione ben progettata AWS, che consente di valutare e individuare rischi tecnici all’interno dei carichi di lavoro IDP. Questa lente personalizzata integra le migliori pratiche e le linee guida per navigare ed affrontare con successo le sfide comuni nella gestione dei carichi di lavoro IDP.

Questo post si concentra sul pilastro dell’Eccellenza operativa della soluzione IDP. L’eccellenza operativa in IDP significa applicare i principi di sviluppo software robusto e mantenere un’esperienza client di alta qualità nel campo dell’elaborazione dei documenti, rispettando costantemente o superando gli accordi di livello di servizio (SLA). Comprende l’organizzazione efficace dei team, la progettazione di sistemi IDP in grado di gestire carichi di lavoro in modo efficiente, il funzionamento di questi sistemi su vasta scala e la loro continua evoluzione per soddisfare le esigenze dei clienti.

In questo post, iniziamo con l’introduzione del pilastro dell’Eccellenza operativa e dei principi di progettazione, per poi approfondire quattro aree di focus: cultura organizzativa, progettazione del carico di lavoro, ottimizzazione della creazione e rilascio, e osservabilità. Leggendo questo post, imparerai il pilastro dell’Eccellenza operativa nel Framework ben progettato con lo studio di caso IDP.

Principi di progettazione

Per i carichi di lavoro IDP, l’eccellenza operativa si traduce nei seguenti punti:

  • Alta precisione e bassi tassi di errore nell’estrazione dei dati dai documenti – La precisione nell’estrazione dei dati dai documenti è fondamentale, poiché riduce gli errori e garantisce che le informazioni utilizzate per prendere decisioni siano affidabili
  • Elaborazione rapida di grandi volumi di documenti con bassa latenza – L’efficienza nella gestione di grandi volumi di documenti in modo tempestivo consente alle organizzazioni di tenere il passo con le richieste aziendali, riducendo i colli di bottiglia
  • Monitoraggio continuo per una diagnosi e risoluzione rapida dei problemi – Il monitoraggio proattivo e la manutenzione aiutano a identificare e risolvere rapidamente eventuali interruzioni nella pipeline di elaborazione dei documenti, mantenendo un flusso operativo fluido
  • Iterazione rapida per migliorare modelli e flussi di lavoro – Implementando un ciclo di feedback che facilita il continuo perfezionamento di algoritmi e processi, il sistema evolve per affrontare le sfide emergenti e gli standard di efficienza
  • Ottimizzazione dei costi per garantire che le risorse siano allineate alle esigenze del carico di lavoro – La gestione strategica delle risorse garantisce che l’investimento finanziario nei sistemi IDP produca il massimo valore, adeguando dinamicamente le risorse in base alle variazioni delle esigenze di elaborazione dei documenti
  • Rispetto degli SLA – Rispettare o superare gli standard e i tempi di risposta promessi ai clienti è fondamentale per mantenere la fiducia e la soddisfazione

Le strategie di progettazione efficaci devono essere allineate a questi obiettivi, garantendo che i sistemi IDP siano non solo tecnicamente capaci ma anche ottimizzati per le sfide del mondo reale. Ciò eleva l’eccellenza operativa da un obiettivo di backend a un asset strategico, indispensabile per il successo di tutta l’azienda. Sulla base dei principi di progettazione del pilastro dell’Eccellenza operativa, proponiamo i seguenti principi di progettazione per questa lente personalizzata.

Principi di progettazione Descrizione
Allinea gli SLA IDP con gli Obiettivi generali del flusso di lavoro del documento IDP di solito funziona come componente integrante del più ampio flusso di lavoro dei documenti gestito dai team aziendali. Pertanto, è essenziale che gli SLA per l’IDP siano attentamente formulati come sottoinsiemi degli SLA del flusso di lavoro generale del documento. Questo approccio garantisce che le aspettative di prestazioni dell’IDP siano in armonia con gli obiettivi più ampi del flusso di lavoro, fornendo uno standard chiaro e coerente per velocità di elaborazione, precisione e affidabilità. In questo modo, le aziende possono creare un sistema di gestione dei documenti coeso ed efficiente che si allinea agli obiettivi aziendali e alle aspettative degli stakeholder, favorisce la fiducia e la affidabilità nelle capacità del sistema.
Converti le operazioni per efficienza e riproducibilità Eseguendo operazioni come codice e incorporando metodologie di distribuzione automatizzata, le organizzazioni possono ottenere processi scalabili, ripetibili e coerenti. Ciò riduce non solo il potenziale per errori umani, ma apre anche la strada per l’integrazione senza soluzione di continuità di nuove fonti di dati e tecniche di elaborazione.
Prevedi e pianifica in modo proattivo i guasti di sistema Poiché i sistemi IDP elaborano un’ampia gamma di documenti con complessità varie, possono emergere potenziali problemi in qualsiasi fase della pipeline di elaborazione dei documenti. Dovresti condurre esercizi di “pre-mortem” per identificare preventivamente possibili cause di guasti in modo da poterle rimuovere o mitigare. Simula regolarmente scenari di guasto e convalida la comprensione dei loro effetti. Testa le procedure di risposta per garantire che siano efficaci e che i team siano familiarizzati con il processo. Organizza regolarmente giornate di test per verificare le risposte del carico di lavoro e del team a eventi simulati.
Itera frequentemente con meccanismi di feedback

Man mano che il tuo carico di lavoro di elaborazione dei documenti evolve, assicurati che le tue strategie operative si adattino in sincronia e cerca opportunità per migliorarle:

  • Effettua cambiamenti frequenti, piccoli e reversibili – Progetta carichi di lavoro in modo che i componenti possano essere aggiornati regolarmente per aumentare il flusso di modifiche benefiche nel tuo carico di lavoro. Apporta modifiche in incrementi ridotti che possono essere annullati se non contribuiscono all’identificazione e alla risoluzione dei problemi introdotti nel tuo ambiente.
  • Apprendi da tutti i guasti operativi – Migliora attraverso lezioni apprese da tutti gli eventi operativi e dai guasti. Condividi ciò che è stato appreso tra i team e in tutta l’organizzazione.
Monitora la salute operativa Assicurati un passaggio da un semplice monitoraggio a un’osservabilità avanzata all’interno del tuo framework IDP. Ciò comporta una comprensione completa della salute del sistema. Raccogliendo e correlando in modo efficace i dati di telemetria, puoi ottenere informazioni azionabili, facilitando la rilevazione e la mitigazione preventiva dei problemi.
P

Aree di focalizzazione

I principi di progettazione e le migliori pratiche per la colonna dell’Eccellenza operativa provengono da ciò che abbiamo imparato dai nostri clienti e dai nostri esperti IDP. Utilizzali come guida quando prendi decisioni di progettazione, assicurandoti che si adattino bene a ciò di cui la tua azienda ha bisogno dalla soluzione IDP. L’applicazione della Lente Well-Architected IDP ti aiuta anche a convalidare che queste scelte siano mirate al raggiungimento dell’eccellenza operativa, garantendo che soddisfino i tuoi obiettivi operativi specifici.

Le seguenti sono le aree chiave di focalizzazione per l’eccellenza operativa della soluzione IDP nel cloud:

  • Cultura organizzativa – La cultura organizzativa è fondamentale per plasmare come vengono implementati e gestiti i progetti IDP. Questa cultura è sostenuta da SLA chiare che stabiliscono aspettative definitive per i tempi di elaborazione e l’accuratezza, garantendo che tutti i membri del team siano orientati verso obiettivi comuni. Ciò è completato da una funzione centralizzata che agisce come il centro per l’eccellenza operativa, consolidando le migliori pratiche e guidando i progetti IDP verso il successo.
  • Progettazione del carico di lavoro – Ciò comporta la creazione di un sistema in grado di gestire in modo flessibile varie richieste, ottimizzando la qualità e l’accuratezza nell’elaborazione dei documenti e integrandosi efficientemente con sistemi esterni.
  • Ottimizzazione della build e del rilascio – Questa area enfatizza l’implementazione di processi standardizzati DevSecOps. L’obiettivo è semplificare il ciclo di sviluppo e utilizzare l’automazione per garantire un rilascio rapido e senza problemi di aggiornamenti o nuove funzionalità. Questo approccio mira ad aumentare l’efficienza, la sicurezza e l’affidabilità dello sviluppo e del rilascio del sistema IDP.
  • Observability – Nell’IDP, l’observability è incentrata su capacità di monitoraggio, allerta e registrazione complete, insieme alla gestione delle quote di servizio. Questo implica un’attenzione vigile alle prestazioni del sistema, l’implementazione di meccanismi di allerta efficaci per potenziali problemi, la creazione di registri dettagliati per l’analisi e il garantire che il sistema operi all’interno delle sue allocazioni di risorse.

Cultura organizzativa

Per raggiungere l’eccellenza operativa nell’IDP, le organizzazioni devono integrare determinate migliori pratiche nella loro cultura e nelle loro operazioni quotidiane. Di seguito sono riportate alcune aree critiche che possono guidare le organizzazioni nell’ottimizzazione dei loro flussi di lavoro IDP:

  • Cultura e modello operativo – Coltiva una cultura che promuove il design, il deploy e la gestione strategica dei carichi di lavoro IDP. Questo dovrebbe essere una norma culturale, integrata nel modello operativo per supportare l’agilità e la prontezza nella gestione dei documenti.
  • Allineamento tra attività e SLA – Allinea le iniziative IDP con gli obiettivi commerciali e le SLA. Questa pratica assicura che l’elaborazione dei documenti supporti la strategia aziendale complessiva e soddisfi le metriche di performance valorizzate dagli stakeholder.
  • Formazione continua su AWS – Impegna a frequentare regolarmente corsi di formazione e ad aggiornare le competenze nei servizi AWS per migliorare le capacità IDP. Un team ben addestrato può utilizzare le funzionalità in continua evoluzione di AWS per migliorare l’efficienza e l’innovazione nell’elaborazione dei documenti.
  • Gestione del cambiamento – Stabilisci processi robusti di gestione del cambiamento per navigare nella natura dinamica del panorama IDP. Una gestione del cambiamento efficace supporta transizioni fluide e aiuta a mantenere operazioni IDP ininterrotte durante gli aggiornamenti o i cambiamenti di strategia.
  • Metriche definite per il successo IDP – Stabilisci e monitora metriche chiare per misurare il successo e l’impatto delle operazioni IDP. Ad esempio: con Amazon CloudWatch, puoi monitorare il numero di documenti elaborati tramite Amazon Textract. Allo stesso modo, monitorare il volume e la dimensione dei documenti caricati in Amazon Simple Storage Service (Amazon S3) può fornire informazioni sul tasso di crescita della domanda di elaborazione. Inoltre, con AWS Step Functions, è possibile utilizzare le metriche integrate per monitorare il tasso di successo delle operazioni di elaborazione, offrendo informazioni sull’efficacia dell’orchestrazione del flusso di lavoro.
  • Miglioramenti iterativi – Favorisci una cultura di feedback e sviluppo iterativo per perfezionare i processi IDP. Analizzando regolarmente i dati sulle performance e i feedback degli utenti, l’organizzazione può apportare miglioramenti incrementali e informati al sistema IDP.
  • Ciclo di feedback dalla revisione umana – Integra un ciclo di feedback dalla revisione umana nel sistema IDP. Ciò fornisce preziose informazioni che possono essere utilizzate per migliorare continuamente l’accuratezza e l’efficacia dei processi automatizzati.

Progettazione del carico di lavoro

Una progettazione efficace del carico di lavoro è essenziale per la gestione di successo dei sistemi intelligenti di elaborazione dei documenti. Questa progettazione deve essere adattabile per soddisfare diverse richieste, mantenendo alta qualità e accuratezza e raggiungendo un’integrazione senza soluzione di continuità con altri sistemi. Di seguito sono riportate le migliori pratiche che possono aiutare a raggiungere questi obiettivi:

  • Utilizzo delle fasi del flusso di lavoro IDP – Quando si progetta un’architettura per l’IDP, è importante considerare le fasi tipiche di un flusso di lavoro IDP, che possono variare in base a casi d’uso specifici e alle esigenze aziendali. Le fasi comuni includono acquisizione dati, classificazione dei documenti, estrazione del testo dei documenti, arricchimento dei contenuti, revisione e convalida dei documenti, e consumo dei dati. Definendo chiaramente e separando queste fasi nella tua architettura, crei un sistema più resiliente. Questo approccio aiuta a isolare diversi componenti in caso di guasto, garantendo operazioni più fluide e una manutenzione più semplice.
  • Gestione flessibile della domanda – Crea un sistema di elaborazione dei documenti in grado di adattarsi facilmente ai cambiamenti della domanda. Ciò assicura che, man mano che le esigenze aziendali cambiano, il sistema possa scalare di conseguenza e continuare a funzionare senza intoppi.
    • Ad esempio, quando si interagisce con Amazon Textract, assicurarsi di gestire il throttling e le connessioni interrotte impostando il parametro di configurazione durante la creazione del client Amazon Textract. Si consiglia di impostare un conteggio di tentativi pari a 5, poiché l’SDK AWS riprova un’operazione questo numero specificato di volte prima di considerarla un fallimento. Incorporando questo meccanismo, è possibile gestire il throttling in modo più efficace utilizzando la strategia di ritardo esponenziale integrata nello SDK.
    • AWS potrebbe periodicamente aggiornare i

      Ottimizzazione della compilazione e del rilascio

      Rendere più efficienti i processi di compilazione e rilascio è fondamentale per l’agilità e la sicurezza delle soluzioni IDP. Di seguito sono riportate le migliori pratiche per ottimizzare la compilazione e il rilascio, focalizzandosi sull’automazione, sull’integrazione continua e sulla consegna continua (CI/CD) e sulla sicurezza:

      • Deployment automatizzato – Progetta la tua soluzione IDP utilizzando i principi dell’infrastruttura come codice (IaC) per deployment coerenti e ripetibili; l’infrastruttura serverless può essere implementata con il AWS Cloud Development Kit (AWS CDK) e orchestrata con un servizio di flusso di lavoro visuale a basso codice come AWS Step Functions.
      • Pipelines CI/CD – Sfrutta strumenti come AWS CodePipeline, AWS CodeBuild, AWS CodeDeploy per l’automazione delle fasi di compilazione, test e rilascio dei componenti e dei modelli di IDP. Configura rollbacks automatizzati per mitigare i rischi di deployment e integra il monitoraggio dei cambiamenti e la governance per una valida convalida prima del rilascio in produzione.
      • Sicurezza con AWS KMS – L’eccellenza operativa non riguarda solo l’efficienza; la sicurezza svolge un ruolo fondamentale. In particolare, per gli endpoint di Amazon Comprehend in cui le chiavi gestite dal cliente crittografano i modelli sottostanti, diventa vitale mantenere l’integrità utilizzando il servizio di gestione delle chiavi di AWS (AWS KMS). Utilizza AWS Trusted Advisor per verificare i rischi di accesso agli endpoint e gestire le autorizzazioni delle chiavi KMS.
      • Integrazione senza soluzione di continuità con diversi sistemi esterni – Personalizza le pipeline di compilazione e rilascio per enfatizzare l’integrazione senza soluzione di continuità con diversi sistemi esterni. Utilizza i servizi e le migliori pratiche AWS per progettare flussi di lavoro di elaborazione documenti che si interfacciano e si adattano facilmente a vari requisiti esterni. Ciò assicura coerenza e agilità nei rilasci, dando priorità all’eccellenza operativa anche in scenari di integrazione complessa.

      Osservabilità

      Raggiungere l’eccellenza operativa in IDP richiede un approccio integrato in cui il monitoraggio e l’osservabilità svolgono un ruolo fondamentale. Di seguito sono riportate le migliori pratiche per garantire chiarezza, comprensione e miglioramento continuo all’interno di un ambiente AWS:

      • Osservabilità completa – Implementa una soluzione di monitoraggio e osservabilità completa con strumenti come Amazon CloudWatch Logs per servizi come Amazon Textract e Amazon Comprehend. Questo approccio fornisce chiare informazioni operative per tutte le parti interessate, promuovendo un’operatività efficiente, una gestione responsabile degli eventi e un ciclo di miglioramento continuo.
      • Monitoraggio e scalabilità automatica degli endpoint di Amazon Comprehend – Utilizza Trusted Advisor per il monitoraggio attento degli endpoint di Amazon Comprehend al fine di ottimizzare l’utilizzo delle risorse. Regola le configurazioni del throughput o utilizza AWS Application Auto Scaling per allineare le risorse alla domanda, migliorando l’efficienza e l’efficacia dei costi.
      • Strategia di monitoraggio di Amazon Textract – Per l’eccellenza operativa nell’utilizzo di Amazon Textract, adotta un approccio olistico:
        • Utilizza CloudWatch per monitorare attentamente le operazioni di Amazon Textract, ricavando informazioni chiave da metriche come SuccessfulRequestCount, ThrottledCount, ResponseTime, ServerErrorCount, UserErrorCount
        • Imposta allarmi precisi basati su queste metriche e integrarli con Amazon Simple Notification Service (Amazon SNS) per la rilevazione in tempo reale di anomalie.
        • Agisci prontamente su queste notifiche, assicurando una pronta correzione dei problemi e un’efficienza costante nella lavorazione dei documenti. Questa strategia combina un monitoraggio meticoloso con un intervento proattivo, fissando lo standard di eccellenza operativa.
      • Registrazione delle chiamate API con AWS CloudTrail – Con AWS CloudTrail, puoi avere visibilità sulla cronologia delle chiamate API e sull’attività degli utenti, fondamentali per il monitoraggio operativo e una rapida risposta agli incidenti. I servizi Amazon Textract e Amazon Comprehend sono integrati con AWS CloudTrail.

      Conclusione

      In questo post, abbiamo condiviso principi di design, aree di focalizzazione, fondamenta e migliori pratiche per raggiungere l’eccellenza operativa nella tua soluzione IDP. Adottando i principi del framework ben-architettato che abbiamo trattato in questo post, puoi ottimizzare i carichi di lavoro IDP per l’eccellenza operativa. Focalizzati su aree chiave come IaC, strumentazione, osservabilità e miglioramento continuo, che ti aiuteranno a raggiungere l’eccellenza operativa e garantire che i tuoi sistemi IDP offrano valore aziendale su larga scala in modo sicuro e conforme.

      Per saperne di più sull’IDP Well-Architected Custom Lens, esplora i seguenti post di questa serie:

      Affidabilità](https://aws.amazon.com/blogs/machine-learning/build-w ell-architected-idp-solutions-with-a-custom-lens-part-3-reliability/) – Costruire soluzioni IDP ben-architettate con una lente personalizzata – Parte 4: Efficienza delle prestazioni – Costruire soluzioni IDP ben-architettate con una lente personalizzata – Parte 5: Ottimizzazione dei costi – Costruire soluzioni IDP ben-architettate con una lente personalizzata – Parte 6: Sostenibilità

      AWS si impegna a mantenere l’IDP Well-Architected Lens come uno strumento vivo. Man mano che le soluzioni IDP e i relativi servizi AI di AWS evolvono e nuovi servizi AWS diventano disponibili, aggiorneremo di conseguenza l’IDP Lens Well-Architected.

      Se desideri saperne di più sul framework AWS Well-Architected, consulta AWS Well-Architected.

      Se hai bisogno di ulteriori consulenze da esperti, contatta il tuo team di account AWS per coinvolgere un Solution Architect Specialista IDP.

Il dibattito sulla sicurezza dell’int...
Pratiche di password obsolete sono diffuse
Crea un modello di linguaggio basato sulle ...
Rivoluzionando le risorse umane Come l̵...
Avanzamento nella gestione della crescente ...
Supercharge l’addestramento dei tuoi ...
AI

AI

Esplora il mondo dell'Intelligenza Artificiale e il suo potenziale trasformativo