Crea soluzioni di IDP ben architettate con un obiettivo personalizzato – Parte 5 Ottimizzazione dei costi

Crea soluzioni di IDP ben progettate con un obiettivo personalizzato - Parte 5 Ottimizzazione dei costi

Costruire una soluzione pronta per la produzione nel cloud comporta una serie di compromessi tra risorse, tempo, aspettative dei clienti e risultati commerciali. Il AWS Well-Architected Framework ti aiuta a comprendere i benefici e i rischi delle decisioni che prendi durante la creazione di carichi di lavoro su AWS.

Un progetto di elaborazione intelligente dei documenti (IDP) di solito combina il riconoscimento ottico dei caratteri (OCR) e l’elaborazione del linguaggio naturale (NLP) per leggere e comprendere un documento ed estrarne termini o parole specifiche. La lente personalizzata IDP Well-Architected delinea i passaggi per eseguire una revisione Well-Architected di AWS e ti aiuta a valutare e identificare i rischi nei tuoi carichi di lavoro IDP. Fornisce anche indicazioni per affrontare le sfide comuni, consentendoti di progettare i tuoi carichi di lavoro IDP secondo le migliori pratiche.

Questo post si concentra sul pilastro dell’ottimizzazione dei costi della soluzione IDP. Un carico di lavoro ottimizzato dal punto di vista dei costi utilizza pienamente tutte le risorse, raggiunge un risultato al prezzo più basso possibile e soddisfa i requisiti funzionali. Iniziamo con un’introduzione del pilastro dell’ottimizzazione dei costi e dei principi di progettazione, per poi approfondire le quattro aree di focus: gestione finanziaria, fornitura delle risorse, gestione dei dati e monitoraggio dei costi. Leggendo questo post, imparerai tutto sul pilastro dell’ottimizzazione dei costi nel framework Well-Architected con lo studio di caso IDP.

Principi di progettazione

L’ottimizzazione dei costi è un processo continuo di perfezionamento e miglioramento nel corso del ciclo di vita di un carico di lavoro. Le pratiche in questo post possono aiutarti a creare e gestire carichi di lavoro IDP consapevoli dei costi che raggiungono gli obiettivi aziendali mentre minimizzano i costi e consentono alla tua organizzazione di massimizzare il rendimento dell’investimento.

• Costruire soluzioni IDP ben strutturate con una prospettiva personalizzata – Parte 6 Sostenibilità
• Costruire soluzioni IDP ben architettate con una lente personalizzata – Parte 4 efficienza delle prestazioni
• Costruisci soluzioni IDP ben strutturate con una lente personalizzata – Parte 3 Affidabilità

Diversi principi possono aiutarti a migliorare l’ottimizzazione dei costi. Consideriamo diverse fasi del progetto. Ad esempio, durante la fase di pianificazione del progetto, dovresti investire nelle competenze e negli strumenti di gestione finanziaria del cloud e coinvolgere sia i team finanziari che quelli tecnici per incorporare prospettive aziendali e tecnologiche. Nella fase di sviluppo del progetto, consigliamo di adottare un modello di consumo e di regolare dinamicamente l’utilizzo. Quando sei pronto per la produzione, monitora sempre e analizza la spesa.

Tieni presente quanto segue mentre discutiamo delle migliori pratiche:

• Implementa la gestione finanziaria del cloud – Per ottenere successo finanziario e accelerare il valore aziendale con la tua soluzione IDP, devi investire nella gestione finanziaria del cloud. La tua organizzazione deve dedicare il tempo e le risorse necessarie per sviluppare capacità in questo nuovo dominio di tecnologia e gestione dell’utilizzo.
• Coltiva una partnership tra tecnologia e finanza – Coinvolgi i team finanziari e tecnici nelle discussioni sui costi e sull’utilizzo durante la creazione della tua soluzione IDP e in tutte le fasi del tuo percorso nel cloud. I team dovrebbero incontrarsi regolarmente e discutere argomenti come gli obiettivi e i target dell’organizzazione con la tua soluzione IDP, lo stato attuale dei costi e dell’utilizzo e le pratiche finanziarie e contabili.
• Adotta un modello di consumo e regola in modo dinamico – Fornisci risorse e gestisci i dati con consapevolezza dei costi e gestisci la fase e l’ambiente del progetto con l’ottimizzazione dei costi nel tempo. Paga solo per le risorse che consumi e aumenta o riduci l’utilizzo a seconda delle esigenze aziendali. Ad esempio, gli ambienti di sviluppo e test per la tua soluzione IDP vengono tipicamente utilizzati solo per 8 ore al giorno durante la settimana lavorativa. Smettendo di utilizzare le risorse dell’ambiente di sviluppo e di test quando non sono in uso, ad esempio al di fuori delle 40 ore lavorative settimanali, è possibile ridurre i costi del 75% rispetto all’esecuzione continua per 168 ore a settimana.
• Monitora, attribuisci e analizza la spesa – Misura l’output aziendale del carico di lavoro e i costi associati alla consegna. Utilizza questi dati per comprendere i guadagni ottenuti dall’aumento dell’output, dall’aumento delle funzionalità e dalla riduzione dei costi con il tuo flusso di lavoro IDP. AWS fornisce strumenti come Amazon CloudWatch, tag e AWS CloudTrail per semplificare l’identificazione accurata dei costi e dell’utilizzo dei carichi di lavoro, assicurati di utilizzare le risorse per misurare il rendimento dell’investimento (ROI) e consentire ai proprietari dei carichi di lavoro di ottimizzare le risorse e ridurre i costi.

Aree di focus

I principi di progettazione e le migliori pratiche del pilastro dell’ottimizzazione dei costi si basano su informazioni raccolte dai nostri clienti e dalle nostre comunità di specialisti tecnici IDP. Usale come guida e supporto per le tue decisioni di progettazione e allineale con i requisiti aziendali della tua soluzione IDP. L’applicazione della lente personalizzata IDP Well-Architected ti aiuta a convalidare la resilienza ed efficienza della tua soluzione IDP e fornisce raccomandazioni per affrontare eventuali lacune che potresti identificare.

Potresti aver incontrato casi in cui il team finanziario svolge in modo indipendente la pianificazione finanziaria per l’utilizzo del tuo cloud, che si è rivelata interrotta dalla complessità tecnica. È anche possibile ignorare la gestione delle risorse e dei dati durante la fornitura dei servizi, creando così voci di costo inaspettate sulle tue fatture. In questo post, ti aiutiamo a navigare attraverso queste situazioni e forniamo linee guida per l’ottimizzazione dei costi con la tua soluzione IDP, in modo da non dover imparare queste lezioni in modo costoso. Le seguenti sono quattro aree delle migliori pratiche per l’ottimizzazione dei costi di una soluzione IDP nel cloud: gestione finanziaria, provisioning delle risorse, gestione dei dati e monitoraggio dei costi.

Gestione finanziaria

È fondamentale stabilire un team che possa assumersi la responsabilità dell’ottimizzazione dei costi per l’adozione di successo della tecnologia del cloud, e questo vale anche per la creazione di una soluzione IDP. I team pertinenti sia nella tecnologia che nelle finanze all’interno della tua organizzazione devono essere coinvolti nelle discussioni sui costi e sull’utilizzo in tutte le fasi di creazione della soluzione IDP e lungo il tuo percorso nel cloud. Di seguito sono riportati alcuni passaggi chiave per l’implementazione per stabilire un team dedicato alla gestione finanziaria del cloud:

• Definisci i membri chiave: assicurati che tutte le parti pertinenti della tua organizzazione contribuiscano e abbiano un interesse nella gestione dei costi. In particolare, è necessario stabilire una collaborazione tra finanza e tecnologia. Considera i seguenti gruppi generali e includi membri con competenze specifiche nelle aree finanziarie e commerciali, nonché in quelle tecnologiche, per integrare le conoscenze per una migliore gestione finanziaria:
  • Responsabili finanziari: CFO, controller finanziario, pianificatori finanziari, analysti di business, reparto acquisizioni, approvvigionamento e contabilità fornitori devono comprendere il modello di consumo del cloud, le opzioni di acquisto e il processo di fatturazione mensile. La finanza deve collaborare con i team tecnologici per creare e diffondere una storia del valore IT, aiutando le squadre aziendali a comprendere come la spesa tecnologica sia legata ai risultati aziendali.
  • Responsabili tecnologici: i responsabili tecnologici (inclusi i proprietari di prodotti e applicazioni) devono essere consapevoli dei requisiti finanziari (ad esempio, vincoli di bilancio) e dei requisiti commerciali (ad esempio, accordi di livello di servizio). Ciò consente di implementare il carico di lavoro per raggiungere gli obiettivi desiderati dell’organizzazione.
• Definisci obiettivi e metriche: la funzione deve fornire valore all’organizzazione in modi diversi. Questi obiettivi vengono definiti e si evolveranno continuamente all’evolversi dell’organizzazione. Questa funzione deve anche riportare regolarmente all’organizzazione la capacità di ottimizzazione dei costi.
• Stabilisci una cadenza regolare: il gruppo dovrebbe riunirsi regolarmente per rivedere i propri obiettivi e metriche. Una cadenza tipica prevede la revisione dello stato dell’organizzazione, dei programmi o servizi in esecuzione e delle metriche finanziarie complessive.

Fornitura delle risorse

Dato che ci sono varie configurazioni e modelli di prezzo dei servizi AWS come parte della soluzione IDP, dovresti provvedere solo alle risorse di cui hai bisogno e regolare la loro fornitura nel tempo per allinearti alle tue esigenze aziendali o allo stadio di sviluppo. Inoltre, assicurati di approfittare dei servizi gratuiti offerti da AWS per ridurre il costo complessivo. Quando fornisci le risorse per la tua soluzione IDP, considera le seguenti migliori pratiche:

• Decidi tra inferenza asincrona o inferenza sincrona: dovresti adottare l’inferenza sincrona per l’elaborazione in tempo reale di un singolo documento. Scegli lavori asincroni per analizzare documenti più grandi o più documenti in un batch, poiché i lavori asincroni gestiscono batch più grandi in modo più efficiente dal punto di vista dei costi.
• Gestisci le unità di inferenza degli endpoint di Amazon Comprehend: in base alle tue esigenze, puoi regolare il throughput del tuo Amazon Comprehend endpoint dopo averlo creato. Ciò può essere realizzato aggiornando le unità di inferenza (IU) dell’endpoint. Se non usi attivamente l’endpoint per un periodo prolungato, dovresti configurare una policy di auto scala per ridurre i costi. Se non stai più utilizzando un endpoint, puoi eliminarlo per evitare costi aggiuntivi.
• Gestisci gli endpoint di Amazon SageMaker: allo stesso modo, per le organizzazioni che puntano sulla selezione del tipo di inferenza e sulla gestione del tempo di esecuzione degli endpoint, puoi distribuire modelli open source su Amazon SageMaker. SageMaker fornisce diverse opzioni per le inferenze di modelli, e puoi eliminare gli endpoint che non vengono utilizzati o configurare una policy di auto scala per ridurre i costi sugli endpoint del modello.

Gestione dei dati

I dati svolgono un ruolo chiave in tutta la soluzione IDP, dalla costruzione alla distribuzione. A partire dall’ingestione iniziale, i dati vengono spostati attraverso diverse fasi di elaborazione e alla fine vengono restituiti agli utenti finali come output. È importante capire come la scelta della gestione dei dati influenzerà il costo complessivo della soluzione IDP. Considera le seguenti best practice:

• Adotta Amazon S3 Intelligent-Tiering – La classe di archiviazione Amazon S3 Intelligent-Tiering è progettata per ottimizzare i costi di archiviazione in Amazon Simple Storage Service (Amazon S3) spostando automaticamente i dati nella classe di accesso più economica quando i pattern di accesso cambiano, senza sovraccarichi operativi o impatti sulle prestazioni. Ci sono due modi per spostare i dati in S3 Intelligent-Tiering:
  • Inserire direttamente i dati in S3 Intelligent-Tiering specificando INTELLIGENT_TIERING nell’intestazione x-amz-storage-class.
  • Definire configurazioni di ciclo di vita S3 per la transizione degli oggetti da S3 Standard o S3 Standard-Infrequent Access a S3 Intelligent-Tiering.
• Applica politiche di conservazione dei dati nell’intero flusso di lavoro IDP – Utilizza le configurazioni del ciclo di vita S3 su un bucket S3 per definire azioni che Amazon S3 deve eseguire durante il ciclo di vita di un oggetto, nonché la cancellazione alla fine del ciclo di vita dell’oggetto, in base alle esigenze aziendali.
• Dividi i documenti in singole pagine per l’elaborazione di un determinato tipo di funzionalità – FeatureType è un parametro per le chiamate API di analisi del documento (sia sincrone che asincrone) in Amazon Textract. Al momento della stesura, include i seguenti valori: TABLES, FORMS, QUERIES, SIGNATURES e LAYOUT. Amazon Textract addebita in base al numero di pagine e immagini processate. Non tutte le pagine potrebbero includere le informazioni che devi estrarre. La divisione dei documenti in singole pagine e la focalizzazione solo sulle pagine con il FeatureType necessario può aiutare ad evitare un elaborazione non necessaria, riducendo così il costo complessivo.

Fino ad ora, abbiamo discusso delle best practice sull’implementazione e sulla distribuzione della soluzione IDP. Quando la soluzione IDP è implementata e pronta per la produzione, il monitoraggio dei costi è un’area importante su cui fare osservazioni e controlli diretti dei costi. Nella sezione seguente, discutiamo come monitorare al meglio i costi della tua soluzione IDP.

Monitoraggio dei costi

L’ottimizzazione dei costi inizia con una comprensione dettagliata della suddivisione dei costi e dell’utilizzo, la capacità di modellare e prevedere la spesa, l’utilizzo e le funzionalità future e l’implementazione di meccanismi sufficienti per allineare i costi e l’utilizzo agli obiettivi della tua organizzazione. Per migliorare l’ottimizzazione dei costi della tua soluzione IDP, segui queste best practice.

Progetta un monitoraggio dei costi per tutta la durata del flusso di lavoro IDP

Definisci ed implementa un metodo per tracciare le risorse e le loro associazioni con il sistema IDP durante la loro durata. Puoi utilizzare i tag per identificare il carico di lavoro o la funzione delle risorse:

• Implementa uno schema di tag – Implementa uno schema di tag che identifichi il carico di lavoro a cui appartiene la risorsa, verificando che tutte le risorse all’interno del carico di lavoro siano contrassegnate di conseguenza. I tag ti aiutano a categorizzare le risorse per scopo, team, ambiente o altri criteri rilevanti per la tua attività. Per ulteriori dettagli sulle applicazioni, strategie e tecniche di utilizzo dei tag, consulta Best Practices per l’utilizzo dei tag sulle risorse AWS.
  • L’utilizzo dei tag a livello di servizio consente un monitoraggio e un controllo più dettagliato dei costi. Ad esempio, con Amazon Comprehend in un flusso di lavoro IDP, puoi utilizzare i tag su lavori di analisi di Amazon Comprehend, modelli di classificazione personalizzati, modelli di rilevamento di entità personalizzati e endpoint per organizzare le risorse di Amazon Comprehend e fornire un monitoraggio e un controllo dei costi basato sui tag.
  • Quando l’utilizzo dei tag a livello di servizio non è applicabile, puoi accedere ad altre risorse per la generazione di report di allocazione dei costi. Ad esempio, poiché Amazon Textract addebita su base di una pagina, puoi tenere traccia del numero di chiamate API sincrone effettuate a Amazon Textract per calcoli di costo (ogni chiamata API sincrona corrisponde a una pagina del documento). Se hai documenti di grandi dimensioni e desideri utilizzare API asincrone, puoi utilizzare librerie open source per contare il numero di pagine o utilizzare Amazon Athena per scrivere query ed estrarre le informazioni dai log di CloudTrail per il monitoraggio dei costi.
• Implementa il monitoraggio del throughput o dell’output del carico di lavoro – Implementa il monitoraggio o gli allarmi del throughput del carico di lavoro, avviandoli sia alle richieste di input sia al completamento dei output. Configuralo per fornire notifiche quando le richieste o i output del carico di lavoro scendono a zero, indicando che le risorse del carico di lavoro non vengono più utilizzate. Incorpora un fattore di tempo se il carico di lavoro scende periodicamente a zero in condizioni normali.
• Raggruppa le risorse AWS – Crea gruppi per le risorse AWS. Puoi utilizzare gruppi di risorse AWS per organizzare e gestire le tue risorse AWS che si trovano nella stessa regione. Puoi aggiungere tag alla maggior parte delle tue risorse per aiutare a identificare e ordinare le risorse all’interno della tua organizzazione. Utilizza Tag Editor per aggiungere tag alle risorse supportate in modo massivo. Valuta l’utilizzo di AWS Service Catalog per creare, gestire e distribuire portfolio di prodotti approvati agli utenti finali e gestire il ciclo di vita del prodotto.

Utilizza strumenti di monitoraggio

AWS offre una varietà di strumenti e risorse per monitorare il costo e l’utilizzo della tua soluzione IDP. Di seguito è riportato un elenco degli strumenti AWS che aiutano nel monitoraggio e controllo dei costi:

• AWS Budgets – Configura AWS Budgets su tutti gli account per il tuo carico di lavoro. Imposta budget per la spesa complessiva dell’account e budget per i carichi di lavoro utilizzando i tag. Configura le notifiche in AWS Budgets per ricevere avvisi quando superi le tue cifre di budget o quando i costi stimati superano i tuoi budget.
• AWS Cost Explorer – Configura AWS Cost Explorer per il tuo carico di lavoro e gli account per visualizzare i dati di costo per ulteriori analisi. Crea una dashboard per il carico di lavoro che tiene traccia della spesa complessiva, delle metriche di utilizzo chiave per il carico di lavoro e delle previsioni dei costi futuri basate sui tuoi dati di costo storici.
• AWS Cost Anomaly Detection – Utilizza AWS Cost Anomaly Detection per i tuoi account, servizi core o categorie di costo che hai creato per monitorare i tuoi costi e l’utilizzo e rilevare spese insolite. Puoi ricevere avvisi singolarmente in rapporti aggregati e ricevere avvisi in una email o in un Amazon Simple Notification Service (Amazon SNS) topic, che ti consente di analizzare e determinare la causa principale dell’anomalia e identificare il fattore che sta aumentando i costi.
• Strumenti avanzati – Opzionalmente, puoi creare strumenti personalizzati per la tua organizzazione che forniscono dettagli e granularità aggiuntivi. Puoi implementare capacità di analisi avanzate utilizzando Athena e dashboard utilizzando Amazon QuickSight. Considera l’utilizzo di Cloud Intelligence Dashboards per dashboard avanzate preconfigurate. Puoi anche lavorare con AWS Partners e adottare le loro soluzioni di gestione del cloud per attivare il monitoraggio e l’ottimizzazione delle fatture cloud in un’unica posizione comoda.

Attribuzione e analisi dei costi

Il processo di categorizzazione dei costi è cruciale per la pianificazione dei budget, la contabilità, la rendicontazione finanziaria, la presa di decisioni, il benchmarking e la gestione dei progetti. Classificando e categorizzando le spese, i team possono ottenere una migliore comprensione dei tipi di costi che sosterranno durante il loro percorso nel cloud, aiutandoli a prendere decisioni informate e gestire i budget in modo efficace. Per migliorare l’attribuzione e l’analisi dei costi della tua soluzione IDP, segui queste best practice:

• Definisci le categorie della tua organizzazione – Incontra gli stakeholder per definire categorie che riflettano la struttura e le esigenze della tua organizzazione. Queste corrisponderanno direttamente alla struttura delle categorie finanziarie esistenti, come unità aziendale, budget, centro di costo o dipartimento.
• Definisci le categorie funzionali – Incontra gli stakeholder per definire categorie che riflettano le funzioni all’interno della tua attività. Questo potrebbe essere il tuo carico di lavoro IDP o i nomi delle applicazioni e il tipo di ambiente, come produzione, test o sviluppo.
• Definisci le categorie di costo AWS – Puoi creare categorie di costo per organizzare le informazioni sui costi e l’utilizzo. Utilizza AWS Cost Categories per mappare i tuoi costi e l’utilizzo AWS in categorie significative. Con le categorie di costo, puoi organizzare i tuoi costi utilizzando un motore basato su regole.

Conclusione

In questo post, abbiamo condiviso principi di progettazione, aree di focus e best practice per l’ottimizzazione dei costi nel tuo flusso di lavoro IDP.

Per saperne di più sulla versione personalizzata di IDP Well-Architected Custom Lens, esplora i seguenti post di questa serie: Crea soluzioni IDP ben progettate con un punto di vista personalizzato – Parte 1: Eccellenza operativa Crea soluzioni IDP ben progettate con un punto di vista personalizzato – Parte 2: Sicurezza [Crea soluzioni IDP ben progettate con un punto di vista personalizzato – Parte 3: Affidabilità](https://aws.amazon.com/blogs/machine-learning/build-w ell-architected-idp-solutions-with-a-custom-lens-part-3-reliability/) – Crea soluzioni IDP ben progettate con un punto di vista personalizzato – Parte 4: Efficienza delle prestazioni – Crea soluzioni IDP ben progettate con un punto di vista personalizzato – Parte 5: Ottimizzazione dei costi – Crea soluzioni IDP ben progettate con un punto di vista personalizzato – Parte 6: Sostenibilità

AWS è impegnata a mantenere l’IDP Well-Architected Lens come uno strumento in continua evoluzione. Man mano che le soluzioni IDP e i servizi AI correlati di AWS si sviluppano e nuovi servizi AWS diventano disponibili, aggiorneremo di conseguenza l’IDP Well-Architected Lens.

Per iniziare con l’IDP su AWS, fare riferimento alla Guida per l’elaborazione intelligente dei documenti su AWS per progettare e costruire la propria applicazione IDP. Per approfondire le soluzioni end-to-end che coprono l’acquisizione dei dati, la classificazione, l’estrazione, l’arricchimento, la verifica e la convalida, e il consumo, fare riferimento a Elaborazione intelligente dei documenti con i servizi AI di AWS: Parte 1 e Parte 2. Inoltre, Elaborazione intelligente dei documenti con Amazon Textract, Amazon Bedrock e LangChain spiega come estendere un’architettura IDP nuova o esistente con modelli di linguaggio di grandi dimensioni (LLM). Scoprirai come integrare Amazon Textract con LangChain come caricatore di documenti, utilizzare Amazon Bedrock per estrarre i dati dai documenti e utilizzare le capacità di AI generativa nelle varie fasi di IDP.

Se necessiti di ulteriori indicazioni da parte di un esperto, contatta il tuo team AWS per coinvolgere un IDP Specialist Solutions Architect.