Byla navržena a nasazena bezserverová architektura AWS, která poskytuje dvě odlišná řešení generativní AI běžící v izolovaném AWS účtu zákazníka.
Bezpečná aplikační a API vrstva
Pro demonstraci řešení byla vytvořena funkční demo aplikace.
- Amazon API Gateway: Amazon API Gateway byl použit k vytvoření jak HTTP API (pro predikce), tak WebSocket API (pro chatbot).
- AWS Fargate a CloudFront: Demo UI postavené na Streamlit bylo hostováno pomocí AWS Fargate a Application Load Balancer, přičemž Amazon CloudFront poskytoval bezpečný, nízkolatenční přístup k aplikaci pro tým zákazníka.
Motor pro predikci logistiky
Pro řešení výzvy manuálního prognozování vytvořil Stormit pipeline strojového učení pro predikci tří klíčových výsledků nového obchodu: logistického vzoru, časování nominace a množství zásilky.
- Amazon SageMaker byl použit k natrénování modelu XGBoost na historických, anonymizovaných datech. Finální model byl nasazen na endpointu SageMaker Serverless Inference, což poskytlo škálovatelný a nákladově efektivní způsob získávání predikcí v reálném čase bez správy serverů.
- Byla vytvořena funkce AWS Lambda pro zpracování přicházejících požadavků na predikci. Přijímá data z nového obchodu, volá SageMaker endpoint pro predikci (inferenci modelu) a vrací výsledek.
Konverzační AI chatbot
Aby byly datové poznatky přístupné, vytvořil Stormit chatbot poháněný AI, který umožňuje uživatelům pokládat otázky běžnou angličtinou. Toto řešení respektuje pravidla izolace dat platformy tím, že netrénuje centrální model na datech.
- Amazon Bedrock: Řešení využívá Amazon Bedrock k poskytnutí základního modelu Claude.
- Inteligentní dotazování (Text-to-SQL): Když uživatel položí otázku, funkce "Chatbot Lambda" bezpečně odešle otázku a schéma databáze do Amazon Bedrock. Bedrock přeloží otázku v přirozeném jazyce do přesného SQL dotazu.
- Amazon Athena: Vygenerovaný SQL dotaz je pak spuštěn proti Amazon Athena, bezserverovému dotazovacímu enginu. Athena dotazuje data přímo v data lake Amazon S3, který obsahoval anonymizovaná obchodní a logistická data ve formátu Parquet.
- AWS Glue: Katalog AWS Glue byl použit k definování schémat dat, což umožnilo snadné dotazování S3 dat pomocí Athena.
- Výsledky dotazu jsou odeslány zpět do Bedrock k překladu do odpovědi v přirozeném jazyce pro uživatele.