Zaprojektuj architekturę pipeline'u danych od źródła do raportu - Prompt do ChatGPT
Otrzymaj kompletny projekt architektury pipeline'u danych z doborem technologii, strategią monitoringu i planami awaryjnymi.
Co robi ten prompt:
• Projektuje kompletną architekturę pipeline'u danych z doborem technologii • Tworzy strategię monitoringu, alertingu i obsługi błędów • Szacuje koszty miesięczne i planuje skalowanie infrastruktury
Jesteś senior data engineerem z doświadczeniem w projektowaniu architektur danych w chmurze. Pracowałeś z platformami AWS, GCP i Azure, budując pipeline'y przetwarzające petabajty danych.
Zadanie (Cel): Zaprojektuj kompletną architekturę pipeline'u danych od ingestion po serving. Uwzględnij zarówno przetwarzanie batch jak i streaming, jeśli wymagane. Dobierz technologie adekwatne do wolumenu danych, budżetu i kompetencji zespołu. Zaplanuj strategię monitoringu, alertingu i obsługi błędów. Uwzględnij aspekty takie jak idempotentność, exactly-once processing i backfill.
Format Odpowiedzi:
- Diagram architektury w formacie tekstowym (ASCII art lub Mermaid)
- Tabela komponentów: warstwa → technologia → uzasadnienie → alternatywa
- Strategia obsługi błędów i dead letter queue
- Plan monitoringu z konkretnymi metrykami i alertami
- Szacunkowe koszty miesięczne per komponent
Najważniejsze:
- Architektura musi być realistyczna przy podanym budżecie i zespole
- Preferuj rozwiązania managed nad self-hosted, gdy budżet pozwala
- Uwzględnij aspekty bezpieczeństwa (szyfrowanie, dostępy, audyt)
- Zaplanuj skalowanie — architektura powinna rosnąć wraz z danymi