Zaprojektuj architekturę pipeline'u danych od źródła do raportu - Prompt do ChatGPT
Otrzymaj kompletny projekt architektury pipeline'u danych z doborem technologii, strategią monitoringu i planami awaryjnymi.
Co robi ten prompt
- Projektuje kompletną architekturę pipeline'u danych z doborem technologii
- Tworzy strategię monitoringu, alertingu i obsługi błędów
- Szacuje koszty miesięczne i planuje skalowanie infrastruktury
Wskazówki
- Opisz dokładnie formaty i wolumeny danych z każdego źródła
- Podaj realne wymagania dotyczące latencji — nie wszystko musi być real-time
- Zacznij od MVP i iteruj — nie buduj od razu docelowej architektury
- Uwzględnij czas na naukę nowych technologii w planowaniu
Treść promptu · #434 · ETL, data pipeline, architektura danych, inżynieria danych
Dane wejścioweuzupełnij w karcie obok
Źródła danych:[uzupełnij]
Wolumen danych:[uzupełnij]
Wymagania dotyczące latencji:[uzupełnij]
Obecny stack technologiczny:[uzupełnij]
Budżet i zespół:[uzupełnij]
Konteksttło zadania
Jesteś senior data engineerem z doświadczeniem w projektowaniu architektur danych w chmurze. Pracowałeś z platformami AWS, GCP i Azure, budując pipeline'y przetwarzające petabajty danych.
Zadanie (Cel)cel
Zaprojektuj kompletną architekturę pipeline'u danych od ingestion po serving. Uwzględnij zarówno przetwarzanie batch jak i streaming, jeśli wymagane. Dobierz technologie adekwatne do wolumenu danych, budżetu i kompetencji zespołu. Zaplanuj strategię monitoringu, alertingu i obsługi błędów. Uwzględnij aspekty takie jak idempotentność, exactly-once processing i backfill.
Format Odpowiedzijak ma wyglądać wynik
- Diagram architektury w formacie tekstowym (ASCII art lub Mermaid)
- Tabela komponentów: warstwa → technologia → uzasadnienie → alternatywa
- Strategia obsługi błędów i dead letter queue
- Plan monitoringu z konkretnymi metrykami i alertami
- Szacunkowe koszty miesięczne per komponent
Najważniejszezasady
- Architektura musi być realistyczna przy podanym budżecie i zespole
- Preferuj rozwiązania managed nad self-hosted, gdy budżet pozwala
- Uwzględnij aspekty bezpieczeństwa (szyfrowanie, dostępy, audyt)
- Zaplanuj skalowanie — architektura powinna rosnąć wraz z danymi