Apache Flink FLIP-7: 웹 UI에서 모니터링 메트릭 시각화

소개

Flink 작업을 실행 중이지만 성능이 잘 되지 않습니까? 마치 진흙으로 덮인 창문이 달린 차를 운전하면서 도로 상황을 볼 수 없는 것과 같습니다. Flink의 초기 버전에서는 시스템이 많은 모니터링 지표를 수집했지만 이 데이터는 시스템 깊숙이 묻혀 있었고 외부 모니터링 시스템을 확인해야 했기 때문에 사용하기가 상당히 불편했습니다. FLIP-7은 이러한 중요한 모니터링 메트릭을 Flink의 웹 인터페이스에 직접 표시하여 이 문제를 해결하는 것을 목표로 합니다.

웹에서 모니터링 메트릭을 확인해야 하는 이유는 무엇입니까?

현대 자동차에 속도, 연료량 및 엔진 온도를 보여주는 대시보드가 있는 것처럼 Flink의 모니터링 메트릭에는 직관적인 "대시보드"가 필요합니다. 이를 통해 다음과 같은 몇 가지 분명한 이점을 얻을 수 있습니다.

1. 조기 문제 감지

작업의 실행 상태는 웹 페이지에서 직접 볼 수 있습니다. 작업이 너무 느리게 처리되거나 너무 많은 메모리를 사용하는 경우 즉시 알 수 있습니다. 자동차의 대시보드 경고와 마찬가지로 문제가 악화되기 전에 경고합니다.

2. 성능 이해 향상

처리 속도, 대기 시간 및 기타 메트릭을 관찰하여 시스템이 효율적으로 실행되고 있는지 명확하게 알 수 있습니다. 마치 운전 중에 속도계를 보면서 속도를 높이거나 줄여야 하는지 아는 것과 같습니다.

3. 보다 정확한 튜닝

이 시각화된 데이터를 통해 시스템 매개변수 조정은 더 이상 추측에 의존하지 않습니다. 예를 들어, 작업이 지속적으로 많은 메모리를 사용하는 것을 보면 메모리 구성을 늘려야 한다는 것을 알고 있습니다.

구체적으로 어떤 점이 개선되었습니까?

FLIP-7은 다음과 같은 주요 개선 사항을 적용했습니다.

1. 인터페이스 개선

Flink의 웹 인터페이스에 새로운 모니터링 페이지를 추가하여 다음을 표시합니다.

• 작업 처리 속도
• 메모리 사용량
• 데이터 배압
• 네트워크 전송 상태

2. 데이터 업데이트 메커니즘

• 주기적인 자동 데이터 새로 고침
• 실시간 데이터 또는 과거 추세를 볼 수 있는 옵션
• 다양한 시간 범위 선택 지원

3. 디스플레이 최적화

데이터를 더 쉽게 이해할 수 있도록 여러 표시 방법이 채택되었습니다.

• 숫자 표시: 특정 값을 직접 표시합니다.
• 트렌드 차트: 데이터 변경 추세를 보여줍니다.
• 상태 표시기: 다양한 색상을 사용하여 시스템 상태를 나타냅니다.

사용 권장 사항

다음은 이 새로운 기능을 사용하여 시스템을 더 잘 모니터링하는 데 도움이 되는 몇 가지 팁입니다.

모니터링해야 할 주요 지표

미터법 유형무엇에 집중해야 하는가중요한 이유

처리량	초당 처리된 레코드 수	시스템 처리 용량을 반영합니다.
숨어 있음	데이터 처리 대기 시간	실시간 요구 사항에 영향을 미칩니다.
배압	데이터 처리 백로그	시스템 병목 현상을 경고합니다.
리소스 사용량	CPU, 메모리 사용률	리소스 고갈 방지

적절한 재생률 사용

• 중요한 작업을 실행할 때 새로 고침 빈도 증가
• 시스템 부하를 줄이기 위한 장기 모니터링을 위한 더 낮은 속도

요약

FLIP-7은 Flink에 최신 대시보드를 설치하는 것과 같아 시스템 작동 상태를 명확하게 볼 수 있습니다. 이러한 개선으로 Flink의 유용성이 크게 향상되어 운영 담당자가 시스템 실행 상태를 더 잘 제어하고 문제를 신속하게 감지하고 해결할 수 있습니다.

모니터링 메트릭의 시각화는 단순한 개선처럼 보일 수 있지만, 대시보드가 없는 자동차에서 최신 계측 기기로 전환되는 것과 유사하게 사용자 경험을 크게 향상시켜 시스템 작동 상태를 한 눈에 명확하게 알 수 있습니다. FLIP-7을 통해 Flink는 사용성 측면에서 또 다른 중요한 단계를 밟았습니다.