신뢰할 수 있는 머신러닝

11장. 인시던트 대응

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 세상에서는 때때로 좋은 데이터와 시스템에도 나쁜 일이 일어납니다. 디스크가 고장납니다. 파일이 손상됩니다. 기계가 고장납니다. Network+가 다운됩니다. API 호출이 오류를 반환합니다. 데이터가 멈추거나 미묘하게 변경됩니다. 한때 정확하고 대표적이었던 모델이 덜 정확해지기도 합니다. 이전에는 전혀 일어나지 않았거나 거의 일어나지 않았던 일이 일상화될 수 있으며, 이 자체가 모델에 영향을 미칩니다.

이 책의 대부분은 이러한 일이 발생하지 않도록 방지하거나, 발생하더라도 상황을 정확하게 인식하고 완화할 수 있는 ML 시스템을 구축하는 방법에 관한 것입니다. 특히 이 장에서는 ML 시스템에 긴급한 문제가 발생했을 때 대응하는 방법에 대해 설명합니다. 시스템이 다운되거나 기타 문제가 발생했을 때 팀이 이를 처리하는 방법을 이미 잘 알고 있을 것입니다. 이를 인시던트 관리라고 하며, 많은 컴퓨터 시스템에서 공통적으로 발생하는 인시던트를 관리하기 위한 모범 사례가 존재합니다.¹

일반적으로 적용되는 이러한 관행을 다루지만, 특히 ML 시스템의 중단을 관리하는 방법과 이러한 중단 및 관리가 다른 분산 컴퓨팅 시스템 중단과 어떻게 다른지에 초점을 맞추고 있습니다.

기억해야 할 가장 중요한 점은 ML 시스템은 인시던트 해결을 비ML 프로덕션 시스템의 인시던트와 잠재적으로 매우 다르게 만드는 속성을 가지고 있다는 것입니다. 이러한 맥락에서 가장 중요한 속성은 실제 상황 및 사용자 행동과의 강력한 연관성입니다. 즉, ML 시스템, 세계 또는 모델링하려는 사용자 행동 간에 단절이 있는 경우 직관적이지 않은 효과를 볼 수 있습니다. 이에 대해서는 나중에 자세히 다루겠지만, 지금 이해해야 할 중요한 점은 ML 인시던트 문제 해결에는 재무, 공급업체 및 벤더 관리, PR, 법무 등 일반적인 프로덕션 인시던트보다 훨씬 더 많은 조직이 관여할 수 있다는 것입니다. ML 인시던트 해결이 반드시 엔지니어링 부서에서만 하는 일은 아닙니다.

여기서 마지막으로 강조하고 싶은 것은 ML 시스템의 다른 측면과 마찬가지로 인시던트 관리도 일반적으로 윤리에 심각한 영향을 미치며, 특히 개인정보 보호에 매우 중요한 영향을 미친다는 점입니다. 시스템을 먼저 작동시키는 데 집중하고 나중에 개인정보 보호에 대해 걱정하는 것은 실수입니다. 이 섹션에서 이 중요한 부분을 놓치지 마세요. 개인정보 보호와 윤리는 이 장의 여러 부분에서 등장하며 마지막에 직접 다루게 되는데, 그때가 되면 ML 윤리 원칙이 인시던트 관리와 어떻게 상호작용하는지에 대한 명확한 결론을 도출할 수 있을 것이기 때문입니다.

인시던트 관리 기본 사항

성공적인 인시던트 관리를 위한 세 가지 기본 개념은 인시던트의 상태를 파악하고, 역할을 정립하고, 후속 조치를 위한 정보를 기록하는 것입니다. 인시던트가 어떤 상태인지, 누가 어떤 측면을 관리할 책임이 있는지