BezosWorld
Facebook 매일 수백만 대의 서버 설정을 업데이트하는 방법 본문
만약 당신의 회사가 Favebook 와 같은 크기로 수백만 대의 서버에 20 억 명 이상의 사용자가있는 매일 수천 번 설정 변경 (거기에는 무수한 설정 체크를한다)을 할 때 하자. 쉽게 상상할 수 있도록 설정 작업은 힘든 작업이다. Facebook은 흔히있는 일이지만, 그들은 호 돈도 기업은 인연이없는 문제 나서야하고, 종종 일반 도구의 한계에 도달 할 것이다.
이러한 특정 문제를 해결하기 위해 Facebook은 새로운 설정 배포 프로세스를 개발했다. 그 이름은 Location Aware Delivery (위치를 고려하여 전달). 줄여서 LAD라는 것이다. LAD을 개발하기 전까지는 회사는 Zoo Keeper라는 오픈 소스 도구를 사용하여 설정 데이터를 전달했다. 이 도구는 기능을하고 있었지만, Facebook과 같은 규모의 회사에 대해서는 매우 심각한 제한이 있었다.
아마 그 중에서도 가장 심각한 것은 한 번에 2500의 상대에 대한 5 메가 바이트의 전달 밖에 할 수 없도록 제한되어 있던 것이었다. 설정이 어떻게 기능하는지 감을 잡아달라고하기 위하여 Messenger와 같은 Facebook의 서비스를 리아루타무에 올바른 설정으로 전달하는 것을 생각했으면 좋겠다. 그것은 수백만의 서버에있는 사용자는 영어로 다른 사용자는 스페인어로 전달하는 등 뜻한다.
Facebook은 데이터 자체를 전달 메커니즘을 끊고 지연 시간이 5 초 미만에서 Zoo Keeper에 비해 10 배 이상의 파일을 처리 할 수있는 각종의 한계를 극복 한 도구를 개발하려고 생각했다. 물론이 모든 것을 수백만 명의 클라이언트에서 실행하여 Facebook 만 문제로 만나는 제정신이라고는 생각되지 않는 업데이트 빈도 및 유량 급증에 대응하고자 한 것이다.
Facebook 엔지니어링 팀이 만든 제품이다 LAD (그런데 다저스는 이에 대해 어떻게 생각 할까)은 2 개의 부분으로 구성되어있다. 첫 번째는 설정 파일을 필요로하는 시스템에 전달하는, Facebook의 모든 컴퓨터에 하나씩 존재하는 프록시이다. 두 번째는 유통이다. 그 이름에서 알 수 있듯이 설정 정보를 전달 (디스 트리뷰트)한다. 분배자는 새로운 업데이트를 확인하고 그것이 발견 된 경우에는 업데이트를 찾고있는 기계들을 위해 배달 트리를 생성한다.
Facebook의 Ali Haider-Zaveri에 따르면, 새로운 전달 방법을 발표 한 블로그 기사에 따르면,이 트리 방식은 Facebook이 매우 많은 설정 업데이트를 배포하려고 할 때 직면 한 많은 문제의 해결에 도움이되었다고 말한다 . "트리를 활용하여 우리가 가진 모든 기계가 아니라 관심있는 프록시에 대해서만 업데이트가 추진되도록, LAD 보증 해주는 것입니다. 또한 부모 기계 자식 기계 업데이트를 직접 보낼 수 있기 때문에 루트에 가까운 1 대의 컴퓨터 만이 과부하 될 수 없습니다 "라고 Haider-Zaveri는 쓰고있다.
앞서 말한 제한 규정도 극복 할 수 있었다. 5MB의 업데이트 제한은 100MB로 증가했다. 또한 클라이언트 숫자 2500의 제한도 4 만로 증가했다.
이 시스템은 쉽게 만들어진 것은 아니다. 테스트 및 다시 테스트를 반복해야했지만, 겨우 운용을 시작하게 된 것이다 ... 적어도 지금은 - 앞으로 Facebook이 또한 다른 어려움에 직면하고 다른 사람이 고려할 수 없었던 새로운 방법을 찾을까지는 (어쨌든 Facebook 규모에 이르는 사람은 다른 사람들이하지 않는 것이다).