/*
-- Title : [Cb5.0] Write Commit Failure 오류
-- Reference : datacenter 임0총
-- Tag : write commit failure error 오류 posix error code: 'nxdomain' disk write failed for item in bucket
*/
■ 에러 발생
172.20.20.AAA
172.20.20.BBB
172.20.20.CCC
172.20.20.DDD
172.20.20.EEE
를 클러스터로 묶어서 운영하였고
각각 서버에 4개의 쓰레드로 총 20개의 쓰레드로 데이터를 upsert 하였다.
172.20.20.AAA 서버의 메모리가 16GB 이고
나머지는 32GB 이서 클러스터 구성시 최대 메모리를 낮춰야 클러스터 구성이 가능하였고
메모리가 많이 사용되면 AAA 서버에는 문제가 없지만
나머지 서버에서 REST API 연결이 거부되는 현상이 발생하였다.
2018.11.08 퇴근전에 20개의 쓰레드를 실행시키고 퇴근하였고
당일 저녁 12시에 확인해보니
140서버를 제외한 나머지서버에서 Connection Refuse 에러로 작업이 중단되었고 AAA서버는 정상작동하였다.
배치사이즈를 200에서 100으로 바꾼후 다시 작업을 걸어놓고
2018.11.09 am09:41에 Write Commit Failure 경고가 나타났으며 검색해보니 배드 섹터 문제일 수 있다고 하여
CCC 서버의 조치를 취하도록 하겠다.
:: 기술지원업체 문의사항 ::
1. 메모리 맥스 쿼터를 동적으로 구성할 수 없는지.
하나의 서버의 메모리가 낮아서 그서버에 맞추어 메모리쿼터 낮춰서 클러스터 구성하는 문제점
2. 메모리가 낮은 서버기준으로 구성하였는데 메모리가 부족할 때 왜 낮은 서버가 아니라
다른서버들에 문제가 생기는지
3. Write Commit Failure 의 발생원인과 해결방법