2010년 네델란드 아인트호벤(Eindhoven)시의 공공 행사에서 코드 집행을 담당하는 티너스 캔터스(Tinus Kanters)씨는 'STRP Art & Technology Festival'이라는 행사에 참석했다. RFID(Radio Frequency Identification) 및 NFC(Near-Field Communication) 기술을 통해 방문자는 터치 스크린에서 아트 워크에 대한 피드백을 제공하는 등의 활동에 참여할 수 있다. 티너스 캔터스는 이제 사물 인터넷(IoT)이라고 부르는 새로운 기술의 축제와 토론에서 영감을 받아 이러한 장치를 도시 관리의 맥락에서 적용할 수 있다는 아이디어를 제시했다.
그는 이 생각을 더욱 발전 시켰고, 아인트호벤 지자체와 네덜란드 기술 안전 보건 연구소(DITSS)는 2012 년 '리빙 랩스트라텀스아인트 2.0 '프로젝트를 시작했다. 개방형 커뮤니티에서 개발되어 실생활에서 테스트 되었다. 이것은 시민을 포함한 모든 사람이 참여하고 발언 할 수 있는 독특한 기회를 제공했다.
스트라텀스아인트(Stratumseind)는 아인트호벤에 위치한 네덜란드에서 가장 큰 파티 거리 중 하나이며 매주 약 20,000 명의 방문객이 방문한다. 스트라텀스아인트의 도전은 소음, 논쟁, 대립, 때로는 운 좋게도 폭력을 일으키는 많은 군중과 정당에서 비롯되었다. 이 아이디어는 소음 조절, 군중 관리를 시행하고 잠재적으로 폭력적인 행동과 사고를 식별, 예방 및 확대하는데 IoT 장치를 사용하는 것이었다.
리빙랩에서 공동 창작
인구 23만명의 아인트호벤은 기술 및 IT의 중심지다. 다국적 기업, 중소기업 및 신생 기업으로 구성된 연구소, 대학 및 기업간에 많은 협력 관계를 맺고 있는 파일럿 프로젝트의 도시로 명성이 있다.
티너스 캔터스가 스트라텀스아인트를 리빙 랩으로 전환하기로 결정한 후 많은 현지 신생 기업 및 심지어 글로벌 기업도 실제 시나리오에서 마이크 또는 카메라와 같은 기술의 개발 및 테스트에 참여했다. 2015 년에는 이미 많은 행위자와 기술이 테스트를 수행하고 개념을 증명하였다. 따라서 리빙 랩은 비트와 조각을 하나의 전체 솔루션으로 통합할 표준 또는 프레임 워크를 찾기 시작했다. 아인트호벤 지방 자치 단체는 지식을 공유하고 다른 사람들과 공동으로 작업하기 위해 OASC Open & Agile Smart 권장 브로커 City)의 회원이 되었으며 “스마트 시티 아인트호반에 대한 스포트라이트”의 권장 사항을 채택했다. 권장 사항 중 보고서는 Context Broker와 같은 FIWARE 기반 솔루션 평가를 제안했다.
컨텍스트 브로커 란 무엇입니까?
Context Broker는 데이터를 통합하고 적시에 실시간으로 데이터 중심 의사 결정을 내리는 디지털 빌딩 블록이다. 유럽위원회의 CEF 프로그램이 제공하는 서비스 및 지원은 개방형 및 상호 운용 가능한 IoT 를 기반으로 스마트 서비스를 홍보하기 위한 협회인 FIWARE에서 정의한 기술 사양을 기반으로 하고 있다.
아인트호벤은 Context Broker를 시장에서 가장 진보된 표준 기반 솔루션으로 간주하여 선택했다. 다양한 소스와 형식에서 IoT 기반 데이터를 수집하고 상관관계와 통찰력에 대한 데이터를 종합적으로 분석한다. IoT 센서 중에는 마이크, 카메라 및 그라운드 모니터가 있다. 무선 마이크 어레이(Array)는 이제 소음 수준 조정을 자동화한다. 음악이 너무 크면 자동 알림이 유발된다. 소음이 계속되면 법 집행 기관은 위반 통지 또는 티켓을 발행한다. 이미지를 권장 브로커 분석하고 군중을 추적하기 위해 카메라가 설치되었다. 지상 모니터는 공공 광장이 안전을 위해 너무 붐비지 않도록 하고 아인트호벤은 특정 거리 조명을 IoT 액추에이터로 사용한다.
모두를 위한 스마트 시티 솔루션
5년간 리빙랩의 지속적인 혁신을 바탕으로, 아인트호벤은 이제 도시 전체와 다른 도시로 확장 할 수 있는 확장 가능하고 재사용 가능한 솔루션(컨텍스트 브로커 통합)을 보유하고 있다. 지자체는 특정 공급 업체 또는 기술에 얽매이지 않고 혁신적인 하드웨어 개발자와 관계를 구축했다. 모든 데이터가 하나의 시스템인 컨텍스트 브로커에 있으면 부가 가치 서비스를 보다 쉽게 작성할 수 있다.
지자체는 스마트 시티가 직면한 일반적인 과제를 단순화하기 위해 4개층의 프레임 워크를 만들었다. 이 솔루션은 Creative Ring, ENoLL, Eurocities, EIP-SCC, LUCI 및 OASC와 같은 지역, 국가 및 유럽 네트워크 조직과 공유되었으며 Smart City Starter 키트로 모두 사용할 수 있다. 이 키트는 다음의 애플리케이션을 위한 소프트웨어 프로토 타입 제작에 대한 5년간의 연구를 통합한다.
현지 법률 및 규정을 시행하는데 도움이되는 센서
인기있는 행사 중 안전한 군중 관리를 위한 비디오 카메라
폭력적인 조우의 조기 징후를 식별하고 경찰이 더 빨리 도움을 주도록 하는 소프트웨어
(이 글은 유럽연합의 CEF Digital의 “Context Broker's smart services are making the city of Eindhoven a safer place”를 정리 한 것이다)
권장 브로커
해외환자 유치 브로커들의 수법이 하루가 다르게 진화하면서 의료기관들이 대안 모색에 나서고 있지만 역부족이다.
2일 의료관광 에이전시 업체 및 개원가에 따르면 브로커의 해외환자 유치 방식이 갈수록 교묘해지고 있다.
진화하는 브로커의 환자유치 방식
지난 4~5년 전에는 브로커가 의료기관에 해외환자를 유치한 이후 환자들에게 수수료를 받았다.
그러나 의료관광 시장이 확대될수록 한국 의료관광에 브로커가 기승을 부린다는 소문이 확산되자 투명성을 내세우며 방식을 달리했다.
환자가 병원에 진료비를 납부하면 수수료 명목으로 진료비의 일부를 병원으로부터 받는 식으로 전환한 것.
환자는 병원에 진료비를 권장 브로커 납부하고, 브로커에게는 별도의 수수료를 지급하지 않기 때문에 자연스럽게 신뢰감이 형성됐다.
최근에는 브로커가 사전에 환자와 짜고 수수료를 각각 나눠갖는 사례까지 나타나고 있다.
가령, 브로커가 환자에게 수수료의 일부를 나눠줄테니 특정 의료기관에서 수술을 받으라고 하는 식이다. 일부 진료비에 부담을 느끼는 환자들은 더 저렴한 비용으로 수술을 받을 수 있다는 브로커의 제안을 뿌리치기 쉽지 않은 게 사실이다.
브로커·에이전시-의료기관, 갑과 을의 관계
또한 일부 의료기관은 대형 의료관광 에이전시 업체의 횡포에 시달리기도 한다.
모 성형외과 관계자는 "밥과 술은 기본이고 에이전시 홈페이지 내 수백만원의 배너 광고를 요구하는 경우도 다반사"라면서 "부당하다고 생각하면서도 거부할 수 없는 입장"이라고 털어놨다.
즉, 에이전시 업체가 환자를 유치해주는 역할을 하기 때문에 밉보였다가 자칫 해외환자의 발길이 끊길 수 있어 업체의 요구를 들어줄 수 밖에 없다는 게 의료기관들의 전언이다.
또 다른 성형외과 관계자는 "의료관광에서 병원과 에이전시 및 브로커와의 관계는 에이전시가 갑, 병원이 을이 될 권장 브로커 수 밖에 없는 구조"라고 했다.
그는 이어 "에이전시 업체와 브로커들이 환자를 유치하는 과정에서 특정 성형외과에 대해 악의적인 정보를 제공할 경우 심각한 상황이 발생할 수 있다"고 덧붙였다.
의료기관 자체 홍보 불구 브로커 통한 유치 비중 높아
이처럼 브로커와 에이전시 업체와의 관계에 염증을 느낀 일부 의료기관들은 자체적인 홍보에 나서고 있다.
국내 유명 성형외과 일부는 중국 현지 온라인 포털사이트와 온라인 카페를 통해 적극적인 홍보 활동을 진행하고 있다.
익명을 요구한 모 성형외과 관계자는 "중국에 투자하는 홍보 비용만 적게는 수백에서 많게는 수천만원에 달한다"면서 "중국 내 젊은 층도 한국과 마찬가지로 온라인 검색을 통해 병원을 선택하기 때문에 온라인 홍보에 비용을 투자하고 있다"고 설명했다.
이처럼 의료기관이 자체적인 외국인 환자 유치를 하고 있지만 아직까지는 미진한 수준이다.
B성형외과의 경우 중국 현지에서 홍보활동에 나서고 있지만 40:60으로 자체 홍보를 통한 환자유치 비율보다 브로커 및 에이전시를 통한 환자 유입율이 높다.
B성형외과 관계자는 "조금씩 자체 홍보를 통한 외국인 환자가 늘고 있지만 아직까지는 에이전시를 통한 환자유치에는 못미치는 게 사실"이라고 말했다.
모 의료관광 에이전시 업체 관계자는 "개인 브로커와 일부 의료관광 에이전시의 횡포로 제대로 된 에이전시 업체들의 생존이 어려워졌다"면서 "브로커도 문제지만 이에 응해주는 의료기관도 문제를 근절할 수 없게 만드는 원인"이라고 못 박았다.
복지부 관계자는 "해외환자 브로커 및 에이전시의 문제점은 의료기관도 일부 책임이 있다"면서 "가능하면 의료기관들이 직접 환자들에게 진료비를 설명하도록 권장하고 있다"고 말했다.
그는 이어 "사실 브로커가 환자를 유치하는 것에 대해 일부 의료기관도 이를 악용하고 있는 셈"이라면서 의료기관 내부 자정활동을 당부했다.
의사가 말해주지 않는 건강검진의 진실
벌써 7년전 일이다. 국내 5위권 안에 드는 대기업의 43세 부장 L 모씨는 서울대 법대 출신의 엘리트다. 촉망받는 인재로 회사 일에 파묻혀 살았지만, 자기 관리도 철저한 편이고, 회사에서 해 주는 건강검진을 대학병원에서 열심히 꾸준히 받았다. 하지만 어느 날, 배가 심하게 아파 찾아가 병원에서 대장암 판정을 받았고, 이듬해 결국 사망했다.
국내 굴지의 대기업 부장. 철저한 자기관리. 회사검진 스케쥴을 충실하게 따랐고, 서울의 대학병원에서 건강검진을 꾸준히 받았다. 하지만 대장암을 막지 못했고, 젊은 나이에 세상을 떠났다. 무엇이 잘못된 것일까.
대학병원에서 시행한 ‘회사검진’ 프로그램에는 애석하게도 대장내시경이 포함되어 있지 않았다. 건강검진 업무를 담당하는 내과, 영상의학과, 가정의학과 의사 중 누가 봐도 중요한 검사가 빠진, 조금은 허술한 프로그램이다. 하지만 병원과 회사 사이에 맺은 계약이므로 의사의 의견이 끼어들 자리는 없다.
지금 검사를 받아야 하는 사람이 작년에는 어떤 검사를 받았는지, (더 욕심을 부리자면) 3년 전부터 지금까지 어떤 건강검진을 받아 왔는지를 꼼꼼하게 따져야 한다. 가족 중 어떤 종류의 암 환자가 있었는지, 이 사람의 직업, 생활 습관 등에 의해 어느 암에 걸릴 가능성이 높은지, 내년에 어느 병원에 가서 어떤 검사를 받을지 등의 꼭 필요한 정보를 알고 건강검진 설계를 해야 한다.
하지만 회사검진의 경우 그런 기회가 원천적으로 차단된다. 검사 전 건강검진 설계에 의사가 개입 할 여지가 없다. 그냥 건강검진은 진행된다. 마치 서울역 기차는 정시에 떠나는 것처럼 검사는 기계적으로 진행된다.
병원에서 말해주는 검진 권장 주기도 믿을 수 없다?
건강한 사람의 경우 대장 내시경의 권장 주기는 5년이다. 유방암 검진을 위한 유방촬영의 경우 2년 주기로 받으면 된다고 한다. 하지만 다음 이야기를 읽어 보면, 권장 주기도 믿을 수 없다.
부산 해운대 아파트에 살던 50대 남자 사업가가 있었다. 매우 꼼꼼하고 본인의 건강도 철저하게 챙기는 편인지라 매년 같은 시기에 규칙적으로 서울까지 와서 꼭 서울대 병원에서 본인비용으로 비싼 건강검진을 받았다.
10여년 철저하게 본인이 만든 지켜 오던 어느 해, 미국 출장 관계로 그 시기를 놓치고 다른 일도 바쁘고 해서 2년 만에 검사를 받게 됐다. 그런데 그 사이에 위암이 생겼고 많이 진행이 많이 돼 결국 돌아가시고 말았다.
검사 주기는 비용과 밀접하게 관계돼 있다. 따라서 이야기하기에는 민감한 사안이다. 병원이나 의사의 입장에서는 검진을 자주 받는 것이 환자의 안전에도 도움이 되고 수입증가에도 도움이 된다. 하지만 권장 브로커 권장 브로커 회사검진, 국가암검진을 하는 회사나 국가측에서는 기간이 길어질수록 지출해야 하는 비용이 줄어든다. 기간을 늘리고 싶은 유혹에서 쉽게 벋어 날 수 없다.
특히 회사검진, 국가암검진 등 남의 돈이 관련되어 있는 경우엔 검사 주기가 짧아질수록 사회적 비용이 증가된다. 고혈압의 기준이 과거엔 수축기 140 이었다. 하지만 지금은 130 이다. 10 정도 낮아 졌다. 사람 신체에 변화가 온 것일까. 130- 140 사이의 사람들을 고혈압 치료대상에서 제외하려는 보험회사 측의 로비가 있었던 것이다. (기준은 미국에서 정해진 것이며, 보험사 로비도 미국에서 있었던 일이다. 문제는 이 기준을 전 세계가 따랐다는 것이다 )
대장암의 경우 채식을 많이 하고 몸을 많이 움직인다면, 발병가능성이 매우 낮아진다. 거꾸로 육식을 많이 하고 운동량이 적다면 발병가능성이 증가한다. 같은 나이의 쌍둥이라고 해서 대장내시경 주기를 같게 할 수 있을까.
유방암의 경우 30세 이전에 첫 아이를 낳고 모유수유를 하며 직장에 다니지 않으면 발병가능성이 현격히 낮아진다. 아이를 낳은 적이 권장 브로커 없고, 물론 모유수유를 하지 않으며, 스트레스를 받는 직장 생활을 하는 경우 유방암 발병 가능성은 급격히 높아진다. 같은 나이의 쌍둥이라고 해서 유방암 검사 주기를 똑같이 할 수는 없다.
한마디로 검사주기는 개인의 상황에 따라 그때 그때 다르다. 모르면 자주 하는 것 밖에는 길이 없다.
건강검진, 비용에 따라 달라진다?
서울지역 유명대학병원의 기본건강검진의 경우 남자 61만원, 여자 64만원이다. 프로그램을 분석해 보니 대장내시경이 빠졌다. (물론 대장내시경을 매년 할 필요는 없지만, 아무 생각없이 계속 이 병원의 기본건강검진 을 이용하면 영원히 대장내시경을 못하게 될수도 있겠구나라는 염려가 생긴다.)
흉부 전산화 단층촬영 (가슴 CT)도 빠졌다. (흡연자 필수) 특별한 증상이 없으면 안 해도 되는 세세한 검사들은 제법 많이 포함되었다. 가슴 CT 와 대장내시경을 넣으면 100만원 초반이 될 것이다.
프리미엄 검진을 보니 가슴 CT와 대장내시경, 기타 부위의 초음파. CT 등을 넣어서 178만원을 받는다 (남자기준) 하지만 심장마비. 중풍 위험성을 미리 감지해 주는 검사는 빠졌다. 심장과 경동맥 검사를 추가하니 200만원이다 (남자기준)
얼마 전 배우 안재욱씨가 미국에서 갑자기 뇌수술을 받았다. 지주막하 출혈이라는 병이 었다. 뇌혈관의 일부가 꽈리처럼 부풀었다가 터져서 생기는 병으로 응급 수술을 제때 받지 못하면 바로 사망한다. 터지기 전 뇌혈관 꽈리를 찾아주는 검사도 수요가 급증했다. MRA 라는 검사인데 이것을 넣으니 290만원이다.
비교적 고통 없이 몸의 구석구석을 보면서 암을 가장 초기에 발견해 준다는 검사 PET 이 있다. 위의 검사에 PET 을 넣으니 430만원이다. 호텔에서 하루 재워주고, 고급승용차 안타도 1인당 430만원이다. 부부가 받으면 900만원을 잡아야 한다.
건강검진 설계의사 이용하면 비용 줄이고, 효과 높이고
하지만 너무 걱정하지 않아도 된다. 비용을 줄이면서도 효과를 유지할 수 있는 방법이 있다. 건강검진 설계사를 이용하면 된다. 먼저 건강검진에 대해 자세히 알아본다. 건강검진은 크게 세 가지로 구성 된다.
1. 진단검사의학 영역 :
피 검사. 오줌 검사라고 하면 이해가 빠를 것이다. 쉽게 이야기 하면 피,검사 오줌검사다. 피 한방울, 오줌 한방울로 한두가지부터 수 백가지 까지 다양한 검사가 가능하다. 그래서 가격이 천차만별이 된다. 피, 검사 오줌검사는 기계가 하게 되는데. 검사대행 전문업체가 있다. 국내에서는 녹십자. 이원이라는 곳이 양대산맥이다. 즉 어디서 검사하던지 결국 비슷한 곳으로 간다는 뜻이다. (외주검사) 동네병원에서 피 검사 하나, 대학병원에서 피검사 하나 차이가 없다. 가장 쉽게 비용을 줄일 수 있는 검사 영역이다. 꼭 의원에서 검사하는 것이 비용을 줄이는데 큰 도움이 된다.
2. 위 내시경, 대장내시경
내시경을 하는 의사들은 많다. 하지만 전공의 시절부터 체계적으로 내시경을 배우는 의사들은 내과 전문의 들이다. 내과 전문의 중에도 소화기 분야를 특별히 더 공부한 의사가 가장 잘 한다. 의사들도 본인이나 본인 가족의 내시경을 하게 되는 경우에는 내과 전문의 중에도 소화기 내과 전문가에게 의뢰를 한다. 대학병원이냐 의원이냐에 따라 두 배 이상의 가격차이가 난다. 내과 전문의에게 내시경 받는 경우에는 질적인 차이는 없다고 보아도 무방하다.
초음파를 하는 의사들은 더 많다. 일부 기관의 경우 의사 감독 하에 의사가 아닌 기사를 통해 초음파를 하는 곳도 있다. 의사 중에서 전공의 시절부터 초음파를 완벽하게 권장 브로커 배우는 의사는 영상의학과 전문의 밖에 없다. (기계자체는 물론 초음파 관련 물리학 까지 공부한다)
박근혜 대통령이 대학병원에서 초음파를 받게 된다면 어느 병원이 던지 영상의학과 전문의가 초음파를 하게 된다. 유방초음파의 경우는 소화기내과 전문의처럼, 유방영상전문의가 하게 된다.
대학병원이냐 의원이냐에 따라 두 배 이상의 가격차이가 난다. 영상의학과 전문의에게 초음파를 받는다면 질적인 차이는 없다고 보아도 무방하다.
그렇다면 어떻게 나만의 건강검진 설계사를 찾을 수 있을까. 일단 집근처 또는 직장 근처의 내과 또는 영상의학과 의원을 찾아간다. (인터넷 검색 : 내과의원 또는 영상의학과 의원) 그곳에서 내과 전문의 또는 영상의학과 전문의임을 확인한다. 건강검진을 받고 싶으며 나에게 알맞은 맞춤형검진을 원한다고 이야기 한다.
그러면 의사는 당신에 대해 자세히 질문을 하게 된다. 가족중에 암으로 고통 받으신 분 또는 중요한 질환이 있었는지, 당신의 생활습관과 직업, 과거 질환, 수술, 입원경력. 현재 아픈 곳, 먹고 있는 약, 작년에 어디서 어떤 건강검진을 받았는가? (국가암검진이든 회사검진, 개인검진 이든 작년에 받은 건강검진 결과표를 가지고 가는 것은 매우 중요하다.)
질문에 대한 답변을 들은 후 담당 의사는 당신에게 꼭 필요하고 알맞은 건강검진 항목을 만들 수 있고 권유하게 된다. 놓치는 것 없이, 불필요한 것 제외하고, 최적의 건강검진을 받을 수 있는 방법이다.
국민건강보험에서 실시 하는 국가암검진은 꼭 받는 것이 좋다. 일단은 공짜이기 때문이다. 그리고 꼭 필요한 검사는 하기 때문이다. 하지만 국가암검진만 믿기에는 부족한 점이 많다. (권장 브로커 홀수해, 짝수해 2년 주기로 한다는 것도 아쉬운 점 중의 하나다
받을 수 있는 국가암 검진을 가급적 빨리 받는다. 국가암 검진 결과표를 가지고, 건강검진 설계의사 를 찾아간다. 그러면 최소한 국가암검진에서 시행한 검사는 제외하고 검사를 하게 되므로 비용을 줄 일 수 있다. 10월 이후엔 건강검진 받으려는 사람이 급증한다. 많이 기다려야 하고, 불친절하고 의료진의 집중력도 떨어진다. 서둘러 일찍 받아 두는 것이 여러모로 좋다
tip 똑똑하게 건강검진 받는 법
1. 건강검진 설계의사를 꼭 만들어 둔다.
(동네 또는 회사근처 내과의원. 또는 영상의학과 의원)
2. 무료 검진은 착실히 받는다(건강보험공단 건강검진. 회사검진)
3. 결과표를 가지고 건강검진 설계의사를 만나 추가로 검사할 항목을 정하고, 본인이 비용을 지불하고 검사를 더 받는다.
4. 가급적 [- 의원]을 이용한다. 같은 검사를 해도 비용이 저렴하다
5. 내시경은 내과전문의에게 받는다.
6. 초음파 검사는 영상의학과 전문의에게 받는다.
(유방초음파는 더욱 까다롭게 의사를 선택해야 한다)
7. 건강검진 결과표는 스크랩하여 보관하고, 새로운 의사를 만날 때마다 가지고 간다.
8. 보다 저렴하게 효과적인 검사를 받기 위해서는 발품을 팔아야 한다. (한 곳에서 완벽한 검사를 받을 순 있지만 비용은 많이 증가한다)
9. 건강검진은 10월 이전에 받는 것을 목표로 한다.
10. 다만 얼마라도 반드시 내 돈을 추가해 검사를 더 받는다.
회원 수 180 00명의 남자의사, 남자 의대생 커뮤니티스카이닥터의 시샵.
2001년부터 온라인 커뮤니티를 직접 만들고 운영해 왔다.
의과대학생. 젊은 남자의사들 사이에선 매우 익숙한 사람이다.
학습.진로.연애.미래에 대한 멘토로 더욱 유명하다.
현재 서울나은병원 영상의학과 전문의로 근무 중이다.
권장 브로커
kafka 를 접한지 1년여의 시간이 흘렀고, 2018년 말부터 로컬 테스트부터 시작해, 테스트망, 검증망을 거쳐 운영망에서 kafka를 운영한지 3개월 정도가 되었습니다.
kafka를 개인 컴퓨터에서 테스트용으로 쓸 때는 환경에 크게 고민을 하지 않고 기능적으로 제대로 돌아가는지를 신경 쓰지만 운영 시스템에 올리기 시작하면서부터는, 이 시스템의 환경을 어떻게 구성해야 최대한 안정적으로 돌아가게 될지, 성능을 더 끌어낼 방법은 무엇일지 이런 저런 고민을 하였습니다.
카프카, 데이터 플랫폼의 최강자, 카프카 핵심 가이드와 같은 좋은 책들의 도움을 받아 기본적인 것들을 공부하고, 운영 환경을 구성하면서, kafka를 구축하기 이전 ElasticSearch 를 구축했던 경험을 떠올리며, ElasticSearch는 약 27~30GB 의 HEAP을 권장하기 때문에 kafka도 OOP를 넘기지 않을 정도의 메모리를 잡으면 되지 않을까? 하고 생각할 때도 있었고, 엘라스틱 서치는 FileDescriptor 설정을 엄청 키워야 했는데 kafka는? 동작 방식을 생각하면 비슷할 것 같은데? 그리고 주키퍼는 어쩌지? 하는 생각이 들 때도 있었습니다.
운영 환경의 설정을 잡기 위해 참고했던 내용들을 요약해 보겠습니다.
kafka는 일반적으로 CPU 사용량이 높은 편은 아닙니다. 다만 SSL의 적용은 CPU 사용량에 상당한 영향을 줄 수 있으므로 세심한 고려가 필요합니다.
더 많은 코어 vs 더 빠른 클럭 속도 중에서 택해야 한다면 더 많은 코어에 중점을 두시기 바랍니다.
zookeeper도 CPU에 크게 영향을 받지는 않습니다, 다만 성능에 대한 세밀한 고려가 필요할 경우는 컨텍스트 스위칭이 문제가 되지 않도록 zookeeper에 전용 코어를 할당하는 것을 고려해야 합니다.
kafka는 파일시스템에 데이터를 즉시 기록하는 구조입니다. 구조상 6GB 이상의 HEAP을 권장하지 않습니다. 메모리가 32기가인 머신에서, 파일시스템 캐시는 최대 28~30GB 정도 생성됩니다. 메모리의 소비량은 대체로 활성 읽기/쓰기 작업의 스루풋 * 버퍼 대기 시간과 같은 방식으로 추정할 수 있습니다.
zookeeper는 kafka의 메타데이터를 저장하고 분산 코디네이팅을 수행합니다. zookeeper는 데이터 처리에 따른 메모리 소비는 별로 없지만, zookeeper 앙상블의 znode 컨텐츠의 사이즈에 따라 영향을 받습니다.
kafka-zookeeper 사이에는 클러스터의 파티션 갯수가 이와 연관이 있습니다.
zookeeper가 구동되는 호스트의 메모리는 최소 8GB 정도를 권장하며, swap(물리적 메모리가 모자랄 경우 메모리 내용의 일부를 디스크의 스왑 공간으로 이동시켜 메모리를 효율적으로 쓰게 하는 기능)은 zookeeper 의 사용에 영향을 주기 때문에 zookeeper를 운영하는 호스트에서는 swap 해제를 권장합니다.
zookeeper의 heap 사이즈는 대부분의 경우 1GB 정도면 적절합니다. HEAP 사이즈를 키우는 것은 GC동작시 pause 되는 시간을 늘릴 수 있습니다. 이 부분에서 문제가 생기지 않게 조심해야 합니다.
디스크와 파일시스템
kafka는 디스크 엑세스가 많습니다. 다른 응용 프로그램들과 디스크를 분리하는 것이 좋습니다.
RAID 구성을 할 수도 있지만, kafka 자체의 복제 기능이 있기 때문에, 프로그램적으로 이를 보완하는 효과를 줄 수도 있습니다. 파티션 디렉토리를 여러개로 나눌 경우에는 파티션 간의 데이터 균형에 신경 써야 합니다. 파티션 간의 라운드-로빈에서 디스크 로드의 불균형을 초래할 수 있습니다. (이 점 때문에 저는 파티션을 구성할 때도 kafka 노드의 배수로 파티션을 구성하는 편이었습니다. 사실 얼마나 정확한 선택인지는 더 검증 해 보아야 합니다.)
파일시스템은 XFS 혹은 EXT4 를 권장합니다.
zookeeper도 디스크 엑세스에 민감합니다. SSD를 강력하게 권장합니다. zookeeper의 부하를 줄이기 위해 퍼징(일종의 가비지 컬렉팅)을 활용할 수 있습니다.
autopurge.purgeInterval(퍼징이 발생하는 시간 간격), autopurge.snapRetainCount (퍼징시 유지할 스냅샷 갯수) 프로퍼티를 적절히 조절하여 성능 향상을 꾀할 수 있습니다.
Unix 계열 혹은 Linux 계열을 권장합니다. Windows 에서는 그다지 잘 동작하지 않습니다.
파일디스크립터는 100,000 이상을 권장합니다.
mmap area 는 파티션 1개당 2영역이 할당 됩니다. 일반적으로 vm.max_map_count 를 65536 정도로 설정한 시스템에서 4~5만개 이상의 파티션을 생성했다면 이 경우 fail이 날 수 있습니다.
※ 이 부분에 대한 설명은 ElasticSearch 설치시 확인할 사항 포스트에도 비슷한 내용이 언급되어 있습니다.
(ElasticSearch는 파일디스크립터 65536, mmap 262144를 권장합니다)
JAVA 버전
kafka 0.9.0 버전부터 JAVA6 이하 버전에 대한 지원이 중단되었습니다.
kafka 1.0.0 버전부터 JAVA9 를 지원합니다.
kafka 2.0.0 버전부터 JAVA7 이하 버전에 대한 지원이 중단되었습니다.
kafka 2.1.0 버전부터 JAVA11 을 지원합니다.
GC 설정
아무런 설정을 하지 않았을 경우 kafka 에서 기본적으로 설정된 GC 옵션은 다음과 같습니다
Linkedin 에서 사용하고 있는 GC 설정은 다음과 같습니다
(60브로커, 5만 파티션, 초당 30만 메시지, 300Mbps 인바운드, 1Gbps 아웃바운드)
기타 영향을 주는 설정과 참고사항
각 환경별 참고할만한 설정은 아래와 같습니다.
- 프로듀서
- acks : 안정성과 속도에 영향을 미칩니다. (0 -> 1 -> all 순으로 안정성은 증가하지만 속도는 떨어짐)
- 0 : 자신이 보낸 메시지에 대하여 브로커의 확인을 기다리지 않습니다/
- 1 : 자신이 보낸 메시지에 대해 리더의 수신을 확인 (팔로우 브로커로 복제가 일어나는 사이에 리더가 죽으면 메시지의 손실이 일어날 가능성 있습니다)
- all, -1 : 자신이 보낸 메시지에 대해 리더의 수신 및 하나 이상의 팔로우 브로커로 복제까지 확인합니다.
- 컨슈머의 성능은 파티션과 컨슈머 숫자의 비율을 맞추는 것이 중요합니다.
- fetch.min.bytes : 컨슈머의 fetch 요청에 서버가 응답하는 최소 바이트 숫자, 이 숫자가 너무 작으면 서버와 잦은 통신이 발생하고, 이 숫자가 커질수록 서버의 요청은 감소하는 대신 1회당 전송량은 늘어나며, 컨슈머의 대기시간은 길어집니다.
- min.insync.replicas : write 작업을 승인하기 위한 최소 복제본의 숫자, producer의 ack 설정 all(-1) 조합해서 사용합니다. acks all 은 하나 이상의 팔로워 브로커로 복제를 확인하면 성공으로 간주하는데, 이 옵션과 조합하여 브로커에서 복제본의 숫자까지 지정할 수 있다. 예를 들어 ack all, 복제본 3, min.isync.replicas 2 로 설정된 경우, 3개 중 과반인 2개 이상의 복제가 성공해야 write를 승인합니다.
- queued.max.requests : 네트워크 스레드에서 허용하는 대기 요청의 수, 만약 로드가 불규칙하다면 조절을 고려할만 합니다.
kafka는 확장이 용이한 시스템입니다. 파티션이 늘어나고 컨슈머가 늘어나는 것에 비례해서 처리 속도가 빨라집니다. 그럼에도 불구하고 무작정 파티션을 늘리는 것이 좋은 것은 아닙니다. 파티션이 늘어나는 것은 파일디스크립터의 점유를 늘리며, kafka의 관리 부담을 늘어나게 합니다. 또한 파티션-컨슈머의 연결은 컨슈머와의 연결당 스레드를 점유하므로 CPU의 성능이 충분하지 않다면 파티션을 늘렸음에도 불구하고 충분하게 처리량을 늘릴 수 없게 됩니다.
아직은 운영 중인 서비스가 본격적인 궤도에 오르지 않아, 현재는 크게 부하는 없는 상태에서 실제 피크에 도달했을 때를 가정하여 계속 테스트를 하며 개선을 하고 있습니다. 올 상반기 정도까지만 하더라도, kafka에 관심은 많지만 실제로 내가 kafka로 무엇을 하고 있는가? 에 대한 질문을 하면 답을 할 것이 없어서 사실 스스로를 kafka 운영자라고 하면 좀 사기를 친다(?)는 느낌이 있었는데, 지금은 kafka를 운영한다고 말을 할 수가 있습니다. 사실 본업은 개발에 좀 더 비중이 있는지라, kafka를 활용한 애플리케이션과의 연계에도 관심이 많습니다. 그런 부분도 꾸준히 공유할 수 있으면 좋겠습니다.
- acks : 안정성과 속도에 영향을 미칩니다. (0 -> 1 -> all 순으로 안정성은 증가하지만 속도는 떨어짐)
0 개 댓글