금차에 CDP를 도입해서 Impala를 활용하도록 유도하고 있지만 아직까지는 Hive를 많이 활용중이라 내부적으로 모니터링시 Tez UI를 많이 활용할 일이 생겼다. 그러나 Tez View는 ambari(HDP)에서는 기본적으로 제공되었으나, CDP로 넘어가면서 없어진지라 오픈소스의 도입이 필요하게 되었다. 그래서 오늘은 Tez-UI 연동에 대해 설명해보고자 한다. 구글링을 하면 기본적인 내용은 나오는데 디테일(?)이 없어서 좀 애를 먹었다. 일단 apache tez 홈페이지에서 다운로드를 받는다. 물론 라이브러리 버젼을 잘 맞춰야한다. CDP 7.1.7 기준으로 0.9.1을 다운 받았다. https://www.apache.org/dyn/closer.lua/tez/0.9.1/ Apache Download..

우리 팀에서는 LDAP 기반의 Ranger를 통한 권한관리를 하는 중이다. 그런데 Hue에서 새롭게 생성한 그룹이나 계정정보을 Sync해봐도 제대로 나타나지 않는 문제가 있었다. 계정과 그룹을 잘못 만든것인가 한참을 고민하였으나, 구글링 결과 조회 주기가 1시간이였어서 제대로 안나온 것이였다. 계정을 급하게 생성하거나 변경해야 할일이 있는데 1시간 동안 기다리는 것은 매우 작업이 루즈해지는 것 같아 답답했던 찰나였다. 그래서 방법을 찾아보던 중 흥미로운 정보를 입수하였다. https://github.com/apache/ranger/blob/6f79dd59786804f9c1e32cf8422adc82bbfcbe01/ugsync/src/main/java/org/apache/ranger/unixusersync/..