우리 팀은 Livy를 활용하여 Spark SQL을 이용한 배치 솔루션을 운용중이다. 이번에 플랫폼 이관을 하면서 솔루션을 테스트하는 중이였는데, 솔루션 개발팀쪽에서 에러가 발생한다고 질의가 들어왔다. Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: NoSuchObjectException(message:Table inf_tb_01 does not exist) at org.apache.hadoop.hive.ql.metadata.Hive.getPartitions(Hive.java:3796) at org.apache.hadoop.hive.ql.metadata.Hive.getPartitions(Hive.java:3819) at org.apache.spa..

Spark SQL을 사용할때 발생하였던 문제이다. spark sql로 Hive 테이블을 생성 후 쿼리를 실행하였는데 에러가 발생하였다. 해당 내역은 Insert 구문 실행시 partition key가 2개여서 실행할 수 없다는 내용이였다. 찾아보니 해당 내용을 잘정리한 reference가 있었다. https://medium.com/@an_chee/why-using-mixed-case-field-names-in-hive-spark-sql-is-a-bad-idea-95da8b6ec1e0 Why using mixed case field names in Hive/Spark SQL is a bad Idea? TL;DR medium.com 하이브는 테이블과 필드명을 메타스토어에 소문자로 저장하며, 스파크는 데이터프..

필자는 Spark SQL을 활용한 솔루션을 운용중인데, Spark에는 실행시 다음과 같은 옵션들이 있다. 참고) Spark란? (출저 : 위키독스) https://wikidocs.net/26513 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 예를 들어, 하나의 Spark Shell을 실행시키기 위한 옵션을 부여한다고 가정했을때, spark-shell --master yarn --num-executors 30 --executor-cores 2 --executor-memory 10G --queue default 다음과 같은 옵션들을 넣게 된다. 이 말은 즉슨, --master yarn # yarn을 리소스 관리자로 사용, local모드 혹은 docker기반의 mesos모드 가능 ..