AWS Glue 로컬에서 실행
AWS Glue 를 테스트해보는데 AWS Console 에서 하기에는 비용이 발생하고, 화면이 좀 불편해서 로컬에다가 띄워서 사용하려고 한다.
2020년 09월 08일에 Glue ETL Job 을 로컬환경에서 테스트할 수 있는 방법이 공개되었고, Docker 로 지원하기 때문에 손쉽게 설치할 수 있었다.
설치
1.
Docker Image 를 내려받는다 ( Docker Hub 를 확인해 최신 이미지를 다운 받는다 )
$ docker pull amazon/aws-glue-libs:glue_libs_1.0.0_image_01
Plain Text
복사
2.
Container 를 실행시킨다
$ docker run -itd \
-e AWS_REGION=ap-northeast-2 \
-e AWS_PROFILE=default \
-p 8080:8080 \
-p 4040:4040 \
-v ~/.aws:/root/.aws:ro \
--name glue_zeppelin \
amazon/aws-glue-libs:glue_libs_1.0.0_image_01 /home/zeppelin/bin/zeppelin.sh
Plain Text
복사
3.
웹페이지에 접속한다.
http://127.0.0.1:8080
Plain Text
복사