EMRのエラーをS3のログから確認

2021-05-20

mkdir j-3PS6MU0W27GMG
cd j-3PS6MU0W27GMG

※j-3PS6MU0W27GMGはCluster ID

aws s3 sync s3://aws-logs-xxx-ap-northeast-1/elasticmapreduce/j-3PS6MU0W27GMG .

find . -type f -exec gunzip {} \;

時系列に並ぶようにsort

find . | grep log | xargs egrep "WARN|ERROR" | sort -k2

---

関連しているかもしれない記事