hive-server2 remains 2k+ s3n-worker threads after job finished


tldr: This is a bug in EMR 5.6. Upgrading to EMR 5.8 or above can solve the issue.

Issue

User reported that he sees 2000+ s3n-worker threads after job finished. He has to restart the hive-server2 service everyday to mitigate the issue.

# sudo -u hive jstack 11089 | grep s3n-worker | wc -l
2000

The threads are repeating from s3n-worker-0 to s3n-worker-19. In another word, there are 100 * 20 s3n-worker threads.

"s3n-worker-19" #70 daemon prio=5 os_prio=0 tid=0x00007f5ac4cf0800 nid=0x10ad waiting on condition [0x00007f5ac1dee000]
......
"s3n-worker-1" #52 daemon prio=5 os_prio=0 tid=0x00007f5ac5462000 nid=0x109b waiting on condition [0x00007f5aca23f000]
"s3n-worker-0" #51 daemon prio=5 os_prio=0 tid=0x00007f5ac5480000 nid=0x109a waiting on condition [0x00007f5aca641000]
......

Environment

AWS EMR 5.6
继续阅读“hive-server2 remains 2k+ s3n-worker threads after job finished”

Spark RDD checkpoint on S3 exits with exception intermittently

Issue

- Run a spark job and save RDD checkpoint to S3.
- Spark job failed intermittently with below error:

org.apache.spark.SparkException: Checkpoint RDD has a different number of partitions from original RDD. Original RDD [ID: xxx, num of partitions: 6]; Checkpoint RDD [ID: xxx, num of partitions: 5].

继续阅读“Spark RDD checkpoint on S3 exits with exception intermittently”

西雅图: 波音/南湖/华盛顿大学


去西雅图培训两周,体验一下公费旅游。

为了避免出现问题,买了海航直飞的机票,北京-西雅图往返4800,都是白天出发白天到。预定了 Hyatt Place 酒店,带早餐一晚大概160刀。

据说3月份西雅图仍处于雨季,基本见不到阳光。不过我来的这两周天气都是大晴天,下班以后还能愉快地逛街。

出发

想到要在异国待两周,出发前先跟室友吃个火锅。不小心吃得有点慢,回家上完厕所,叫到滴滴出门已经一点半了。海航要提前60分钟值机,快到T2的时候还堵车了。

在起飞前70分钟赶到值机柜台,托运好行李拿好登机牌就直奔出入境了。对T2的布局还算熟悉,在开始登机之前就走到登机口了。

波音787执飞,10个小时航程,发两次餐。第二次只有简餐,没有餐盘。


继续阅读“西雅图: 波音/南湖/华盛顿大学”

乌兰察布周末游

为了看夜景

某天,领导一直对看夜景念念不忘。他指出,国贸三期看夜景消费太高,从飞机上看夜景会更划算。
于是,我提出了种草已久的 PEK-UCB 航线。这条航线是”网红航线“,它是北京出发最短的一条国航系航线,众多国航金卡喜欢用这条航线刷航段。
看到了周六早上出发周日晚上返回的机票价格不错,就定下这个行程了。

2019.02.23 07:05 NAY-UCB
2019.02.23 22:00 UCB-PEK
往返含税403元。

南苑机场

南苑机场是中联航的基地,民航也是中联航独家运营的。所以,也不难理解,南苑机场就像个三线城市汽车站。

早晨有不少航班,自助值机的机器只开了几个,要排一阵队才能拿到登机牌。过安检的时候,扫描登机牌,没有找到信息,要去人工值机柜台重印登机牌。

过了安检上楼,已经开了不少餐饮。KFC一个市区买10元的早餐,这里卖36元。西部马华吃个面也要50的样子。候机大厅弥漫着老坛酸菜牛肉面的味道,机智的我也带了两个杯面做早餐。

准时登机。后来因为要除冰,将近7:30才起飞。

继续阅读“乌兰察布周末游”

温哥华市区骑行计划

从西雅图到温哥华

这西雅图来都来了,顺便去个温哥华吧。温哥华跟西雅图直线距离大概200km,坐大巴约4小时车程。提前两天在 BoltBus 的网站上订票,往返一共61刀。

周六早上9点的车,在 International District 上车。在酒店吃完早餐走路40分钟过去,在地图提示的地方可以看到一个 Bolt Bus 的标识牌,在此排队等候。 时间尚早,逛了逛旁边的日本超市。

车上有厕所,不怕憋尿。上了高速一路往北开,12点的样子在一个巴士站停下休息了半个小时。然后很快就到了美加边境。在边境下车过完出入境,再有一个小时的车程就到温哥华的 Pacific Central 车站了。

继续阅读“温哥华市区骑行计划”