• Openshift 4 学习笔记

    DO280 在线课程的笔记。

    Openshift 是基于 k8s 的 paas 产品,基本概念与 k8s 差不多。 Openshift 使用 Project 划分不同的 namespace, 隔离不同的资源。

    Operator

    Openshift 4 引入了 Operator 的概念。Operator 可以帮助管理资源。
    Operators usually define custom resources (CR) that store their settings and configurations. An OpenShift administrator manages an operator my editing its custom resources. The syntax of a custom resource is defined by a custom resource definition (CRD).

    Operator 通过调用 kubernetes 的 api 来实现它的功能。不过直接调用底层 api 会比较麻烦,因此有一个 Operator Software Development Kit (Operator SDK) 来帮助开发 Operator.

    Operator Life Cycle Manager (OLM) 负责管理 Operator 的生命周期,它本身也是一个 Operator.
    (更多…)

  • 6.824 Lab1 MapReduce

    我要通过写博客逼自己做完这些 lab. 课程说不要泄露答案,所以我会把答案做个 base64 编码,算是防君子吧。
    (更多…)

  • Linux 下 sql-workbench 命令行常用方法整理

    (持续更新整理中)
    有时候为了测试 JDBC 需要用到 sql-workbench.
    sql-workbench 对于命令行似乎不太友好。整理一下常见的几个命令。
    (更多…)

  • Java BigDecimal 转换为 Parquet Decimal

    记录个问题。有用户想通过 Java 自行生成 Parquet 文件,不通过 Hive, Spark 等软件。

    用户直接将 BigDecimal toByteArray(),然后用 Hive/Athena 都读不出来正确的数值。查看 Hive 的做法,它实际上是用 unscaledValue() 转换成 BigInt,再 toByteArray() 存入 Parquet 的。
    (更多…)

  • 如何模拟EMRFS处理S3返回503 Slow Down的情况

    在 EMRFS (EMR 5.25) 的配置文件 /usr/share/aws/emr/emrfs/conf/emrfs-default.xml 里看到 fs.s3.sleepTimeSeconds 这个参数。按照配置文件里的注释,这个参数控制 S3 调用失败重试的间隔,默认是10秒。
    由于 EMRFS 闭源,想测试一下,验证这个参数是否有效。
    (更多…)

  • 运城西安周末游

    周末调休,周五六日休息三天,可以找个近点的地方玩耍一下。

    买了周五北京->运城的早班机,含税大概300元,跟高铁差不多。周日晚上的硬卧回程,西安->北京西,268元。最近不想跟人交流,所以没住青旅,订了两晚宜必思,总共花费400上下。

    早上11点准时落地运城。这个航站楼是新的,原先的航站楼在旁边,应该是要重建一个新的航站楼。

    运城关公机场

    (更多…)

  • 吉隆坡转机回家计划


    不知为何对吉隆坡有莫名的好感。之前买了亚航去清迈的机票,没去成退票了,只能退到亚航账户,只有3个月有效期,于是用它买了一张天津到吉隆坡的机票。 又现金买了一张吉隆坡到澳门的机票,实现曲线回家。

    前往天津机场

    下午6点下班,提前买好了7点半北京南站到天津的动车票。天津站不用出站,直接到地下就是地铁,地铁不用换乘可以直接到达机场。 从北京南站到天津大概30分钟,天津站到滨海机场大约40分钟。

    天津地铁

    (更多…)

  • 中秋闲逛: 大邱+釜山


    中秋三天假,不浪白不浪。 想去趟韩国,但是不想去首尔那种挤满游客的大城市。北京到大邱有济州航空的红眼航班,凌晨2点起飞,到大邱大概5点多,回来也是红眼航班。虽然累了点,但是省时间呀。
    往返机票耗费1200+元,冲动买下来了。

    没有明确的计划,走到哪算哪。

    大邱麦当劳打卡

    下班回家歇到11点多,打车去机场。来得有点早,想着在韩国吃水果不容易,在全家买了一盒水果先填饱肚子。 济州航空值机柜台人不多。

    到达大邱,机场是军民两用,很小。入境三条队,刚好排到队尾,等了有半个小时。 入境之后用菊花卡在ATM机取钱,试了多个机器都拒绝交易,懵逼了。

    (更多…)

  • 郑州洛阳过周末

    跟室友无聊想着周末找个地方去。郑州刚好可以周五晚上的火车去,周日晚上的火车回。用招行花费700元定了一晚郑州JW万豪,这就安排妥了。

    火车大概晚上10点出发,第二天6点到达。虽然买的是软卧,但是这火车中途停站很多,基本没睡好。

    火车站出来走19分钟即可到达二七广场。在附近逛逛,看到一居民小区的早餐店,吃了一碗胡辣汤。
    胡辣汤
    (更多…)

  • 奥克兰体验生活一周


    有好几个前同事到奥克兰工作了,所以我计划体验一下奥克兰的生活。 查看机票价格,海航往返含税2810元,深圳中转可以顺便回趟家,值得入手。行程如下:

    2019.6.21 PEK-SZX
    2019.6.22 SZX-AKL
    2019.6.29 AKL-SZX
    2019.7.01 SZX-PEK

    在 Airbnb 预定了市中心的公寓,两个房间三张床,有客厅厨房,阳台可以看到海景。7晚连同手续费大概5800元人民币。大多数人来奥克兰只是中转,通常会转机到南岛。我们没车到处玩耍,就安心地在奥克兰体验生活吧。

    买票的时候想着室友大概率请不到假,我很可能要一个人去,所以还买了我妈的票。在出发前,室友确认请到假了,于是变成了三个人的行程。 体验奥克兰家庭生活。
    (更多…)