240 发简信
BIGUFO
IP属地：天津
  • Resize,w 360,h 240
    基于SparkSQL实现的一套即席查询服务

    IQL (项目地址：https://github.com/teeyog/IQL) English | 简体中文 基于SparkSQL实现了一套即...

    4.0 7147 7 23 2018.12.24 03:09
  • [Spark SQL] 源码解析之Optimizer

    前言 由前面博客我们知道了SparkSql整个解析流程如下： sqlText 经过 SqlParser 解析成 Unresolved Logic...

    0.1 1615 0 4 2018.06.06 02:43
  • [Spark SQL] 源码解析之Analyzer

    前言 由前面博客我们知道了SparkSql整个解析流程如下： sqlText 经过 SqlParser 解析成 Unresolved Logic...

    0.7 2067 0 11 2018.05.30 02:32
  • Resize,w 360,h 240
    [Spark SQL] 源码解析之Parser

    前言 由上篇博客我们知道了SparkSql整个解析流程如下： sqlText 经过 SqlParser 解析成 Unresolved Logic...

    0.7 4024 0 9 2018.05.28 10:24
  • Resize,w 360,h 240
    [Spark SQL] 主要执行流程

    预备知识 先介绍在Spark SQL中两个非常重要的数据结构：Tree和Rule。 SparkSql的第一件事就是把SQLText解析成语法树，...

    0.2 3405 0 8 2018.05.25 12:40
  • Spark metrics实现KafkaSink

    背景 监控是Spark非常重要的一部分。Spark的运行情况是由ListenerBus以及MetricsSystem 来完成的。通过Spark的...

    0.2 2426 0 5 2018.05.19 06:15
  • Spark 实现MySQL update操作

    背景 目前 spark 对 MySQL 的操作只有 Append,Overwrite,ErrorIfExists,Ignore几种表级别的模式，...

    0.2 8739 4 4 2018.05.19 05:14
  • spark任务之Task失败监控

    需求 spark应用程序中，只要task失败就发送邮件，并携带错误原因。 背景 在spark程序中，task有失败重试机制（根据 spark.t...

    0.3 7949 4 12 2018.04.13 14:16
  • Spark整合HBase（自定义HBase DataSource）

    背景 Spark支持多种数据源，但是Spark对HBase 的读写都没有相对优雅的api，但spark和HBase整合的场景又比较多，故通过sp...

    3749 0 12 2018.02.02 14:05
个人介绍
Github地址
https://github.com/teeyog