Blog Articles

• Spark SQL 访问json和jdbc数据源

  文章目录访问json数据从json加载数据写入数据到json基于jdbc访问数据库 spark sql可以从很多数据源中读写数据, 比较常用的是json文件和可使用jdbc协议的数据库. 访问json数据 官方文档: https://spark.apache.org/docs/latest/sql-data-sources-json.html 注意: json文件的每一行必须是一个json对象 ...

  Published on:

• Spark SQL Generic Load/Save Functions(2.4.3)

  文章目录Generic Load/Save Functions(通用加载/保存函数)Manually Specifying OptionsRun SQL on files directly(直接在文件上执行SQL)Save Modes(保存模式)Saving to Persistent Tables(保存到持久表)Bucketing, Sorting and Partitioning(分桶,排序和...

  Published on:

• Spark SQL Start(2.4.3)

  原文地址: https://spark.apache.org/docs/latest/sql-programming-guide.html OverView Spark SQL是用于处理结构化数据的spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了更多的数据结构和计算信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。有几种方法可...

  Published on:

• Spark RDD Programming Guide(2.4.3)

  原文地址: https://spark.apache.org/docs/latest/rdd-programming-guide.html Overview 从高层次的角度来看, spark应用由一个驱动程序(运行用户的main函数)和在集群上执行各种并发的操作组成.spark的主要抽象是弹性分布式数据集(RDD), 它是跨集群节点的元素集合, 能被并发操作.RDD是从Hadoop文件系统(或者其...

  Published on:

• 一个spark app demo

  安装完环境, 现在是时候写一个demo项目了 需求就是打印出上传到hdfs中的日志行数. 依赖 需要用到spark-sql库, 先查看一下spark目录下sql版本: spark-2.4.3-bin-hadoop2.7/jars/spark-sql_2.11-2.4.3.jar 那么在程序中引用相同的库 <dependency> <grou...

  Published on: