在Spark SQL中，JDBC（Java Database Connectivity）是一种常用的数据源，可以用来从关系型数据库中读取和写入数据。Spark提供了丰富的JDBC数据源功能，使得我们可以轻松与各种常见的关系型数据库进行交互。
连接数据库
首先，我们需要定义数据库连接的URL、用户名和密码等信息。例如，连接到MySQL数据库可以使用以下代码：
val url = "jdbc:mysql://localhost:3306/mydb"
val username = "user"
val password = "password"
val connectionProperties = new Properties()
connectionProperties.put("user", username)
connectionProperties.put("password", password)
在这里，我们使用了java.util.Properties类来保存连接属性。你可以根据自己的数据库类型和配置来修改URL和其他属性。
读取数据
一旦连接到数据库，我们就可以使用spark.read.jdbc()函数从关系型数据库中读取数据。比如，要读取MySQL中的一个表，可以使用以下代码：
val jdbcDF = spark.read
.jdbc(url, "table_name", connectionProperties)
在这里，url是我们之前定义的数据库连接URL，table_name是要读取的表名。connectionProperties是我们之前定义的连接属性。
jdbcDF是一个DataFrame对象，你可以使用Spark SQL提供的操作来处理它，比如筛选、聚合和汇总等。
写入数据
与读取类似，我们可以使用DataFrame.write.jdbc()函数将数据写入关系型数据库中。以下是一个写入MySQL的示例：
jdbcDF.write
.jdbc(url, "new_table", connectionProperties)
在这里，url是我们之前定义的数据库连接URL，new_table是要写入的表名。connectionProperties是我们之前定义的连接属性。
默认情况下，Spark会创建一个新的表并将数据写入其中。如果要追加数据到现有表中，可以使用.mode("append")函数。
使用自定义查询
除了读取和写入整个表，我们还可以使用自定义查询从关系型数据库中读取数据。以下是一个使用自定义查询的示例：
val query = "(SELECT * FROM table_name WHERE column = 'value') as tmp_table"
val result = spark.read
.jdbc(url, query, connectionProperties)
在这里，query是一个SQL查询，我们将其封装到一个子查询中，并为其指定一个别名。然后，我们使用spark.read.jdbc()函数读取数据。
总结
通过Spark SQL的JDBC数据源，我们可以轻松地与关系型数据库进行交互。无论是读取数据还是写入数据，都提供了丰富的功能和灵活的选项。此外，还可以使用自定义查询来满足更复杂的需求。
JDBC数据源是Spark SQL中一个强大且常用的工具，它为我们与各种关系型数据库之间的数据交互提供了便利。随着数据的规模越来越大，使用JDBC数据源可以让我们更好地利用Spark的分布式计算能力，处理和分析关系型数据库中的数据。
本文来自极简博客，作者：紫色玫瑰，转载请注明原文链接：Spark SQL数据源：JDBC
