Java工程可以使用以下工具将MySQL数据库的表上传到Hadoop的HDFS中：
- Sqoop：一个开源工具，用于将关系数据库（如MySQL）中的数据导入到Hadoop中。
- Hive：一个数据仓库工具，用于将数据从HDFS中读取到Hive中，并将其转换为 Hive 表。
以下是使用Sqoop和Hive将MySQL数据库的表上传到HDFS的步骤：
Step 1: 安装Sqoop
下载Sqoop的安装包，并按照官方文档进行安装。
Step 2: 配置Sqoop
在 Sqoop 的配置文件（通常是 sqoop.properties）中添加以下内容：
# MySQL 连接信息
mysql.connect.host = <your-mysql-host>
mysql.connect.port = <your-mysql-port>
mysql.connect.user = <your-mysql-username>
mysql.connect.password = <your-mysql-password>
# HDFS 连接信息
fs.default.name = hdfs://<your-hdfs-host>:<your-hdfs-port>
Step 3: 使用Sqoop将MySQL表导入到HDFS
使用以下命令将MySQL表导入到HDFS：
sqoop import --connect "jdbc:mysql://<your-mysql-host>:<your-mysql-port>/<your-database-name>" \
--username <your-mysql-username> \
--password <your-mysql-password> \
--table <your-table-name> \
--target-dir /user/hadoop/<your-table-name> \
--hive-import \
--hive-table <your-table-name>
其中，--connect 选项指定了 MySQL 连接信息，--table 选项指定了要导入的表名，--target-dir 选项指定了 HDFS 目录，--hive-import 选项指定了将数据导入到 Hive 中，--hive-table 选项指定了 Hive 表名。
Step 4: 使用Hive将数据转换为Hive表
使用以下命令将数据转换为 Hive 表：
hive> CREATE TABLE <your-table-name> (
... columns ...
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS TEXTFILE;
其中，CREATE TABLE 语句创建了一个 Hive 表，ROW FORMAT 语句指定了表的行格式，FIELDS TERMINATED BY 语句指定了表的字段分隔符，STORED AS TEXTFILE 语句指定了表的存储格式。
代码实现
以下是一个使用 Sqoop 和 Hive 将 MySQL 表上传到 HDFS 的 Java 代码示例：
import org.apache.sqoop.Sqoop;
import org.apache.sqoop.SqoopOptions;
import org.apache.sqoop.SqoopTool;
import org.apache.hadoop.hive.jdbc.HiveConnection;
import org.apache.hadoop.hive.jdbc.HiveStatement;
public class MySQLToHDFS {
public static void main(String[] args) {
// Sqoop 选项
SqoopOptions options = new SqoopOptions();
options.setConnect("jdbc:mysql://<your-mysql-host>:<your-mysql-port>/<your-database-name>");
options.setUsername("<your-mysql-username>");
options.setPassword("<your-mysql-password>");
options.setTable("<your-table-name>");
options.setTargetDir("/user/hadoop/<your-table-name>");
options.setHiveImport(true);
options.setHiveTable("<your-table-name>");
// Sqoop 工具
SqoopTool sqoop = new SqoopTool(options);
// 导入数据
sqoop.importData();
// Hive 连接
HiveConnection hiveConnection = new HiveConnection();
hiveConnection.connect();
// 创建 Hive 表
HiveStatement hiveStatement = hiveConnection.createStatement();
String createTableSql = "CREATE TABLE " + options.getHiveTable() + " (\n" +
" ... columns ...\n" +
") ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS TEXTFILE;";
hiveStatement.execute(createTableSql);
// 关闭 Hive 连接
hiveConnection.close();
}
}
请注意，这只是一个示例代码，需要根据实际情况进行修改。
