Hive IDE连接及UDF实战
# Hive IDE连接 + UDF实战｜完整一步通
我给你**最实用、企业真实场景、直接能跑**的全套流程：
**DataGrip/DBeaver连接Hive** + **Java写UDF + 上传 + 注册 + 调用**
---
# 一、Hive IDE 连接（2种最常用工具）
## 1. 连接前提
- 知道 **Hive Server2 地址**（host:10000）
- 账号密码（若开启kerberos则需要keytab）
- 网络通（能访问10000端口）
---
## 2. DBeaver 连接 Hive（免费推荐）
1. 新建连接 → 搜索 **Apache Hive**
2. 配置：
- Host：hive server2 IP
- Port：10000
- Database：default
- 用户名：你的账号（无密码留空）
3. **驱动选择**：Hive 2/3 对应驱动
4. 测试连接 → 成功
---
## 3. DataGrip 连接 Hive（企业最常用）
1. 新建数据源 → **Apache Hive**
2. 填写：
- Host
- Port 10000
- Database default
3. 切换驱动：**Hive 3.x**
4. 高级参数（可选）
```
set hive.execution.engine=tez;
```
5. 测试连接
---
# 二、Hive UDF 实战（企业标准流程）
## 什么是 UDF？
自定义函数，对Hive查询的**每一行数据做处理**
例如：脱敏、加密、截取、清洗、格式转换
---
# 三、实战：写一个【手机号脱敏 UDF】
## 步骤1：创建Maven项目，导入依赖
```xml
<dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>3.1.2</version>
<scope>provided</scope>
</dependency>
</dependencies>
```
---
## 步骤2：写Java UDF代码
```java
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public class MaskPhone extends UDF {
public Text evaluate(Text phone) {
if (phone == null || phone.toString().length() != 11) {
return new Text("");
}
String s = phone.toString();
return new Text(s.substring(0, 3) + "****" + s.substring(7));
}
}
```
---
## 步骤3：打包成 JAR
Maven 执行：
```
mvn package
```
得到：`udf-demo.jar`
---
## 步骤4：上传JAR到Hive
### 方式A：临时函数（当前会话有效）
```sql
add jar /path/udf-demo.jar;
create temporary function mask_phone as 'com.xxx.MaskPhone';
```
### 方式B：永久函数（所有会话可用，企业用）
1. 上传JAR到HDFS
```
hdfs dfs -put udf-demo.jar /user/hive/udf/
```
2. 创建永久函数
```sql
create function mask_phone as 'com.xxx.MaskPhone'
using jar 'hdfs:/user/hive/udf/udf-demo.jar';
```
---
## 步骤5：使用 UDF
```sql
select phone, mask_phone(phone) from user_info;
```
输出：
```
13812345678 138****5678
```
---
# 四、企业常用 3 类 UDF 模板
## 1. 字符串脱敏（最常用）
```java
public Text evaluate(Text str) { ... }
```
## 2. 日期格式化
```java
public Text evaluate(Text ts) { ... }
```
## 3. 数据清洗（空值替换）
```java
public Text evaluate(Text s) { ... }
```
---
# 五、常见问题
1. **ClassNotFound**
- JAR路径不对
- 包名写错
2. **Function doesn't exist**
- 未 add jar
- 未创建函数
3. **返回NULL**
- evaluate方法参数类型不匹配（必须用 **Text**）
