当前位置:首页 > 恢复数据 > 正文内容

如何在 Hive 中注册和管理 UDF?

编辑2个月前 (04-28)恢复数据15

# Hive 注册 & 管理 UDF 最全实战指南(企业级标准) 我给你整理**最清晰、最常用、不踩坑**的全套流程:**临时UDF、永久UDF、删除UDF、查看UDF、重载UDF、权限问题**,全部一次性讲透。 --- # 一、UDF 三种类型(先分清) 1. ** Temporary UDF(临时函数)**   只在当前会话有效,关闭 hive 客户端就消失   → 测试用 2. ** Permanent Function(永久函数)**   注册到 Hive 元数据,所有人、所有会话都能用   → **生产环境标准用法** 3. ** Permanent Function with Jar on HDFS**   企业最标准、最稳定、必须用   → **JAR 放在 HDFS,所有人都能访问** --- # 二、最常用:注册 **临时 UDF**(测试用) ## 1. 上传 jar(本地路径) ```sql add jar /home/hive/udf/myudf.jar; ``` ## 2. 创建临时函数 ```sql create temporary function mask_phone as 'com.xxx.MaskPhone'; ``` ## 3. 直接使用 ```sql select mask_phone('13812345678'); ``` --- # 三、企业标准:注册 **永久 UDF**(必须会) ## 步骤 1:把 JAR 传到 HDFS(关键) ```bash hdfs dfs -put myudf.jar /user/hive/udf/ ``` ## 步骤 2:注册永久函数 ```sql CREATE FUNCTION mask_phone AS 'com.xxx.MaskPhone' USING JAR 'hdfs:///user/hive/udf/myudf.jar'; ``` ✅ **优点:** - 永久生效 - 所有客户端可用 - 重启 Hive 也在 - 跨会话、跨用户 --- # 四、注册到指定数据库(生产常用) ```sql CREATE FUNCTION db_name.mask_phone AS 'com.xxx.MaskPhone' USING JAR 'hdfs:///user/hive/udf/myudf.jar'; ``` 使用时: ```sql select db_name.mask_phone(phone); ``` --- # 五、查看所有 UDF(必用) ## 1. 查看所有函数 ```sql show functions; ``` ## 2. 查看某个 UDF 信息 ```sql desc function extended mask_phone; ``` 会显示: - 类路径 - JAR 路径 - 函数类型 --- # 六、删除 UDF ## 1. 删除永久函数 ```sql DROP FUNCTION IF EXISTS mask_phone; ``` ## 2. 删除指定库的 UDF ```sql DROP FUNCTION IF EXISTS db_name.mask_phone; ``` ## 3. 删除临时函数 ```sql DROP TEMPORARY FUNCTION IF EXISTS mask_phone; ``` --- # 七、更新 / 重载 UDF(代码改了怎么更新?) ## 方法 1:删除重建 ```sql DROP FUNCTION mask_phone; CREATE FUNCTION mask_phone AS 'com.xxx.MaskPhone' USING JAR 'hdfs:///user/hive/udf/myudf.jar'; ``` ## 方法 2:覆盖 HDFS 上的 JAR,重启 Hive Server2 ```bash hdfs dfs -put -f myudf.jar /user/hive/udf/ ``` 然后重启 hive-server2 生效。 --- # 八、UDF 权限问题(90% 的人踩过坑) ## 报错: - Permission denied - Class Not Found - Unable to read jar ## 解决: ```bash hdfs dfs -chmod 755 /user/hive/udf/myudf.jar hdfs dfs -chown hive:hive /user/hive/udf/myudf.jar ``` --- # 九、企业级 UDF 注册模板(直接复制) ## 1. 上传到 HDFS ```bash hdfs dfs -mkdir -p /user/hive/udf hdfs dfs -put myudf.jar /user/hive/udf/ hdfs dfs -chmod 755 /user/hive/udf/myudf.jar ``` ## 2. 注册永久函数 ```sql CREATE FUNCTION default.mask_phone AS 'com.company.udf.MaskPhone' USING JAR 'hdfs:///user/hive/udf/myudf.jar'; ``` ## 3. 测试 ```sql SELECT mask_phone('13900001111'); ``` --- # 十、最常用命令汇总(背会) ```sql -- 注册临时 add jar /path/xxx.jar; create temporary function 函数名 as '全类名'; -- 注册永久 create function 函数名 as '全类名' using jar 'hdfs://path/xxx.jar'; -- 查看 show functions; desc function extended 函数名; -- 删除 drop function 函数名; ```

扫描二维码推送至手机访问。

版权声明:本文由手机数据加工厂发布,如需转载请注明出处。

本文链接:https://www.cryp6.com/?id=189

“如何在 Hive 中注册和管理 UDF?” 的相关文章

关闭这几个设置,手机瞬间杜绝监听偷窥

1. 关闭多余定位权限所有无关 APP,全部关掉定位只给地图、外卖临时用拒绝 24 小时跟踪你的行踪2. 关闭相机、麦克风权限小游戏、杂牌软件、工具箱全部禁用相机 + 麦克风防止后台偷偷录音、偷拍3. 关闭自动读取剪贴板杜绝 APP 偷看你复制的密码、验证码、聊天内容隐私再也不被偷偷收集4. 关闭后...

微信PC端数据库的密钥有什么作用?

# 微信PC端 提取数据库密钥 完整实操(纯工具、无调试、最简单) ## 重要法律声明 **仅允许提取自己微信账号数据**,禁止窃取、破解他人聊天记录,违规操作承担法律责任。 当前微信 PC 最新版本,通用方案:**PyWxDump 一键提取密钥**,无需逆向、无需x64dbg。 ---...

Hive IDE连接及UDF实战

# Hive IDE连接 + UDF实战|完整一步通 我给你**最实用、企业真实场景、直接能跑**的全套流程: **DataGrip/DBeaver连接Hive** + **Java写UDF + 上传 + 注册 + 调用** --- # 一、Hive IDE 连接(2种最常用工具)...

Windows安装RabbitMQ保姆级教程

下面是 Windows 下安装 RabbitMQ 的**保姆级、零翻车教程**,包含:Erlang 安装 → RabbitMQ 安装 → 环境变量 → 启用管理界面 → 开机自启 → 常见报错处理。 --- ## 一、先看版本匹配(必看!) RabbitMQ 依赖 Erlang,**版...

如何在Hive中使用已注册的UDF?

# 超清晰:Hive 中**已注册 UDF** 的使用方法(一次学会、终身不踩坑) 我用**最简单、最实战**的方式告诉你:   **UDF 注册好之后,到底怎么用?** --- # 一、先确认:你的 UDF 真的注册成功了吗? ## 1. 查看所有函数 ```sql...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。