=Start=

缘由：

之前用基础的 UDF 接口写过UDF程序，但没有写过复杂点的 GenericUDF ，有这个想法但一直没有实际去写，一来没有直接的动力——（简单的用SQL实现，复杂点的用UDF实现，为什么还要用GenericUDF来写？），二来没有简单清晰的文档和代码（不像UDF那样，只需要继承UDF，然后实现evaluate()方法就行了，之前搜到的中文资料不多，也可能是没有用对关键字）。

但前段时间在跑数据的时候发现用了UDF和没用UDF的SQL运行时间相差数倍，让我在想是不是基础的 UDF 接口性能不好导致（因为在最开始搜资料的时候大概看到过这样的描述）？因此最近又花了一些时间简单学习了一下 GenericUDF 的写法，在此做个记录，方便以后参考。

正文：

参考解答：

如果你想实际测试/验证你写的UDF对性能损耗是不是很大（或者准确点说是区分因为UDF里增加的逻辑导致的性能损耗还是单单因为使用了UDF增加的性能损耗），可以先用一个基本没什么特殊功能的UDF做一个基准，然后再对比加上其它逻辑的UDF之后的查询耗时有没有明显增加。

UDF 和 GenericUDF 的简单对比

UDF
开发起来比较简单，只需要继承UDF，然后实现evaluate()方法就行。 Easier to develop
因为使用了反射，所以性能比较低。 Lower performance due to use of reflection
不支持一些非基本类型的参数。 Doesn't accept some non-primitive parameters like struct

GenericUDF
开发起来会复杂一点，相比UDF多了2个要实现的方法：initialize 和 getDisplayString，它们设置了一个 ObjectInspector 并当错误发生时会展示一些信息。 A little more difficult to develop
性能比UDF更好，因为使用延迟和短路执行。 Better performance because use of lazy evaluation and short-circuiting
支持所有非原语参数作为输入参数和返回类型。 Supports all non-primitive parameters as input parameters and return types

GenericUDF 要实现的方法介绍

org.apache.hadoop.hive.ql.udf.generic.GenericUDF
复杂的 GenericUDF 可以处理 Map、List、Set 类型。

# GenericUDF
GenericUDF 实现比较复杂，需要先继承 GenericUDF。这个 API 需要操作 Object Inspectors，并且要对接收的参数类型和数量进行检查。GenericUDF 需要实现以下三个方法：

abstract ObjectInspector initialize(ObjectInspector[] arguments);
# Initialize this GenericUDF. This will be called once and only once per GenericUDF instance.
# 这个方法只调用一次，并且在evaluate()方法之前调用。该方法接受的参数是一个 ObjectInspectors 数组。该方法检查接受正确的参数类型和参数个数。

abstract Object evaluate(GenericUDF.DeferredObject[] arguments);
# Evaluate the GenericUDF with the arguments.
# 这个方法类似 UDF 的 evaluate() 方法。它处理真实的参数，并返回最终结果。

abstract String getDisplayString(String[] children);
# Get the String to be displayed in explain.
# 这个方法用于当实现的 GenericUDF 出错的时候，打印出提示信息。而提示信息就是你实现该方法最后返回的字符串。

用 GenericUDF 实现的提取SQL字符串中的limit限制数值

package com.ixyzero.hive.udf.utils;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.StringObjectInspector;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * @author ixyzero
 * Created on 2023-04-15
 */

@Description(name = "get_limit_size",
        value = "_FUNC_(str) - Get limit size from *search* sql string.",
        extended = "The value is returned as a string, or NULL if the argument was NULL.\n"
                + "Example:\n"
                + "  > SELECT _FUNC_('select * from tbl where col1 = 11 LIMIT 1000;');\n"
                + "  '1000'\n")

public class getSqlLimitSizeGUDF extends GenericUDF {

    private static final Pattern commentaryPattern = Pattern.compile("/\\\\*.*?\\\\*/|--.*?", Pattern.DOTALL);
    private static final Pattern limitPattern = Pattern.compile("\\s+limit\\s+(\\d+)\\s*(,|offset)?\\s*(\\d*)\\s*", Pattern.CASE_INSENSITIVE);

    private ObjectInspector[] argOIs;

    @Override
    public ObjectInspector initialize(ObjectInspector[] objectInspectors) throws UDFArgumentException {
        // 1. 检查参数个数，有问题抛出异常即可
        if (objectInspectors.length != 1) {
            throw new UDFArgumentLengthException("get_limit_size() only take 1 parameter");
        }

        // 2. 检查参数类型，有问题抛出异常即可
        ObjectInspector objectInspector = objectInspectors[0];
        if ( !(objectInspector instanceof StringObjectInspector) ) {
            throw new UDFArgumentException("the first argument must be a string");
        }

        argOIs = objectInspectors;
        // 3. 返回一个 ObjectInspector 类型的变量，但好像也没有其它地方接收并处理这个变量，所以直接返回null也行
        // return null;
        return PrimitiveObjectInspectorFactory.javaStringObjectInspector;
    }

    @Override
    public Object evaluate(DeferredObject[] deferredObjects) throws HiveException {
        // 下面3行的作用其实就是从通过initialize检查的参数中提取并转换成Java编程中常见的数据类型方便后面的开发
        Object tmp = deferredObjects[0].get();
        StringObjectInspector strObjectInspector = (StringObjectInspector) argOIs[0]; // ok，这一步容易出错，因为不清楚细节
        // StringObjectInspector strObjectInspector = (StringObjectInspector) deferredObjects[0]; // ClassCastException
        String sql = strObjectInspector.getPrimitiveJavaObject(tmp);

        if (sql == null || sql.trim().isEmpty()) {
            return null;
        }
        sql = commentaryPattern.matcher(sql).replaceAll("").toLowerCase();
        String ret = null;

        try {
            Matcher m = limitPattern.matcher(sql);
            if (m.find()) {
                if (m.group(2) == null) {
                    ret = m.group(1);
                } else if (m.group(2).equalsIgnoreCase("offset")) {
                    ret = m.group(1);
                } else {
                    ret = m.group(3);
                }
            } else {
                return null;
            }
        } catch (Exception e) {
            // e.printStackTrace();
            return null;
        }

        return ret;
    }

    @Override
    public String getDisplayString(String[] strings) {
        return "get_limit_size(sql)";
    }

    public static void main(String[] args) {
        // 因为继承自 GenericUDF 和 UDF 不太一样，多了2个要 override 的函数，所以更改成常规类再测试需要变更的地方比较多
        // 这里就不测试具体的代码逻辑了，因为在其它的地方验证过，这里主要是简单跑通一下 GenericUDF 编写的流程，真的是太麻烦
        // 麻烦在于变量的类型是 ObjectInspector/DeferredObject 这种，在用常规Java代码处理之前需要先进行类型转换
        // 对于转换方法不熟悉的人来说真的是很容易踩坑和崩溃——本身逻辑不复杂，但在应付这些类型转换上面还真的是非常麻烦和复杂
    }
    // 除了直接可见的多了2个要继承的函数 initialize/getDisplayString 之外
    // 我个人通过上面这一段代码的编写和测试，发现最大的问题其实是在 ObjectInspector 这种新出现的变量类型的检查判断和内容提取
    // 最最直接的就是在上面 evaluate 函数开始的那3行里面，一开始完全想不到它的入参只是交给getPrimitiveJavaObject 提取类型的信息
    // 真正的内容需要用一个全局变量从 initialize 函数那里赋值，然后经过一些类型转换才能进行后面的常规编码操作
    // 不过这种坑踩过一两次之后好像也就不是大问题了，也许和我当前没有写过更复杂的UDF有关，后面如果需要的话找专门的数据开发同学来做会更合适
}

参考链接：

Hive UDF的编写
https://ixyzero.com/blog/archives/4782.html

提取SQL中的limit限制数值
https://ixyzero.com/blog/archives/5428.html

Hive UDF 简介 #nice
https://www.hadoopdoc.com/hive/hive-udf-intro

How to write a Hive UDF
http://mark.thegrovers.ca/tech-blog/how-to-write-a-hive-udf

Using Hive Advanced User Defined Functions with Generic and Complex Data Types
https://www.bmc.com/blogs/using-hive-advanced-user-defined-functions-with-generic-and-complex-data-types/

Class GenericUDF
https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.1.2/hive_javadocs/ql/org/apache/hadoop/hive/ql/udf/generic/GenericUDF.html

GenericUDFStringToMap.java #可以参考用于后面学习复杂的GenericUDF时变量类型转换和处理的逻辑
https://github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDFStringToMap.java

GenericUDFInstr.java
https://github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDFInstr.java

Hive之ObjectInspector详解
https://blog.csdn.net/weixin_42167895/article/details/108314139

DeveloperGuide
https://cwiki.apache.org/confluence/display/hive/developerguide#DeveloperGuide-UDFsandUDAFs-howtoaddnewUDFsandUDAFs

=END=