NVIDIA 推出 Spark UDF 智能体重写技能
AI 总结
NVIDIA 在技术博客中介绍了 cuDF skills for Apache Spark，一套面向编码智能体的技能包，用于把 Apache Spark 中的用户自定义函数（UDF）改写为可在 GPU 上执行的实现。博客指出，UDF 会打破 Spark 的声明式抽象，迫使 GPU 管线回退到 CPU 逐行执行并产生数据搬运开销；改写方式有三种：用 Spark SQL 表达式、用 RapidsUDF 接口搭配 cuDF 的 Java API，或通过 JNI 调用自定义 CUDA 内核。该技能包把流程拆成测试、转换、基准测试和优化四个带验证反馈的环节，并附项目模板与基准脚本。NVIDIA 称，一家大型消费科技公司用该流程改造了 30 多个生产 UDF，其中一个在 6000 亿行工作负载上把算子耗时从 274.55 小时降到 12.78 小时，约为 22 倍加速，并称如此改写可带来 20 倍以上提速。技能包已发布在 GitHub，可通过 npx skills add NVIDIA/cudf-spark 安装。