Hadoop Python Transform

set fs.dgs.impl.disable.cache=true;
add file {FILENC_PATH}/filenc.py;
add file {CUR_PATH}/cal_zx_loan_rate.py;
set mapred.reduce.tasks=50;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
alter table holmes_dws.t_dws_zx_loan_rate_dm drop if exists partition (month='{MONTH}')
select transform(create_time,query_reason,prc_id,source,report,report_request)
using 'python cal_zx_loan_rate.py'
as (createTime,queryReason,bid,prcid,reportReqTime,reportId,source,titleLoanInstitutionCode,titleOccurDate,titleLoanInstitutionType,titleGuaranteedType,titleLoanAmount,titleEventType,titlePayType,titleLoanPeriods,accountStatus,thisMonthRepayAmount,thisMonthActualRepayAmount,principalAmount,remainRepayNum,personAccountType,repaymentType,rate1,rate2,rate3,guessPayType)
from ods_ric_credit.ric_report_dd
where ods_day>= 'END' and length(report)>0;

全部评论

相关推荐

面了100年面试不知...:今年白菜这么多,冬天可以狂吃了
点赞 评论 收藏
分享
想干测开的tomca...:这份简历是“大一新生硬凹资深后端”的典型反面教材,槽点离谱到能让面试官直接笑出声: ### 1. 「年龄+入学时间」和项目复杂度完全脱节,可信度直接归0 你2024年7月才入学(现在刚读了1年多),19岁的大一新生,能把Vue3+Spring Boot+ShardingSphere+K8s+AI这些技术全塞进两个项目里?别说实际开发,光把这些技术的文档看完都得半年——这不是“能力强”,是“把招聘JD里的技术词全抄过来造假”,明摆着没碰过实际代码
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务