2024-11-13 09:33 门头沟学院 大数据开发工程师 发布于北京
关注
内部面试题 发这里了，来这里面的都看看
投票
数开面试题
使用的hive，tez计算引擎
1.如何建模、以及数据开发过程中需要注意的问题（数据探查、数据开发、数据质量监测、数据核对）
2.页面数据有问题、如何排查
3.抽数、推数数据量异常如何自动停止任务（要有工作日、非工作日的判断，非工作日不生效，UDF函数）
4.hive表生命周期管理失效，如何进行生命周期管理（设成自动任务的话可能会使用shell脚本）（3个月前每月保留第一天与最后一天的数据，注意是业务时间第一天与最后一天，非调度时间）
5.数据量大的表推数慢影响页面展示怎么解决
6.根据2个日期计算工作日天数
7.去重方式（开窗函数如何控制窗口的大小）
8.列转行（清洗、分隔符统一、注意有些业务数据（比如一条数据楼栋面积字段（可能是总面积）对应多个房屋或多个楼栋）、LATERAL VIEW explode）
9.明细表数据量大，每月还要都保留一份，怎处理？怎么优化？达梦分区（范围分区、哈希分区、列表分区、组合（多级）分区、间隔分区（属于范围分区）INTERVAL <间隔表达式>）
10.更新数据效率更高的方式
update采用的类似nested loop的方式，对更新的每一行，都会对查询的表扫描一次；
merge into这里选择的是hash join，则针对每张表都是做了一次 full table scan，对每张表都只是扫描一次。
11、筛选的时候in（不适合B大）、exists不适合B大）、join的底层以及效率
12.常用的分析函数
13.连续3天及以上连续出现的次数（减序号） #实习# #校招# #大厂# #数开# #数仓#
使用的hive，tez计算引擎
1.如何建模、以及数据开发过程中需要注意的问题（数据探查、数据开发、数据质量监测、数据核对）
2.页面数据有问题、如何排查
3.抽数、推数数据量异常如何自动停止任务（要有工作日、非工作日的判断，非工作日不生效，UDF函数）
4.hive表生命周期管理失效，如何进行生命周期管理（设成自动任务的话可能会使用shell脚本）（3个月前每月保留第一天与最后一天的数据，注意是业务时间第一天与最后一天，非调度时间）
5.数据量大的表推数慢影响页面展示怎么解决
6.根据2个日期计算工作日天数
7.去重方式（开窗函数如何控制窗口的大小）
8.列转行（清洗、分隔符统一、注意有些业务数据（比如一条数据楼栋面积字段（可能是总面积）对应多个房屋或多个楼栋）、LATERAL VIEW explode）
9.明细表数据量大，每月还要都保留一份，怎处理？怎么优化？达梦分区（范围分区、哈希分区、列表分区、组合（多级）分区、间隔分区（属于范围分区）INTERVAL <间隔表达式>）
10.更新数据效率更高的方式
update采用的类似nested loop的方式，对更新的每一行，都会对查询的表扫描一次；
merge into这里选择的是hash join，则针对每张表都是做了一次 full table scan，对每张表都只是扫描一次。
11、筛选的时候in（不适合B大）、exists不适合B大）、join的底层以及效率
12.常用的分析函数
13.连续3天及以上连续出现的次数（减序号） #实习# #校招# #大厂# #数开# #数仓#
全部评论
相关推荐
点赞 评论 收藏
分享
2025-12-22 15:25
南京工业大学 运营 
点赞 评论 收藏
分享