有同学问语兴，目前最新设计的数仓是几层都在做什么？目前语兴对数仓分层采用ods Dwd dwm Dws ads（大宽表 小宽表）可以说5层也可以说6层。ODS（接入层）接入层，可拆解为ori 板块和ods板块，都可以叫ods，也可以分开起名，ori主要做json等消息存储，ods则是存放解析json成各类字段后的数据，如从mysql等数据库抽取的数据则字段与数据源保持一致，数据类型整型使用bigint string double/decimal等。命名：ods_库名_表名_df/ods_topic_df。DWD（明细层）明细层，主要做数据清洗（test、异常等数据），转换（将code值转化成n...

前言最近很多同学都已快到转正时期了，这里语兴给大家提供一些试用期通过，能landing建议，帮助大家顺利通过试用期。新人挑战刚入职的新人，对于新业务理解及技术框架变更（例如hdp到数据平台）都有挑战，这些其实也都不算什么，更大挑战而是接受一堆看不懂的历史项目及几十上百的“老”任务，同时需要快速熟悉这些老业务，并在新业务场景做出价值。另一种挑战则是上手变慢做不出业务价值，更多干历史dirty work去排查bug、帮业务取数等，最后发现啥也做了但啥也没做，导致试用期没啥量点从而不一定通过。刚入职的新人，对于新业务理解及技术框架变更（例如hdp到数据平台）都有挑战，这些其实也都不算什么，更大挑战而...

一、前言大家常听到一个词叫大数据杀熟，甚至很多同学会发现查询了某个商品后，后面各平台都会推荐这个商品，甚至大家在线下聊完一个信息后，系统也会给你推相似内容信息，为什么大数据会杀熟，本质在于企业形成了用户标签画像体系，也就是大家经常提的千人千面，但千人千面所有源头都是来源于一个个用户标签画像体系的形成，本期我们从用户标签角度出发带大家看清标签加工到画像生成整个过程。画像标签的初衷是没问题的，是帮助企业快速筛选更优质的用户，从而减少无效广告的推送，推送偏好信息，但如果用户标签画像被多平台共享，你会感觉到整个生活都被数据所支配，所以在今天大家都在强调用户隐私，但语兴想说在数据爆发的今天用户一言一行都...

基础解释ID-MAPPING：是基于操作ID进行打通映射，找到唯一标识ID的一种手段。简单说，就是把不同来源（不同设备，不同APP，不同应用等）的数据，通过一系列技术手段或者方法映射成同一个对象的过程。ONE-ID：ONE-ID主要解决孤岛数据的链接问题，将实际实体的行为关系通过顶层的ONE-ID进行孤岛串联，就能打通不同用户，不同实体之间的所有跨端、跨APP、跨平台之间的孤立状态，ONE-ID本质是一种桥梁关系，核心基础就是ID-MAPPING。主账号:一般在公司核心产品中或者一个对应的应用APP中，一个用户可能有多个账户，其中用户主要通过该账号进行的平台活动视为该用户的主账号，主账号的识别...

这两天有同学咨询语兴，指标异常分析或者归因，目前有啥好的自动化解决方案吗首先明确一下这个问题如果要定位到最根本细节的原因是解决不了的，依赖算法模型召回是可以的，如果让数据去做，则无法落地。举个例子🌰，语兴做了一家类似小某书的公司，现在做的是社区业务，目前语兴01想看一下社区业务中为什么昨天举报量对比前天量级要激增了，于是把这个抛送给语兴02去排查，经过语兴02排查发现昨天是1300，前天是1000，作为数分兼岗数据仓库的语兴02通过数据分析思维去向下排查，发现社区中评论场景举报占比85%+，再按照举报理由去排查发现三级举报类目下引战谩骂占比最高，但对于语兴02同学来说排查到到这里基本就结束了...

群友提问：离线小时看板数据和实时看板数据对不上该怎么排查。首先定位问题中架构为HSAP OR LAMBDA。指标口径先看指标口径是否准确，保障实时和离线指标口径一致，以及线上版本，同时看代码版本改动记录如指标口径及数据源，如果都没问题则继续向下排查。消费情况看dwd清洗加工代码中是否有加filter处理，以及多表明细join情况是否有空，如果未做处理同时未有空值，则看 flink ui 查看dwd/ods数据消费情况，如数据反压则按照反压排查思路，如数据质量还是有问题（例如正常指标每日gmv在100w附近，今日变20w），则去回查mysql/kafka源头情况，同时保障数据来源一致。重新拉取消...

群友分享字节一面面经虚拟内存域名访问过程深挖项目 细节 困难 收获算法 二叉树镜像 股票买卖还问了ab test

数据25秋招各类内推码1在我主页

数据25秋招各类内推码，

数据25秋招字节1面          

数据25秋招b站1  2面

数据25秋招百度1 2面

加25届数据秋招沟通的同学可以私聊我

兴哥，字节二面问到几个问题，想请教一下：1、数据仓库的复杂性体现在哪些方面2、数据仓库如此多的表怎么去管理的3、原子指标和衍生指标是抽象的概念还是已经具像化的指标问题1:最重要复杂体现在模型层面将业务抽象成模型，同时还要让数据模型好用，能够复用，并保障数据质量问题少发生问题2主要考察元数据管理，分层，分域，数据表考评，分层还是咱们之前说的那4层 ods Dwd Dwd ads每一层做的事可以给他说一下我这里就不列举了，分域，包括主题域（业务分析角度），数据域（业务流程），你在这也可以说对于数仓整套元数据我们也有接入，并通过数据门户方式给业务展示，可以让业务快速了解每个分层每个域有什么表，作用是什么，以及表元数据（命名，作用，owner，存储等），同时也提升数仓整体复用性，减少烟囱表开发，同时对于数据表我们也有评分体系通过分数（图在下边）扫描出临时表 无用表 空表 数据表ods 穿透等评论并做整体治理问题3 他想考你原子指标和派生指标区别，其实原子指标是一个概念 他在数仓任何地方 但又不存在，我们所说的全部指标都是派生指标，派生指标🟰原子指标+维度+周期，例如最近30天杭州地区下单人次 这个就是典型的派生指标，原子指标是下单人次，周期是最近30天，维度是杭州地区，所以从这里我们可以看出原子和派生指标关系，再顺道一提复合指标，复合指标一般通过率的方式表达，且是由派生指标为分子分母，比如最近30天离职率🟰最近30天离职人数/最近30天总员工数，这分子分母都是派生指标，再比如同比 环比也是复合指标