最近几年太忙了,一直没时间写博客,希望开始写,主要是数据方面的,今天先说说数据分类和数据模型。
主数据:主数据是指组织里的人,地点和事务。比如:客户,供应商,产品,设备等。一般这种数据会跨越多个业务流程多信息系统共享。
参考数据:就是我们常说的代码表,编程里的枚举,比如国家代码,性别,会计科目,订单的状态,像国家代码,会计,性别这些是非组织所特有,而像订单状态,可能每个组织都不一样,和自己业务相关。
交易数据:组织用来记录主数据之间发生的业务事件,比如客户购买产品行为,是发生在客户和产品之间的购买业务事件,典型的交易数据,比如订单,货运单,采购订单,申请单等。
元数据:元数据又称“数据的数据”,一种是技术元数据,比如表名,字段,长度,类型,用来描述数据模型;一种是业务元数据,用来描述数据处理过程,比如ETL过程,用来描述有哪些报表可以使用的报表元数据。
下面说说数据模型,什么是数据模型呢?人们习惯于依赖模型获取对事物的直观的理解。常见的对数据模型按照描述详细程度分为三种,分别是概念数据模型,逻辑数据模型,以及物理数据模型。
概念数据模型:粗粒度的描述概念和概念之间的关系。一个普通电子商务网站的核心概念,就是客户,商品,订单,物流商。概念数据模型并不包含字段。
逻辑数据模型:逻辑数据模型不仅包含概念,而且细化了数据,要详细描述实体的字段。逻辑模型是严格三范式以上的,逻辑数据模型能将数据的本质关联关系表达清楚。
物理数据模型:这个时候,物理数据模型就是特定平台了,比如oracle,mysql,字段类型是什么,逻辑模型里的字段都会在物理模型中找到,物理模型也会添加和业务本身没关,但跟应用处理相关的,比如创建时间,修改时间。同样物理模型也要考虑性能问题,考虑所以该如何建立。
概念理解不清楚,可能会导致逻辑模型不清晰,业务发展时,物理模型会发生很大的改动,比如“渠道”这个概念,一开始理解:“渠道就是订单从哪里创建的”,设计的时候就在订单表里加了一个渠道字段,后来发现,一个订单可能来自多个渠道,因为渠道可能有多级代理商,这个时候一个渠道字段就无法记录了,导致模型扩展非常困难。
相关推荐
机构多、类型广、交易方式多样,机构内及机构间数据交换频繁、 业务发展迅速,为提高数据交换效率、规范行业机构数据应用系统建设、提升行业数据标准化水平,证 券期货行业组织开展了行业数据模型建设工作,...
数据挖掘分类模型原理与实例分析.pdf
矿泉水数据集datasets和分类模型
以此为背景,本研究对比现有数据模型对研究目标对象的分类性能,提出了以引入输入特征加权系数来计算特征的信息增益作为特征最优分裂评判指标的改进随机森林模型来提升数据分类性能,通过仿真测试改进模型对于现有...
使用lightgbm模型进行二分类预测,使用UCI心脏病数据集,使用贝叶斯优化超参数,模型评价效果F1-score >0.96。同时参考kaggle数据可视化案例,用plotly包绘制可交互的模型评价看板,包含混淆矩阵,ROC曲线,P-R曲线...
中国联通IT系统数据架构规范_第一分册_企业数据模型分册
理解 —— 三种数据模型的类型。 数据模型的应用层次 数据模型 Data Model,使对现实世界数据特征的抽象,是数据系统中用以提供信息表示和操作手段的形式构架。 数据模型的应用层次 应用层次 概念模型(信息世界) ...
猫狗数据集;用于训练猫狗二分类模型
兄弟们好呀,这里是肆十二,这转眼间寒假就要过完了,相信大家的毕设也要准备动手了吧...我们将会以皮肤病的数据作为示范,训练一个皮肤病分割的模型出来,用户输入图像,模型可以自动分割去皮肤病的区域和正常的区域。
故障数据由simulink仿真得出,包含acb三相接地等11种故障,故障分类的任务是使用 Python 和 scikit-learn 中的监督式学习算法来实现的。比较使用三种常用的分类算法-决策树(DT) ,k 最近邻(KNN) ,支持向量机(SVM)。...
金融业逻辑数据模型-数仓十大主题-LDM_财务主题.doc
机器学习与数据挖掘的实验报告,包含逻辑回归分析、贝叶斯分类器模型,决策树和随即森林在心脏病数据分析中的应用。包括实验代码和结果分析。
使用KNN模型对鸢尾花数据进行分类,资源包含源码及数据集。源码中包含数据处理、算法建模、预测评估等全流程。方便对KNN算法进行学习。
java基本数据类型模型
大数据分析技术-回归模型和分类模型的构建与评价
新闻数据集文本分类实战源代码。通过学习 深度学习框架-PyTorch实战 用中文命名改写代码,使用前请添加形参 模型文件名。使用中文命名编程新闻数据集文本分类,新闻数据集文本分类实战源代码。通过学习 深度学习框架...
推荐,数据仓库建设学习资料合集,包含建设规范、架构...- 数据仓库与数据挖掘(分类规则挖掘与预测) - 数据仓库与数据挖掘考试习题汇总 - 数据仓库与数据挖掘课件 - 数据仓库与数据挖掘应用 - 数据仓库与数据挖掘综述
Deep Web 数据源分类模型研究。分析了其研究的内容和面临的问题,提出了Deep Web 数据源分类模型,描述了表单特征的提取、预处理和基于向量空间的相似度计算.
利用广义可加模型对分类数据进行曲线拟合代码
AI Machine Learning,AI 分类模型:糖尿病基础数据