(4条消息) oracle和hadoop性能,传统Oracle和Hadoop处理资料的方式有什么区别和优缺点吗

Yvetzy 2021-04-03 08:35:23

86

收藏

文章标签: oracle和hadoop性能

传统Oracle和Hadoop处理资料的方式有什么区别和优缺点吗以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!

传统Oracle和Hadoop处理资料的方式有什么区别和优缺点吗

hadoop的hdfs支援海量资料量储存 mapreduce支援对海量资料的分散式处理

oracle虽然可以搭建丛集 但是当资料量达到一定限度之后查询处理速度会变得很慢 且对机器效能要求很高

其实这两个东西不是同类 hadoop是一个分散式云处理架构,倾向于资料计算 而oracle是一个关系型资料库,倾向于资料储存。要说比较可以比较hbase与oracle。

hbase是一种nosql资料库,列式资料库,支援海量资料储存,支援列的扩充套件,但是查询操作较复杂,不如oracle这类关系型资料库简单,且只支援一个索引,但是Hbase在表结构设定合理情况下,查询速度跟资料量大小没有太大关系,即资料量的大小不会影响到查询速度,顺便说句Hbase查询速度可以达到ms级

BLE和传统蓝芽有什么区别,各有什么优缺点

ble低功耗蓝芽4.0相容传统蓝芽包括ble,ble低功耗传输速率慢

python处理资料和mysql处理资料的区别

mysql是资料库的处理

python可以呼叫mysql处理资料,也可以呼叫oracle等不同资料库的介面处理资料

推荐题主看看如何用python进行资料分析这本书,作者是pandas的创造者。python的用处不是储存和查询资料,那是资料库干的事,python可以用来获取资料(如爬虫),分析资料(如使用pandas),最后将想要的结果输出(如使用matplots画图)或者储存到资料库中(有对mysql的支援)。

MapReduce和Hadoop有什么区别?分别有哪些优缺点

(1)Hadoop

是一个开源的框架,可编写和执行分散式应用处理大规模资料,是专为离线和大规模资料分析而设计的,并不适合那种对几个记录随机读写的线上事务处理模式。

Hadoop=HDFS(档案系统,资料储存技术相关)+

Mapreduce(资料处理),Hadoop的资料来源可以是任何形式,在处理半结构化和非结构化资料上与关系型资料库相比有更好的效能,具有更灵活的

处理能力,不管任何资料形式最终会转化为key/value,key/value是基本资料单元。用函式式变成Mapreduce代替SQL,SQL是查

询语句,而Mapreduce则是使用指令码和程式码,而对于适用于关系型资料库,习惯SQL的Hadoop有开源工具hive代替。

(2)Hadoop就是一个分散式计算的解决方案.

利用档案系统处理资料与资料库系统处理资料有什么不同?各有何优缺点?

一、档案系统有明显的缺点:1、编写应用程式很不方便。

2、档案的设计很难满足多种应用程式的不同要求,资料冗余经常是不可避免的。

3、档案结构的修改将导致应用程式的修改,应用程式的维护量将很大。

4、档案系统不支援对档案的并发访问(concurrent aess)。

二、优点:

1、提供高阶的使用者介面。

2、查询处理和优化。

3、资料目录管理。

4、并发控制。

5、恢复功能。

6、完整性约束检查。

7、访问控制。

相同:

资料管理和资料处理一样,都是计算机系统的最基本的支撑技术。尽管计算机科学技术经历了飞速的发展,但资料管理的这一地位没有变化。资料管理将作为计算机科学技术的一个重要分支一直发展下去,社会资讯化,对资料管理的要求也愈高。

早期的资料库管理都是采用档案系统。在档案系统中,资料按其内容、结构和用途组成若干命名的档案。档案一般为某个使用者或使用者组所有,但可供其他使用者共享。使用者可以通过作业系统对档案进行开启、读、写和关闭等操作。

档案系统有明显的缺点:

(1).编写应用程式很不方便。

应用程式的设计者必须对所用的档案的逻辑及物理结构有清楚的了解。作业系统 只能开启、关 闭、读、写等几个低阶的档案操作命令,对档案的查询修改等处理都须在应用程式内解决。应用程式还 不可避免地在功能上有所重复。在档案系统上编写应用程式的效率不高。

(2).档案的设计很难满足多种应用程式的不同要求,资料冗余经常是不可避免的。

为了兼顾各种应用程式的要求,在设计档案系统时,往往不得不增加冗余的资料。资料冗余不仅浪费空间,而且会带来资料的不一致性(inconsistency).在档案系统中没有维护资料一致性的监控机制,资料的一致性完全有使用者负责维护。在简单的系统中勉强能应付,但在大型复杂的系统中几乎是不可能完成的。

(3).档案结构的修改将导致应用程式的修改,应用程式的维护量将很大。

(4).档案系统不支援对档案的并发访问(concurrent aess)。

(5).资料缺少统一管理,在资料的结构、编码、表示格式、命名以及输出格式等方面不容易做到规范化、标准化;资料安全和保密方面,也难以采取有效的办法。

针对档案系统的缺点,人们发展了以统一管理和共享资料为主要特征的资料库系统。在资料库系统中,资料不再仅仅服务于某个程式或使用者,而是看成一个单位的共享资源,由一个叫资料库管理系统(Data Management System,简称DBMS)的软体统一管理。由于有DBMS的统一管理,应用程式不必直接介入诸如开启、关闭、读写档案等低阶的操作,而由DBMS代办。使用者也不必关系资料储存和其他实现的细节,可在更高的抽象级别上观察和访问资料。档案结构的一些修改也可以由DBMS遮蔽,使使用者看不到这些修改,从而减少应用程式的维护工作量,提高资料的独立性。由于资料的统一管理,人们可以从全单位着眼,合理组织资料,减少资料冗余;还可以更好地贯彻规范化和标准化,从而有利于资料的转移和更大范围的共享。由于DBMS不是为某个应用程式服务,而是为整个单位服务的,DBMS做得复杂一些也是可以接受的。许多在档案系统中难以实现的动能,在DBMS中都一一实现了。

例如:适合不同型别使用者的多种使用者介面,保证并发访问时的资料一致性的并发控制(concurrent control),增进资料安全性(security)的访问控制(aess control),在故障的情况下保证资料一致性的恢复(recovery)功能,保证资料在语义上的一致性的完整性约束(integrity constraints)检查功能等。随着计算机应用的发展,DBMS的功能愈来愈强,规模愈来愈大,复杂性和开销也随之增加。目前,在一些功能非常明确且无资料共享的简单应用系统中,为减少开销,提高效能,有时仍采用档案系统;不过在资料密集型应用系统中,基本上都使用资料库系统。

现代的资料库管理系统应该具备的7个功能:

1、提供高阶的使用者介面

2、查询处理和优化

这里的查询(query)泛指使用者对资料库所提的访问要求,不但包含资料检索,也包括修改\定义新资料等

3、资料目录管理

4、并发控制

5、恢复功能

6、完整性约束检查

7、访问控制

资料管理和资料处理一样,都是计算机系统的最基本的支撑技术。尽管计算机科学技术经历了飞速的发展,但资料管理的这一地位没有变化。资料管理将作为计算机科学技术的一个重要分支一直发展下去,社会资讯化,对资料管理的要求也愈高。

excel与aess在处理资料上有什么区别

从外观上看Aess与Excel表似乎相同,实际上两者有很大的。

1.主题:对于一个主题Aess只有一个表,而Excel可以有多个表。例如工资表,在很多财务人员使用Excel是月建立工资表,例如1月工资、2月工资,…。而Aess则所有的工资部分月份都放在一个表。

2.多表关系:Aess表各个表间存在严格的关联。Excel表各个表间的关系随意。

3.资料计算:Excel表中单元格中可以储存资料,也可以储存公式,可以进行计算。Aess表只能储存资料,不能储存公式,没有计算功能。Excel这种计算能力,使得Excel具有灵活的强大的计算能力(但计算能力受到资料量大小的限制)。Aess计算功能是由查询和程式来完成的。Aess的特点正好发挥计算能力的强大作用。

4.资料容量:Excel表处理资料的容量有限,资料量大时速度较慢;Aess表可以储存2GB资料。

5.索引:Aess表有索引,Excel表没有索引。这种索引使得Aess在查询筛选资料时,具有Excel不可比拟的速度。

6.资料型别:Aess表设计时首先定义资料型别,Eexcel表没有这样的要求。

7.资料格式:Excel表中每个单元格都可以定义自己的格式。Aess表每一列的资料格式一致。资料格式显示特性由窗体和报表实现。

8.其他差异:资料筛选、排序等方面在实现起来有很大的差别。

(0)

相关推荐