一、14.数据仓库常见的存储优化方法有哪些

存储优化管理的方式包括数据压缩、数据重分布、存储治理项优化、生命周期管理等方法。

在分布式文件系统中，会将数据存储3份，这意味着存储1TB的逻辑数据，实际上会占用3TB的物理空间。使用**RAIDfile格式的文件，将存储比从1：3提高至1:1.5。这样做的缺点是数据块损坏时的修复时间比原来更长，读的性能也有损失。

由于每个表的数据分布不同，插入顺序不同，导致压缩效果有很大的差异，通过修改表的数据重分布(distributeby,sortby字段)进行数据重分布，能够对表进行优化处理。

存储治理项优化是指在元数据的基础上，诊断、加工成多个存储治理优化项。目前已有的存储治理优化项有未管理表、空表、近62天未访问表、数据无更新无任务表等。

根本目的：用少的存储成本满足大的业务需求，使数据价值大化。

a）周期性删除策略：针对无效的历史数据进行定期清理。

b）彻底删除策略：无用表数据或者ETL过程产生的临时数据，以及不需要保留的数据，可以进行及时删除，包括删除元数据。

c）永久保留策略：重要且不可恢复的底层数据和应用数据需要永久保留。

d）极限存储策略：超高压缩重复镜像数据。

e）冷数据管理策略：永久保留策略的扩展。永久保留的数据需要迁移到冷数据中心进行永久保存。一般将重要且不可恢复的、占用存储空间大于100TB，且访问频次较低的数据进行冷备，例如3年以上的日志数据。

二、数据备份有哪些方式呢

1、目前常见的备份方式有全量备份、差异备份和增量备份三种。要了解备份，我们首先要了解这三种备份方式。下面简单介绍一下这三种备份方式的区别：

2、全量备份是指对某一时间点上的所有数据进行全量备份，包括系统和所有数据。这种备份方式每次都需要对系统和所有数据进行一次全量备份。如上，如果两次备份之间数据没有任何变化，那么两次备份的数据是一样的。也就是说100GB的数据即使没有发生任何数据变化，也会多耗费100GB的存储空间去做备份。但这种备份方式大的好处就是在恢复丢失数据时，只需要对一个完整的备份进行*作就能够恢复丢失数据，大大加快了系统或数据恢复的时间。

3、增量备份即在第一次全量备份的基础上，分别记录每次的变化。由于增量备份在备份前会判断数据是否发生变化，并仅记录每次变化情况，所以相较于其他两种备份方式它大的好处在于其所需存储空间少的（相同的变化情况下），备份速度快的。当然在数据还原上来说，它的恢复时间是长的，效率较低。恢复数据时，需要在第一次完备的基础上，整合每次的一个变化情况。

4、差异备份就是在第一次全量备份的基础上，记录新数据较第一次全量备份的差异。简单来说，差异备份就是一个积累变化的过程：在全量备份之后，第一天记录第一天的变化，第二天记录第一天和第二天的变化，以此类推......因此，恢复系统或者数据时，只需要先恢复全量备份，然后恢复后一次的差异备份即可完成。所以差异备份占用的储存空间和所需恢复时间介于全量备份和增量备份之间。

三、java程序中数据的储存方法有哪些

1、(1)在函数中定义的基本类型变量（即基本类型的局部变量）和对象的引用变量（即对象的变量名）都在函数的栈内存中分配；

2、(2)堆内存用来存放由new创建的对象和数组以及对象的实例变量（即全局变量）。

3、在函数（代码块）中定义一个变量时，java就在栈中为这个变量分配内存空间，当超过变量的作用域后，java会自动释放掉为该变量所分配的内存空间；

4、在堆中分配的内存由java虚拟机的自动垃圾回收器来管理

5、堆的优势是可以动态分配内存大小，生存期也不必事先告诉编译器，因为它是在运行时动态分配内存的。

6、缺点就是要在运行时动态分配内存，存取速度较慢；

7、栈的优势是，存取速度比堆要快，仅次于直接位于CPU中的寄存器。

四、数据的存储方法有哪些

1、分布式存储是一种数据存储技术，它通过网络使用企业中每台机器上的磁盘空间，这些分散的存储资源构成了虚拟存储设备，数据分布存储在企业的各个角落。

2、分布式存储系统，可在多个独立设备上分发数据。传统的网络存储系统使用集中存储服务器来存储所有数据。存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，无法满足大规模存储应用的需求。分布式网络存储系统采用可扩展的系统结构，使用多个存储服务器共享存储负载，利用位置服务器定位存储信息，不仅提高了系统的可靠性，可用性和访问效率，而且易于扩展。

3、可扩展：分布式存储系统可以扩展到数百甚至数千个这样的集群大小，并且系统的整体性能可以线性增长。

4、低成本：分布式存储系统的自动容错和自动负载平衡允许在低成本服务器上构建分布式存储系统。此外，线性可扩展性还能够增加和降低服务器的成本，并实现分布式存储系统的自动*作和维护。

5、高性能：无论是针对单个服务器还是针对分布式存储群集，分布式存储系统都需要高性能。

6、易用性：分布式存储系统需要提供方便易用的界面。此外，他们还需要拥有完整的监控和*作工具，并且可以轻松地与其他系统集成。

7、利用分布式技术将标准x86服务器的HDD、SSD等存储介质抽象成资源池，对上层应用提供标准的块、文件、对象访问接口，

8、同时提供清晰直观的统一管理界面，减少部署和运维成本，满足高性能、高可靠、高可扩展性的大规模存储资源池的建设需求。