开篇:润墨网以专业的文秘视角,为您筛选了八篇存储设备范文,如需获取更多写作素材,在线客服老师一对一协助。欢迎您的阅读与分享!
可移动存储设备指便携式的数据存储装置,指带有存储介质且自身具有读写介质的功能,不需要或很少需要其他装置等的协助。比如:计算机。
现代的移动存储主要有移动硬盘,USB盘和各种记忆卡。不属于移动存储的存储设备有硬盘、软盘、光盘等介质,内置外置磁盘驱动器等等。
(来源:文章屋网 )
一块USB2.0接口的2.5英寸40GB移动硬盘,在从本地硬盘向移动硬盘拷贝文件时,拷贝小文件一切正常,但只要拷贝大文件(特别是700MB文件),文件复制到还剩4分钟时就无法进行,然后系统就死机了。
出现这样的故障现象,可能是主板USB驱动问题,由于移动硬盘支持USB2.0标准,而主板也支持USB2.0规范,但主板USB2.0驱动却没有正确安装好,这就造成了尽管主板能够识别移动硬盘,但由于Windows2000/WinXP系统自带的USB驱动太老,兼容性比较差,移动硬盘在拷贝较大文件时容易出错并死机,解决的办法是更新USB2.0驱动。
一般而言,可以通过安装Windows2000 SP4或WindowsXP SP2系统补丁来解决兼容性问题。不过建议安装主板提供的专用USB2.0芯片组驱动,一般在主板驱动光盘里可以找到,或者从主板官方网站下载得到,比如Intel Chipset Software Installation Utility或VIA威盛芯片组HyperionPro最新驱动。另外需要注意,VIA芯片组主板在Windows2000中一定要安装VIA 4in1驱动,否则会出现USB设备工作不正常的现象。
图1 安装好USB2.0驱动
如果安装USB2.0驱动后故障依旧,极有可能是移动硬盘供电不足导致,一般而言,很多2.5英寸移动硬盘提供了两种供电方式,除了可以直接用USB接口取电外,还提供了一个PS/2专用电源接口,但一些用户只使用了USB接口取电,采用USB接口取电时,尽管可以让系统正常识别移动硬盘,短时间内工作问题不大,由于移动硬盘在拷贝大容量文件时,耗电量比较大,但USB端口的供电电源为0.5A,如果移动硬盘的额定电流超过0.5A,无法确保移动硬盘长时间稳定工作,此时应该采用PS/2接口来取电。
一般而言,提供了PS/2接口取电的移动硬盘,会附带一根PS/2专用取电线,使用时将这根线的PS/2接头连接到主板上的PS/2接口,另一端接到移动硬盘的电源接口,然后将USB线也连接好,这样就可以让移动硬盘长时间稳定工作了,拷贝大文件也不会出错。如果这样还是无法解决问题,那么需要确认是否是主板USB接口或移动硬盘自身的问题了,建议将移动硬盘盒拿到另外一台好用的电脑上测试,如果正常就是移动硬盘的问题,需要拿到商家那里更换,如果不正常则是主板的问题。
图2 采用PS/2接口取电
二、找回“丢失”的闪盘
一款512MB闪盘,插入电脑USB接口时,“我的电脑”窗口中对应的盘符图标没了,而系统任务栏的“安全删除硬件”图标还在,无法正常使用,但在别的电脑上却能正常使用,另外还发现,使用一段时间后,闪盘容量只有420MB,剩余的闪盘容量无故消失了。
图3 打开移动存储盘符
要解决该问题,首先进入控制面板中,然后依次单击“管理工具计算机管理磁盘管理”,然后展开“存储”项目下的“磁盘管理”图标,接着右击闪盘所在的图标,在弹出的菜单中选择“打开”命令,这样在WindowsXP下可以找到闪盘盘符。如果还是无法解决问题,可以进入“设备管理器”,双击闪盘所在的图标;在弹出的属性设置中点选“可删除”项目(在缺省状态下,该选项是不会被选中的),重新启动系统后,在“我的电脑”窗口中就会看到闪盘图标了。
此外,如果觉得这样很麻烦,同时还很急切使用闪盘,同时对DOS命令比较熟悉的话,可以在“开始”“运行”中输入“cmd”命令并回车,进入命令提示符窗口后,假设闪盘在系统中盘符为F盘,则在命令提示符后面输入“F:”并回车可以进入闪盘,然后可以使用DOS下的复制、移动、删除等命令使用闪盘,DOS命令下拷贝或删除闪盘文件的优点是速度快。
图4 DOS下快速访问闪盘
造成闪盘容量的“消失”,原因比较多,首先最为常见的就是闪盘中了病毒,一般而言,闪盘中毒后,病毒文件被隐藏在闪盘中一些文件夹下,可以尝试使用杀毒软件检查是否中毒,然后将隐藏在闪盘中的病毒文件删除,这样一般能够恢复丢失的空间,如果发现没有病毒,可以使用闪盘自带的格式化工具将闪盘格式化,格式化时尽量选择“全面格式化”,格式化再次将闪盘插入机器,一般能够释放闪盘容量。
最火的扩容利器OTG闪存盘导购
近一两年来,最为火爆的移动设备扩容利器毫无疑问就是OTG闪存盘。目前来看,OTG闪存盘对于广大安卓手机、平板用户来说十分实用。不少移动运算设备由于追求轻薄,往往去掉了Micro SD存储卡扩展槽,因此对这些设备的用户来说,OTG闪存盘就是一个最方便且低成本的扩容设备。速度上,OTG闪存盘与移动设备接口仍采用的是USB 2.0标准,不过尽管只是USB 2.0标准,但我们依然不能忽视OTG闪存盘在这个接口上的性能表现。毕竟用户连接OTG闪盘后的主要应用就是观看高清电影或浏览各类图片、文档。如果读取速度过慢,就有可能造成用户在观看影片时出现卡顿,极大地影响观影体验。所以用户在购买OTG闪存盘时,如有条件最好拷入一小段高码率高清试机影片(事先需确认该影片在手机本地存储空间播放没有问题,手机拥有足够的CPU与GPU性能),观察它是否能够流畅播放。
而在与PC进行数据交换的USB Type-A接口端,我们则建议用户选择Type-A接口采用了USB3.0标准的OTG闪存盘,从而提升设备在与PC进行数据交换时的速度。其他方面需要注意的是,OTG闪存盘往往会跟随手机一起进行移动工作,因此为了更方便地携带它,用户应购买采用了防掉盖设计的产品。毕竟OTG闪存盘本来体形就很小,如果还为它配上超小的附件,那就更不容易保管了。
最方便的首选装备Micro SD存储卡导购
如果你的移动运算设备有Micro SD存储卡插槽,毫无疑问,通过购买一张Micro SD卡进行扩容是最为方便的,近年来Micro SD存储卡的技术也获得了很大的发展。从速度上来看,在早期Micro SD存储卡主要分为Aclass 2到Class 4、Class 6、Class 10四种,其中只有最低连续传输速度必须达到10MB/s的Class 10标准可以满足移动设备全高清影像的录制和播放。而全高清视频的录制和播放几乎已是当今主流手机、平板所必备的功能,因此我们建议当前用户在购买MicroSD存储卡时至少应从Class 10起跳。而如果你的手机具备4K拍摄功能,或者想追求更快的游戏启动速度,那么就应考虑支持UHS-I标准的产品。UHS-I标准意味着这款存储卡采用了UHS接口,其接口带宽可以达到最大104MB/s。
不过需要注意的是在UHS-I存储卡中还有U1、U3两种标准,其中U1与Class 10标准相当,即最低连续读写速度不能低于10MB/s,以满足全高清视频的读写。而U3标准则要求产品的最低连续读写速度不得低于30MB/s,以满足设备拍摄、播放4K分辨率的视频。所以对于对性能有更高需求的用户来说,应购买UHS-IU3标准的存储卡,此类存储卡表面会印有一个数字3,并被一个字母U所包合。容量方面很简单,主要按需选择。对容量有很大需求的用户来说,符合SDXC标准的Micro SD存储卡显然是最佳选择,目前容量最大的Micro SD存储卡已经达到200GB。而对普通用户来说,采用SDHC标准设计,容量在32GB以内的产品就能满足一般需求。最后需要注意的是,如果想采用支持UHS-IU3、SDXC标准的高端存储卡,一定要注意你所用的移动设备是否支持这些技术,否则可能会出现无法达到标称速度、无法识别存储卡的问题。
果粉专利 为苹果而生的移动存储设备
由于iOS系统的封闭性,以及苹果移动设备采用了特殊的Lightning接口,普通OTG闪存盘、Micro SD存储卡均无法在苹果设备上使用,因此存储厂商一直在想方设法为苹果设备扩容。而从去年开始,这类设备终于陆续问世,这就是一头拥有Lightning接口、一头拥有USB接口的双头闪存盘。与普通安卓平台OTG闪存盘不同,此类设备大多是通过在苹果设备上安装一个APP来实现对闪存盘内文件的读取,同时用户还可以通过APP,向闪存盘内备份苹果设备中的文档、视频、图片、音乐、联系人等资料。但用户无法通过APP向苹果设备内自由写入文件,这是此类闪存盘与安卓OTG产品一个很大的不同。所以对于果粉来说,这类苹果闪存盘更像是一个媒体库、一个方便的资料备份中心,那么用户应该如何选择这类产品呢?
首先,我们建议最好购买内置有电池的产品,毕竟苹果设备不像安卓机那样“大手笔”,不少手机的电池容量能做到3000mAh甚至更高,要知道iPhone 6手机的电池容量仅1810mAh,iPhone 5s的容量仅1440mAh。如果为了使用闪存盘而明显降低移动设备的续航时间,就得不偿失了。此外,独立供电设计还能让闪存盘拥有更好的性能表现,加快传输速度。其次,应注意闪存盘提供的APP能否播放不同格式的视频。播放视频、为用户提供影音娱乐是这类闪存盘的主要功能,因此播放器理应覆盖MKv、MOV等主流视频格式。最后因为备份手机资料是这类闪存盘的一大主要功能,所以它需要具备加密功能,避免隐私泄露。因此购买这类产品时,需要注意其APP视频播放能力、是否配备电池,是否具备加密能力等特色功能。
为多个平台而生跨平台移动存储设备导购
很多时候一个家庭往往拥有基于安卓、iOS等多类不同系统的移动设备,因此,存储厂商特别开发了一类跨平台移动存储设备供移动平台使用。其主要代表就是通过整合无线通讯模块,可供不同种类的多台设备同时连接,并进行数据读写的无线存储设备。
关键词:大容量存储设备;NAND;文件系统;坏块管理;均衡
中图分类号:TP334.5文献标识码:A文章编号:1009-3044(2008)30-0733-02
Applications Reserch of Mass Storage Based on Embbed System
LIU Hui-zhong
(Hebei Institute of Applied Mathematics, Shijiazhuang 050081, China)
Abstract: What is the advantages of NOR/NAND Flash memory based on embedded sytem is discussed, the solution of how to use NAND Flash memory comprehensive is descripted , it combines flash file system,bad block management etc. ,put forward the method to deal with dirty block,wearleveling.
Key words: mass storage; NAND; file system; bad block management; wearleveling
1 引言
随着嵌入式系统越来越广泛的应用,嵌入式系统中有大量的数据需要存储和管理。Flash存储器具有容量大、体积小、功耗小、成本低、掉电后数据不丢失、读访问速度高、抗震性好等一系列的优点,已经成为嵌入式系统中广泛应用的存储器件。但是随着系统复杂性的增加和存储器容量的加大,如何高效地存储和管理数据从而方便用户使用成为一个重要的课题。
目前闪存有多种技术架构,其中以NOR技术和NAND技术为主流技术。NOR型闪存是随机存取的设备,适用于代码存储;NAND型闪存是线性存取的设备,适用于大容量数据存储,因此,设计能有效管理大容量NAND闪存的嵌入式闪存文件系统是解决办法。
2 Flash存储器特点
2.1 FLASH共同特点
FLASH是一种非易失性存储器NVM(Non-Volatile Memory),具有如下共同特点:
(1)区块结构
FLASH在物理结构上分成若干个区块,区块之间相互独立。比如NOR FLASH把整个Memory分成若干个Sector,而NAND FLASH把整个Memory分成若干个Block。
(2)先擦后写
由于FLASH的写操作只能将数据位从1写成0,不能从0写成1,所以在对存储器进行写入之前必须先执行擦操作,将预写入的数据位初始化为1。擦操作的最小单位是一个区块,而不是单个字节。
(3)操作指令
除了NOR FLASH的读,FLASH的其它操作不能像RAM那样,直接对目标地址进行总线操作。比如执行一次写操作,它必须输入一串特殊的指令(NOR FLASH),或者完成一段时序(NAND FLASH)才能将数据写入到FLASH中。
(4)位反转
由于FLASH固有的电器特性,在读写数据过程中,偶然会产生一位或几位数据错误,这就是位反转。位反转无法避免,只能通过其他手段对结果进行事后处理。
(5)坏块
FLASH在使用过程中,可能导致某些区块的损坏。区块一旦损坏,将无法进行修复。如果对已损坏的区块进行操作,可能会带来不可预测的错误。尤其是NAND FLASH在出厂时就可能存在这样的坏块(已经被标识出)。
2.2 NAND 闪存特点
NAND闪存阵列分为一系列128kB的区块(block),这些区块是NAND器件中最小的可擦除实体。擦除一个区块就是把所有的位(bit)设置为“1”(所有字节(byte)设置为FFh)。写操作就是通过编程,将已擦除的位从“1”变为“0”。最小的编程实体是字节(byte)。NAND不能同时执行读写操作,它可以采用称为“映射(shadowing)”的方法,在系统级实现这一点。NAND的效率较高,是因为NAND串中没有金属触点。NAND与硬盘驱动器类似,基于扇区(页),适合于存储连续的数据,如图片、音频或个人电脑数据。虽然通过把数据映射到RAM上,能在系统级实现随机存取,但是,这样做需要额外的RAM存储空间。此外,跟硬盘一样,NAND器件存在坏的扇区,需要纠错码(ECC)来维持数据的完整性。
3 Flash文件系统的设计
对于一个嵌入式系统,设备的兼容性越好,系统可行性就越好,产品也就越有竞争力。所以,为了兼容不同类型的FLASH设备,对FLASH进行通用设计至关重要。NAND FLASH可以根据相同的指令读取芯片的厂商号和设备号,从而通过识别设备号调用对应的时序流程实现操作。但是,系统中太多的判断,会使得程序的结构变得非常复杂。所以,在一定的条件下,NAND FLASH设备还是不兼容的。
为了解决这一问题,一个较好的方法是将FLASH的各个操作指令以及结构特性按照统一的格式存放到FLASH中固定位置。系统初始化时,将这个结构读入系统,通过分析这个结构,可以获得关于芯片所有相关信息,包括操作指令,区块分布等等。这样,系统可以轻松实现对不同型号FLASH的所有操作,极大地提高了设备的扩展性。
3.1 Flash文件系统的存储结构
本Flash文件系统将整个存储空间分成两个部分:文件分配表和数据区域。
(1)文件分配表(FAT,File Allocation Table)。主要反映了Flash存储器的扇区的使用情况,记录了各个扇区的状态,该扇区当前存放的文件的类型以及该扇区已经进行扇区擦除的次数。每个扇区的使用情况都在文件分配表中存有一项,每个表项占8个字节,数据结构如下所示:
structFAT_item{
char sector_state;/*扇区状态*/
unsigned short file_type;/*该扇区中存放的文件类型*/
long erase_time;/*该扇区已经进行擦除的次数*/
char reserved;/*保留*/
}
其中扇区有5种状态分别为:
0xff――空闲扇区;
0xfe――扇区已被占用;
0xfc――扇区的数据为过时数据;
0xf8――脏扇区,可以进行整片的扇区擦除;
0xf0――坏扇区;
(2)数据区域(Data Area)。除了文件分配表以外的扇区都称为数据区域。该区域采用线性Flash文件系统的设计思想,文件分为文件头和文件数据区两部分。文件头的数据结构如下:
struct file_header{
char name[NAMESIZE];/*文件名*/
long size;/*文件大小*/
struct file_header *next;/*指向下一个文件头的指针*/
char file_state;/*文件状态*/
}
文件头中用一个变量file_state来表示该文件当前的状态,只用了它的低4位来表示文件的5种状态,主要用于掉电数据恢复和垃圾回收。这在下面将有详细讲述。此外,本Flash文件系统分配给每个文件块的空间(即块大小)为2K,故一个扇区中最多可存储32个文件。用单向链表来链接文件,若next域为0xff,说明这是分配给该文件的最后一个文件块。
3.2 坏快管理
闪存芯片在使用过程中会出现坏块。坏块是指一个块中存在一个或多个无效位,其可靠性不能得到保证,必须加以标识和旁路(当然无效块不会影响到其它块的有效性)。为了对坏块实现管理,可以建立一张坏块到冗余区有效块的映射表。映射原理如下: 开始是一张初始坏块映射表,建立数据结构对整个存储区进行编号,并根据这个编号对映射表进行排序。进行写操作时,按照上述的映射结构将写地址与映射表进行比较,比较到块级即可。如果是坏块,将待写入的数据写到被映射到的块;如果不是,则直接写入该块。如果在写某块的某页时出现编程错误,则将该块添加进坏块映射表(当编程出错时就表明出错页对应的块无效),同时从该出错页开始,将该块后面的页数据都写入到对应的映射块。这样,在数据读出时,可将读地址与映射表比较,并且需要比较到页级以确定每一页的确切存放位置。如果该页编程正确,则直接读出;如果错误,则到被映射的块的对应页读数据,并且该页之后的页也从被映射块中读数据。对坏块进行读操作是允许的,即对于编程出错页前面的那些编程正确的页是可以正确读出的,而对坏块进行编程和擦除的操作是不推荐的,因为有时这些操作会使邻近的块也失效,所以读操作要查找到每一页的对应存放位置,而写操作只要查找到块就行,查找时采用二分查找算法。擦除完后,将擦除出错的块也添加进无效块映射表。无效块映射表需要不断维护和更新
3.3 垃圾回收
由于Flash的底层技术不支持Flash的任意空间被删除,而必须是以扇区为单位删除,所以在删除一个文件的时候,仅仅是在文件头的标识里作一个删除标识,而该文件依然保留在Flash空间中并标识它为脏数据DIRTY。这样导致系统在运行一段时间后,Flash中累积着大量的脏数据,这就有必要对这些脏空间进行回收,来有效利用Flash的存储空间。
本Flash文件系统中解决的办法是在系统中创建一个任务recycle_task专门进行垃圾回收,该任务实时地检查空闲队列。若空闲队列中的扇区数小于6时便进行垃圾回收,清除脏数据。在进行垃圾回收时,从待擦写队列中(包括脏块队列和干净块队列)取出一个扇区,将FAT中的该扇区的状态修改为过时的OBSOLETE,并将该扇区的擦除次数加1,然后在空闲块队列中申请一个空闲扇区,将回收扇区中的有效数据写到新申请的扇区中,修改FAT中新申请的扇区的状态,最后擦写回收扇区,并将其链接到空闲块队列中。
3.4 均衡磨损(wear_leveling)
均衡磨损的主旨是随机地将“干净”(无需擦写)的块的内容移至另一个空闲块后擦写该扇区,然后将其链接到空闲块队列中,等待写入新的数据。这实际上是日志文件系统的核心设计思想。
NAND块擦写次数限制为10万次,日志文件系统不覆写数据一定程度上保证了损耗平衡的同时,产生了无效页,当空间不足要回收无效页的空间,将无效页所在块的有效页拷贝到空闲空间,擦除此块。回收算法要保证擦写分摊到各个块上,延长使用寿命,并尽可能少地拷贝,避免影响I/O效率。本文件系统的损耗平衡由块分配策略和回收算法来保证。需要空间时从blockInfo数组中线性查找空白块,并记下地址finder,下次从finder开始新的查找,若finder为最大块,则回滚到第1块,故在数据频繁更新的情况下,如存储在块1的数据更新则写到递增的块2, 3, 4,而当2, 3, 4块是垃圾数据已被回收擦写,系统再分配的是5, 6块,避免2, 3, 4块再次使用而再被擦写,相当于有一段缓冲时间。加载时发现部分使用的块则记为finder。采用这种思想设计,能扫描到全部块,损耗平衡也就解决的更好。
4 结束语
本文所设计的Flash文件系统能较好解决NAND Flash存储器的管理问题。此解决方案较好地设计实现Flash文件系统,基本满足了管理闪存的通用行性设计、坏快管理、垃圾回收机制、均衡磨损机制等。对于要求更大容量的嵌入式系统,可采用把几块NAND Flash芯片级联来实现,这样就可成倍增加系统的容量,这是接下来重点研究的问题。
参考文献:
[1] 陈锐. 基于闪存技术的存储模块设计[D]. 浙江大学, 2006.
[2] 张长宏. 基于μCOS-Ⅱ的Flash文件系统的研究和实现[D]. 西安电子科技大学,2008.
[3] 陈文华, 郭培源, 陈岩. S3C44B0X嵌入式系统中Flash文件系统的设计与实现[J]. 北京工商大学学报(自然科学版),2006,(3).
论文摘要:随着移动存储设备的广泛应用,由其引发的信息泄漏等安全问题日益受到关注。针对目前移动存储安全解决方案中利用用户名和密码进行身份认证的不足,本文提出了基于智能卡技术的安全管理方案。该方案将指纹特征作为判定移动存储设备持有者身份的依据,同时通过智能卡技术实现了移动存储设备与接入终端间的双向认证,从源头上杜绝了移动存储设备带来的安全隐患。
1引言
移动存储设备因其体积小、容量大、使用灵活而应用广泛,但其本身的“匿名性”给设备安全管理带来了巨大挑战,身份认证难、信息易泄露、常携带病毒等问题一直困扰着用户和计算机系统安全人员。
在移动存储的安全管理上应基于两个层面:首先是移动存储设备对用户的身份认证,以确保移动存储设备持有者身份的合法性;其次是移动存储设备与接入终端间的双向认证。目前,移动存储的安全管理往往是基于用户名和口令的身份认证方案,容易受到非法用户“假冒身份”的攻击,同时系统中所保存的口令表的安全性也难以保障,因此该方案存在较大的安全隐患。少数采用生物特征识别的安全方案也仅仅做到了第一个层面的身份认证,仍无法解决对移动存储设备本身的身份认证以及移动存储设备对接入终端的身份认证。然而,移动存储设备和接入终端间双向认证的必要性是显而易见的,只有被终端信任的移动存储设备才允许接入;同时,当终端也被移动存储设备信任时,移动存储设备和终端才能获得彼此间相互读写的操作权限。只有实现上述的双向认证,才能有效地在源头杜绝移动存储设备带来的安全隐患。
本文描述了一种移动存储安全管理方案,针对U盘和移动硬盘等移动存储设备,基于智能卡技术,结合指纹识别模块,解决了设备持有者的身份认证以及设备与接人终端间的双向认证问题,并将设备持有者的指纹作为实名访问信息记人审计系统,进一步完善了移动存储的安全管理方案。
2基于指纹识别的用户身份认证
指纹识别技术主要涉及指纹图像采集、指纹图像处理、特征提取、数据保存、特征值的比对和匹配等过程,典型的指纹识别系统如图1所示。
指纹识别系统
指纹图像预处理的目的是去除指纹图像中的噪音,将其转化为一幅清晰的点线图,便于提取正确的指纹特征。预处理影响指纹识别的效果,具有重要的意义。它分四步进行,即灰度滤波、二值化、二值去噪和细化。图像细化后,采用细节点模板提取出指纹图像的脊线末梢和脊线分支点的位置,将指纹认证问题转化成为点模式匹配问题。
如图2所示,移动存储设备采用兼容多种设备接口的控制芯片、安全控制闪存芯片、大容量用户标准Flash构成硬件基础,以智能卡控制芯片为控制中心,结合指纹识别模块,实现对设备持有者的身份认证;同时,结合大容量普通闪存存储结构,实现数据存储低层管理和数据存储加密。
3基于智能卡技术的双向认证
为加强系统认证安全性与可信性,在移动存储设备内集成智能卡模块,使之具备计笄能力,从而实现移动存储设备与终端之问的双向认证。移动存储设备的身份文件存放于智能卡模块中。身份文件是指存储着移动存储设备各项物理特征信息的私密文件,由于这些物理特征信息与个体紧密相联,所以可以起到唯一鉴别该移动存储设备的作用。
智能卡模块提供对终端的认证,只有通过认证的终端才能访问身份文件和移动存储设备中的数据。将现有移动存储设备硬件结构进行改造,在其中分别加人指纹处理模块与智能卡模块后的硬件结构如图3所示。
智能卡模块内置CPU、存储器、加解密算法协处理器、随机数发生器等硬件单元,及芯片操作系统(COS)、芯片文件系统等多个功能模块。其内部具有安全数据存储空间,用于存放移动存储设备的身份文件。对该存储空间的读写受身份认证机制保护,只有通过认证的用户和终端才能对其进行访问,并且操作必须通过定制的应用程序实现,用户无法直接读取。支持指纹认证的智能卡文件系统如图4所示。
对终端的身份认证方式有多种,本方案采用冲击一响应的认证方式_7]。需要验证终端身份时,终端向智能卡模块发送验证请求,智能卡模块接到此请求后产生一组随机数发送给终端(称为冲击)。终端收到随机数后,使用终端认证软件内置的密钥对该随机数进行一次三重DES加密运算,并将得到的结果作为认证依据传给智能卡模块(称为响应),与此同时,智能卡模块也使用该随机数与内置的密钥进行相同的密码运算,若运算结果与终端传回的响应结果相同,则通过认证。这种认证方式以对称密码为基础,特点是实现简单,运算速度快,安全性高,比较适合对移动存储设备的认证。
在终端通过认证,取得移动存储设备信任的前提下,终端通过智能卡模块读取移动存储设备身份文件,对移动存储设备进行准入认证。只有在双向认证通过的情况下,移动存储设备才能接入可信终端,进而在授权服务器分发的安全策略下与可信域终端进行正常的读写操作。
4移动存储安全管理系统设计
在采用智能卡技术的基础上,加入移动存储安全管理系统,提供对移动存储设备的接人控制,将认证体系扩展至计算机USB总线。
安全管理系统的认证体系示意图如图5所示。各终端首先需要加入某个信任域,在此之后可对移动存储设备提供基于所在信任域的接入认证,如果终端没有通过信任域认证,则不允许任何移动存储设备接入。
授权认证服务器位于各信任域的公共区域中,为各信任域的终端提供移动存储设备授权认证服务。它将设备授权给某个信任域后,该设备便成为该区域中的授权设备,可在该区域中任意一台终端上使用;在其他区域使用时将被认为是未授权的,接入将被拒绝。隔离区中的终端与授权认证服务器不能通过网络相连,从而保证了被隔离的终端不能够使用移动存储设备,防止安全隐患向外扩散。这种把安全域细分成不同信任域的整体设计可以最大限度地防止安全实体内敏感数据的任意传播,大大降低信息向外非法泄露的可能性。
终端移动设备认证软件部署在网络系统中的各台终端上,实时监测终端上所有USB接口,探测接人的移动存储设备。发现设备后,认证软件将与接入设备进行相互认证,并与认证服务器通信,对设备进行认证,通过认证的设备被认为是当前信任域的授权设备,否则将被认为是未授权的。根据认证结果,允许或禁止移动设备接入。
4.1授权流程描述
服务器端授权软件运行时,探测出所有连接到授权服务器上的移动存储设备,并将结果报告给管理员。管理员指定需要授权的设备,填写好授权区域、授权日期、授权人、授权有效期并录入用户指纹信息后,授权软件开始对该移动存储设备进行授权。
(1)获取该设备的各项物理信息,这些信息具有特征标识,可以唯一地标识该设备;
(2)将收集到的物理信息和管理员输入的授权区域、授权日期、授权人、授权有效期等信息以一定格式排列,并注入随机字符,采用三重DES运算,生成身份文件;
(3)设置移动存储设备中指纹模块的指纹信息;
(4)将智能卡模块中的认证密钥设成与终端事先约定好的密钥;
(5)将(3)中生成的身份文件存入智能卡模块中的安全数据存储空间。
4.2认证流程描述
图6是移动存储设备管理系统完成认证的整个流程,其步骤如下:
(1)终端认证软件判断当前终端所处区域,如果处于信任域中,扫描各USB端口状态,判断是否有新设备接人;如果处于隔离区,则拒绝任何USB移动设备接入。
(2)如果探测到新设备接入,智能卡CPU调用指纹处理模块,接收并验证用户指纹。
(3)如果指纹认证通过,则终端向USB存储设备发送认证请求;否则禁用该USB存储设备。
(4)如果没有收到USB存储设备的智能卡模块发来的随机数,证明该设备是不符合系统硬件设计要求的,拒绝接入;如果收到随机数,则进行冲击一响应认证。如果没有通过认证,证明该终端为非信任终端,智能卡模块拒绝该设备接人终端。
(5)终端读取智能卡模块存储的身份文件,并读取该设备的各项物理信息,将身份文件、物理信息及终端所处的信任域信息发送至认证服务器进行认证。
(6)服务器认证软件接收到终端发送来的信息后,将标识文件解密,得到授权区域、授权日期、授权人、授权有效期等信息。
①将解密得到的物理信息与终端发来的物理信息作比对,如果不相符,证明该标识文件是被复制或伪造的,向终端发送未通过认证的指令。
②如果①中认证通过,将解密得到的信任域信息与终端发来的信任域信息作比对,如果不相符,证明该移动存储设备处于非授权区域中,向终端发送未通过认证的指令。
③如果②中认证通过,将解密得到的授权有效期与当前日期做比较,如果当前日期处于有效期内,向终端发送通过认证的指令;如果当前日期处于有效期外,向终端发送未通过认证的指令。
(7)终端接收认证服务器发来的指令,对USB设备执行允许或禁止接入的操作。如果USB设备被允许接入,则智能卡模块将设备持有者指纹提交给认证服务器,作为已授权访问记录记入日志中。
(8)转至(2)继续探测新设备。
5安全性分析
本方案通过在移动存储设备中加入指纹识别模块和智能卡模块,更安全可靠地解决了设备持有者身份认证问题以及移动存储设备的“匿名性”问题,通过引入身份文件,实现了移动存储设备的实名制认证。结合智能卡的相关技术,本方案从根本上解决了移动存储设备与接入终端问的双向认证问题,构建了双方互信的安全传输环境。
基于信任域的划分对设备进行授权管理,使整个系统能够同时对终端和移动存储设备提供接人控制,有效地阻止了安全威胁的传播。在方案的具体实现上,有如下安全性考虑:
(1)移动存储设备采用指纹识别的方式认证设备持有者身份,确保其身份的合法性;采用三重DES对称加密的方式对终端进行认证,确保终端为运行认证软件的合法授权终端,有效地避免了强力破解的可能性。
(2)移动存储设备的物理信息各不相同,身份文件也是唯一确定的。身份文件采用三重DES加密的方式,加解密过程全部在服务器端认证软件中完成,密钥不出服务器,避免了密码被截获的可能性。身份文件存储于智能卡模块中的安全数据存储区,受智能卡模块软硬件的双重保护。方案保证了身份文件的唯一性、抗复制性和抗伪造性,任何非授权设备都无法通过破译、复制、伪造等人侵手段冒名成为授权设备。
(3)认证服务器与隔离区中的终端相互隔离,只能被信任域中的终端访问,保证了认证服务器的安全。
(4)双向认证通过后,被授权的移动存储设备将设备持有者的指纹记入授权服务器的访问日志中,以便日后能够准确地确定安全事故责任人。
综上所述,通过指纹识别技术、智能卡技术、密码学技术、芯片技术和嵌入式系统设计技术实现了安全可信的移动存储。
进入中国信心满满
10月14日,Data robotics宣布正式进军中国市场的当天,其两款桌面存储设备Drobo和Drobo S也开始在京东商城上销售。2010年7月,Data robotics在中国设立了办事机构,在其后的短短3个多月中招募了20多家渠道合作伙伴,包括久诚嘉信、京东商城、RevoIT和神州数码等。Philippe Cazaubon表示:“公司在中国市场的目标是,在未来2~3年里保持100%的增长,使得公司在中国市场的销售收入达到公司总收入的5%~10%。”
Data robotics成立于2005年,目前已在全球销售出15万台存储设备。Philippe Cazaubon之所以对公司在中国的发展充满信心,原因在于对Drobo产品的自信。Data robotics的产品线相对比较简单,主要包括直连存储(DAS)、NAS和iSCSI SAN,覆盖中小企业及高端个人用户市场。Data robotics已经把全线产品带到了中国市场,并且计划在未来一个季度内初步完成产品的本地化,包括操作界面和管理界面的中文化等。Philippe Cazaubon表示:“相对于传统RAID技术来说,Drobo的核心技术BeyondRAID是对RAID技术的一次变革。Drobo存储具有简单易用、随需扩容、安全可靠等特点,能够实现自我管理和自动恢复。”
靠易用性赢得用户
Philippe Cazaubon在进行产品演示时,给记者留下印象最深的是Drobo存储设备的易用性。Drobo存储设备的外观设计十分时尚,前面板采用吸咐式设计,用手指轻轻一拉就能将前面板轻松拆下。每块磁盘的旁边都有对应的指标灯,根据指示灯的不同颜色,使用者能准确了解设备运行的状态和出错信息。
关键词:网络存储;存储虚拟化;智能存储;智能网络磁盘(IND)
计算机技术和宽带网络技术的迅猛发展,极大地推动了信息数字化进程,同时也导致了数据资源的爆炸性增长。面对日益膨胀的海量数据信息,如何对它们进行有效地存储和管理是目前存储技术所面临的挑战。
现有的存储模式主要有:直接附属存储DAS、网络附加存储NAS和存储区域网SAN。DAS通过文件服务器来获取对存储设备的数据访问,NAS则采用基于元数据服务器的数据访问方式,这两种体系结构普遍存在服务器性能瓶颈和单点失效的缺陷。SAN虽然克服了上述弊端而具有高可用性,但是其昂贵的代价使诸多中小企业难以采纳。
在知识经济时代,信息就是企业的财富,数据的重要性日趋突出,企业在存储方面的投资所占比例也越来越高。面对存储市场的巨大需求以及数据爆炸性增长所带来的严峻挑战,全球各大存储供应商无不投入大量资金加紧研发,国内外许多教育、研究机构也纷纷加入其中,所有这些导致各种新方案、新技术、新产品层出不穷。本文就存储技术的最新动向进行介绍。
1.资源整合
1.1 多NAS整合
由于NAS只能对单个存储设备中的磁盘进行资源整合,难将多个NAS设备整合成一个统一的存储池,因而难以对多个NAS设备进行集中管理。
(1)基于存储设备的虚拟存储将虚拟层放在存储设备的适配器、控制器上来实现,它充分考虑存储设备的物理特性,将服务器从虚拟化存储的实现工作中彻底解放出来,直接在存储设备上实现,减轻了主 机的开销。从简单化和性能考虑,这种方案最佳。但是,由于虚拟层在存储设备上,其实现因存储设备而异,难以在一个存储网络中实现无缝连接。
(2)基于服务器端的虚拟存储将虚拟化软件驻留在应用服务器上,通过改造操作系统、内嵌软件模块来完成映射工作。这种方式不需要增加任何附加硬件,设备成本最低,也最容易实现。但系统可靠性差,一旦出现服务器单点故障,将影响整个存储系统的数据完整性。
(3)基于网络的虚拟存储位于主机和存储之间的网络设备上,它既不依赖于特定的逻辑卷的表示方式,也不依赖于特定的操作系统,是一种最开放的环境,能够兼容各种服务器、操作系统以及存储设备,也是目前存储虚拟化的主流技术。
笔者认为,基于智能交换机的实现方式将是构建下一代虚拟化存储平台的最佳方案。
4. 存储集群
数量众多的计算节点、高并发的数据访问给存储系统带来了极大的压力,要求存储系统可以满足聚合高效率、高带宽的数据访问需求,这直接推动了集群存储技术的发展。集群可以支持大规模数据的有效传输,支持多计算节点间的数据有效共享。更为重要地是,集群还可以有效解决当前存储系统中普遍存在的服务器性能瓶颈和单点失效问题。目前,存储集群主要是通过集群文件系统的方式进行实现。
(1)DAFS (Direct Access File System)是一种文件访问协议,能够实现客户端与存储设备之间的文件数据直接传输,可以在大量甚至过量负载时,有效减轻存储服务器的计算压力,提高存储系统的性能。DAFS是为集群、共享文件的网络环境优化设计的,它利用VI(Virtual Interface)和InfiniBand技术,为NAS集群提供高可靠、低延时的连接。DAFS可以消除单个NAS设备的伸缩性方面的局限和管理问题,并使得NAS能够提供事务处理系统所要求的性能和可靠性。目前,已有用DAFS构建NAS集群的存储系统,效果良好。
(2)Lustre(Linux Cluster)来源于卡耐基梅隆大学的Coda项目研究工作,为满足Linux集群对存储系统高性能和数据共享的需求而设计。Lustre是一个全局文件系统,它由客户端、存储服务器和元数据服务器三个主要部分组成。客户端可以透明地访问集群文件系统中的数据,而无需知道这些数据的实际存储位置,存储服务器负责实际文件系统的读写操作以及存储设备的连接,元数据服务器负责文件系统目录结构、文件权限和文件的扩展属性以及维护整个文件系统的数据一致性和响应客户端的请求。
关键词: 存储虚拟化 支付系统 SVC
一、背景
随着我国经济的发展,支付系统在国民经济中发挥着越来越重要的作用。自2002年10月8日大额实时支付系统成功投产试运行以来,经过近10年的建设发展,支付系统已建成了包括大额支付系统、小额支付系统、支票影像交换系统、境内外币支付系统、电子商业汇票系统、网上支付跨行清算系统等六大系统为主体的,较为完善的跨行支付清算服务体系,为商业银行及货币市场提供支付清算服务和公共支付清算平台,是人民银行发挥其金融服务职能的重要核心支持系统。大量的资金通过人民银行搭建的跨行清算平台进行流通,以长沙清算中心为例,2012年,按照业务往来账口径统计,湖南省支付系统全年共处理支付业务6409万笔,金额36万亿元,并且每年支付系统笔数按30%-50%的增长率快速增长。
支付系统的存储系统承载着所有的业务数据和运行数据,其可靠性不仅直接影响业务运行的连续性和生产数据的安全性,更关系到社会金融的稳定。同时,随着业务系统的不断增加,存储的网络化和集中化,不同厂商存储设备难以兼容性等问题,导致不同存储设备的存储资源不能共享,存储系统容灾能力差。为解决这些问题,存储虚拟化技术应运而生,并成为存储技术发展的主要方向。
二、存储虚拟化的概念和实现方式
(一)存储虚拟化技术的概念
全球网络存储工业协会(SNIA)对存储虚拟化(Storage Virtualization Solutions)的定义如下:通过对存储系统或存储服务的内部抽象、隐藏或隔离,使存储或数据的管理与应用、服务器、网络资源的管理分离,从而实现应用和网络的独立管理。从具体实现上讲,把多个存储介质模块,如硬盘、RAID 等通过一定的手段集中管理,所有存储模块在一个存储池中得到统一调配,为使用者提供大容量、高数据传输性能的存储系统的方式,就称之为存储虚拟化技术。
(二)存储虚拟化的实现方式
存储虚拟化的实现方式通常分为以下三种:基于主机或应用、基于阵列以及基于网络交换机的虚拟化方式。不论使用何种技术,虚拟化最关键的就是解决物理存储到虚拟存储的映射。
1.主机或应用级的存储虚拟化
基于主机或应用的存储虚拟化的实现通常被称为逻辑卷管理(LVM,LogicalVolume Manager)。通过在服务器上安装虚拟存储管理软件,把磁盘阵列映射成一个虚拟的逻辑块空间,再将磁盘上的物理块或逻辑单元号(LUN,Logical Unit Number)映射成逻辑卷号,并作为基础存储单位提供给应用程序使用,实现各物理存储体的集成映射。基于主机或应用的存储虚拟化实现比较容易,可在不需要硬件支持的条件下实现形式多样的存储管理,对改善存储系统的可管理性,提高存储的安全性和可靠性很有益处。缺点是兼容性不好,扩展性差,调度工作会影响服务器的性能。
2.存储阵列级的存储虚拟化
基于阵列的虚拟存储更适用于以存储为核心的环境。它独立于主机,存储设备可以连接多台主机,但存储设备本身不能是异构的。此时虚拟过程是在阵列控制器上完成,将一个阵列上的存储容量划分为多个 LUN,供不同的主机系统访问。智能的阵列控制器提供数据块级的整合,同时还提供一些附加的功能,例如:LUN Making缓存,即时快照、数据复制等。配合使用不同的存储系统,基于存储设备的虚拟化模式可以实现性能的优化。但由于存储设备在各个供应商之间互操作性和兼容性较差,如果没有第三方的虚拟软件,基于存储设备的虚拟化通常只能提供一种不完全的存储虚拟化解决方案。
3.网络级的存储虚拟化
基于网络的存储虚拟化是目前 SAN 虚拟化的主流技术,通过在存储区域网这一级采用智能化的路由器,交换机或者是增加一个元数据服务器等来实现虚拟化的工作,它通过提供一种中央虚拟化方式将网络中的存储资源集中起来管理,从而降低了总拥有成本,提供了一个“开放的”虚拟实施环境,最有可能支持任何的服务器、操作系统、应用和存储设备。从技术上讲,基于网络的存储虚拟化又分为带内和带外两种实现方式。这两种方式的主要区别在于存储网络中数据 I/O 与控制信息是否使用同一通道。带内虚拟化是指虚拟化的操作在服务器和存储设备之间交换数据的通道中执行,存储数据和控制信号使用同一数据通道。带外虚拟化,是指虚拟化功能在位于存储数据通道之外的一个设备上实现。
三、存储虚拟化技术在支付系统中的应用
(一)CCPC存储现状及存在问题分析
CCPC集中了支付系统省级节点的服务器和存储设备,支付系统的核心应用运行于这些服务器上,它具有高集成度、高能耗、高可用性和不间断运行的特点。
目前每个CCPC包含三套不同型号的存储设备供各类应用使用,由日立和IBM两个厂商提供,综合分析当前存储现状,目前CCPC存储设备存在以下几个问题:一是存储系统存在单点故障。目前,支付系统大小额系统、CIS系统、ECDS系统、IBPS系统的磁盘阵列没有冗余,存在单点故障。一旦该磁盘存储不可用,没有替代存储来保障业务运行的连续和数据的完整,可能会导致业务系统中断,甚至丢失业务数据。二是目前每个系统的存储设备均为单独运行,存储利用率较低。考虑到支付清算体系的发展,系统的复杂性增加,需要整合存储资源,提高存储设备利用效率,提供统一的存储资源池和管理方式。三是第二代支付系统即将上线,为统筹考虑存储资源,便于未来的进一步系统扩展和设备更新,需要变更存储架构,建设更加先进、合理、高可用性的存储系统。
(二)CCPC虚拟化解决方案
1.存储虚拟化方式选择
从目前支付系统城市处理中心的情况来看,基于主机的存储虚拟化依赖于或管理软件,由于控制软件是运行在主机上,将占用主机的运行资源,这种方法的可扩充性较差,还可能影响到系统的稳定性和安全性。基于存储设备的存储虚拟化方法依赖于提供相关功能的存储模块。如果没有第三方的虚拟软件,基于存储的虚拟化经常只能提供一种不完全的存储虚拟化解决方案。利用这种方法意味着最终将锁定某一家单独的存储供应商,对于CCPC而言,考虑到目前现状以及今后良好的可扩展性,这一方法也不合适。网络级的存储虚拟化方式分为带存储虚拟化和带外存储虚拟化。带内存储虚拟化可以很容易整合多种存储设备,便于集中式管理,因此具有较高的安全性。同时,带内存储虚拟化无需主机,相关部署实例和超高速缓存能够帮助实现各项性能,保持灵活性。
针对亟待解决的CCPC存储阵列单点故障和现行存储结构优化问题,对比其它可能的存储系统虚拟化解决方案进行优势分析,网络级的带内存储方式是目前CCPC可以选择的最佳方式。
网络级存储虚拟化技术具有代表性的就是IBM SVC(SAN Volume Controller)。IBM SVC是整个SAN网络的控制器,可以将SAN中的各种存储设备整合成一个存储池,并按需分配存储空间、性能和功能,SVC对服务器和存储设备都是透明的。SVC为各种不同的存储设备提供了一个统一的数据复制平台,可以兼容各种不同的存储设备,帮助客户通过中央视图简化异构存储环境管理并实现管理的自动化。同时IBM SVC存储虚拟化技术通过nodes节点实现cluster集群,具有更高的性能、可靠性和很好的兼容性,可扩展性更强,容灾效率更高,IBM SVC与基于主机或应用的虚拟化技术详细对比情况如表1所示:
表1 存储虚拟化技术对比
通过分析,IBM SVC虚拟化解决方案借助虚拟存储将复杂的存储环境简单化,消除异构平台所造成的信息传递壁垒,实现了随需应变的存储体系,让存储真正实现按需分配。在上述方面具有相对的优越性,在未来业务发展需要的情况下,具备平滑转换成同步容灾复制方式的能力,可实现数据的完全一致性。
2.存储虚拟化解决方案研究
针对上述分析,通过IBM SVC技术整合数据内部中心(CCPC)所有存储资源,配置SVC设备,所有服务器的I/O均需要经过SVC内部进行处理,改造后CCPC总体拓扑结构如下:
从物理结构上看,CCPC使用 2 个nodes集成SVC的Cluster,能够实现热备切换。所有存储设备通过SVC设备与主机相连,SVC VDM技术保证服务器I/O正确写入两台后端存储,SVC高可用性通过两台SVC NODE构建Cluster,解除SVC设备自身的单点故障隐患。
从灾备的角度上看,理论上灾备中心的所有设备都处于一个待机的状态,在存储数据同步的情况下,一旦主中心失去响应,待机状态的服务器会马上处于工作状态,接管所有工作。在服务器数量庞大的数据中心,要管理并迁移数十台服务器上的数据是一件十分困难的事情。除了备份中心的服务器要相同以外,各个不同的服务器使用的冗余技术各不相同,这为高可用性和灾难备份提出了很高的要求。IBM SVC利用Metro mirror和Global mirror技术,进行同步数据复制(同城灾备中心)和异步数据复制(远程灾备中心)。灾备中心结构如下图4所示:
从数据复制实现方式上看,通过SVC提供的flashcopy功能实现。flashcopy相当于镜像,是基于存储级别的,它的作用是产生一份在这个时间点上的数据卷拷贝,这份拷贝内容和原始数据卷是完全一样的,对于AIX系统来说,flashcopy是完全透明的。
四、结束语
存储虚拟化技术在支付系统的数据存储中充分发挥其优势,优化了存储利用率,使得管理更加顺畅,提高了系统的可用性和整体性能,降低了存储系统的管理费用等。然而,从目前来看,存储虚拟化技术依然缺乏高度的标准化,不同虚拟产品之间的兼容性还有待进一步提高,作为一种正在发展的技术,还有很多新的应用有待开发。
参考文献:
[1]刘镇涛《存储虚拟化原理分析及其实现》[学位论文] 2007
[2]陈其铭,张宇,林荣《虚拟存储技术及其现状分析》电脑知识与技术 2009(2)