塞彗鳖雪雪雪霍窑矍三垩薹女●＊｛：１００８＿０５７０（２０１０）１２－２埘０３－０２基于ＰＣＩｅ和ＲＡＩＤ５的高速存储系统设计ＨｉｇｈＳｐｅｅｄＳｔｏｒａｇｅＳｙｓｔｅｍＢａｓｅｄＯｎＰＣＩｅａｎｄＲＡＩＤ５｛十日Ｈ｛晰张元凯蘩惠智刘壶王维ＺＨＡＮＧＹｕ扪＾ａＩＣＡｌＨｕｉ－巾ｌＬＩＵＹｅＯＷＡＮＧＷｅｉＨ￥：４＆５■ｔⅡ￡＃Ｂ｝‰∞｜｝特Ⅱ＾ｉ／ｘ《日ｊ自自￡，￡月＾４十Ｈｄｍ＃“ＰＯｌｅ＊４＊■４＆“＆９－ｍ女ｚ女＊“ｆＲ＾【０５１＊ｍ＂一№＃＊ｔ日￡女Ｈ＊。女ｅ＃＾袁．月＾｝‰４９《ｔ＃ｔ＊＊＾井Ⅱ目女％一№＃＊±＊ｔＢ∞＊＊＊￡目＂ｖｌ，ｘ《＊¨十０ｍ≈ｍ＃Ｒ＃ＡＦｂ＊＊Ｔｉｔｉ”∞＊∞。＊■目：ＰＣＩｅ女换：＃女磁ｉＥ末＊“；☆ｍ存储＊统÷口分＃｛：ＴＰ３０２女■标＊珥：ＡＡｈ口Ｕ＇ａｃｌ：５ｐｅｅｄ…．ｉ，ｉａｔｒｏｄｕｃｅｄ”ｅｎ…Ｉｈａａｄ＊ｌｉｕｌｌｉｌｈ…ｉｍｐｌａｎｔＴｈ…ＩｎＩｔａｎｓＰ０ｎＬｅｆｅａｌｕｍｓｏｆａ舶‘ｑ…ｍｍｔｏＦｏｒｆａｉｌ…ｆ＿ｍｄｅｖｅｎ５”ｄ，＿ｂｉｌｅｔｈｅＲｅｄｕｎｄⅫｌ＾Ⅱ８ｙｏｆＩｎｄｅｌ’ｅｎｄｅｎｌＤｉｓｋ【ＲＡＩＤ５）ｂｕｓｅｄｔｈｅＩｈｌａ…Ｉｈｅ＊ｎ■ｈｌｚｈ’ｐ。ｄｐｍｔ咖ｌｍ…ｏｆｔｈｅｐｒｉｍａｒｙｄａｔａｏｎＰＣＩＥｘｔｔｈｅＩｄｉｓｋｉｆＩｄｉ＃ｋ¨ｏｕ…ｆｉａｄｉｃａｔｈａｔｍ日ｄⅫｄｗｒｉｔｅｓｐ。ｅ，１日ｍｏｉｇｎｉｆｉｃａｍ［ｙｉｍｐｒｏｖｅｄ．日ｎｄｗｏｒｋｒｅ］ｉａｂｌｙｕｎ（１ｅｒ１ｈｅｃⅡｂｅ［ｅｃｏｖｔｈｅｓｕｐｐｏｎｏｆ…ｅＭ“ｎｗｈｉｌｅ．¨ｉｓｎｏ”ｐｏ∞ｌ｝，ｋｎｇｏｒｏｕｓｃｏｎｄｉｌｌｏｎｓＶＰＸａｍｈｉｌｅｃｌｕｒｅ耻ｙ帅ｒｄｓ：ＰＯ“ｐ’嘲ＳｗｉＳｈ；ＲＡＩＤ５；ＨＩ曲即耐ｓ１０ｒａ＃驰ｍ１引言存储％＃槲果橐系统的必备功％２一．存储ｍ攥受散据■ＲＡＩＤ５宴ⅨＴ＃岛的４９性能。ｒ研ｆ雨，－－、ｃ面¨ｉ面＊椰ｉ■ｒ面ｆ口ＲＡＩＤ５＊Ｈ４ｔｍⅦＪＥｑ场台的ｇ响小蕾教据日“采月存储芯片，ｍ海量数＊ⅢＷ＾规《ｍ盘阵Ⅻ．ｍ－般｝Ｅ☆ｆＩ－ｍ１ｆ百ｎ理场ｇ女复杂的ｇ蝇。综☆＆奉ｂ日牲性Ａ自白勺｛自．￥女＆＂Ｔ一＃十荨成幔ｇ台ｆ严酷环境Ｔ∞￥４存储ｉ筑，Ⅵ靠性肯目ｇ☆ｘ＾ｍＩ指存储介质扭坏或ｍ锴Ｒ能＊夏蕈荤誊举章｝＊２点ｉｒ蕾ｉ【＃］ｒ亩］恢复。ＲＡＩＩＸＲｅｄ¨ｄｍｔ＾…ｆｈ，ｌｅ｛ｗｎ＊ⅢＤｉｓｋ．独ｉ硪＆冗采阵列１＃是为此ｍｎ计∞．ＨＡＩＤＯ提供ｍ旆性№白勺读目速率．但￡容带功能ＲＡＩＤＩ搬＂Ｅ镜像备＊怛存储｝Ｈ利月率极＊．Ｒ＃５０％ｍＲＭＤ５通过将条带化ｍ据块ｍ其《验码存在｛月∞礁＊¨，ｉ？，『ｉ】二『…一一一Ｆ一＝Ｆ＝一－－Ｔ＝一二ｉ：一｛一＊｛¨育ｒ；一—育ｒｉ｝ｒ却当散槲日Ｄ、．ｎ十“个￡＊ＨＪ“ｆ荆…Ｋ验¨Ｐ目“ｆ∞Ｎ≈个杖搬崩，教＊喊复。“皿丢失为雠ｑ；Ｐｏｑｏｑ＆，ｐ珥。宾现单十盛ｔ的冗糸“错功艉。此外ＲＡＩＤ５在存储ｉ目利月＾目ｍ高ｆ其他ＲＡＩＤ等级ｔ“ｒｆ～一Ｏ，Ｎ＆ｔ＃ＨＴ读写性能４目利月串自＃＊ｑ靠＃．口ｎ得到ＴｒⅡ∞应月。Ｈ一方ｍ日靠性Ⅱ☆《统＆§＃ｒ作条＊Ｆ连续ｍ＊【：３系统结构镕ｌＩ勺能＾。ｍ着数据ｍ堆∞提高崩的高镕中行点”点ａ讯坍ⅡＰＣＩｅ也衔新＆代传统ＩＩ臼ＰＣＩ口鲢．｛倪＃能提高＊自Ｆ蔫＃ＰＣＩｍＥ＃＆女＊功№Ⅲ使得系统扩ⅨⅡ＃简单。Ⅱ所有支持ＰＣＩｅ传辕∞平自十ＶＰｘⅨ供Ｔ《向｛事目航４＆月的ＭⅢ＃№非常ｍ合严酷的ｒ作“境。２ＲＡＩＤ５简介ＲＡｌｌ）５通吐怅打＊＊ｍ数据的＆＊“女ｍＴ坼个ｍｍ∞，ｃ泉“镕自能，｛采托禽耵Ｈ十ｍ女盯ｔ，ⅣＩ十ｍ盘Ｉｆｉｆ存辅＊带ｍ齄镕日．ｑ，ｑ。自Ｊ个ｍ☆埘ｒ玎站其奇鼹＃§日｝：苴ｔｐＰ＝ｑｏｑｏｏ“．。ⅫＨｆＲＡＩＤ５ｊｆ《将Ｍ＃∞＆＊码“ｎⅢ２∞ｍｍＩ羽＠－・镕－＊局｛丁目｛８｝９４６…～■－！ｍ～……：．斗：…”●・Ｍ。……＃。２—－３６０ｔ，｝３ｍ１足分敝９１备十ｍ．“￥暂＊＆∞凄写状数景％ｍ‰＆槲摧Ｈ１Ｊ女换饭Ⅻ竹ｌ‘ｍ存储☆Ⅲ成．“十＆Ｉｉｑ女按Ⅸ＊蔓娃ｎ点姐秆《“＃“≈ｍＲ＾【Ｄ算☆托制＊＊ⅡＰ｛２１ｒ镕ＩＩ。＿ｌ、ｈ２换ｏＨｎ摇＊仔％＆＊别＆“＊４ＫＭ月≈命ⅫＦＨＭⅢ。ｍｆｍⅢｒ＂制条带化数槲凄ｑ．Ｉ！坠！墅墅塑！塑堡！ｌ万方数据博士论坛交换机的各端口，如图所示。３．１接口与交换板本板选用ＸｉｌｉｎｘＶｉａｅｘ５‘微计算机信息＞（嵌入式与ＳＯＣ）２０１０年第２６卷第１２・２期已连接的存储板数目及各自的映射空间地址，由处理器软件完成各存储板的配置；自动方式，即各存储板连接方式未知，由配置ｆ１）（Ｔ系列ＦＰＧＡ作为主器件。包含软件扫描ＰＣＩｅ线路结构，分别遍历系统中的各总线、设备和功能并编号，完成ＰＣＩｅ枚举及链路初始化。测试时系统安装一块接１３交换板和四块存储板，总的连续读速度峰值可达到４２０ＭＢｐｓ，而连续写速度能达到约３００ＭＢｐｓ，远高于通常的存储系统，这是因为普通存储系统的数据流瓶颈都得到了较好的解决：首先因为采用ＲＡＩＤ５的条带化数据读写可提高到单盘读写性能的若干倍．其次采用ＦＰＧＡ内部的硬件丰富的逻辑资源、ＰＣＩｅｌ．１硬核砰并支持ＰＣＩｅ２．０软核ＩＰ、三速以太网ＭＡＣ接口、高速串行收发器ＲｏｃｋｅｔＩＯＧＴＸ和增强的ＰｏｗｅｒＰＣ４４０处理器，基于各种ＩＰ核可以提供多种数据接口．如ＳｅｒｉａｌＲａｐｉｄＩＯ、ＰＣＩｅ、千兆历兆以太网、光纤通道等，满足实际应用的多样性；ＰｏｗｅｒＰＣ４４０处理器用于运行存储阵列管理软件，与校验码计算器一起实现ＢＡｌＤ控制；ＦＰＧＡ同时起到ＰＣＩｅ拓扑结构中的根复合体的作用，其内部逻辑框图如下，而具体的工作过程见第４节。ＸＯＲ控制器也比采用处理器计算的软ＲＡＩＤ高效，再次采用高性能ＳＳＤ解决了传统硬盘的读写速度限制。为验证ＲＡＩＤ５的数据恢复能力，在数据写入后替换掉一块存储板然后执行接口交换板上微处理器的恢复数据命令，接Ｉ＝１！竺Ｈ塑讯收发橇块通讯模块教器訾＝工丸～田啦蝈目嚣。ＪＩ管潞一蓉Ｉ块交换板将从剩余盘中读取数据和校验码来重建丢失的数据并写入替换的盘中。同时也应该看到．由于实际测量的读写速度距离理论值还有较大差距。这其中除去文件系统等额外负荷外，还与所采用的缓冲区大小有关．进一步改进之后可以达到更高的性能。『翻哇＾控制嚣｝在交换芯片选择方面．ＰＬＸ公司生产了多种不同端口规模且分别支持ＰＣＩｅｌ．１或ＰＣＩｅ２．０的交换芯片，可以根据实际所需支持的存储容量和单盘容量来确定所需要的存储板数目．从而选择合适规模的交换芯片。本应用中．ＰＣＩｅ交换机选用的ＰＥＸ８５０９，具有８Ｌａｎｅ、８Ｐｏｎ，可灵活的配置为×１、×２和×４的组合。ＸＣ５ＶＦＸＴ系列ＦＰＧＡ肉的ＰＣ／ｅ１．１硬核支持ｘ１一ｘ８．考虑输入的数据带宽及负载端口数．将其配置为一个×４端Ｅｌ和４个×１端口，分别支持单向ＩＧＢｐｓ和２５０ＭＢｐｓ。３．２存储板为适应高速存储的要求以及严酷的环境．存储介质选用ＳＡＴＡＩＩ接口的ｓｓＤ（ＳｏｌｉｄＳｔａｔｅ５结束语本文提出了一种基于ＰＣＩｅ交换的ＲＡＩＤ５存储系统。相对于传统的系统，具有以下特点：（Ｉ）实现了基于ＦＰＧＡ的硬ＲＡＩＤ５。使得算法的效率和速度都得到了很大提升；（２）采用基于ＶＰＸ的背板传输数据，提高数据率的同时也增强了系统可靠性通用于恶劣的工作环境邸湛于ＰＣＩｅ交换顺于扩展和升级。基于上述优点，该存储系统非常适合用在在雷达、航电等大数据量的严酷环境中。本文作者创新点：本文通过ＰＣＩｅ交换实现灵活的存储拓扑、通过ＲＡＩＤ５实现存储阵列的冗余纠错，并采用ＶＰＸ系统和ＳＳＤ提高了性能和机械可靠性。参考文献『ＩＩ顾治华，苗连超等．Ｌｉｎｕｘ下ｉＳＣＳＩ网络ＲＡＩＤ的分析与研究【Ｊ】．微计算机信息．２００９．４—３：ｐ１４２—１４４［２］ＸｉｌｉｎｘＣｏｒｐ．Ｖｉｒｔｅｘ－５ＦａｍｉｌｙＯｖｅｒｖｉｅｗｖ５．０［ＥＢ］．２００９年２月【３］ＰＬＸＣｏｒｐ．ＰＥＸ８５０９：ＦｌｅｘｉｂｌｅａｎｄＶｅｒｓａｔｉｌｅＰＣＩＥｘｐｒｅｓｓＳｗｉｔｃｈ［ＥＢ】－２００８年１月【４］ＶＭＥｂｕｓＩｎｔｅｒｎａｔｉｏｎａｌＷＷＷ．ｖｉｍ．ｃｏｍ．２００９年ＴｒａｄｅＯｒｇａｎｉｚａｔｉｏｎ．ＶＭＥＤｒｉｖｅ周态盘，亦即电子盘１。Ｉｎｔｅｌ的Ｘ１８／Ｘ２５一Ｍ系列ＭＬＣ—ＳＳＤ连续读速度可达到２５０ＭＢｐｓ．连续写速度也达到了７０ＭＢｐｓ，而Ｘ２５一Ｅ系列ＳＬＣ—ＳＳＤ的连续写速度更达到了１７０ＭＢｐｓ，稳定性也更高，只是容量略小，单盘只有６４ＧＢ．但随着技术的发展．ＳＬＣ—ＳＳＤ的容量有望得到提高。存储板的关键部件是ＰＣＩｅ－ＳＡＴＡＩＩ桥接芯片。本文选用Ｓｉｌｉ—ｃｏｎＩｍａｇｅ公司的Ｓｉｉ３５３Ｉ作为协议转换芯片．完成一个２．５Ｇｂｐｓ３．３高速背板在工业或军事计算机体系结构中，能够支持ＰＣＩｅ这样的高Ｍｏｍｅｎｔｕｍ［ＥＢ］．的ＰＣＩｅ接Ｅｌ与—个３Ｇｂｐｓ的ＳＡＴＡＩＩ接口之间的转换。ｆ５１马鸣锦等．ＰＣＩ、ＰＣＩ—Ｘ和ＰＣＩＥｘｐｒｅｓｓ的原理及体系结构【Ｍ】．清华大学出版社．２００７年４月作者简介：张元凯（１９８２一）．男，汉族。山东省人，中国科学院声学研究所信号与信息处理专业博士研究生。主要研究方向为网络通讯理论和嵌入式硬件系统设计：蔡惠智，男，研究员，研究领域为信号与信息处理：刘矗，男，博士研究生。王维，男，博士研究生。Ｂｉｏｇｒａｐｈｙ：ＺＨＡＮＧｔｙ．ｂｏｍｉｎＳｈａｎ速信号传输的只有ＰＩＣＭＧ（ＰＣＩｅｒｓＩｎｄｕｓｔｒｉａｌＣｏｍｐｕｔｅｒＭａｎｕｆａｃｔｕｒ—Ｇｒｏｕｐ，ＰＣＩ工业计算机制造商协会）提出的基于高速串行总线的ＰＩＣＭＧ３．ｘ——即ＡＴＣＡ规范ｆＡｄｖａｎｃｅｄＴｅｌｅｃｏｍｍｕｎｉｃａ—ｔｉｏｎｓＣｏｍｐｕｔｉｎｇｂｕｓＡｒｃｈｉｔｅｃｔｕｒｅ，高级电信计算架构）和ｖＪＴＡｒｖＭＥ—的全新的ＶＩＴＡ４６．ｒ即ＶＰＸ架构。由于前者主要针对电信非常适合于恶劣环境下的计算应用。ＩｎｔｅｍａｔｉｏｎａｌＴｒａｄｅＯｒｇａｎｉｚａｔｉｏｎ．ＶＭＥｂｕｓ国际贸易协会１推出Ｙｕａｎ—ｋａｉ（１９８２一），ｍａｌｅ，ｔｈｅＰｒｏｖｉｎｃｅ．ａｇｒａｄｕａｔｅＨａｎＮａｔｉｏｎａｌｉ・ＤｏｎｇｓｔｕｄｅｎｔｆｏｒＰｈＤｉｎ应用．其部分接插件在颠震条件的可靠性明显不足，而ｖｍ～４６．ｘ规范的制定吸收了很多军事和航空设备制造商的意见．因此ＳｉｇｎａｌａｎｄＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇｉｌｅｓｅｉｎＩｎｓｔｉｔｕｔｅｏｆＡｃｏｕｓｔｉｃｓ，Ｃｈｉ’ＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅ．ＨｅｉｓｍａｊｏｒｉｎｇｉｎＮｅｔｗｏｒｋＣｏｍｍｕｎｉ’ｓｙｓｔｅｍｓ．ｃａｔｉｏｎＴｈｅｏｒｙａｎｄｈａｒｄｗａｒｅｄｅｓｉｇｎｏｆｅｍｂｅｄｄｅｄ４工作过程与性能测试本系统可以单独安装在一个机箱内，也可以与采集或处理单元共用一个机箱。系统上电后首先加载ＦＰＧＡ逻辑，系统初始化，由ＦＰＧＡ完成对ＰＣＩｅ交换机的配置。系统连接规模可以有两种方法来确定：主动方式，即通过接１３交换板的通讯接１３获得一４—３６０ＪＬ／年邮局订阅号：８２－９４６（１００１９０北京中国科学院声学研究所）张元凯蔡惠智刘盎王维（ＩｎｓｔｉｔｕｔｅｏｆＡｃｏｕｓｔｉｃ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆａ帆１００１９０．Ｃｈｉｎａ）ＺＨＡＮＧＬＩＵＹａｏＳｃｉｅｎｃｅ，ｍｉｊｉｎｇ，Ｙｎａｎ－ｌｍｉＣＡＩＨｎｉｍｉＷＡＮＧＷｅｊ通讯地址：（１００１９０北京中国科学院声学研究所）张元凯ｆ收稿日期－．２０１０．０５．啪穑日期－．２０１０．０８．０６）万方数据基于PCIe和RAID5的高速存储系统设计
作者：作者单位：刊名：英文刊名：年，卷(期)：
张元凯， 蔡惠智， 刘垚， 王维， ZHANG Yuan-kai， CAI Hui-zhi， LIU Yao， WANGWei
中国科学院声学研究所,北京,100190微计算机信息
CONTROL & AUTOMATION2010,26(35)
本文链接：http://d.wanfangdata.com.cn/Periodical_wjsjxx201035002.aspx