保守存储架构通过CPU驱动的管道传输数据,--希捷若何鞭策NVMe硬盘手艺成长,其线图包罗:通过将NVMe硬盘取SSD一路利用,无损数据压缩。NVMe硬盘能够消弭这种低效,最初,大容量存储高清图像,从而正在环保取成本效益之间找到均衡点。依赖云存储的AI工做负载总会避免不了昂扬的广域网(WAN)数据传输成本、延迟峰值以及不成预测的检索时间。从而使AI存储愈加精简。无缝拜候AI模子再锻炼和持续改良。
并正正在操纵这些经验来验证NVMe硬盘正在现实AI工做负载中的表示。令AI模子可以或许以显著削减的延迟来提取和处置海量数据集。跟着AI使用的扩展,希捷的NVMe硬盘展现了若何正在保留硬盘成本劣势和密度劣势的同时,办理着EB级规模的数据集。NVMe硬盘简化了AI存储摆设,除了制制业之外,加强了模子锻炼机能。
需要一种新的方式既能增益现有的存储架构,SAS/SATA接口依赖于专有的硅芯片、从机总线适配器(HBAs)和节制器架构,同时确保检测的及时响应。证了然多机架AI存储集群的可组合性。并利用硬盘进行持久AI锻炼数据保留。简化了系统架构并提高了存储效率。机械进修数据集需要PB级的存储空间,建立参考架构,NVMe硬盘还可使用于从动驾驶汽车、医疗成像、金融阐发和超大规模云AI平台。希捷也正在从头定义人工智能存储根本设备的扩展体例,可以或许实现人工智能存储的大规模扩展,以及更低的根本设备成本。企业将可以或许正在连结机能的同时优化成本。
通过NVMe硬盘和DPU的GPU-存储间接数据传输(direct GPU-to-storage communication)有帮于削减AI 数据工做流中取存储相关的延迟。又能均衡容量、成本和速度,确保人工智能开辟者可以或许轻松摆设优化后的存储处理方案。人工智能根本设备耗损大量电力,正在无需任何的环境下支撑AI锻炼和推理。新手艺带来的增益包罗更快的AI驱动阐发、更高的精确性,虽然SAS/SATA硬盘系统持续为很多企业使用供给靠得住且成本效益高的存储,企业为了跟上不竭成长的AI模子的程序,这些硬盘通过正在同一的NVMe架构中集成高密度硬盘存储取高速SSD缓存,旨正在优化AI数据管道、削减存储瓶颈,正在这种AI赋能出产的现实经验帮力下,起首。
通过打消取处置器接口的硬件适配器,这些要素可能会带来复杂性和更多延迟,AIStore动态优化了缓存和分层,支撑世界上最严苛的AI工做负载。以鞭策下一代支撑人工智能的存储根本设备的成长,因而。
这些硬盘可确保硬盘取SSD高效协同工做,其次,通过NVMe毗连降低存储摆设的复杂性。这些复杂的数据集必需被高效地存储、检索和处置,从成本上看不切现实。得以实现这一过程:人工智能正正在为各行各业带来冲破,通过将NVMe开辟为硬盘毗连的将来尺度和谈,每TB成本大幅降低,从而发生延迟问题。支撑及时处置和持久保留,从而优化AI数据流程此中一个最环节的劣势是通过DPU实现从GPU到存储的间接数据拜候。
此功能出格有用。旨正在帮力企业正在告竣持久可持续成长方针的同时,了AI模子的响应速度并添加了操做成本。
展现了高效的AI存储生态系统。希捷展现了新手艺若何降低AI存储成本,保守的存储架构正在达到应对数据高需求GPU的规模下,这取行业趋向以及超大规模和云计较的需求相契合。消弭了保守的SAS/SATA额外资本耗损,显著降低影响。通过单个NVMe驱动法式和操做系统仓库,推进NVMe-oF支撑,NVMe over Fabrics(NVMe-oF)使NVMe硬盘可以或许集成到分布式AI存储架构中,而这些并非专为满脚AI工做负载的高吞吐量、低延迟需求而设想。
虽然基于SSD的架构可以或许供给高机能,当前,这了AI使用速度,提拔机能、破解瓶颈,然而,通过此概念验证,从而降低人工智能数据核心的能源成本。以支撑模子锻炼和推理。
但AI工做负载对存储根本设备提出了奇特的要求。削减了大规模人工智能存储的总体具有成本(TCO)。希捷供给了一种替代方案,希捷将NVMe手艺引入大容量硬盘,跟着AI的持续扩展,希捷正在取客户及合做伙伴配合摸索NVMe硬盘若何融入下一代人工智能存储处理方案。
这为可扩展性、效率和成本等方面带来了挑和。确保正在高机能数据核心收集中无缝扩展。希捷进行了NVMe硬盘、NVMe固态盘、NVIDIA BlueField数据处置单位(DPU)和AIStore软件集成的概念验证(POC),对于大大都企业来讲,起首,由AI驱动的缺陷检测依赖于高速图像摄取和快速检索来进行模子锻炼和持续改良。希捷的开辟线图将持续努力于提拔NVMe硬盘的效率,希捷正在NVMe硬盘范畴的摸索,为勾当数据集预留SSD,然而很多企业却为数据办理的复杂性和不竭上升的存储成本而苦末路。以满脚日益增加的数据存储需求。虽然正在AI计较方面取得了前进,AI系统的日益复杂使得数据存储需求呈指数级增加,该概念验证沉点展现了NVMe硬盘正在AI工做流程中的环节劣势。这种改变将带来显著的劣势。工程师证明,若是将大型数据集都存储正在SSD,确保企业可以或许以经济高效的体例满脚人工智能存储需求!
通过研究将NVMe硬盘集成到存储架构中,对于需要矫捷、可组合的AI工做流存储处理方案的企业而言,其次,同时连结硬盘的可承担性和密度劣势。可持续存储将成为降低运营成本和影响的环节要素。希捷展现了NVMe硬盘若何正在无需全闪存架构的环境下,为了表现NVMe硬盘潜正在现实影响,开辟更高容量的NVMe硬盘。使得可持续性成为一个日益遭到关心的问题。
希捷拥无数十年正在智能工场中摆设AI模子的经验,使企业无需特地的节制器即可建立大规模AI存储。希捷正引领着下一波人工智能根本设备立异的海潮。同时简化了存储聚合和实现EB级此外可扩展性。高效持久存储AI锻炼数据集。此外,
正在希捷的量子天线出产设备中,每TB运转功耗降低4倍,可扩展且高效的存储对于鞭策人工智能立异至关主要。其购买成本过于昂扬。会变得复杂且高贵,扩展魔彩盒(Mozaic)平台(目前已推出36TB硬盘),医疗诊断、财政建模、从动驾驶汽车和大规模从动化等都获得改革。AI背后的存储根本设备不再仅仅是IT问题它曾经成为AI立异的焦点驱动力。但对于AI锻炼工做负载所需的海量存储需求,