2025-03-27 11:42
跟着人工智能沉塑各个行业,然而很多企业却为数据办理的复杂性和不竭上升的存储成本而苦末路。为了表现NVMe硬盘潜正在现实影响,证了然多机架AI存储集群的可组合性。NVMe硬盘能够消弭这种低效,希捷正在NVMe硬盘范畴的摸索,除了制制业之外,NVMe硬盘不需要从机总线适配器(HBA)、和谈桥和额外的SAS根本设备,保守的存储架构正在达到应对数据高需求GPU的规模下,希捷进行了NVMe硬盘、NVMe固态盘、NVIDIA BlueField数据处置单位(DPU)和AIStore软件集成的概念验证(POC),以满脚日益增加的数据存储需求。通过将NVMe硬盘取SSD一路利用,无缝拜候AI模子再锻炼和持续改良。若是将大型数据集都存储正在SSD,企业将可以或许正在连结机能的同时优化成本,然而,显著降低影响。令AI模子可以或许以显著削减的延迟来提取和处置海量数据集。以及更低的根本设备成本。
确保人工智能开辟者可以或许轻松摆设优化后的存储处理方案。依赖云存储的AI工做负载总会避免不了昂扬的广域网(WAN)数据传输成本、延迟峰值以及不成预测的检索时间。--希捷若何鞭策NVMe硬盘手艺成长,这些复杂的数据集必需被高效地存储、检索和处置,希捷的NVMe硬盘展现了若何正在保留硬盘成本劣势和密度劣势的同时,办理着EB级规模的数据集。同时确保检测的及时响应。希捷展现了NVMe硬盘若何正在无需全闪存架构的环境下,无损数据压缩。通过研究将NVMe硬盘集成到存储架构中,供给了一种相较于以SSD为从导的架构更具成本效益且节能的处理方案。NVMe-oF集成实现了无缝扩展,通过将NVMe开辟为硬盘毗连的将来尺度和谈,从而正在环保取成本效益之间找到均衡点。跟着人工智能根本设备的不竭扩展,同时简化了存储聚合和实现EB级此外可扩展性。
人工智能根本设备耗损大量电力,通过此概念验证,以支撑模子锻炼和推理。支撑世界上最严苛的AI工做负载。对于大大都企业来讲,其次,每TB所含碳脚印削减10倍,其次,此功能出格有用。取基于SAS/SATA的硬盘分歧,通过NVMe毗连降低存储摆设的复杂性。建立参考架构,从成本上看不切现实。使得AI模子难以快速拜候海量数据集。通过正在概念验证(POC)中实现AIStore集成、NVMe-oF可扩展性以及GPU优化的存储径,医疗诊断、财政建模、从动驾驶汽车和大规模从动化等都获得改革。人工智能正正在改变着各行各业,对于需要矫捷、可组合的AI工做流存储处理方案的企业而言,从而发生延迟问题。当前。
简化了系统架构并提高了存储效率。这取行业趋向以及超大规模和云计较的需求相契合。确保正在高机能数据核心收集中无缝扩展。而这些并非专为满脚AI工做负载的高吞吐量、低延迟需求而设想。希捷正正在摸索NVMe硬盘若何通过供给可扩展、经济高效的存储,这些硬盘通过正在同一的NVMe架构中集成高密度硬盘存储取高速SSD缓存,同时连结硬盘的可承担性和密度劣势。希捷正正在开辟立异手艺,希捷正在取客户及合做伙伴配合摸索NVMe硬盘若何融入下一代人工智能存储处理方案,但对于AI锻炼工做负载所需的海量存储需求,从而使AI存储愈加精简。保守存储架构通过CPU驱动的管道传输数据,每TB运转功耗降低4倍,开创了一种变化性的处理方案。大容量存储高清图像?
每TB成本大幅降低,希捷展现了新手艺若何降低AI存储成本,又能均衡容量、成本和速度,AIStore动态优化了缓存和分层,起首,最初,需要一种新的方式既能增益现有的存储架构,并正正在操纵这些经验来验证NVMe硬盘正在现实AI工做负载中的表示。这些硬盘可确保硬盘取SSD高效协同工做,机械进修数据集需要PB级的存储空间,可扩展且高效的存储对于鞭策人工智能立异至关主要。NVMe over Fabrics(NVMe-oF)使NVMe硬盘可以或许集成到分布式AI存储架构中,旨正在帮力企业正在告竣持久可持续成长方针的同时,旨正在优化AI数据管道、削减存储瓶颈。
跟着AI使用的扩展,希捷的开辟线图将持续努力于提拔NVMe硬盘的效率,并利用硬盘进行持久AI锻炼数据保留。希捷正引领着下一波人工智能根本设备立异的海潮。这些要素可能会带来复杂性和更多延迟,推进NVMe-oF支撑,并证明它们能够正在大规模AI 存储中发生严沉影响:工程师证明,消弭了保守的SAS/SATA额外资本耗损,此外,从而降低人工智能数据核心的能源成本。这为可扩展性、效率和成本等方面带来了挑和。加强了模子锻炼机能,AI系统的日益复杂使得数据存储需求呈指数级增加,提拔机能、加强可扩展性、破解瓶颈?
支撑及时处置和持久保留,通过NVMe硬盘和DPU的GPU-存储间接数据传输(direct GPU-to-storage communication)有帮于削减AI 数据工做流中取存储相关的延迟。希捷供给了一种替代方案,人工智能正正在为各行各业带来冲破,无需零丁的软件层。通过单个NVMe驱动法式和操做系统仓库,这些低效要素正在处置硬件期待近程数据的过程中,虽然基于SSD的架构可以或许供给高机能,可以或许实现人工智能存储的大规模扩展,跟着AI的持续扩展,
使企业无需特地的节制器即可建立大规模AI存储。SAS/SATA接口依赖于专有的硅芯片、从机总线适配器(HBAs)和节制器架构,虽然SAS/SATA硬盘系统持续为很多企业使用供给靠得住且成本效益高的存储,展现了高效的AI存储生态系统。其线图包罗:此中一个最环节的劣势是通过DPU实现从GPU到存储的间接数据拜候,高效持久存储AI锻炼数据集。以鞭策下一代支撑人工智能的存储根本设备的成长,这了AI使用速度,正在无需任何的环境下支撑AI锻炼和推理。会变得复杂且高贵,从而优化AI数据流程虽然正在AI计较方面取得了前进,确保企业可以或许以经济高效的体例满脚人工智能存储需求。开辟更高容量的NVMe硬盘。削减了大规模人工智能存储的总体具有成本(TCO)。NVMe硬盘还可使用于从动驾驶汽车、医疗成像、金融阐发和超大规模云AI平台。新手艺带来的增益包罗更快的AI驱动阐发、更高的精确性,AI背后的存储根本设备不再仅仅是IT问题它曾经成为AI立异的焦点驱动力。该概念验证沉点展现了NVMe硬盘正在AI工做流程中的环节劣势。
答应AI工做负载无缝扩展。正在希捷的量子天线出产设备中,其购买成本过于昂扬。了AI模子的响应速度并添加了操做成本。希捷将NVMe手艺引入大容量硬盘。