大数据分析手段的广泛应用促进了数据的快速增长，存储形式经历了从传统存储到大数据存储1.0再到大数据存储2.0的变化，以应对海量数据的挑战。1.0时代解决了海量存储的问题，数据可以通过分布式架构和软件定义来存储。在2.0时代，解决了管理便捷的问题，企业可以通过多协议访问、生命周期管理、异构存储管理、混合云管理来很好地管理数据。

存储引擎智能引擎：更强大的金属氧化物半导体对象存储

企业花费资本存储数据，最终是为了利用数据的价值创造经济效益。如果存储还是一个“傻盒子”，只能存储而不能感知数据，无法满足企业的真实需求。企业对数据价值利用的强烈需求推动大数据存储进入3.0时代。这就要求存储足够智能，能够基于数据感知实现数据处理和智能调度，基于应用感知加速访问，通过存储本身的智能运维降低人力依赖。这样，企业就可以很好地利用数据，构建以智能存储为数字基础的面向未来的IT基础设施。杉岩MOS海量对象存储的智能数据处理引擎承担着这一使命。

图1。海量数据的增长导致存储模式的改变

从杉岩产品策略来看，大容量存储核心引擎和智能数据处理引擎支持更强大的MOS对象存储。前者依靠分布式架构、多样化的管理策略和全面的企业级特性，满足企业存储和管理海量数据的需求；后者依托开放的平台和强大的数据处理能力，实现了基于数据感知的智能调度，满足了智能数据处理和数据价值挖掘的需求。双引擎驱动使MOS对象存储集海量数据存储、管理和价值挖掘于一体，无疑是企业应对大数据挑战的绝佳选择。

图2: MOS双引擎驱动智能应用

智能数据处理引擎：加速智能应用并释放数据价值

随着数字化的到来，大数据和人工智能的发展已经超出预期，其在各个行业的应用也逐渐普及。企业利用AI挖掘数据价值的需求不言而喻。在传统模式下，挖掘数据库文件等结构化数据的价值相对容易，但挖掘图像、音频、视频等非结构化数据的价值比较困难。

MOS的智能数据处理引擎就是为此而诞生的。通过对非结构化数据的多维标注和结构化处理，可以更容易地发现有价值的数据，实现更高效的价值挖掘。借助智能数据处理引擎，数据处理能力融入存储。通过与海量存储核心引擎的高效联动和基于数据感知的智能调度，大大简化了业务流程，提高了业务效率。

图3。智能数据处理引擎的工作流程

目前，智能数据处理引擎已经帮助许多行业客户实现了数据的高效价值挖掘，增加了收入。

智能管理10亿份文档，帮助广发证券构建内容管理平台

广发证券原有的档案管理往往需要业务员的眼睛筛选，费时易错，档案查询不够准确。采用智能数据处理引擎后，在存储客户的电子文件时，通过身份证识别插件提取客户姓名、出生日期、身份证号等信息并进行标注。后续营业厅工作人员可以通过文件检索界面，根据标签信息直接搜索文件，也可以自定义检索模板，方便高效。此外，为了满足合规性要求，合同文件(Word文件)需要转换为pDF文件并添加水印后才能归档。本项目对相关文件设置生命周期策略，自动调用智能数据处理引擎的文档格式转换(Word转pDF)和水印功能。处理后的文件自动转移到目标桶，全流程基于生命周期策略自动触发，无需人工干预，大大提高了业务效率。

图4。智能数据处理引擎处理身份证照片和文件

智能存储有助于提高质检效率，并帮助UTAC 节省公司节省20%的存储空间

UTAC是世界十大芯片封装和测试制造商之一。在其芯片封装测试生产线上，通过工业相机拍摄芯片高清图像(BMp格式，单张30MB以上)，进行智能质检。日数据增量80TB，月文件增量1.3亿，存储3-4个月。估计需要pB级的存储空间。经过进一步沟通，了解到有些图片前三天只需要高清格式，方便人工审核，三天后才存档检索，或者直接删除。利用智能数据处理引擎，将BMp图片转换为JpG图片(每张10MB以内)，并基于图片标签实现自动生命周期管理(如到期后自动删除图片，转码后在冷池存档)。该方案帮助用户节省20%的存储空间，数据处理效率较传统方案提升30%，整体成本降低60%以上。

图5。智能数据处理引擎对图像文件的自动处理

智能数据处理引擎在机器学习场景中的应用

在机器学习场景中，训练材料主要是图片。如果原始素材是视频文件，可以通过MOS智能数据处理引擎从存储器中提取视频，提取后生成的图片用于训练推理。如果有特殊需求，可以对提取的帧进行二次处理或自定义标签，然后用于推理训练，可以显著提高训练效率。

打开生态，搭建强大的智能处理平台

就像应用市场一样，杉岩MOS智能数据处理引擎是一个开放的平台，可以集成丰富的第三方插件，比如身份证识别和票据识别插件，以及微模公司的人脸识别和车辆识别插件。用户可以根据需要添加插件来扩展他们的数据处理能力。

目前MOS智能数据处理引擎支持图像转码、图像裁剪、水印、身份证识别、人脸识别、车牌识别、票据识别、文档识别、语音识别、内容提取、文件格式转换等20多项处理功能。为用户提供更强大的智能处理平台，满足不同场景的数据处理需求。

智能数据处理引擎的使用有多容易？请戳一下视频，快速看一下

智能数据处理引擎是杉岩数据面向大数据存储发展趋势的解决方案。在海量存储和便捷管理的基础上，存储可以“理解”数据，实现基于数据感知的数据预处理和智能调度，简化业务流程；基于应用感知实现访问加速，快速响应业务需求；依靠智能运维降低人力依赖，打造更强的智能数字底座，为未来打造智能IT基础设施。

« B站的分界点 | 死过一次的直播，李佳琦、薇亚他们让它再生吗？ »