向量数据库:GenAI 时代的新宠儿,企业应用与选择的探讨
向量数据库将走向产业深处向量数据库并不是一个全新的事物,向量化功能一直都是机器学习处理非结构化数据的重要技术手段,在2017年上一波AI发展的时候,也有一些向量检索应用,但是由于场景有限需求不足,并没有快速发展起来。未来结合GPU、TPU等新硬件是向量数据库的发展方向。
随着大型语言模型的爆发式增长,向量数据库成为GenAI时代的新宠。根据DB-的数据显示,向量数据库是过去36个月中最受欢迎的数据库类别。
来自 DB 网站
去年,我们预测矢量数据库的采用将大幅上升,预计到 2026 年,30% 的企业将把矢量数据库集成到其生成式 AI 模型中。
矢量数据库为何如此受欢迎?矢量数据库在GenAI时代将扮演怎样的角色?企业如何应用矢量数据库?如何选择合适的矢量数据库?近日,ITPUB就以上问题采访了 的专家,共同探讨矢量数据库的发展趋势与应用实践。
矢量数据库将深入行业
相比于去年的百模大战,今年大模型的热度出现了放缓的迹象,比拼从模型参数转向应用,大家对矢量数据库的关注也转向了应用实现。
向量数据库并不是新鲜事物,向量化一直是机器学习处理非结构化数据的重要技术手段。2017年上一波AI发展浪潮中,也出现了一些向量检索的应用,但由于场景有限、需求不足,并没有快速发展起来。向量数据库支持模糊搜索,可以结合大语言模型进行查询和检索,帮助大模型落地,挖掘数据的价值。近两年随着大模型的发展,向量数据库也开始受到关注。
矩阵起源研发副总裁赵晨阳认为,在过去的一年里,大家对向量数据库的态度更加理性,更加关注如何将其投入实际应用。
如今,文本、图片、音频、视频等半结构化和非结构化数据的比例越来越高,且增长迅速。在政企行业智能化转型过程中,对文档、图片、音视频数据分析的需求越来越大。然而,处理和分析大规模文档、图片、音视频数据面临着存储、检索、计算等方面的挑战。
传统数据库针对结构化数据的精准匹配进行优化,而矢量数据库支持专门的矢量索引,擅长对复杂、高维数据进行高级相似性查找,并提供复杂数据查询所需的高性能,为政府和企业组织提供复杂、高维数据的查询和分析能力。
比如,过去企业一般使用ES对文档进行全文检索,而现在可以通过向量数据库中的模糊匹配快速获取有用信息;向量数据库也可以通过比对各自的向量,在很短的时间内,快速找到数据库中与给定图像在视觉上相似的所有图像。
在音视频处理上,通过对音视频进行向量化,可以实现以图搜图,以音视频搜音视频,结合大模型的语义理解能力,还可以实现用自然语言进行图片、音视频的搜索。
例如在安防监控场景中,可以利用自然语言分析某一时间段或某一场景的视频特征;在城市监控系统中,矢量数据库可以实时分析摄像头拍摄的视频流,发现人群聚集、交通事故等异常事件,并自动标记和存储,以便后续分析处理;同时,该数据库还可以与其他系统进行集成,如在警务系统中提供综合情报支持。
赵晨阳指出,有了向量数据库,就不需要像过去一样从图片、音频/视频中提取大量的特征,而是可以通过大语言模型结合自然语言搜索能力,直接用向量来检索和分析数据。向量数据库为企业处理非结构化数据提供了更灵活有效的方法,简化了数据处理流程,通过向量匹配可以快速找到想要的结果,提升企业数据利用效率,放大数据的价值。
目前向量数据库有着非常广泛的应用场景,例如RAG、图像相似性搜索、推荐引擎优化、客户体验个性化、异常检测、搜索引擎和欺诈检测等。
专有vs多模,超融合带来更好体验
为了满足日益增长的矢量化需求,数据库行业正在加紧“生产”矢量功能,包括独立的专有矢量数据库和支持其他数据类型矢量检索的多模型数据库。
专有向量数据库面向 GenAI、搜索和检索增强生成 (RAG) 应用而设计,一般具有先进的索引和哈希技术,在向量嵌入的存储、索引和搜索方面具有优势,但在支持第三方工具和生态系统方面不如多模态数据库。
矩阵本源数据库负责人高斌指出,客户在实现AI应用时,基本都会用到矢量数据库以外的一些传统数据库功能,比如精准检索功能、第三方生态集成等。此时自有的矢量数据库已经不能很好地满足需求,多模数据库是更好的选择。
多模型数据库的增长非常迅速:该公司的一项新研究发现,到 2026 年,75% 的传统数据库(关系型数据库和 NoSQL)将在其产品中具备矢量功能。
不过多模式数据库也有不同的类型,常见的是基于支持向量检索的开源数据库PG的插件模式。赵晨阳介绍,如果需要轻松集成、快速实现向量数据库应用,这种插件模式是更好的选择。但长期来看可能会带来较高的维护成本,因为向量数据库的算法迭代非常快,而算法的迭代需要对向量数据库内核、数据存储结构进行大量的优化。如果采用开源数据库+插件的模式,最终的表现会受到社区插件开发节奏的限制。
另一类是超融合数据库,以 为代表,今年增加了矢量数据库引擎,为企业提供简单易用、低成本的矢量数据库解决方案。
高斌介绍,企业在选择矢量数据库时,除了关注高可用、稳定性、可扩展等通用数据库能力外,还关注矢量数据库的功能。矢量数据库很多时候需要和关系型数据库、其他NoSQL数据库结合使用。像这种超融合数据库可以支持关系型、文本、JSON、矢量等多模数据处理如何优化网站,可以将多种用户应用统一到一个平台上,简化企业IT架构,降低使用门槛和开发维护成本。
未来, 会根据技术发展和用户需求,打造适合用户的超融合数据库。超融合不是一个固定的概念,没有严格的界限。“功能越多,系统复杂度就越高,我们在增加功能时,会尽可能保证系统的复杂度降低,为客户提供简洁易用、高性能、高可用的数据库。”高斌说。
摘要:未来不仅仅是矢量数据库
赵晨阳指出,从文本、图片到音视频的多模态化发展对数据处理能力提出了更高的要求,未来与GPU、TPU等新型硬件的结合将是矢量数据库的发展方向。
现在越来越多的企业想要应用AI/大模型,但很多企业缺乏对人工智能的了解和相关的技术储备,直接应用向量数据库门槛较高,希望有一个简单易用的端到端AI解决方案。
算力、算法(模型)和数据是GenAI时代应用AI的三大要素。 致力于构建数据智能全局操作系统,将由大规模异构算力管理调度平台、超融合异构数据管理平台(超融合数据库)和AI智能应用开发平台三部分组成,打造链接算力、数据、知识、模型和企业应用的AI软件平台如何优化网站,简化数据与算力之间的连接和管理,提供简单易用的端到端AI解决方案。
今年推出的AI代理应用开发平台提供大规模模型运算与AI代理开发,协助用户进行标注、模型微调,并结合向量数据库,为企业提供更加灵活、易用的端到端AI解决方案,帮助企业结合算力、数据和应用场景更好地构建GenAI应用。
目前,生成式AI的应用还处于早期阶段,更多的价值等待被发现和挖掘。 为企业提供了便捷的平台和工具,帮助企业更好地进入GenAI时代。