在当今信息爆炸的时代，如何高效地存储和检索数据成为了一个亟待解决的问题。传统的关系数据库在处理复杂数据时显得力不从心，特别是在面对文本、图像等非结构化数据时，向量数据库的出现为我们提供了一种新的解决方案。本文将深入探讨如何通过 SQLite 和 Python 实现向量数据库，具体实现过程和算法细节将一一呈现。
🛠️ 向量数据库的基础：SQLite-Vec 扩展
1.1 安装 SQLite-Vec
首先，我们需要安装 SQLite-Vec，这是一个扩展 SQLite 的库，专门用于处理向量数据。通过以下命令，我们可以轻松安装这个库：
pip install sqlite-vec
在安装完成后，我们可以通过 Python 的 sqlite3 模块来使用这个扩展。
1.2 创建数据库和虚拟表
安装完成后，我们可以开始创建数据库并加载 SQLite-Vec 扩展。以下是具体的 Python 代码示例：
import sqlite3
import sqlite_vec
# 创建一个内存数据库
db = sqlite3.connect(":memory:")
# 启用扩展
db.enable_load_extension(True)
# 加载 SQLite-Vec 扩展
sqlite_vec.load(db)
# 禁用扩展
db.enable_load_extension(False)
# 创建一个虚拟表，用于存储向量
db.execute("CREATE VIRTUAL TABLE vec_examples USING vec0(sample_embedding float[8])")
在这段代码中，我们首先创建了一个内存数据库，然后加载了 SQLite-Vec 扩展。接着，我们创建了一个虚拟表 vec_examples，该表将用于存储 8 维的浮点数向量。这里的 float[8] 表示每个向量包含 8 个浮点数。
1.3 插入向量数据
有了虚拟表后，我们可以开始插入向量数据。以下是插入数据的代码示例：
# 插入向量数据
db.executemany("INSERT INTO vec_examples(rowid, sample_embedding) VALUES (?, ?)", [
(1, '[-0.200, 0.250, 0.341, -0.211, 0.645, 0.935, -0.316, -0.924]'),
(2, '[0.443, -0.501, 0.355, -0.771, 0.707, -0.708, -0.185, 0.362]'),
(3, '[0.716, -0.927, 0.134, 0.052, -0.669, 0.793, -0.634, -0.162]'),
(4, '[-0.710, 0.330, 0.656, 0.041, -0.990, 0.726, 0.385, -0.958]')
])
在这个示例中，我们使用 executemany 方法批量插入了四个向量。每个向量都是一个 8 维的浮点数数组，代表某种特征或信息。插入数据时，rowid 是每个向量的唯一标识符，而 sample_embedding 则是存储的向量数据。
1.4 执行向量查询
向量数据插入完成后，我们可以进行向量查询。以下是执行查询的代码示例：
# 执行向量查询
result = db.execute("""
SELECT rowid, distance
FROM vec_examples
WHERE sample_embedding MATCH '[0.890, 0.544, 0.825, 0.961, 0.358, 0.0196, 0.521, 0.175]'
ORDER BY distance
LIMIT 2
""").fetchall()
# 打印查询结果
print(result)
在这段代码中，我们通过 MATCH 语句来查找与给定向量最相似的向量，并按照距离排序，限制返回结果为前两个。distance 是表示向量之间相似度的度量，通常是欧几里得距离或余弦相似度。这样，我们就实现了基于向量相似度的查询。
🌐 结合 LangChain 的 SQLiteVec
2.1 安装 LangChain 相关库
除了使用 SQLite-Vec，我们还可以结合 LangChain 的 SQLiteVec 来实现更强大的向量存储和检索功能。首先，我们需要安装相关库：
pip install -qU langchain-community
pip install --upgrade --quiet sqlite-vec
2.2 初始化向量存储
安装完成后，我们可以初始化向量存储。以下是具体的代码示例：
from langchain_community.embeddings.sentence_transformer import SentenceTransformerEmbeddings
from langchain_community.vectorstores import SQLiteVec
# 初始化嵌入函数
embedding_function = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")
# 创建 SQLiteVec 向量存储
vector_store = SQLiteVec(
table="state_union",
db_file="/tmp/vec.db",
embedding=embedding_function
)
在这段代码中，我们使用了 SentenceTransformerEmbeddings 来生成文本的嵌入向量，并将其存储在 SQLiteVec 中。model_name 指定了使用的模型，这里我们选择了 all-MiniLM-L6-v2，这是一个轻量级的模型，适合快速生成文本嵌入。
2.3 添加数据到向量存储
接下来，我们可以将文本数据添加到向量存储中。以下是添加数据的代码示例：
# 添加文本数据到向量存储
vector_store.add_texts(texts=["Ketanji Brown Jackson is awesome", "foo", "bar"])
在这段代码中，我们将三条文本数据添加到向量存储中。每条文本将被转换为向量并存储，以便后续的相似度查询。add_texts 方法会自动处理文本的嵌入生成和存储过程。
2.4 查询向量存储
最后，我们可以对向量存储进行查询。以下是查询的代码示例：
# 查询向量存储
data = vector_store.similarity_search("Ketanji Brown Jackson", k=4)
# 打印查询结果
print(data)
在这段代码中，我们通过 similarity_search 方法查询与 "Ketanji Brown Jackson" 最相似的四条数据。k 参数指定返回的结果数量。这样，我们就实现了基于文本内容的向量相似度搜索。
🔍 向量数据库的优势与应用场景
向量数据库的出现为信息检索带来了革命性的变化。与传统的关系数据库相比，向量数据库在处理非结构化数据方面具有显著优势。它能够将文本、图像等数据转换为向量形式，从而实现高效的相似度搜索。这种能力使得向量数据库在以下领域得到了广泛应用：
- 自然语言处理：在聊天机器人、智能客服等场景中，向量数据库能够快速找到与用户输入最相关的答案。
- 推荐系统：通过分析用户的历史行为，将其转换为向量，向量数据库可以为用户推荐最相关的商品或内容。
- 图像检索：在图像搜索引擎中，用户可以通过上传一张图片，向量数据库能够找到与之相似的图片。
📈 未来展望
随着深度学习和人工智能技术的不断发展，向量数据库将会在更多领域发挥重要作用。我们可以预见，未来的数据库不仅仅是存储数据的工具，而是将成为智能决策的重要支持系统。通过不断优化算法和扩展功能，向量数据库将为我们提供更加强大和灵活的数据处理能力。
📚 参考文献
- SQLite-Vec Documentation.
- LangChain Community Documentation.
- Sentence Transformers Documentation.
- Vector Databases: A Comprehensive Guide.
- Efficient Similarity Search in High-Dimensional Spaces.
