MIRACL (ja)嵌入cohere.ai多语言22-12编码器

我们使用多语言22-12嵌入模型对 MIRACL dataset 进行了编码。

查询嵌入可以在 Cohere/miracl-ja-queries-22-12 中找到，语料库嵌入可以在 Cohere/miracl-ja-corpus-22-12 中找到。

有关原始数据集，请参见 miracl/miracl 和 miracl/miracl-corpus 。

数据集信息：

MIRACL ???（跨语言信息检索）是一个多语言检索数据集，重点是搜索18种不同语言，这些语言在全球范围内拥有超过30亿的母语使用者。

每种语言的语料库是从维基百科转储中准备的，我们仅保留纯文本并丢弃图像、表格等。每篇文章都使用WikiExtractor根据自然语言处理单元（例如维基标记中的\n\n）划分为多个段落。每个段落都包含一个“文档”或检索单元。我们保留每个段落的维基百科文章标题。

嵌入

我们使用我们的多语言22-12嵌入模型计算标题+文本的嵌入，该模型是一种在100种语言中进行语义搜索的最先进模型。如果您想了解更多关于此模型的信息，请查看 cohere.ai multilingual embedding model 。

加载数据集

在 miracl-ja-corpus-22-12 中，我们提供了语料库嵌入。请注意，根据所选的分割，相应的文件可能非常大。

您可以像这样加载数据集：

from datasets import load_dataset
docs = load_dataset(f"Cohere/miracl-ja-corpus-22-12", split="train")

或者您也可以在不在下载之前将其流式传输：

from datasets import load_dataset
docs = load_dataset(f"Cohere/miracl-ja-corpus-22-12", split="train", streaming=True)

for doc in docs:
    docid = doc['docid']
    title = doc['title']
    text = doc['text']
    emb = doc['emb']

搜索

请查看 miracl-ja-queries-22-12 ，我们在那里提供了MIRACL数据集的查询嵌入。

要在文档中进行搜索，必须使用点积。

然后将此查询嵌入与向量数据库（推荐）或直接计算点积进行比较。

完整的搜索示例：

# Attention! For large datasets, this requires a lot of memory to store
# all document embeddings and to compute the dot product scores.
# Only use this for smaller datasets. For large datasets, use a vector DB

from datasets import load_dataset
import torch

#Load documents + embeddings
docs = load_dataset(f"Cohere/miracl-ja-corpus-22-12", split="train")
doc_embeddings = torch.tensor(docs['emb'])

# Load queries 
queries = load_dataset(f"Cohere/miracl-ja-queries-22-12", split="dev")

# Select the first query as example
qid = 0
query = queries[qid]
query_embedding = torch.tensor(queries['emb'])

# Compute dot score between query embedding and document embeddings
dot_scores = torch.mm(query_embedding, doc_embeddings.transpose(0, 1))
top_k = torch.topk(dot_scores, k=3)

# Print results
print("Query:", query['query'])
for doc_id in top_k.indices[0].tolist():
    print(docs[doc_id]['title'])
    print(docs[doc_id]['text'])

您可以使用我们的API获取新查询的嵌入：

#Run: pip install cohere
import cohere
co = cohere.Client(f"{api_key}")  # You should add your cohere API Key here :))
texts = ['my search query']
response = co.embed(texts=texts, model='multilingual-22-12')
query_embedding = response.embeddings[0] # Get the embedding for the first text

性能

在下表中，我们将cohere 多语言22-12模型与Elasticsearch版本8.6.0词汇搜索（标题和段落作为独立字段索引）进行了比较。请注意，Elasticsearch不支持MIRACL数据集中的所有语言。

我们计算nDCG@10（基于排序的损失），以及hit@3：前3个结果中是否有至少一个相关文档。我们发现hit@3更容易解释，因为它表示在前3个结果中找到相关文档的查询数量。

注意：MIRACL仅对部分段落（每个查询10个）进行了相关性注释。特别对于较大的维基百科（例如英语），我们经常发现更多相关段落。这被称为注释空洞。实际的nDCG@10和hit@3性能可能高于所示。

其他语言（Elasticsearch不支持）：