数据集:

allegro/klej-polemo2-in

语言:

pl

计算机处理:

monolingual

大小:

1K<n<10K

语言创建人:

other

批注创建人:

expert-generated

源数据集:

original
英文

klej-polemo2-in

描述

PolEmo2.0是一个包含四个领域(药品、酒店、产品和大学)在线消费者评论的数据集。该数据集通过全面评论和个别句子进行人工注释。它包含8000多条评论,其中约85%来自药品和酒店领域。

我们利用PolEmo2.0数据集进行了两项任务。两个任务使用相同的训练数据集,即药品和酒店领域的评论,但在不同的测试集上进行评估。

第一个任务是在域内(In-Domain)的任务,我们使用准确率来评估模型在域内上的表现,即在药品和酒店领域的测试集上。

任务(输入、输出和指标)

任务是预测评论的正确标签。

输入('text'列):句子

输出('target'列):句子情感的标签('zero':中性,'minus':负面,'plus':正面,'amb':模糊)

领域:在线评论

指标:准确率

示例:

输入:医生建议我采用与目前不同的替代疗法,所以我还没给出最高评分(我们将看到它的实际效果有多好)。对于这位医生,我没有任何保留:非常专业和有修养。唯一的缺点是诊所不够现代化,可能会让患者感到不满。

输入(由DeepL翻译):医生建议我采用与目前不同的替代疗法,所以我还没给出最高评分(我们将看到它的实际效果有多好)。对于这位医生,我没有任何保留:非常专业和有修养。唯一的缺点是诊所不够现代化,可能会让患者感到不满。

输出:amb(模糊)

数据拆分

Subset Cardinality
train 5783
test 722
validation 723

训练集中的类别分布

Class Sentiment train validation test
minus positive 0.379 0.375 0.416
plus negative 0.271 0.289 0.273
amb ambiguous 0.182 0.160 0.150
zero neutral 0.168 0.176 0.162

引用

@inproceedings{kocon-etal-2019-multi,
    title = "Multi-Level Sentiment Analysis of {P}ol{E}mo 2.0: Extended Corpus of Multi-Domain Consumer Reviews",
    author = "Koco{\'n}, Jan  and
      Mi{\l}kowski, Piotr  and
      Za{\'s}ko-Zieli{\'n}ska, Monika",
    booktitle = "Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/K19-1092",
    doi = "10.18653/v1/K19-1092",
    pages = "980--991",
    abstract = "In this article we present an extended version of PolEmo {--} a corpus of consumer reviews from 4 domains: medicine, hotels, products and school. Current version (PolEmo 2.0) contains 8,216 reviews having 57,466 sentences. Each text and sentence was manually annotated with sentiment in 2+1 scheme, which gives a total of 197,046 annotations. We obtained a high value of Positive Specific Agreement, which is 0.91 for texts and 0.88 for sentences. PolEmo 2.0 is publicly available under a Creative Commons copyright license. We explored recent deep learning approaches for the recognition of sentiment, such as Bi-directional Long Short-Term Memory (BiLSTM) and Bidirectional Encoder Representations from Transformers (BERT).",
}

许可证

Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)

链接

HuggingFace

Source

Paper

示例

加载

from pprint import pprint

from datasets import load_dataset

dataset = load_dataset("allegro/klej-polemo2-in")
pprint(dataset['train'][0])

# {'sentence': 'Super lekarz i człowiek przez duże C . Bardzo duże doświadczenie '
#              'i trafne diagnozy . Wielka cierpliwość do ludzi starszych . Od '
#              'lat opiekuje się moją Mamą staruszką , i twierdzę , że mamy duże '
#              'szczęście , że mamy takiego lekarza . Naprawdę nie wiem cobyśmy '
#              'zrobili , gdyby nie Pan doktor . Dzięki temu , moja mama żyje . '
#              'Każda wizyta u specjalisty jest u niego konsultowana i uważam , '
#              'że jest lepszy od każdego z nich . Mamy do Niego prawie '
#              'nieograniczone zaufanie . Można wiele dobrego o Panu doktorze '
#              'jeszcze napisać . Niestety , ma bardzo dużo pacjentów , jest '
#              'przepracowany ( z tego powodu nawet obawiam się o jego zdrowie ) '
#              'i dostęp do niego jest trudny , ale zawsze możliwy .',
#  'target': '__label__meta_plus_m'}

评估

import random
from pprint import pprint

from datasets import load_dataset, load_metric

dataset = load_dataset("allegro/klej-polemo2-in")
dataset = dataset.class_encode_column("target")
references = dataset["test"]["target"]

# generate random predictions
predictions = [random.randrange(max(references) + 1) for _ in range(len(references))]

acc = load_metric("accuracy")
f1 = load_metric("f1")

acc_score = acc.compute(predictions=predictions, references=references)
f1_score = f1.compute(predictions=predictions, references=references, average="macro")

pprint(acc_score)
pprint(f1_score)

# {'accuracy': 0.25069252077562326}
# {'f1': 0.23760962219870274}