
标记行为
| 77
True
已经核实的
Statement
。
Mostly True
主要的
Statement
是正确的。
Mixture
只有部分
Statement
正确。
Mostly False
大部分
Statement
无法核实。
False
大部分
Statement
都是错误的。
其他评级为“
Unproven
”“
Outdated
”“
Miscaptioned
”“
Correct Attribution
”等 。
对于标签函数,我们对
True
和
Mostly True
的案例返回“真”,对于混合的
案例进行
ABSTAIN
操作,对其余评级返回“假”。“
Correct Attribution
”仅
表示声明归属于正确的
speaker
,并没有核实声明本身的真实性,如图
3-3
所示。
由于最具争议的声明大多都是从不可信的
Statement
而来,我们可能错误评估
出“这可能是假新闻”这一结果。这时,
ABSTAIN
或许是另一个更好的选择:
@labeling_function()
def label_snopes(row):
label = str(row["www.snopes.com"])
if label != "nan":
if "True" in label:
return REAL
elif "Mixture" in label:
return ABSTAIN
else:
return FAKE
else:
return ABSTAIN