
文本数据的情感分析
|
341
户。在上述情况下,我们可能并没有太多数据来训练模型,但是高准确率非常重要。
我们知道,情感会受到单词所在上下文的影响,而且使用预训练模型可以提高情感
预测。这样,我们就能够突破数据集的限制,从语言的常见用法中学习知识。
在这个案例中,我们将使用
Transformers
库,它提供了非常易用的功能,而且广泛
支持多种预训练模型。有关这个话题的讨论请参见下面的介绍。
Transformers
库一
直在不断更新,这要归功于多位研究人员的贡献。
选择
Transformers
库
虽然很多研究小组都推出了优秀的深度学习模型,但是目前它们都各成一派,
不同框架之间并不兼容。例如,BERT 模型主要是谷歌研究小组在 TensorFlow
上开发出来的,无法在 PyTorch 上运行。因此,如果有人想使用 PyTorch,
则必须移植或重写所有的代码。此外,这些深度学习模型并没有标准的输入
格式以及其他命名约定,因此很难实现标准化的方法。为此,我们可以考虑
Hugging Face 提供的 Transformers 库(
https://oreil.ly/F0Vy7
)。使用这个库有
两个主要的优势:
• 在 Transformers 库的帮助下,选择不同的预训练模型只需修改变量值即可。
该库实现并提供了最近两年开发的大多数标杆模型,如 BERT、GPT-2 等。
• 该库可以在 PyTorch 和 TensorFlow 中运行。这是到 2020 年为止最流行的
两大深度学习框架,如果使用 Transformers ...