huaian
/
MyBERT
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
10 Commits 1 Branch 0 Tags 58 MiB
Python 100%
Go to file
huaian_zhou f79f229ac1 添加README和教程文件 2024-01-13 17:50:55 +08:00
archive 实现BertConfig类 2024-01-13 17:49:23 +08:00
data 实现基于BERT的MLM和NSP预训练数据集加载类 2024-01-13 17:50:36 +08:00
doc 添加README和教程文件 2024-01-13 17:50:55 +08:00
imgs 基于BERT的MLM和NSP预训练模型实现 2024-01-13 17:50:42 +08:00
model 基于BERT的MLM和NSP预训练模型实现 2024-01-13 17:50:42 +08:00
tasks 基于BERT的MLM和NSP预训练模型实现 2024-01-13 17:50:42 +08:00
test 基于BERT的MLM和NSP预训练模型实现 2024-01-13 17:50:42 +08:00
utils 添加README和教程文件 2024-01-13 17:50:55 +08:00
README.md 添加README和教程文件 2024-01-13 17:50:55 +08:00

README.md

BERT模型项目

  • 环境准备
    • Python 3.9
    • Pytorch 1.12
    • torchtext 0.13.0

基于BERT的文本分类任务

  • 文本分类
    • python ./tasks/sentence_classification.py

基于BERT的文本蕴含任务

  • 文本蕴含
    • python ./tasks/pair_sentence_classification.py

基于BERT的MLM、NSP预训练任务

  • 预训练
    • python ./tasks/pretraining.py