命名实体识别工具,支持BertSoftmax、BertCrf、BertSpa,开箱即用



nerpy实现了BertSoftmax、BertCrf、BertSpan等多种命名实体识别模型,并在标准数据集上比较了各模型的效果。



Evaluation

命名实体识别工具,支持BertSoftmax、BertCrf、BertSpa,开箱即用的图1



说明:

  • 结果值均使用F1

  • 结果均只用该数据集的train训练,在test上评估得到的表现,没用外部数据

  • shibing624/bert4ner-base-chinese模型达到同级别参数量SOTA效果,是用BertSoftmax方法训练, 运行examples/training_ner_model_file_demo.py代码可在各中文数据集复现结果

  • shibing624/bert4ner-base-uncased模型是用BertSoftmax方法训练, 运行examples/training_ner_model_eng_demo.py代码可在CoNLL-2003英文数据集复现结果

  • 各预训练模型均可以通过transformers调用,如中文BERT模型:--model_name bert-base-chinese

  • 中文实体识别数据集下载链接见下方

  • QPS的GPU测试环境是Tesla V100,显存32GB

Install

python 3.8+

pip install torch # conda install pytorchpip install -U nerpy

or

pip install torch pip install -r requirements.txt

git clone https://github.com/shibing624/nerpy.git nerpy
默认 最新
当前暂无评论,小编等你评论哦!
点赞 评论 收藏
关注