Skip to content

1 没有uer/utils/data.py 文件 2 使用BERT-WWM对整词进行遮罩,如何添加自定义领域词典? #359

Open
@943433536

Description

  1. readme文件里说可以通过修改 uer/utils/data.py 中的代码将分词工具由jieba替换为其他分词工具。但是没有 uer/utils/data.py 这个文件,我在 uer/utils/mask.py文件里找到了import jieba,请问修改mask文件是否正确?
  2. 是否可以直接加上一句jieba.load_userdict()实现添加自定义词典?还需要对google_zh_vocab.txt进行修改吗?

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions