技术标签: 数学建模 深度学习 人工智能 自然语言处理 bert
命名实体识别NER任务是NLP的一个常见任务,
它是Named Entity Recognization的简称。
简单地说,就是识别一个句子中的各种 名称实体。
诸如:人名,地名,机构 等。
例如对于下面这句话:
小明对小红说:"你听说过安利吗?"
它的NER抽取结果如下:
[{'entity': 'person',
'word': '小明',
'start': 0,
'end': 2},
{'entity': 'person',
'word': '小红',
'start': 3,
'end': 5},
{'entity': 'organization',
'word': '安利',
'start': 12,
'end': 14}]
本质上NER是一个token classification任务, 需要把文本中的每一个token做一个分类。
那些不是命名实体的token,一般用大'O'表示。
值得注意的是,由于有些命名实体是由连续的多个token构成的,为了避免有两个连续的相同的命名实体无法区分,需要对token是否处于命名实体的开头进行区分。
例如,对于下面这句话。
我爱北京天安门
如果我们不区分token是否为命名实体的开头的话,可能会得到这样的token分类结果。
我(O) 爱(O) 北(Loc) 京(Loc) 天(Loc) 安(Loc) 门(Loc)
然后我们做后处理的时候,把类别相同的token连起来,会得到一个location实体 '北京天安门'。
但是,’北京‘ 和 ’天安门‘ 是两个不同的location实体,把它们区分开来更加合理一些. 因此我们可以这样对token进行分类。
我(O) 爱(O) 北(B-Loc) 京(I-Loc) 天(B-Loc) 安(I-Loc) 门(I-Loc)
我们用 B-Loc表示这个token是一个location实体的开始token,用I-Loc表示这个token是一个location实体的内部(包括中间以及结尾)token.
这样,我们做后处理的时候,就可以把 B-loc以及它后面的 I-loc连成一个实体。这样就可以得到’北京‘ 和 ’天安门‘ 是两个不同的location的结果了。
区分token是否是entity开头的好处是我们可以把连续的同一类别的的命名实体进行区分,坏处是分类数量会几乎翻倍(n+1->2n+1)。
在许多情况下,出现这种连续的同命名实体并不常见,但为了稳妥起见,区分token是否是entity开头还是十分必要的。
公众号算法美食屋后台回复关键词:torchkeras,获取本文notebook代码和车道线数据集下载链接。
import numpy as np
import pandas as pd
from transformers import BertTokenizer
from torch.utils.data import DataLoader,Dataset
from transformers import DataCollatorForTokenClassification
import datasets
datadir = "./data/cluener_public/"
train_path = datadir+"train.json"
val_path = datadir+"dev.json"
dftrain = pd.read_json(train_path,lines=True)
dfval = pd.read_json(train_path,lines=True)
entities = ['address','book','company','game','government','movie',
'name','organization','position','scene']
label_names = ['O']+['B-'+x for x in entities]+['I-'+x for x in entities]
id2label = {i: label for i, label in enumerate(label_names)}
label2id = {v: k for k, v in id2label.items()}
text = dftrain["text"][43]
label = dftrain["label"][43]
print(text)
print(label)
世上或许有两个人并不那么喜欢LewisCarroll的原著小说《爱丽斯梦游奇境》(
{'book': {'《爱丽斯梦游奇境》': [[31, 39]]},
'name': {'LewisCarroll': [[14, 25]]}}
from transformers import BertTokenizer
model_name = 'bert-base-chinese'
tokenizer = BertTokenizer.from_pretrained(model_name)
tokenized_input = tokenizer(text)
print(tokenized_input["input_ids"])
[101, 686, 677, 2772,..., 518, 113, 102]
#可以从id还原每个token对应的字符组合
tokens = tokenizer.convert_ids_to_tokens(tokenized_input["input_ids"])
for t in tokens:
print(t)
[CLS]
世
上
或
许
有
两
个
人
并
不
那
么
喜
欢
[UNK]
的
原
著
小
说
《
爱
丽
斯
梦
游
奇
境
》
(
[SEP]
可以看到,经过文本分词后的token长度与文本长度并不相同,
主要有以下一些原因导致:一是BERT分词后会增加一些特殊字符如 [CLS]
,[SEP]
二是,还会有一些英文单词的subword作为一个 token. (如这个例子中的 'charles'),
此外,还有一些未在词典中的元素被标记为[UNK]
会造成影响。
因此需要给这些token赋予正确的label不是一个容易的事情。
我们分两步走,第一步,把原始的dict形式的label转换成字符级别的char_label
第二步,再将char_label对齐到token_label
# 把 label格式转化成字符级别的char_label
def get_char_label(text,label):
char_label = ['O' for x in text]
for tp,dic in label.items():
for word,idxs in dic.items():
idx_start = idxs[0][0]
idx_end = idxs[0][1]
char_label[idx_start] = 'B-'+tp
char_label[idx_start+1:idx_end+1] = ['I-'+tp for x in range(idx_start+1,idx_end+1)]
return char_label
char_label = get_char_label(text,label)
for char,char_tp in zip(text,char_label):
print(char+'\t'+char_tp)
世 O
上 O
或 O
许 O
有 O
两 O
个 O
人 O
并 O
不 O
那 O
么 O
喜 O
欢 O
L B-name
e I-name
w I-name
i I-name
s I-name
C I-name
a I-name
r I-name
r I-name
o I-name
l I-name
l I-name
的 O
原 O
著 O
小 O
说 O
《 B-book
爱 I-book
丽 I-book
斯 I-book
梦 I-book
游 I-book
奇 I-book
境 I-book
》 I-book
( O
def get_token_label(text, char_label, tokenizer):
tokenized_input = tokenizer(text)
tokens = tokenizer.convert_ids_to_tokens(tokenized_input["input_ids"])
iter_tokens = iter(tokens)
iter_char_label = iter(char_label)
iter_text = iter(text.lower())
token_labels = []
t = next(iter_tokens)
char = next(iter_text)
char_tp = next(iter_char_label)
while True:
#单个字符token(如汉字)直接赋给对应字符token
if len(t)==1:
assert t==char
token_labels.append(char_tp)
try:
char = next(iter_text)
char_tp = next(iter_char_label)
except StopIteration:
pass
#添加的特殊token如[CLS],[SEP],排除[UNK]
elif t in tokenizer.special_tokens_map.values() and t!='[UNK]':
token_labels.append('O')
elif t=='[UNK]':
token_labels.append(char_tp)
#重新对齐
try:
t = next(iter_tokens)
except StopIteration:
break
if t not in tokenizer.special_tokens_map.values():
while char!=t[0]:
try:
char = next(iter_text)
char_tp = next(iter_char_label)
except StopIteration:
pass
continue
#其它长度大于1的token,如英文token
else:
t_label = char_tp
t = t.replace('##','') #移除因为subword引入的'##'符号
for c in t:
assert c==char or char not in tokenizer.vocab
if t_label!='O':
t_label=char_tp
try:
char = next(iter_text)
char_tp = next(iter_char_label)
except StopIteration:
pass
token_labels.append(t_label)
try:
t = next(iter_tokens)
except StopIteration:
break
assert len(token_labels)==len(tokens)
return token_labels
token_labels = get_token_label(text,char_label,tokenizer)
for t,t_label in zip(tokens,token_labels):
print(t,'\t',t_label)
[CLS] O
世 O
上 O
或 O
许 O
有 O
两 O
个 O
人 O
并 O
不 O
那 O
么 O
喜 O
欢 O
[UNK] B-name
的 O
原 O
著 O
小 O
说 O
《 B-book
爱 I-book
丽 I-book
斯 I-book
梦 I-book
游 I-book
奇 I-book
境 I-book
》 I-book
( O
[SEP] O
dftrain.head()
def make_sample(text,label,tokenizer):
sample = tokenizer(text)
char_label = get_char_label(text,label)
token_label = get_token_label(text,char_label,tokenizer)
sample['labels'] = [label2id[x] for x in token_label]
return sample
from tqdm import tqdm
train_samples = [make_sample(text,label,tokenizer) for text,label in
tqdm(list(zip(dftrain['text'],dftrain['label'])))]
val_samples = [make_sample(text,label,tokenizer) for text,label in
tqdm(list(zip(dfval['text'],dfval['label'])))]
100%|██████████| 10748/10748 [00:06<00:00, 1717.47it/s]
100%|██████████| 10748/10748 [00:06<00:00, 1711.10it/s]
ds_train = datasets.Dataset.from_list(train_samples)
ds_val = datasets.Dataset.from_list(val_samples)
data_collator = DataCollatorForTokenClassification(tokenizer=tokenizer)
dl_train = DataLoader(ds_train,batch_size=8,collate_fn=data_collator)
dl_val = DataLoader(ds_val,batch_size=8,collate_fn=data_collator)
for batch in dl_train:
break
from transformers import BertForTokenClassification
net = BertForTokenClassification.from_pretrained(
model_name,
id2label=id2label,
label2id=label2id,
)
#冻结bert基模型参数
for para in net.bert.parameters():
para.requires_grad_(False)
print(net.config.num_labels)
#模型试算
out = net(**batch)
print(out.loss)
print(out.logits.shape)
import torch
from torchkeras import KerasModel
#我们需要修改StepRunner以适应transformers的数据集格式
class StepRunner:
def __init__(self, net, loss_fn, accelerator, stage = "train", metrics_dict = None,
optimizer = None, lr_scheduler = None
):
self.net,self.loss_fn,self.metrics_dict,self.stage = net,loss_fn,metrics_dict,stage
self.optimizer,self.lr_scheduler = optimizer,lr_scheduler
self.accelerator = accelerator
if self.stage=='train':
self.net.train()
else:
self.net.eval()
def __call__(self, batch):
out = self.net(**batch)
#loss
loss= out.loss
#preds
preds =(out.logits).argmax(axis=2)
#backward()
if self.optimizer is not None and self.stage=="train":
self.accelerator.backward(loss)
self.optimizer.step()
if self.lr_scheduler is not None:
self.lr_scheduler.step()
self.optimizer.zero_grad()
all_loss = self.accelerator.gather(loss).sum()
labels = batch['labels']
#precision & recall
precision = (((preds>0)&(preds==labels)).sum())/(
torch.maximum((preds>0).sum(),torch.tensor(1.0).to(preds.device)))
recall = (((labels>0)&(preds==labels)).sum())/(
torch.maximum((labels>0).sum(),torch.tensor(1.0).to(labels.device)))
all_precision = self.accelerator.gather(precision).mean()
all_recall = self.accelerator.gather(recall).mean()
f1 = 2*all_precision*all_recall/torch.maximum(
all_recall+all_precision,torch.tensor(1.0).to(labels.device))
#losses
step_losses = {self.stage+"_loss":all_loss.item(),
self.stage+'_precision':all_precision.item(),
self.stage+'_recall':all_recall.item(),
self.stage+'_f1':f1.item()
}
#metrics
step_metrics = {}
if self.stage=="train":
if self.optimizer is not None:
step_metrics['lr'] = self.optimizer.state_dict()['param_groups'][0]['lr']
else:
step_metrics['lr'] = 0.0
return step_losses,step_metrics
KerasModel.StepRunner = StepRunner
optimizer = torch.optim.AdamW(net.parameters(), lr=3e-5)
keras_model = KerasModel(net,
loss_fn=None,
optimizer = optimizer
)
keras_model.fit(
train_data = dl_train,
val_data= dl_val,
ckpt_path='bert_ner.pt',
epochs=50,
patience=5,
monitor="val_f1",
mode="max",
plot = True,
wandb = False,
quiet = True
)
from torchmetrics import Accuracy
acc = Accuracy(task='multiclass',num_classes=21)
acc = keras_model.accelerator.prepare(acc)
dl_test = keras_model.accelerator.prepare(dl_val)
net = keras_model.accelerator.prepare(net)
from tqdm import tqdm
for batch in tqdm(dl_test):
with torch.no_grad():
outputs = net(**batch)
labels = batch['labels']
labels[labels<0]=0
#preds
preds =(outputs.logits).argmax(axis=2)
acc.update(preds,labels)
acc.compute() #这里的acc包括了 ’O‘的分类结果,存在高估。
tensor(0.9178, device='cuda:0')
我们可以使用pipeline来串起整个预测流程.
注意我们这里使用内置的'simple'这个aggregation_strategy,
把应该归并的token自动归并成一个entity.
from transformers import pipeline
recognizer = pipeline("token-classification",
model=net, tokenizer=tokenizer, aggregation_strategy='simple')
net.to('cpu');
recognizer('小明对小红说,“你听说过安利吗?”')
[{'entity_group': 'name',
'score': 0.6913842,
'word': '小 明',
'start': None,
'end': None},
{'entity_group': 'name',
'score': 0.58951116,
'word': '小 红',
'start': None,
'end': None},
{'entity_group': 'name',
'score': 0.74060774,
'word': '安 利',
'start': None,
'end': None}]
保存model和tokenizer之后,我们可以用一个pipeline加载,并进行批量预测。
net.save_pretrained("ner_bert")
tokenizer.save_pretrained("ner_bert")
('ner_bert/tokenizer_config.json',
'ner_bert/special_tokens_map.json',
'ner_bert/vocab.txt',
'ner_bert/added_tokens.json')
recognizer = pipeline("token-classification",
model="ner_bert",
aggregation_strategy='simple')
recognizer('小明对小红说,“你听说过安利吗?”')
[{'entity_group': 'name',
'score': 0.6913842,
'word': '小 明',
'start': 0,
'end': 2},
{'entity_group': 'name',
'score': 0.58951116,
'word': '小 红',
'start': 3,
'end': 5},
{'entity_group': 'name',
'score': 0.74060774,
'word': '安 利',
'start': 12,
'end': 14}]
公众号后台回复关键词:torchkeras,获取本文notebook源码数据集以及更多有趣炼丹范例~
文章浏览阅读3.2k次。本文研究全球与中国市场分布式光纤传感器的发展现状及未来发展趋势,分别从生产和消费的角度分析分布式光纤传感器的主要生产地区、主要消费地区以及主要的生产商。重点分析全球与中国市场的主要厂商产品特点、产品规格、不同规格产品的价格、产量、产值及全球和中国市场主要生产商的市场份额。主要生产商包括:FISO TechnologiesBrugg KabelSensor HighwayOmnisensAFL GlobalQinetiQ GroupLockheed MartinOSENSA Innovati_预计2026年中国分布式传感器市场规模有多大
文章浏览阅读1.1k次,点赞2次,收藏12次。常用组合逻辑电路结构——为IC设计的延时估计铺垫学习目的:估计模块间的delay,确保写的代码的timing 综合能给到多少HZ,以满足需求!_基4布斯算法代码
文章浏览阅读3.3k次,点赞3次,收藏5次。OpenAI Manager助手(基于SpringBoot和Vue)_chatgpt网页版
文章浏览阅读2.2k次。USACO自1992年举办,到目前为止已经举办了27届,目的是为了帮助美国信息学国家队选拔IOI的队员,目前逐渐发展为全球热门的线上赛事,成为美国大学申请条件下,含金量相当高的官方竞赛。USACO的比赛成绩可以助力计算机专业留学,越来越多的学生进入了康奈尔,麻省理工,普林斯顿,哈佛和耶鲁等大学,这些同学的共同点是他们都参加了美国计算机科学竞赛(USACO),并且取得过非常好的成绩。适合参赛人群USACO适合国内在读学生有意向申请美国大学的或者想锻炼自己编程能力的同学,高三学生也可以参加12月的第_usaco可以多次提交吗
文章浏览阅读394次。1.1 存储程序1.2 创建存储过程1.3 创建自定义函数1.3.1 示例1.4 自定义函数和存储过程的区别1.5 变量的使用1.6 定义条件和处理程序1.6.1 定义条件1.6.1.1 示例1.6.2 定义处理程序1.6.2.1 示例1.7 光标的使用1.7.1 声明光标1.7.2 打开光标1.7.3 使用光标1.7.4 关闭光标1.8 流程控制的使用1.8.1 IF语句1.8.2 CASE语句1.8.3 LOOP语句1.8.4 LEAVE语句1.8.5 ITERATE语句1.8.6 REPEAT语句。_mysql自定义函数和存储过程
文章浏览阅读188次。半导体二极管——集成电路最小组成单元。_本征半导体电流为0
文章浏览阅读2.8k次,点赞3次,收藏18次。游戏水面特效实现方式太多。咱们这边介绍的是一最简单的UV动画(无顶点位移),整个mesh由4个顶点构成。实现了水面效果(左图),不动代码稍微修改下参数和贴图可以实现岩浆效果(右图)。有要思路是1,uv按时间去做正弦波移动2,在1的基础上加个凹凸图混合uv3,在1、2的基础上加个水流方向4,加上对雾效的支持,如没必要请自行删除雾效代码(把包含fog的几行代码删除)S..._unity 岩浆shader
文章浏览阅读5k次。广义线性模型是线性模型的扩展,它通过连接函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。广义线性模型拟合的形式为:其中g(μY)是条件均值的函数(称为连接函数)。另外,你可放松Y为正态分布的假设,改为Y 服从指数分布族中的一种分布即可。设定好连接函数和概率分布后,便可以通过最大似然估计的多次迭代推导出各参数值。在大部分情况下,线性模型就可以通过一系列连续型或类别型预测变量来预测正态分布的响应变量的工作。但是,有时候我们要进行非正态因变量的分析,例如:(1)类别型.._广义线性回归模型
文章浏览阅读69次。环境保护、 保护地球、 校园环保、垃圾分类、绿色家园、等网站的设计与制作。 总结了一些学生网页制作的经验:一般的网页需要融入以下知识点:div+css布局、浮动、定位、高级css、表格、表单及验证、js轮播图、音频 视频 Flash的应用、ul li、下拉导航栏、鼠标划过效果等知识点,网页的风格主题也很全面:如爱好、风景、校园、美食、动漫、游戏、咖啡、音乐、家乡、电影、名人、商城以及个人主页等主题,学生、新手可参考下方页面的布局和设计和HTML源码(有用点赞△) 一套A+的网_垃圾分类网页设计目标怎么写
文章浏览阅读614次,点赞7次,收藏11次。之前找到一个修改 exe 中 DLL地址 的方法, 不太好使,虽然能正确启动, 但无法改变 exe 的工作目录,这就影响了.Net 中很多获取 exe 执行目录来拼接的地址 ( 相对路径 ),比如 wwwroot 和 代码中相对目录还有一些复制到目录的普通文件 等等,它们的地址都会指向原来 exe 的目录, 而不是自定义的 “lib” 目录,根本原因就是没有修改 exe 的工作目录这次来搞一个启动程序,把 .net 的所有东西都放在一个文件夹,在文件夹同级的目录制作一个 exe._.net dll 全局目录
文章浏览阅读1.5k次。本文为转载,原博客地址:http://blog.csdn.net/hujingshuang/article/details/46910259简介 BRIEF是2010年的一篇名为《BRIEF:Binary Robust Independent Elementary Features》的文章中提出,BRIEF是对已检测到的特征点进行描述,它是一种二进制编码的描述子,摈弃了利用区域灰度..._breif description calculation 特征点
文章浏览阅读4.1k次,点赞21次,收藏79次。本文是《基于SpringBoot的房屋租赁管理系统》的配套原创说明文档,可以给应届毕业生提供格式撰写参考,也可以给开发类似系统的朋友们提供功能业务设计思路。_基于spring boot的房屋租赁系统论文