NER

2024/4/11 21:04:57

【论文精读】A Survey on Deep Learning for Named Entity Recognition

A Survey on Deep Learning for Named Entity Recognition前言Abstract1. INTRODUCTION2. BACKGROUND2.1 What is NER?2.2 NER Resources: Datasets and Tools2.3 NER Evaluation Metrics2.3.1 Exact-Match Evaluation2.3.2 Relaxed-Match Evaluation2.4 Traditional Approach…

Deep Span Representations for Named Entity Recognition

原文链接: https://aclanthology.org/2023.findings-acl.672.pdf ACL 2023 介绍 问题 作者认为,一个好的span表征对于NER任务是非常重要的,而之前的工作都是将第一个或最后一个的表征简单的进行组合后,没有进行充分的交互就送入到…

Span-Level Model for Relation Extraction论文学习

一、论文 二、概要 nlp中的实体关系抽取方法总结:https://zhuanlan.zhihu.com/p/77868938联合抽取顺序:片段排列抽取实体,然后提取实体对进行关系分类; 将片段排列方式生成的候选实体span,进行实体类型SoftMax分类&a…

针对(分为子结构的)结构性预测的知识蒸馏(可用于ner)(ner知识蒸馏)

一般的知识蒸馏 词级别知识蒸馏 结构知识蒸馏 实际上不同位置的输出往往并不是相互独立的,比如用 BIOES 标注 NER 标签的例子:“希尔顿离开北京机场了”,其标签为”B-PER, I-PER, E-PER, O, O, B-LOC, I-LOC, I-LOC, E-LOC, O“。I 标签前只…

NER 数据增强

文章目录DAGA模型利用教师模型与知识蒸馏DAGA模型 https://zhuanlan.zhihu.com/p/342032812 核心思想:标签线性化以后送入语言模型训以完成数据增强 标签线性化: 语言模型: 利用教师模型与知识蒸馏 https://mp.weixin.qq.com/s/OZlruC7z…

Nested Named Entity Recognition with Span-level Graphs

原文链接: https://aclanthology.org/2022.acl-long.63.pdf ACL 2022 介绍 问题 基于span的方法虽然在解决嵌套实体上存在巨大潜力,但存在以下问题: 1)难以充分利用span的丰富语义; 2)重叠较多的正负样本会…

命名实体识别方法

线性插值(linearly interpolate) 线性插值指的就是图中interpolate公式。 其中的一个Layer是Bert中一个transform block。X与X′X^{\prime}X′是相近的句子,可以是KNN中的同类句子; X′X^{\prime}X′也可以由X回译得到。 详见论文&#xf…

Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data论文学习

Abstract 无监督学习对nlp任务例如ner任务结果有促进作用之前的工作只focuses在无监督做ner模型,没有任何标注,证明了能取得好的表现,但是效果还是比完全监督学习来做ner差。本文更考虑一个实际的场景,少量强标注数据&大量弱…

少样本NER的方法

论文:Few-Shot Named Entity Recognition: A Comprehensive Study 速看:微软韩家炜课题组的全面调研:NER标注数据少,怎么办? 论文总结了少样本ner的三种方法 方案1:原型方法(Prototype Methods):元学习的…

中文命名实体识别

本文通过people_daily_ner数据集,介绍两段式训练过程,第一阶段是训练下游任务模型,第二阶段是联合训练下游任务模型和预训练模型,来实现中文命名实体识别任务。 一.任务和数据集介绍 1.命名实体识别任务 NER(Named En…

SEE-Few: Seed, Expand and Entail for Few-shot Named Entity Recognition

原文链接: https://aclanthology.org/2022.coling-1.224.pdf ACL 2022 介绍 问题: 目前few-shot NER方法侧重于使用目标领域的其他数据集进行充分训练后,迁移到同领域下目标数据集,但当目标领域中没有可用数据时,这种…

科大讯飞开放平台-python语音转文字教程

文章目录 简介实际使用代码coding简介 科大讯飞的语音转写(Long Form ASR)——基于深度全序列卷积神经网络,将长段音频(5小时以内)数据转换成文本数据,为信息处理和数据挖掘提供基础。 转写的是已录制音频(非实时),音频文件上传成功后进入等待队列,待转写成功后用户…

Python实现视频转音频、音频转文本加文本实体识别

文章目录 概述必备第三方库视频转音频音频转文字完整代码命名实体识别NER注意点概述 本教程希望可以识别出目前活跃的视频平台(例如抖音、快手等)中视频文案中蕴含的实体信息,首先有两条技术路径: 直接提取视频帧,之后实现逐帧的字幕识别,最后合并为视频文案。 优点:准…

微调大型语言模型进行命名实体识别

大型语言模型的目标是理解和生成与人类语言类似的文本。它们经过大规模的训练,能够对输入的文本进行分析,并生成符合语法和语境的回复。这种模型可以用于各种任务,包括问答系统、对话机器人、文本生成、翻译等。 命名实体识别(Na…

python︱六款中文分词模块尝试:jieba、THULAC、SnowNLP、pynlpir、CoreNLP、pyLTP

THULAC 四款python中中文分词的尝试。尝试的有:jieba、SnowNLP(MIT)、pynlpir(大数据搜索挖掘实验室(北京市海量语言信息处理与云计算应用工程技术研究中心))、thulac(清华大学自然语…

keras 中文ner使用,crf 原理以及转移矩阵解读

1. 目标 看下keras解决ner问题是否比较方便,摸摸坑 2. 两个比较好的项目 keras-bert-ner https://github.com/liushaoweihua/keras-bert-ner/keras社区提供的一个包 https://github.com/keras-team/keras-contrib 3. 使用步骤 # 1. 下载:https://github.com/li…

Tensors in list passed to ‘values‘ of ‘ConcatV2‘ Op have types [bool, float32] that don‘t all match.

创建于:2022.10.08 修改于:2022.10.08 在建立NER识别模型 BiLSTM-CRF时出现: TypeError: Tensors in list passed to values of ConcatV2 Op have types [bool, float32] that dont all match. 主要是利用了keras-contrib 包,…

Decomposed Meta-Learning for Few-Shot Named Entity Recognition

原文链接: https://aclanthology.org/2022.findings-acl.124.pdf ACL 2022 介绍 问题 目前基于span的跨度量学习(metric learning)的方法存在一些问题: 1)由于是通过枚举来生成span,因此在解码的时候需要额…

BiLSTM介绍及中文命名实体识别应用

What-什么是LSTM和BiLSTM? LSTM:全称Long Short-Term Memory,是RNN(Recurrent Neural Network)的一种。LSTM由于其设计的特点,非常适合用于对时序数据的建模,如文本数据。 BiLSTM:…

命名实体识别(NER)的发展历程

命名实体识别(Named Entity Recognition,NER)简单说就是从一段自然语言文本中找出相关实体,并标注出其位置以及类型。一般我们归为序列标注问题(sequence labeling problem)中的一种。与分类问题相比&#…

NLP之中文命名实体识别

在MUC-6中首次使用了命名实体(named entity)这一术语,由于当时关注的焦点是信息抽取(information extraction)问题,即从报章等非结构化文本中抽取关于公司活动和国防相关活动的结构化信息,而人名…

A Unified MRC Framework for Named Entity Recognition【文章学习】

一、总结 • 相关英文 Entity overlapping span• 代码 https://github.com/ShannonAI/mrc-for-flat-nested-ner https://github.com/qiufengyuyi/sequence_tagging• todo 后面有时间在做一个代码解读