背景

比如我们有比较确定的几十类实体，并且每一类实体的值都是已知的，也就是在一个有限集合类做NER实体识别。

基于lucene的召回

• 把实体做成字典，比如 公司名，公司简称
• 设置实体识别的一些黑名单，比如【行业，公司，基金等等】
• 使用lucence对 数据字典中 name，alias等进行索引化。
• 对query 进行parer，然后使用lucence 查询索引中top10的排序。

自定义排序

• 对query 和 doc 进行2-gram的分词。
• 基于token list 计算最大的连续token序列，比如 query=“上海实业基金公司的业绩”，那么doc1=“上海实业”,doc2=“上海实业基金”
  doc2的最大序列更长，那么应该就是doc2的得分更高。

正则表达进一步增强

• 使用正则表达式去识别一些时间，数字，公式等特殊的实体。
• 使用正则表达式去识别一些 有 数据字时间组合的实体，比如2021年到2022年。

Bert 做NER

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
from flask import Flask, request, jsonify
import numpy as np
import json

tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
classifier = pipeline("ner", model=model, tokenizer=tokenizer,grouped_entities=True)

app = Flask(__name__)


def jsonify_with_numpy(obj):
    def default_converter(o):
        if isinstance(o, np.float32):
            return float(o)
        raise TypeError(f"Object of type {o.__class__.__name__} is not JSON serializable")
    return jsonify(json.dumps(obj, default=default_converter,ensure_ascii=False))

@app.route('/api/ner/rbt_qa/predict', methods=['POST'])
def predict():
    data = request.get_json()
    text = data['user_query']
    res = classifier(text)
    for r in res:
        if isinstance(r['score'],np.float32):
            r['score']=float(r['score'])
    return res

if __name__ == '__main__':
    app.run(debug=True, host='0.0.0.0', port=5000)