123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322 |
- #encoding=utf-8
- import os
- import re
- import tensorflow as tf
- import numpy as np
- import gensim
- from BiddingKG.dl.common.Utils import embedding
- import json
- import fool
- class IndustryPredictor():
- def __init__(self,):
- model_path = 'model.21-0.9929-0.7576.h5'
- self.model_path = 'industry_model'
- self.id2lb = {0: '专业施工', 1: '专用仪器仪表', 2: '专用设备修理', 3: '互联网信息服务', 4: '互联网安全服务', 5: '互联网平台', 6: '互联网接入及相关服务', 7: '人力资源服务',
- 8: '人造原油', 9: '仓储业', 10: '仪器仪表', 11: '仪器仪表修理', 12: '会计、审计及税务服务', 13: '会议、展览及相关服务', 14: '住宅、商业用房',
- 15: '体育场地设施管理', 16: '体育组织', 17: '体育设备', 18: '保险服务', 19: '信息处理和存储支持服务', 20: '信息技术咨询服务',
- 21: '信息系统集成和物联网技术服务', 22: '修缮工程', 23: '健康咨询', 24: '公路旅客运输', 25: '其他专业咨询与调查', 26: '其他专业技术服务',
- 27: '其他交通运输设备', 28: '其他公共设施管理', 29: '其他土木工程建筑', 30: '其他工程服务', 31: '其他建筑建材', 32: '其他运输业', 33: '农业和林业机械',
- 34: '农业服务', 35: '农产品', 36: '农副食品,动、植物油制品', 37: '出版业', 38: '办公消耗用品及类似物品', 39: '办公设备', 40: '化学原料及化学制品',
- 41: '化学纤维', 42: '化学药品和中药专用设备', 43: '医疗设备', 44: '医药品', 45: '卫星传输服务', 46: '卫生', 47: '印刷服务', 48: '图书和档案',
- 49: '图书档案设备', 50: '图书馆与档案馆', 51: '土地管理业', 52: '地质勘查', 53: '地震服务', 54: '场馆、站港用房', 55: '城市公共交通运输',
- 56: '塑料制品、半成品及辅料', 57: '天然石料', 58: '娱乐设备', 59: '婚姻服务', 60: '安全保护服务', 61: '安全生产设备', 62: '家具用具',
- 63: '家用电器修理', 64: '工业、生产用房', 65: '工业与专业设计及其他专业技术服务', 66: '工矿工程建筑', 67: '工程技术与设计服务', 68: '工程机械',
- 69: '工程监理服务', 70: '工程评价服务', 71: '工程造价服务', 72: '市场调查', 73: '广告业', 74: '广播', 75: '广播、电视、电影设备',
- 76: '广播电视传输服务', 77: '废弃资源综合利用业', 78: '建筑涂料', 79: '建筑物、构筑物附属结构', 80: '建筑物拆除和场地准备活动', 81: '建筑装饰和装修业',
- 82: '录音制作', 83: '影视节目制作', 84: '房地产中介服务', 85: '房地产开发经营', 86: '房地产租赁经营', 87: '房屋租赁', 88: '招标代理',
- 89: '探矿、采矿、选矿和造块设备', 90: '政法、检测专用设备', 91: '教育服务', 92: '教育设备', 93: '文物及非物质文化遗产保护', 94: '文物和陈列品',
- 95: '文艺创作与表演', 96: '文艺设备', 97: '新闻业', 98: '旅行社及相关服务', 99: '日杂用品', 100: '有色金属冶炼及压延产品', 101: '有色金属矿',
- 102: '木材、板材等', 103: '木材采集和加工设备', 104: '机械设备', 105: '机械设备经营租赁', 106: '林业产品', 107: '林业服务', 108: '架线和管道工程建筑',
- 109: '核工业专用设备', 110: '橡胶制品', 111: '殡葬服务', 112: '殡葬设备及用品', 113: '气象服务', 114: '水上交通运输设备', 115: '水上运输业',
- 116: '水利和水运工程建筑', 117: '水工机械', 118: '水文服务', 119: '水资源管理', 120: '污水处理及其再生利用', 121: '汽车、摩托车修理与维护',
- 122: '法律服务', 123: '洗染服务', 124: '测绘地理信息服务', 125: '海洋仪器设备', 126: '海洋工程建筑', 127: '海洋服务', 128: '消防设备',
- 129: '清洁服务', 130: '渔业产品', 131: '渔业服务', 132: '炼焦和金属冶炼轧制设备', 133: '烟草加工设备', 134: '热力生产和供应', 135: '焦炭及其副产品',
- 136: '煤炭采选产品', 137: '燃气生产和供应业', 138: '物业管理', 139: '特种用途动、植物', 140: '环保咨询', 141: '环境与生态监测检测服务',
- 142: '环境污染防治设备', 143: '环境治理业', 144: '玻璃及其制品', 145: '理发及美容服务', 146: '生态保护', 147: '电信',
- 148: '电力、城市燃气、蒸汽和热水、水', 149: '电力供应', 150: '电力工业专用设备', 151: '电力工程施工', 152: '电力生产', 153: '电子和通信测量仪器',
- 154: '电工、电子专用生产设备', 155: '电影放映', 156: '电气安装', 157: '电气设备', 158: '电气设备修理', 159: '畜牧业服务', 160: '监控设备',
- 161: '石油制品', 162: '石油和化学工业专用设备', 163: '石油和天然气开采产品', 164: '石油天然气开采专用设备', 165: '研究和试验发展', 166: '社会工作',
- 167: '社会经济咨询', 168: '科技推广和应用服务业', 169: '科研、医疗、教育用房', 170: '管道和设备安装', 171: '粮油作物和饲料加工设备', 172: '纸、纸制品及印刷品',
- 173: '纺织原料、毛皮、被服装具', 174: '纺织设备', 175: '绿化管理', 176: '缝纫、服饰、制革和毛皮加工设备', 177: '航空器及其配套设备', 178: '航空客货运输',
- 179: '航空航天工业专用设备', 180: '节能环保工程施工', 181: '装卸搬运', 182: '计算机和办公设备维修', 183: '计算机设备', 184: '计量标准器具及量具、衡器',
- 185: '货币处理专用设备', 186: '货币金融服务', 187: '质检技术服务', 188: '资本市场服务', 189: '车辆', 190: '边界勘界和联检专用设备', 191: '运行维护服务',
- 192: '通信设备', 193: '通用设备修理', 194: '道路货物运输', 195: '邮政专用设备', 196: '邮政业', 197: '采矿业和制造业服务',
- 198: '铁路、船舶、航空航天等运输设备修理', 199: '铁路、道路、隧道和桥梁工程建筑', 200: '铁路运输设备', 201: '防洪除涝设施管理', 202: '陶瓷制品',
- 203: '雷达、无线电和卫星导航设备', 204: '非金属矿', 205: '非金属矿物制品工业专用设备', 206: '非金属矿物材料', 207: '食品加工专用设备', 208: '食品及加工盐',
- 209: '餐饮业', 210: '饮料、酒精及精制茶', 211: '饮料加工设备', 212: '饲养动物及其产品', 213: '黑色金属冶炼及压延产品', 214: '黑色金属矿'}
- self.sess = tf.Session(graph=tf.Graph())
- self.get_model()
- with open('rule_kw_json/tw_industry_keyword_org/tw_industry_keyword_org.json', 'r',
- encoding='utf-8') as fp1:
- self.json_data_industry = json.load(fp1)
- with open('rule_kw_json/tw_company_classification_keyword/tw_company_classification_keyword.json', 'r',
- encoding='utf-8') as fp2:
- self.json_data_company = json.load(fp2)
- with open('rule_kw_json/tw_custom_keyword/tw_custom_keyword.json', 'r', encoding='utf-8') as fp3:
- self.json_data_custom = json.load(fp3)
- def get_model(self):
- with self.sess.as_default() as sess:
- with self.sess.graph.as_default():
- meta_graph_def = tf.saved_model.loader.load(sess,
- tags=['serve'],
- export_dir=os.path.dirname(__file__)+'/industry_model')
- signature_key = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY
- signature_def = meta_graph_def.signature_def
- self.title = sess.graph.get_tensor_by_name(signature_def[signature_key].inputs['title'].name)
- self.project = sess.graph.get_tensor_by_name(signature_def[signature_key].inputs['project'].name)
- self.product = sess.graph.get_tensor_by_name(signature_def[signature_key].inputs['product'].name)
- self.outputs = sess.graph.get_tensor_by_name(signature_def[signature_key].outputs['outputs'].name)
- def text2array(self, text, tenderee='', maxSententLen=20):
- tenderee = tenderee.replace('(', '(').replace(')', ')')
- text = text.replace('(', '(').replace(')', ')')
- text = re.sub(
- '(废标|终止|综?合?评审|评标|开标|资审|履约|验收|成交|中标人?|中选人?|单一来源|合同|候选人|结果|变更|更正|答疑|澄清|意向|需求|采购|招标|询比?价|磋商|谈判|比选|比价|竞价|议价)的?(公告|预告|公示)?|关于为?|选取|定点|直接|邀请函?|通知书?|备案|公开|公示|公告|记录|竞争性',
- '', text)
- text = text.replace(tenderee, '')
- text = ' ' if text=="" else text
- words_docs_list = fool.cut(text)
- words_docs_list = [[it for it in l if re.search('^[\u4e00-\u9fa5]+$', it)][-maxSententLen:] for l in words_docs_list]
- array = embedding(words_docs_list, shape=(len(words_docs_list), maxSententLen, 128))
- return array
- def process(self, title, project, product, tenderee):
- return self.text2array(title, tenderee), self.text2array(project, tenderee), self.text2array(product)
- def predict_model(self, title, project, product, tenderee=''):
- title_array, project_array, product_array = self.process(title, project, product, tenderee)
- rs = self.sess.run(self.outputs,
- feed_dict={
- self.title:title_array,
- self.project:project_array,
- self.product:product_array
- }
- )
- pred = np.argmax(rs[0])
- return self.id2lb[pred], rs[0][pred]
- # # 返回top2 结果
- # pred_list = np.argsort(-rs[0])
- # return self.id2lb[pred_list[0]], self.id2lb[pred_list[1]], rs[0][pred_list[0]], rs[0][pred_list[1]]
- def predict_rule(self, doctitle, tenderee, win_tenderer, project_name, product):
- doctitle = doctitle if doctitle else ''
- tenderee = tenderee if tenderee else ''
- win_tenderer = win_tenderer if win_tenderer else ''
- project_name = project_name if project_name else ''
- product = product if product else ''
- text_ind = (doctitle + project_name + product).replace(tenderee, '')
- text_com = win_tenderer
- length_ind_text = len(text_ind) + 1
- length_com_text = len(text_com) + 1
- # print(text)
- dic_res = {} # 行业分类字典
- score_lst = [] # 得分列表
- word_lst = [] # 关键词列表
- # 主要内容关键词
- if text_ind:
- # logging.info("data_ind%s"%str(_json_data_industry[0]))
- for data_industry in self.json_data_industry:
- industry = data_industry['xiaolei']
- key_word = data_industry['key_word']
- key_word_2 = data_industry['key_word2']
- power = float(data_industry['power']) if data_industry['power'] else 0
- this_score = power * (text_ind.count(key_word) * len(key_word) / length_ind_text)
- if key_word_2:
- # key_word_compose = key_word + "+" + key_word_2
- if text_ind.count(key_word_2) == 0:
- this_score = 0
- if this_score > 0:
- # print(industry,key_word,this_score)
- if industry in dic_res.keys():
- dic_res[industry] += this_score
- else:
- dic_res[industry] = this_score
- if key_word not in word_lst:
- word_lst.append(key_word)
- # 供应商关键词
- if text_com:
- for data_company in self.json_data_company:
- industry = data_company['industry_type']
- key_word = data_company['company_word']
- power = float(data_company['industry_rate']) if data_company['industry_rate'] else 0
- this_score = power * (text_com.count(key_word) * len(key_word) / length_com_text)
- if this_score > 0:
- # print(industry,key_word,this_score)
- if industry in dic_res.keys():
- dic_res[industry] += this_score
- else:
- dic_res[industry] = this_score
- if key_word not in word_lst:
- word_lst.append(key_word)
- # 自定义关键词
- if text_ind:
- custom_ind = [
- ['tenderee', '医院|疾病预防', ['设备', '系统', '器'], '医疗设备'],
- ['tenderee', '学校|大学|小学|中学|学院|幼儿园', ['设备', '器'], '教育设备'],
- ['tenderee', '学校|大学|小学|中学|学院|幼儿园|医院', ['工程'], '科研、医疗、教育用房'],
- ['tenderee', '供电局|电网|国网|电力|电厂|粤电', ['设备', '器', '物资'], '电力工业专用设备'],
- ['tenderee', '公安|法院|检察院', ['设备', '器'], '政法、检测专用设备'],
- ['tenderee', '^中铁|^中交|^中建|中国建筑', ['材料'], '其他建筑建材'],
- ['doctextcon', '信息技术服务|系统开发|信息化|信息系统', ['监理'], '信息技术咨询服务'],
- ['doctextcon', '工程', ['消防'], '专业施工'],
- ['doctextcon', '铁路|航空|船舶|航天|广铁', ['维修'], '铁路、船舶、航空航天等运输设备修理'],
- ['doctextcon', '设备|仪|器', ['租赁'], '机械设备经营租赁'],
- ['doctextcon', '交通|铁路|公路|道路|桥梁', ['工程'], '铁路、道路、隧道和桥梁工程建筑'],
- ['win_tenderer', '电力', ['设备', '器'], '电力工业专用设备'],
- ['win_tenderer', '信息|网络科技', ['系统'], '信息系统集成和物联网技术服务'],
- ['tenderee,doctextcon', '铁路|广铁|铁道', ['设备', '器', '物资', '材料', '铁路'], '铁路运输设备'],
- ]
- for data_custom in self.json_data_custom:
- industry_custom = data_custom['industry']
- key_word = data_custom['company_word']
- power = float(data_custom['industry_rate'])
- for k in range(len(custom_ind)):
- subject = ''
- if 'tenderee' in custom_ind[k][0]:
- subject += tenderee
- if 'win_tenderer' in custom_ind[k][0]:
- subject += win_tenderer
- if 'doctextcon' in custom_ind[k][0]:
- subject += text_ind
- ptn = custom_ind[k][1]
- # print('ptn',ptn)
- if re.search(ptn, subject) and industry_custom in custom_ind[k][2]:
- industry = custom_ind[k][3]
- else:
- continue
- this_score = power * (text_ind.count(key_word) * len(key_word) / len(subject))
- if this_score > 0:
- # print(industry,key_word,this_score)
- if industry in dic_res.keys():
- dic_res[industry] += this_score
- else:
- dic_res[industry] = this_score
- if key_word not in word_lst:
- word_lst.append(key_word)
- sort_res = sorted(dic_res.items(), key=lambda x: x[1], reverse=True)
- lst_res = [s[0] for s in sort_res]
- score_lst = [str(round(float(s[1]), 2)) for s in sort_res]
- if len(lst_res) > 0:
- return lst_res, score_lst, word_lst
- else:
- return [""], [], []
- def predict_merge(self, pinmu_type, industry_lst):
- '''
- 通过一系列规则最终决定使用模型还是规则的结果
- :param pinmu_type: 模型预测类别
- :param industry_lst: 规则预测类别列表
- :return:
- '''
- industry_type = industry_lst[0]
- if industry_type == "":
- return pinmu_type
- if industry_type == '专用设备修理' and re.search('修理|维修|装修|修缮', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '其他土木工程建筑' and re.search('工程|建筑|用房|施工|安装|质检|其他专业咨询与调查', pinmu_type):
- final_type = pinmu_type
- elif pinmu_type == '专用设备修理' and re.search('工程|修理', industry_type):
- final_type = industry_type
- elif pinmu_type == '信息系统集成和物联网技术服务' and re.search('卫星传输|信息处理和存储支持服务|信息技术咨询服务|运行维护服务|其他专业技术服务|医疗设备|医药品',
- industry_type):
- final_type = industry_type
- elif industry_type == '仪器仪表' and re.search('仪器|器具|医疗设备', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '医药品' and re.search('医疗设备', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '医药品' and re.search('医疗设备', pinmu_type):
- final_type = pinmu_type
- elif re.search('设备', industry_type) and re.search('修理|维修', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '社会工作' and re.search('工程', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '信息系统集成和物联网技术服务' and re.search('信息处理|设备', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '研究和试验发展' and re.search('其他专业咨询与调查|质检技术服务|信息系统集成|其他工程服务', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '其他专业咨询与调查' and re.search('工程造价服务', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '广告业' and re.search('印刷服务|影视节目制作|信息系统', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '清洁服务' and re.search('工程|环境污染防治设备|修理', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '其他公共设施管理' and re.search('信息系统', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '其他专业技术服务' and re.search('工程技术与设计服务|质检技术服务|环境与生态监测检测服务', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '机械设备经营租赁' and re.search('电信', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '货币金融服务' and re.search('信息系统集成和物联网技术服务', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '体育场地设施管理' and re.search('体育设备', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '安全保护服务' and re.search('信息系统|监控设备|互联网安全服务', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '互联网接入及相关服务' and re.search('通信设备', pinmu_type):
- final_type = pinmu_type
- elif industry_type == '卫生' and re.search('医疗设备|信息系统', pinmu_type):
- final_type = pinmu_type
- elif pinmu_type == '研究和试验发展' and re.search('其他工程服务', industry_type):
- final_type = industry_type
- elif pinmu_type == '办公设备' and re.search('教育设备', industry_type):
- final_type = industry_type
- elif re.search('车辆|机械设备经营租赁', pinmu_type) and re.search('公路旅客运输', industry_type):
- final_type = industry_type
- elif len(industry_lst) > 1 and pinmu_type == industry_lst[1] and re.search('会计|法律|物业|家具|印刷|互联网安全',
- industry_type) == None \
- and re.search('其他|人力资源服务', pinmu_type) == None:
- final_type = pinmu_type
- elif industry_type != "":
- final_type = industry_type
- else:
- final_type = pinmu_type
- return final_type
- def predict(self, title, project, product, tenderee="", win_tenderer=""):
- result_model, prob = self.predict_model(title, project, product, tenderee)
- industry_lst, score_lst, word_lst = self.predict_rule(title, tenderee, win_tenderer, project, product)
- final_type = self.predict_merge(result_model, industry_lst)
- print('模型:%s;规则:%s;最终:%s'%(result_model, industry_lst[0], final_type))
- return final_type
- if __name__ == "__main__":
- model_predictor = IndustryPredictor()
- s = '自用 ( )#split#自用#split#小便池 下水 弯管 , 捷星 角磨机 钢刷 , 宽 胶带 , 玻璃胶 , 空气 清新剂 , 窄 胶带 , 柠檬 超洁 洗洁精 , 窗帘环 , 舌 锁 , 晶华 胶带 , 电池 纽扣 电池 , 免钉 胶#split#盂县 禄鑫 商贸 有限公司'
- # s = '无锡 浩源 招投标 咨询 服务 有限公司 社会保险 相关 业务 文书 送达 服务 的#split#社会保险 相关 业务 文书 送达 服务#split#社会保险 相关 业务 文书 送达 服务 , 文书 送达 服务 , 业务 文书 送达 服务#split#中国 邮政 速递 物流 股份 有限公司 无锡市 分公司'
- # s = '小轿车#split#小轿车#split#小轿车#split# '
- # s = '2021年 12月 至 2022年 01月 政府#split#陆路 与 航空 口岸 疫情 防控 工作 专班 B13 栋 集中 居住 点 委托 运营 服务 项目#split#集中 居住 点 委托 运营 服务#split# '
- # s = '广州市 越秀区 云泉路 20 号 配电 柜 更换 项目#split#广州市 越秀区 云泉路 20 号 配电 柜 更换 项目#split#配电 柜 更换#split# '
- title, project, product, win_tenderer = s.replace(' ', '').split('#split#')
- print(model_predictor.predict(title, project, product, tenderee="", win_tenderer=win_tenderer))
- print()
|