BIDI_EXTRACTION_AI/BiddingKG/dl/template_extract/template_extractor.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

"""
@author: bidikeji
@time: 2025/11/21 16:11
"""
from BiddingKG.dl.template_extract.template_manage import TemplateManager
# from BiddingKG.dl.template_extract.out_line_extractor import OutlineExtractor
from BiddingKG.dl.template_extract.table_extractor import get_html_table, get_html_table_and_prev_text
from BiddingKG.dl.common.Utils import find_package,uniform_package_name,money_process,log
from BiddingKG.dl.ratio.re_ratio import extract_ratio
from BiddingKG.dl.interface.predictor import get_td_companys
from BiddingKG.dl.common.attr_utils import extract_serviceTime
import pandas as pd
import traceback
import json
import re
import os

log('准备注册模板提取')
manager = TemplateManager()
# 2. 【关键】自动扫描根目录，按“子文件夹名称”绑定站源
# 目录结构示例：
# ./templates_root/
#   ├─ nanan/          （站源1：nanan）
#   │  ├─ bidding_place_tpl.py  （模板：tpl_bidding_place_001）
#   │  └─ bidding_time_tpl.py   （模板：tpl_bidding_time_001）
#   └─ xxs/            （站源2：xxs）
#      └─ bidding_place_tpl.py  （模板：tpl_bidding_place_002）
ROOT_TEMPLATE_DIR = os.path.dirname(__file__)+"/templates"  # 根目录（包含多个站源子文件夹）
try:
    manager.auto_register_templates_from_dir(
        root_target_dir=ROOT_TEMPLATE_DIR,
        exclude_files=["test_tpl.py"],  # 排除测试文件
        exclude_dirs=["temp_dir"]       # 排除临时文件夹
    )
    log('模板注册成功')
except Exception as e:
    traceback.print_exc()
    print(f"自动注册失败：{str(e)}")
    exit(1)

def template_predict_bk(html, web_source_no, enterprise = [], page_time=''):
    # outline = extractor.extract(html)
    tables = get_html_table(html)

    pre_data = {
        "html": html,
        # "outline": outline,
        "表格列表": tables
    }
    if '-' in web_source_no:
        web_source_no = web_source_no.split('-')[0]
    result = manager.call_templates(pre_data, {}, web_source_no)
    if result:
        result = result_post_precess(result, enterprise, page_time)

    return result

def get_phone(text):
    phone_pattern = '(1[3-9][0-9][-—－―]?\d{4}[-—－―]?\d{4}|' \
                    '\+86.?1[3-9]\d{9}|' \
                    '0[1-9]\d{1,2}[-—－―][2-9]\d{6,7}/[1-9]\d{6,10}|' \
                    '0[1-9]\d{1,2}[-—－―][2-9]\d{6}\d?.?转\d{1,4}|' \
                    '0[1-9]\d{1,2}[-—－―][2-9]\d{6}\d?[-—－―]\d{1,4}|' \
                    '0[1-9]\d{1,2}[-—－―]?[2-9]\d{6}\d?(?=1[3-9]\d{9})|' \
                    '0[1-9]\d{1,2}[-—－―]?[2-9]\d{6}\d?(?=0[1-9]\d{1,2}[-—－―]?[2-9]\d{6}\d?)|' \
                    '0[1-9]\d{1,2}[-—－―]?[2-9]\d{6}\d?(?=[2-9]\d{6,7})|' \
                    '0[1-9]\d{1,2}[-—－―]?[2-9]\d{6}\d?|' \
                    '[\（|\(]0[1-9]\d{1,2}[\）|\)]-?[2-9]\d{6}\d?-?\d{,4}|' \
                    '[2-9]\d{6,7})'
    phone = ''
    ser = re.search('^%s$'%phone_pattern, text.strip())
    if ser:
        phone = ser.group(0)
    return phone

def is_fail(text):
    if re.search('(采购|招标)失败|人数不足|无效|中止|终止|废标|流标|失败|作废|异常|撤销|另行公告|另行公示', text):
        return True
    return False

def data_clean(text):
    text = re.sub('(无|见附件|/|-)+', '', text)
    return text

def get_pk_no(text):
    pk_l = []
    for pk in find_package(text):
        package = uniform_package_name(pk.group(0))
        pk_l.append(package)
    return '-'.join(pk_l)

def get_rank(text):
    if re.match('第?[1一](名|(中标|成交|中选)?(候选人|供应商))?$|首选供应商$', text.strip()):
        return 'win_tenderer'
    elif re.match('第?[2二](名|(中标|成交|中选)?(候选人|供应商))?$', text.strip()):
        return 'second_tenderer'
    if re.match('第?[3三](名|(中标|成交|中选)?(候选人|供应商))?$', text.strip()):
        return 'third_tenderer'
    return ''

def get_pk_name(d):
    subject = d.get('标的', '')
    package = d.get('标包', '')
    pk1 = get_pk_no(subject)
    pk2 = get_pk_no(package)
    raw_pk = ''
    pk = ''
    if pk1 != '' and pk2 != '':
        pk = "%s_%s" % (pk1, pk2)
    elif pk1 != '' and package != '':
        pk = "%s_%s" % (pk1, package)
    elif subject != '' and pk2 != '':
        pk = "%s_%s" % (subject, pk2)
    elif pk1 or pk2:
        pk = pk1 if pk1 else pk2
    elif subject != '' and package != '':
        raw_pk = "%s_%s" % (subject, package) if subject != package else subject
    else:
        raw_pk = subject if subject != '' else package
    name = subject if subject != '' else package
    return pk, raw_pk, name

def fix_quantity(quantity_text, header_quan_unit=''):
    '''
    产品数量标准化，统一为数值型字符串
    :param quantity_text: 原始数量字符串
    :param header_quan_unit: 表头数量单位字符串
    :return: 返回数量及单位
    '''
    quantity = quantity_text
    quantity = re.sub('[一壹]', '1', quantity)
    quantity = re.sub('[,，约]|（\d+）', '', quantity)
    ser = re.search('^(\d+\.?\d*)（?([㎡\w/]{,5})', quantity)
    if ser:
        quantity = str(ser.group(1))
        quantity_unit = ser.group(2)
        if quantity_unit == "" and header_quan_unit != "":
            quantity_unit = header_quan_unit
    else:
        quantity = ""
        quantity_unit = ""
    return quantity, quantity_unit

def get_win_joint(role_text, enterprise):
    ents = []
    joint = ''
    leader = ''
    if re.sub('（个体工商户）', '', role_text) in enterprise or re.match('\w{6,25}（个体工商户）$', role_text):
        return role_text, ''
    if re.search('[,，/；;、]', role_text):
        role_text = re.sub('\w{2,8}：|（(主|成|\w{,3}联合体|(牵头|成员)(方|人|单位))\w{,5}）', '', role_text)
        for ent in re.split('[,，/；;、]+', role_text):
            if ent in enterprise:
                ents.append(ent)
        if len(ents) == 1:
            leader = ents[0]
        elif len(ents) > 1:
            leader = ents[0]
            joint = ','.join(ents)
    if leader == '' and len(enterprise)>0:
        match = re.search('|'.join(enterprise), role_text)
        if match:
            leader = match.group(0)
    return leader, joint

def get_ratio(text):
    '''
    处理费率等
    :param text: 必须包含下浮率，费率等中文
    :return:
    '''
    rs = extract_ratio(text)
    if len(rs)>0 and rs[0].get('value', '') != '':
        return str(rs[0].get('value', ''))
    return ''

def template_predict(html, web_source_no, enterprise = [], page_time='', docid=''):
    # outline = extractor.extract(html)
    # tables = get_html_table(html)
    tables, tables_prev_text = get_html_table_and_prev_text(html)
    result_dic = {}
    for i in range(len(tables)):
        if len(tables[i]) < 2: # 少于两行的表格不要
            continue
        pre_data = {
            "html": html,
            # "outline": outline,
            "表格列表": [tables[i]],
            "表格前文": [tables_prev_text[i]]
        }
        if '-' in web_source_no:
            web_source_no = web_source_no.split('-')[0]
        result = manager.call_templates(pre_data, {}, web_source_no, docid)
        # print('表格提取结果：', result)
        if result:
            prev_text = tables_prev_text[i]
            pk_out = get_pk_no(prev_text)
            for k, v in result.items():
                if v:
                    if k not in result_dic:
                        result_dic[k] = []
                    if k in ['中标信息', '招标信息', '候选人信息']:
                        if pk_out:
                            for d in v:
                                d['pk_out'] = pk_out
                    if v not in result_dic[k]: # 表格结果去重
                        result_dic[k].append(v)
    for k in ['中标信息', '招标信息', '候选人信息', '产品信息']:
        if k in result_dic:
            result_dic[k] = [it for l in result_dic[k] for it in l]
    if result_dic:
        result_dic = result_post_precess(result_dic, enterprise, page_time)
    return result_dic

def result_post_precess(dic, enterprise = [], page_time=''):
    enterprise = sorted(enterprise, key=lambda x: len(x), reverse=True)
    rs_dic = {}
    if '项目编号' in dic:
        rs_dic['code'] = dic['项目编号']
    if '项目名称' in dic:
        rs_dic['name'] = dic['项目名称'][0]
    if dic.get('招标信息', []) != [] or dic.get('中标信息', []) != [] or dic.get('候选人信息', []) != []:
        rs_dic['prem'] = {}
    role_dic = {}
    for d in dic.get('招标信息', []):
        pk, raw_pk, name = get_pk_name(d)
        pk_out = d.get('pk_out', '')
        if pk == "" and (raw_pk == '' or len(dic.get('招标信息', [])) == 1):
            pk = pk_out if pk_out else 'Project'
        elif raw_pk != '':
            pk =  pk_out if pk_out else raw_pk

        name = d.get('标的', '') if d.get('标的', '') != '' else d.get('标包', '')
        tenderee = d.get('招标人', '')
        budget = d.get('限价', '') if d.get('限价', '') != '' else d.get('预算', '')
        person = d.get('联系人', '')
        phone = d.get('电话', '')
        address = d.get('地址', '')

        if tenderee == '' and budget == '':
            continue
        if is_fail(tenderee) or is_fail(budget) or tenderee not in enterprise:
            continue

        budget, unit = money_process(budget, '金额')
        phone = get_phone(phone)
        if pk not in role_dic:
            role_dic[pk] = {}
        if name != '':
            role_dic[pk]['name'] = name
        if 'tenderee' not in role_dic[pk]:
            role_dic[pk]['tenderee'] = {
                'role_text': tenderee,
                'price': budget,
                'money_unit': unit,
                'person': person,
                'phone': phone,
                'address': address
            }
        else:
            role_dic[pk]['tenderee']['price'] += budget

    for d in dic.get('中标信息', []):
        pk, raw_pk, name = get_pk_name(d)
        pk_out = d.get('pk_out', '')
        if pk == "" and (raw_pk == '' or len(dic.get('中标信息', [])) == 1):
            pk = pk_out if pk_out else 'Project'
        elif raw_pk != '':
            pk = pk_out if pk_out else raw_pk

        name = d.get('标的', '') if d.get('标的', '') != '' else d.get('标包', '')
        win_tenderer = d.get('中标人', '')
        price = d.get('中标价', '')
        downward_floating_ratio = d.get('下浮率', '')
        discount_ratio = d.get('费率', '')
        person = d.get('联系人', '')
        phone = d.get('电话', '')
        address = d.get('地址', '')
        serviceTime = d.get('服务时间', '')
        joint = ''

        if win_tenderer == '':
            continue
        if is_fail(win_tenderer) or is_fail(price):
            continue
        if win_tenderer not in enterprise:
            # leader, joint = get_win_joint(win_tenderer, enterprise)
            leader, joint = get_td_companys(win_tenderer, enterprise)
            if leader != '':
                win_tenderer = leader
            else:
                log('模板提取实体不在列表公司：%s' % win_tenderer)
                continue
        price, unit = money_process(price, '金额')
        phone = get_phone(phone)
        if downward_floating_ratio != '':
            downward_floating_ratio = get_ratio('下浮率：%s'%downward_floating_ratio)
        if discount_ratio != '':
            discount_ratio = get_ratio('费率：%s'%discount_ratio)
        if serviceTime != '':
            serviceTime = extract_serviceTime(serviceTime, page_time)
        if pk not in role_dic:
            role_dic[pk] = {}
        if name != '':
            role_dic[pk]['name'] = name
        if 'win_tenderer' not in role_dic[pk]:
            role_dic[pk]['win_tenderer'] = {
                'role_text': win_tenderer,
                'price': price,
                'money_unit': unit,
                'person': person,
                'phone': phone,
                'address': address
            }
            if joint != '':
                role_dic[pk]['win_tenderer']['win_tenderer_joint'] = joint
            if downward_floating_ratio != '':
                role_dic[pk]['win_tenderer']['downward_floating_ratio'] = downward_floating_ratio
            if discount_ratio != '':
                role_dic[pk]['win_tenderer']['discount_ratio'] = discount_ratio
            if serviceTime != '':
                role_dic[pk]['win_tenderer']['serviceTime'] = serviceTime
        elif win_tenderer != role_dic[pk]['win_tenderer']['role_text']:
            if 'other_winner_dic' not in role_dic[pk]['win_tenderer']:
                role_dic[pk]['win_tenderer']['other_winner_dic'] = {
                    win_tenderer: price
                }
            elif win_tenderer not in role_dic[pk]['win_tenderer']['other_winner_dic']:
                role_dic[pk]['win_tenderer']['other_winner_dic'][win_tenderer] = price
            else:
                role_dic[pk]['win_tenderer']['other_winner_dic'][win_tenderer] += price
        else:
            role_dic[pk]['win_tenderer']['price'] += price

    for d in dic.get('候选人信息', []):
        pk, raw_pk, name = get_pk_name(d)
        pk_out = d.get('pk_out', '')
        if pk == "" and (raw_pk == '' or len(dic.get('候选人信息', [])) == 1):
            pk = pk_out if pk_out else 'Project'
        elif raw_pk != '':
            pk = pk_out if pk_out else raw_pk

        name = d.get('标的', '') if d.get('标的', '') != '' else d.get('标包', '')
        candidate = d.get('候选人', '')
        rank = d.get('排名', '')
        price = d.get('中标价', '')
        downward_floating_ratio = d.get('下浮率', '')
        discount_ratio = d.get('费率', '')
        person = d.get('联系人', '')
        phone = d.get('电话', '')
        address = d.get('地址', '')
        serviceTime = d.get('服务时间', '')
        joint = ''

        if rank == '' or candidate == '':
            continue
        if is_fail(candidate) or is_fail(rank):
            continue
        if candidate not in enterprise:
            # leader, joint = get_win_joint(candidate, enterprise)
            leader, joint = get_td_companys(candidate, enterprise)
            if leader != '':
                candidate = leader
            else:
                log('模板提取实体不在列表公司：%s'%candidate)
                continue
        role_name = get_rank(rank)
        if role_name == '':
            continue
        price, unit = money_process(price, '金额')
        phone = get_phone(phone)
        if downward_floating_ratio != '':
            downward_floating_ratio = get_ratio('下浮率：%s'%downward_floating_ratio)
        if discount_ratio != '':
            discount_ratio = get_ratio('费率：%s'%discount_ratio)
        if serviceTime != '':
            serviceTime = extract_serviceTime(serviceTime, page_time)
        if pk not in role_dic:
            role_dic[pk] = {}
        if name != '':
            role_dic[pk]['name'] = name
        if role_name not in role_dic[pk]:
            role_dic[pk][role_name] = {
                'role_text': candidate,
                'price': price,
                'money_unit': unit,
                'person': person,
                'phone': phone,
                'address': address
            }
            if joint != '':
                role_dic[pk][role_name]['win_tenderer_joint'] = joint
            if downward_floating_ratio != '':
                role_dic[pk][role_name]['downward_floating_ratio'] = downward_floating_ratio
            if discount_ratio != '':
                role_dic[pk][role_name]['discount_ratio'] = discount_ratio
            if serviceTime != '':
                role_dic[pk]['win_tenderer']['serviceTime'] = serviceTime
        elif candidate == role_dic[pk][role_name]['role_text']:
            role_dic[pk][role_name]['price'] += price
        else:
            print('候选人异常：同标段有其他中标人')
    for pk, role in role_dic.items():
        rs_dic['prem'][pk] = {
            'roleList': [],
            'tendereeMoney': 0,
            'tendereeMoneyUnit': ""
        }
        if role.get('name', '') != '':
            rs_dic['prem'][pk]['name'] = role.get('name', '')
        for k, v in role.items():
            if k not in ['tenderee', 'win_tenderer', 'second_tenderer', 'third_tenderer']:
                continue
            if v['role_text'] != '':
                d = {
                    'role_name': k,
                    'role_text': v['role_text'],
                }
                if v['address'] != '':
                    d['address'] = v['address']
                if v['person'] != '' or v['phone'] != '':
                    d['linklist'] = [[v['person'], v['phone']]]
                if k != 'tenderee':
                    d['role_money'] = {'money': v['price'], 'money_unit': v['money_unit']}
                    if 'downward_floating_ratio' in v:
                        d['role_money']['downward_floating_ratio'] = v['downward_floating_ratio']
                    if 'discount_ratio' in v:
                        d['role_money']['discount_ratio'] = v['discount_ratio']
                if k == 'win_tenderer':
                    if 'other_winner_dic' in v:
                        d['other_winner_dic'] = []
                        for text, money in v['other_winner_dic'].items():
                            d['other_winner_dic'].append(
                                {
                                    'role_text': text,
                                    'money': money
                                }
                            )
                        d['multi_winner'] = v['role_text'] + ',' + ','.join(v['other_winner_dic'])
                    if 'win_tenderer_joint' in v:
                        d['win_tenderer_joint'] = v['win_tenderer_joint']
                    if 'serviceTime' in v:
                        d['serviceTime'] = v['serviceTime']
                if k != 'tenderee': # 20260717 模板提取暂时不要招标人
                    rs_dic['prem'][pk]['roleList'].append(d)
            if k == 'tenderee':
                rs_dic['prem'][pk]['tendereeMoney'] = v['price']
                rs_dic['prem'][pk]['tendereeMoneyUnit'] = v['money_unit']
    product_l = []
    key_dic = {
        '产品': 'product',
        '品目': 'pinmu_name',
        '品牌': 'brand',
        '规格': 'specs',
        '数量': 'quantity',
        '单位': 'quantity_unit',
        '单价': 'unitPrice',
        '总价': 'total_price'
    }
    for d in dic.get('产品信息', []):
        if '单价' in d:
            d['单价'], unit = money_process(d['单价'], '金额')
        if '总价' in d:
            d['总价'], unit = money_process(d['总价'], '金额')
        if '数量' in d:
            d['数量'], quantity_unit = fix_quantity(d['数量'])
        product_dic = {key_dic[k]: v for k, v in d.items() if v!=''}
        if len(product_dic) < 3: # 少于三个要素的产品不放进产品属性
            continue
        if product_dic not in product_l:
            product_l.append(product_dic)
    if len(product_l) > 0:
        rs_dic['product_attrs'] = {'data': product_l}

    return rs_dic # role_dic

def get_role(prem):
    winners = []
    for k, v in prem.items():
        if 'roleList' in v:
            for d in v['roleList']:
                if d['role_name'] == 'win_tenderer':
                    winners.append(d['role_text'])
                    if 'win_tenderer_joint' in d:
                        for winner in d['win_tenderer_joint'].split(','):
                            winners.append(winner)
                    if 'multi_winner' in d:
                        for winner in d['multi_winner'].split(','):
                            winners.append(winner)
    return set(winners)

def update_template_result(product_attrs, codeName, prem, result_template, docid=''):
    if result_template.get('name', '') != '':
        # print('模板修改项目名称信息')
        codeName[0]['name'] = result_template['name']
    if result_template.get('code', '') != '':
        # print('模板修改项目编号信息')
        codeName[0]['code'] = result_template['code']
    if result_template.get('product_attrs', '') != '':
        # print('模板修改产品信息')
        product_attrs[0]['product_attrs'] = result_template['product_attrs']
    if result_template:
        log('模板提取要素：%s，docid：%s'%(json.dumps(list(result_template.keys()), ensure_ascii=False), docid))
    if result_template.get('prem', '') != '' and len(result_template['prem']) > 0:# and 'win_tenderer' in str(result_template['prem']):
        old_winners = get_role(prem[0]['prem'])
        new_winners = get_role(result_template['prem'])
        if old_winners != new_winners:
            log('模板提取中标人与原来提取不一致，新减旧：%s, 旧减新：%s, docid：%d'%(', '.join(new_winners-old_winners), ', '.join(old_winners-new_winners), docid))
        if len(old_winners) > len(new_winners):
            log("模板提取中标人比原来少，原来：%d, 模板：%d, docid：%d"%(len(old_winners), len(new_winners), docid))
        original_pk_num = len(prem[0]['prem'])
        # 模板提取有角色，原来的prem只保留默认包
        prem[0]['prem'] = {k:v for k,v in prem[0]['prem'].items() if k == 'Project'}
        # 去除非招标、代理角色
        for k, v in prem[0]['prem'].items():
            if 'roleList' in v:
                v['roleList'] = [d for d in v['roleList'] if d.get('role_name', '') in ['tenderee', 'agency']]
        for package, dic in result_template['prem'].items():
            if package == 'Project' and package in prem[0]['prem']:
                for k in ['code', 'name', 'tendereeMoney']:
                    if k in dic and dic[k] not in [0, '']:
                        prem[0]['prem']['Project'][k] = dic[k]
                if 'roleList' in dic:
                    for d in dic['roleList']:
                        if d['role_name'] not in ['tenderee', 'agency']:
                            prem[0]['prem'][package]['roleList'].append(d)
            else:
                prem[0]['prem'][package] = dic
        new_pk_num = len(prem[0]['prem'])
        if abs(original_pk_num - new_pk_num) > 1:
            log('模板提取结果替换原来prem，原来包数量：%d, 模板提取数量：%d, 合并后包数量：%d，docid：%s'%(
                original_pk_num, len(result_template.get('prem', {})), new_pk_num,docid))

    return product_attrs, codeName, prem

if __name__ == "__main__":
    with open('d:/html/要素提取输入要素.json', 'r', encoding='utf-8') as f:
        docid, title, page_time, web_source_no, web_source_name, original_docchannel, page_attachments = json.load(f)
    with open('d:/html/2.html', encoding='utf-8') as f:
        html = f.read()
        web_source_no = 'DX016887'
        rs = template_predict(html, web_source_no=web_source_no.split('_')[0])
        print(type(rs), rs)
    d = {'招标信息': [], '中标信息': [], '候选人信息': [{'标的': '广东电网能源投资有限公司“十五五”发展规划咨询服务项目', '标包': '广东电网能源投资有限公司“十五五”发展规划咨询服务项目', '候选人': '北京力久科技有限公司', '投标价': '70万元', '排名': '1'}, {'标的': '广东电网能源投资有限公司“十五五”发展规划咨询服务项目', '标包': '广东电网能源投资有限公司“十五五”发展规划咨询服务项目', '候选人': '广州逸仙咨询顾问有限公司', '投标价': '66.6万元', '排名': '2'}, {'标的': '广东电网能源投资有限公司人力资源规划及市场化薪酬用工机制改革咨询服务项目', '标包': '广东电网能源投资有限公司人力资源规划及市场化薪酬用工机制改革咨询服务项目', '候选人': '广东中大管理咨询集团股份有限公司', '投标价': '47.3万元', '排名': '1'}, {'标的': '广东电网能源投资有限公司人力资源规划及市场化薪酬用工机制改革咨询服务项目', '标包': '广东电网能源投资有限公司人力资源规划及市场化薪酬用工机制改革咨询服务项目', '候选人': '广州逸仙咨询顾问有限公司', '投标价': '47.5万元', '排名': '2'}]}
    # d = {'招标信息': [],
    #  '中标信息': [{'标的': '标的1：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年党员干部党性教育培训体系研究与建设项目', '中标人': '广东中大管理咨询集团股份有限公司'},
    #           {'标的': '标的1：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司国际化人才培训评价产品开发及运营机制研究', '中标人': '南方电网澜湄能源咨询（广东）有限责任公司'},
    #           {'标的': '标的1：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年新形势下的干部管理教育体系探索与研究课题', '中标人': '深圳市仁脉教育发展有限公司'},
    #           {'标的': '标的1：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年基于领导力培养的行动学习课题研究项目', '中标人': '广州睿思管理咨询有限公司'},
    #           {'标的': '标的1：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年基于“工学一体化”的现代化产业工人队伍建设的培训体系研究',
    #            '中标人': '深圳市远界管理咨询有限公司'},
    #           {'标的': '标的1：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年基于世界一流企业定位的干部“选育管用”全链条体系优化研究',
    #            '中标人': '广州逸仙咨询顾问有限公司'},
    #           {'标的': '标的2：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年党建及团员青年教育教研体系建设课题研究项目', '中标人': '广东中大管理咨询集团股份有限公司'},
    #           {'标的': '标的2：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年培训评价实施机构安全风险管理体系研究与实践', '中标人': '广东邮电职业技术学院'},
    #           {'标的': '标的2：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年电力生产领域专业技术人员培养研究', '中标人': '广州睿思管理咨询有限公司'},
    #           {'标的': '标的2：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年承接南方电网公司专业技术人员培训内容规范编制', '中标人': '深圳市远界管理咨询有限公司'},
    #           {'标的': '标的2：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年基于人工智能驱动的技能类培训与评价技术研究与应用项目', '中标人': '广州逸仙咨询顾问有限公司'},
    #           {'标的': '标的2：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司基于技能岗评大数据建立安全事故“预警机制”的课题研究', '中标人': '广东华工精卓企业管理咨询有限公司'},
    #           {'标的': '标的2：广东电网有限责任公司2025年培评课题研究', '标包': '广东电网公司2025年培训评价计划编制项目', '中标人': '深圳市仁脉教育发展有限公司'}], '候选人信息': []}
    # d = {'招标信息': [{'标的': '深圳电网智慧能源技术有限公司2025年承装（修、试）三级电力设施许可资质办理咨询服务项目', '预算': '30000.00元', '限价': '30000.00元'}], '中标信息': [], '候选人信息': []}
    # d = {'项目编号': 'OUC-HW-ZG2506914', '项目名称': '绘图测量仪器', '招标信息': [{'招标人': '工程学院', '地址': '中国海洋大学西海岸校区', '联系人': '宁**', '电话': '156****2849'}], '中标信息': [{'中标人': '温岭市城西三忠工具店', '中标价': '260元'},{'中标人': '温岭市城西三忠工具店', '中标价': '260元'},{'中标人': '温岭市文具店', '中标价': '1260元'}], '产品信息': [{'产品': '磁性表座', '品牌': '', '规格': '', '数量': '2台'}]}
    d = {'候选人信息': [{'标的': '肇庆110千伏武垄输变电工程等2项工程施工', '标包': '肇庆110千伏武垄输变电工程施工', '排名': '1', '候选人': '广州电力建设有限公司e/深圳市远界管理咨询有限公司s', '投标价': '/'}, {'标的': '肇庆110千伏武垄输变电工程等2项工程施工', '标包': '肇庆110千伏长溪（贝水2）输变电工程施工', '排名': '1', '候选人': '肇庆市恒电电力工程有限公司', '投标价': '/'}, {'标的': '中山220千伏德隆站扩建第三台主变工程等3项工程施工', '标包': '中山220千伏德隆站扩建第三台主变工程施工', '排名': '1', '候选人': '东莞市输变电工程建设有限责任公司', '投标价': '535.95万元'}, {'标的': '中山220千伏德隆站扩建第三台主变工程等3项工程施工', '标包': '中山110千伏广源输变电工程施工', '排名': '1', '候选人': '中山市城区电气工程有限公司', '投标价': '/'}, {'标的': '中山220千伏德隆站扩建第三台主变工程等3项工程施工', '标包': '中山110千伏外沙输变电工程施工', '排名': '1', '候选人': '中山市农村电力工程有限公司', '投标价': '/'}, {'标的': '惠州惠阳110千伏迎宾（尧岗）输变电工程施工', '标包': '惠州惠阳110千伏迎宾（尧岗）输变电工程施工', '排名': '1', '候选人': '惠州市惠城电力实业有限公司', '投标价': '3249.44万元'}, {'标的': '珠海110千伏梅华输变电工程施工', '标包': '珠海110千伏梅华输变电工程施工', '排名': '1', '候选人': '珠海电力建设工程有限公司', '投标价': '3181.14万元'}, {'标的': '佛山110千伏顺利输变电工程等2项工程施工', '标包': '佛山110千伏顺利输变电工程施工', '排名': '1', '候选人': '联合体：广东威恒输变电工程有限公司（牵头人）,中国建筑第四工程局有限公司（成员）', '投标价': '2912.27万元'}, {'标的': '佛山110千伏顺利输变电工程等2项工程施工', '标包': '佛山110千伏龙眼输变电工程施工', '排名': '1', '候选人': '广东汇盈电力工程有限公司', '投标价': '2533.33万元'}, {'标的': '梅州城区220千伏赞化站扩建第三台主变工程等6项工程施工', '标包': '梅州城区220千伏赞化站扩建第三台主变工程施工', '排名': '1', '候选人': '广东运峰电力安装有限公司', '投标价': '360.84万元'}, {'标的': '梅州城区220千伏赞化站扩建第三台主变工程等6项工程施工', '标包': '梅州城区110千伏干才输变电工程等3项工程施工', '排名': '招标失败', '候选人': '招标失败', '投标价': '招标失败'}, {'标的': '梅州城区220千伏赞化站扩建第三台主变工程等6项工程施工', '标包': '蕉岭供电局新建35kV北礤台区变工程等2项工程施工', '排名': '1', '候选人': '五华县华源电力发展有限公司', '投标价': '203万元'}, {'标的': '湛江220千伏工业园站扩建第二台主变工程等5项工程施工', '标包': '湛江220千伏工业园站扩建第二台主变工程施工', '排名': '1', '候选人': '中国能源建设集团广东火电工程有限公司', '投标价': '252.02万元'}, {'标的': '湛江220千伏工业园站扩建第二台主变工程等5项工程施工', '标包': '湛江110千伏曲界站扩建第二台主变工程等4项工程施工', '排名': '1', '候选人': '广东雷能电力集团有限公司', '投标价': '902.02万元'}, {'标的': '清远三江涡水供电所新建35kV涡水台区工程等4项工程施工', '标包': '清远三江涡水供电所新建35kV涡水台区工程等4项工程施工', '排名': '1', '候选人': '清远市方能电力工程安装有限公司', '投标价': '466.32万元'}]}
    enterprise = {
        "东莞市输变电工程建设有限责任公司": {
            "in_text": 1
        },
        "中国南方电网有限责任公司": {
            "in_text": 1
        },
        "中国建筑第四工程局有限公司": {
            "in_text": 1
        },
        "中国能源建设集团广东火电工程有限公司": {
            "in_text": 1
        },
        "中山市农村电力工程有限公司": {
            "in_text": 1
        },
        "中山市城区电气工程有限公司": {
            "in_text": 1
        },
        "五华县华源电力发展有限公司": {
            "in_text": 1
        },
        "南方电网供应链（广东）有限公司": {
            "in_text": 1
        },
        "广东威恒输变电工程有限公司": {
            "in_text": 1
        },
        "广东汇盈电力工程有限公司": {
            "in_text": 1
        },
        "深圳市远界管理咨询有限公司": {
            "in_text": 1
        },
        "广东电网有限责任公司": {
            "in_text": 1
        },
        "广东运峰电力安装有限公司": {
            "in_text": 1
        },
        "广东雷能电力集团有限公司": {
            "in_text": 1
        },
        "广州电力建设有限公司": {
            "in_text": 1
        },
        "惠州市惠城电力实业有限公司": {
            "in_text": 1
        },
        "清远三江涡水供电所": {
            "in_text": 1
        },
        "清远市方能电力工程安装有限公司": {
            "in_text": 1
        },
        "珠海电力建设工程有限公司": {
            "in_text": 1
        },
        "肇庆市恒电电力工程有限公司": {
            "in_text": 1
        },
        "蕉岭供电局": {
            "in_text": 1
        }
    }
    # rs = result_post_precess(d, enterprise=enterprise)
    # print(rs)

    from collections import Counter
    df = pd.read_csv('E:/模版提取/中国南方电网-站源公告.csv')
    df2 = pd.read_csv('E:/模版提取/中国南方电网-站源公告_html.csv')
    # df = pd.read_csv('E:/模版提取/医院大学站源公告.csv')
    # df2 = pd.read_csv('E:\模版提取/医院大学站源公告_html.csv')
    # df = pd.read_csv('E:/模版提取/站源数据_易派客1122.csv')
    # df2 = pd.read_csv('E:/模版提取/站源数据_易派客1122_html.csv')

    df = df.merge(df2, on='docid', how='inner')[:]
    print('公告数量：', len(df))
    df.fillna('', inplace=True)
    df = df[df['dochtmlcon'] != '']
    # df = df[df['web_source_name'] == '中山大学']
    # df = df[df['web_source_no'].str.contains('XX0182-')]
    print('公告数量2：', len(df))
    print(Counter(df['web_source_no']).most_common())

    rs_list = []
    n1 = n2 = 0
    datas = []
    datas2 = []
    keys = ['标的', '标包', '包号', '招标人', '预算', '限价', '联系人', '电话', '地址', '中标人', '中标价', '排名', '候选人', '投标价']
    key_ree = ['包号', '地址', '招标人', '标包', '标的', '电话', '联系人', '限价', '预算']
    key_win = ['中标人', '中标价', '包号', '地址', '标包', '标的', '电话', '联系人']
    key_can = ['候选人', '包号', '地址', '投标价', '排名', '标包', '标的', '电话', '联系人']
    key_pro = ['产品', '单价', '单位', '品牌', '品目', '总价', '数量', '规格']
    for docid, html, web_no, web_name in zip(df['docid'], df['dochtmlcon'], df['web_source_no'], df['web_source_name']):
        if '-' in web_no:
            web_no = web_no.split('-')[0]
        rs = template_predict(html, web_source_no=web_no)
        if rs == {}:
            continue
        # try:
        ds = result_post_precess(rs)
        # except Exception as e:
        #     print('内容错误：',e , rs)
        #     break
        print('docid：',docid)
        print('预处理前：',rs)
        print('预处理后：',ds)
        print('*'*20)
    #     for d in rs.get('招标信息', []):
    #         datas.append(tuple([docid, rs, ds, web_name]+[d.get(k, '') for k in keys]))
    #     for d in rs.get('中标信息', []):
    #         datas.append(tuple([docid, rs, ds, web_name]+[d.get(k, '') for k in keys]))
    #     for d in rs.get('候选人信息', []):
    #         datas.append(tuple([docid, rs, ds, web_name]+[d.get(k, '') for k in keys]))
    #     for d in rs.get('产品信息', []):
    #         datas2.append(tuple([docid, rs, ds, web_name] + [d.get(k, '') for k in key_pro]))
    #
    #     # datas.append(tuple([docid, rs, ds, web_name, len(rs.get('招标信息', [])), len(rs.get('中标信息', [])), len(rs.get('候选人信息', [])), len(ds.get('prem', {}))]))
    #
    # df = pd.DataFrame(datas, columns=['docid', '原始结果', '解析结果', '站源']+keys)
    # df2 = pd.DataFrame(datas2, columns=['docid', '原始结果', '解析结果', '站源']+key_pro)
    #
    # for col in df.columns:
    #     df[col] = df[col].apply(lambda x: json.dumps(x, ensure_ascii=False, indent=2, sort_keys=True) if not isinstance(x, str) else x)
    #
    # # df = pd.DataFrame(datas, columns=['docid', '原始结果', '解析结果', '站源', '招标数量', '中标数量', '候选数量', '包数量'])
    #
    # # df.to_excel('E:/模版提取/中国南方电网-站源公告_模板提取结果.xlsx', index=False)
    # # df.to_excel('E:/模版提取/医院大学站源公告_模板提取结果2.xlsx', index=False)
    # # df2.to_excel('E:/模版提取/医院大学站源公告_模板提取结果_产品信息.xlsx', index=False)
    # print('数量：%d, %.4d'%(len(df), len(datas)))
    #
    # print('************招标人************')
    # c = Counter(df['招标人'])
    # print(c.most_common())
    #
    # print('************中标人************')
    # c = Counter(df['中标人'])
    # print(c.most_common(100))
    #
    # print('************候标人************')
    # c = Counter(df['排名'])
    # print(c.most_common())