template1.py 5.8 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148
  1. # coding:utf8
  2. import re
  3. from typing import Dict, Any
  4. from BiddingKG.dl.template_extract.abstract_template import AbstractTemplate, table2list
  5. import os
  6. import json
  7. class BidInfoExtractTemplate(AbstractTemplate):
  8. """
  9. 招投标信息提取模板
  10. 适配包含中标单位信息的表格提取(匹配第一行标题头+第二行列头)
  11. """
  12. def __init__(self):
  13. super().__init__(
  14. template_id=os.path.abspath(__file__),
  15. priority=3
  16. )
  17. def check_call_timing(self, preprocessed_data: Dict[str, Any]) -> bool:
  18. """检查是否符合模板调用条件(同时匹配第一行标题头+第二行列头)"""
  19. if "表格列表" not in preprocessed_data:
  20. return False
  21. tables = preprocessed_data["表格列表"]
  22. if len(tables) < 1:
  23. return False
  24. try:
  25. datas = tables[0]
  26. # 至少需要标题行、列头行、一行数据(共3行)
  27. if len(datas) < 3:
  28. print(f"表格行数异常:{len(datas)}行,预期至少3行")
  29. return False
  30. # ========== 1. 匹配第一行标题行 ==========
  31. title_row = datas[0]
  32. # 标题行泛化匹配规则:所有列均为“中标单位信息”相关表达(支持重复)
  33. title_pattern = r'中标单位信息|中标信息|中标结果|中标公示'
  34. title_match = all([re.fullmatch(title_pattern, cell) for cell in title_row])
  35. if not title_match:
  36. print(f"第一行标题行未匹配:{title_row}")
  37. return False
  38. # ========== 2. 匹配第二行列头行 ==========
  39. header_row = datas[1]
  40. # 列头行需为7列
  41. if len(header_row) != 7:
  42. print(f"第二行列头行列数异常:{len(header_row)}列,预期7列")
  43. return False
  44. # 列头行正则匹配规则(泛化类似表达)
  45. header_patterns = [
  46. r'序号|编号', # 第1列:序号
  47. r'单位名称|公司名称|中标单位名称', # 第2列:单位名称
  48. r'项目经理|项目负责人|联系人', # 第3列:项目经理
  49. r'资格等级|资质等级|资质级别', # 第4列:资格等级
  50. r'资格证书编号|资质证书编号|证书编号', # 第5列:资格证书编号
  51. r'中标价(万元)|中标价|成交价|中标金额((万?元))?', # 第6列:中标价
  52. r'中标工期(天)|工期|中标工期|服务期|交货期((天))?' # 第7列:中标工期
  53. ]
  54. # 逐列验证列头行
  55. for i, pattern in enumerate(header_patterns):
  56. if not re.fullmatch(pattern, header_row[i]):
  57. print(f'第二行列头行第{i+1}列未匹配:{pattern} vs {header_row[i]}')
  58. return False
  59. # 保存表头和数据行(数据行从第三行开始)
  60. self.title_header = title_row
  61. self.col_header = header_row
  62. self.data = datas[2:]
  63. return True
  64. except Exception as e:
  65. print(f"表格验证错误: {e}")
  66. return False
  67. def extract(self, preprocessed_data: Dict[str, Any]) -> Dict[str, Any]:
  68. """提取表格中的招投标相关信息"""
  69. extract_result = {
  70. "项目编号": "",
  71. "项目名称": "",
  72. "招标信息": [],
  73. "中标信息": [],
  74. "候选人信息": [],
  75. "产品信息": []
  76. }
  77. # 解析每行数据
  78. for row in self.data:
  79. # 跳过列数异常的行
  80. if len(row) != 7:
  81. continue
  82. # 解析每行数据
  83. seq, company_name, project_manager, qualification_level, cert_no, price, period = row
  84. # 补充中标价单位(如果表头有单位而内容没有)
  85. if price: # 仅当价格非空时补充单位
  86. price_pattern = re.search(r'[万亿美欧日]?元', self.col_header[5])
  87. if price_pattern and not re.search(r'[万亿美欧日]?元', price):
  88. price += price_pattern.group(0)
  89. if period:
  90. period_pattern = re.search(r'日|天|年|月|周|星期', self.col_header[6])
  91. if period_pattern and not re.search(r'日|天|年|月|周|星期', period):
  92. period += period_pattern.group(0)
  93. # 整理中标信息
  94. bid_info = {
  95. "标的": "",
  96. "标包": "",
  97. "包号": "",
  98. "中标人": company_name,
  99. "中标价": price,
  100. "联系人": project_manager,
  101. "电话": "",
  102. "服务时间": period,
  103. "地址": ""
  104. }
  105. # 过滤空值字段
  106. bid_info = {k: v for k, v in bid_info.items() if v}
  107. # 中标信息必须包含中标人,满足则添加
  108. if bid_info.get("中标人"):
  109. extract_result["中标信息"].append(bid_info)
  110. # 过滤空列表和空值字段
  111. extract_result = {k: v for k, v in extract_result.items() if v or (isinstance(v, list) and len(v) > 0)}
  112. return extract_result
  113. # 使用示例
  114. if __name__ == "__main__":
  115. # 读取数据文件
  116. with open("data.json", "r", encoding="utf8") as f:
  117. preprocessed_data = json.load(f)
  118. # 初始化模板并提取信息
  119. template = BidInfoExtractTemplate()
  120. if template.check_call_timing(preprocessed_data):
  121. result = template.extract(preprocessed_data)
  122. print("提取结果:", json.dumps(result, ensure_ascii=False, indent=2))
  123. else:
  124. print("当前数据不满足模板调用条件")