template5.py 5.2 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142
  1. # coding:utf8
  2. import re
  3. from typing import Dict, Any
  4. from BiddingKG.dl.template_extract.abstract_template import AbstractTemplate, table2list
  5. import os
  6. import json
  7. class BidInfoExtractTemplate(AbstractTemplate):
  8. """
  9. 招投标信息提取模板
  10. 适配包含供应商名称、地址、中标金额、评审得分等信息的表格提取
  11. """
  12. def __init__(self):
  13. super().__init__(
  14. template_id=os.path.abspath(__file__),
  15. priority=3
  16. )
  17. def check_call_timing(self, preprocessed_data: Dict[str, Any]) -> bool:
  18. """检查是否符合模板调用条件"""
  19. if "表格列表" not in preprocessed_data:
  20. return False
  21. tables = preprocessed_data["表格列表"]
  22. if len(tables) < 1:
  23. return False
  24. try:
  25. datas = tables[0]
  26. # 至少需要表头行和一行数据
  27. if len(datas) < 2:
  28. return False
  29. header = datas[0]
  30. # 表头列数需匹配目标表格(4列)
  31. if len(header) != 4:
  32. # print(f"表头列数异常:{len(header)}列,预期4列")
  33. return False
  34. # 表头内容正则匹配(泛化类似表达)
  35. header_patterns = [
  36. r'供应商名称|中标单位名称', # 第1列:供应商名称
  37. r'供应商地址|中标单位地址', # 第2列:供应商地址
  38. r'中标(成交)金额|成交价|中标价|成交金额', # 第3列:金额
  39. r'评审总得分|评审得分|综合得分|评分' # 第4列:评审得分
  40. ]
  41. # 逐列验证表头
  42. for i, pattern in enumerate(header_patterns):
  43. if not re.fullmatch(pattern, header[i]):
  44. # print(f'表头第{i+1}列未匹配:{pattern} vs {header[i]}')
  45. return False
  46. self.header = header
  47. self.data = datas[1:]
  48. return True
  49. except Exception as e:
  50. # print(f"表格验证错误: {e}")
  51. return False
  52. def extract(self, preprocessed_data: Dict[str, Any]) -> Dict[str, Any]:
  53. """提取表格中的招投标信息"""
  54. # 初始化返回结构
  55. extract_result = {
  56. "项目编号": "",
  57. "项目名称": "",
  58. "招标信息": [],
  59. "中标信息": [],
  60. "候选人信息": [],
  61. "产品信息": []
  62. }
  63. # 过滤空值字段的辅助函数
  64. def filter_empty_fields(d: Dict[str, Any]) -> Dict[str, Any]:
  65. return {k: v for k, v in d.items() if v and v.strip()}
  66. for row in self.data:
  67. # 跳过列数异常的行
  68. if len(row) != 4:
  69. continue
  70. # 解析每行数据
  71. supplier_name, supplier_addr, amount, score = row
  72. # 补充金额单位(如果表头有单位而内容没有)
  73. if re.search(r'[万亿美欧日]?元', self.header[2]) and not re.search(r'[万亿美欧日]?元', amount):
  74. amount += re.search(r'[万亿美欧日]?元', self.header[2]).group(0)
  75. # ******** 中标信息提取 ********
  76. # 中标信息必须包含中标人
  77. if supplier_name:
  78. bid_win_info = {
  79. "标的": "",
  80. "标包": "",
  81. "包号": "",
  82. "中标人": supplier_name,
  83. "中标价": amount,
  84. "联系人": "",
  85. "电话": "",
  86. "服务时间": "",
  87. "地址": supplier_addr
  88. }
  89. filtered_bid_win = filter_empty_fields(bid_win_info)
  90. if filtered_bid_win: # 确保有有效字段
  91. extract_result["中标信息"].append(filtered_bid_win)
  92. # ******** 候选人信息提取(无排名则不提取)********
  93. # 本表格无排名字段,故候选人信息为空
  94. # ******** 招标信息提取(需包含招标人或预算,本表格无相关字段,故置空)********
  95. # ******** 产品信息提取(无相关字段,故置空)********
  96. # 过滤空列表和空值字段
  97. final_result = {}
  98. for key, value in extract_result.items():
  99. if isinstance(value, list):
  100. if value: # 列表非空时保留
  101. filtered_list = [filter_empty_fields(item) for item in value if filter_empty_fields(item)]
  102. if filtered_list:
  103. final_result[key] = filtered_list
  104. else:
  105. if value and value.strip(): # 非空字符串保留
  106. final_result[key] = value
  107. return final_result
  108. # 使用示例
  109. if __name__ == "__main__":
  110. # 读取数据文件
  111. with open("data.json", "r", encoding="utf8") as f:
  112. preprocessed_data = json.load(f)
  113. # 初始化模板并提取信息
  114. template = BidInfoExtractTemplate()
  115. if template.check_call_timing(preprocessed_data):
  116. result = template.extract(preprocessed_data)
  117. print("提取结果:", json.dumps(result, ensure_ascii=False, indent=2))
  118. else:
  119. print("当前数据不满足模板调用条件")