template1.py 5.2 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144
  1. # coding:utf8
  2. import re
  3. from typing import Dict, Any
  4. from BiddingKG.dl.template_extract.abstract_template import AbstractTemplate
  5. import os
  6. import json
  7. class CustomTransactionTemplate(AbstractTemplate):
  8. """
  9. 适配data.json表格结构的成交信息提取模板
  10. 提取中标信息、过滤空值,严格遵循返回格式要求
  11. """
  12. def __init__(self):
  13. super().__init__(
  14. template_id=os.path.abspath(__file__),
  15. priority=3
  16. )
  17. self.table_header = None # 表格表头
  18. self.table_data = None # 表格数据行
  19. def check_call_timing(self, preprocessed_data: Dict[str, Any]) -> bool:
  20. """
  21. 检查是否符合模板调用条件:匹配表格结构和核心表头
  22. :param preprocessed_data: 预处理后的输入数据(包含表格列表)
  23. :return: 是否符合调用条件
  24. """
  25. # 检查表格列表是否存在且有效
  26. if "表格列表" not in preprocessed_data or '表格前文' not in preprocessed_data:
  27. return False
  28. tables = preprocessed_data["表格列表"]
  29. tables_prev_text = preprocessed_data['表格前文']
  30. if len(tables) < 1 or not isinstance(tables[0], list) or len(tables[0]) < 2:
  31. return False
  32. try:
  33. # 提取第一个表格的表头和数据
  34. target_table = tables[0]
  35. self.table_header = target_table[0]
  36. self.table_data = target_table[1:]
  37. prev_text = re.sub('\s', '', tables_prev_text[0])
  38. if len(self.table_header) != 2:
  39. # print(f"表头列数异常:{len(self.table_header)}列,预期2列")
  40. return False
  41. if re.search('(中标|成交|中选)(候选)?人公示如下:$|结果公告如下:$', prev_text) == None:
  42. return False
  43. # 定义核心表头的泛化正则匹配规则(按实际表头位置)
  44. header_patterns = [
  45. r'包件号', # 第0列
  46. r'单位名称', # 第1列
  47. ]
  48. # 验证表头匹配(按位置校验)
  49. for idx, pattern in enumerate(header_patterns):
  50. if idx >= len(self.table_header):
  51. return False
  52. header_str = str(self.table_header[idx]).strip()
  53. if not re.fullmatch(pattern, header_str, re.IGNORECASE):
  54. # print(f"表头位置{idx}匹配失败: 预期{pattern},实际{header_str}")
  55. return False
  56. return True
  57. except Exception as e:
  58. print(f"校验表格失败: {e}")
  59. return False
  60. def extract(self, preprocessed_data: Dict[str, Any]) -> Dict[str, Any]:
  61. """
  62. 提取表格数据,按指定格式返回(过滤空值、校验字段有效性)
  63. :param preprocessed_data: 预处理后的输入数据
  64. :return: 提取结果(符合指定JSON格式)
  65. """
  66. # 初始化返回结果结构
  67. extract_result = {
  68. "项目编号": "",
  69. "项目名称": "",
  70. "招标信息": [],
  71. "中标信息": [],
  72. "候选人信息": [],
  73. "产品信息": []
  74. }
  75. # 提取中标信息(核心逻辑)
  76. for row in self.table_data:
  77. if len(row) != len(self.table_header):
  78. continue # 跳过长度不匹配的行
  79. # 按表头位置提取字段
  80. package = str(row[0]).strip() # 包号
  81. supplier_name = str(row[1]).strip() # 供应商名称(中标人)
  82. # 构建中标信息字典
  83. bid_info = {
  84. "标的": "",
  85. "标包": package,
  86. "包号": "",
  87. "中标人": supplier_name,
  88. "中标价": '',
  89. "联系人": "",
  90. "电话": "",
  91. "服务时间": "",
  92. "地址": ""
  93. }
  94. # 过滤空值字段
  95. bid_info_filtered = {k: v for k, v in bid_info.items() if v}
  96. if bid_info_filtered: # 确保非空才添加
  97. extract_result["中标信息"].append(bid_info_filtered)
  98. # 招标信息:无招标人/预算,置空
  99. extract_result["招标信息"] = []
  100. # 候选人信息:无候选人+排名,置空
  101. extract_result["候选人信息"] = []
  102. # 产品信息:无产品及其他要素,置空
  103. extract_result["产品信息"] = []
  104. # 过滤顶层空值字段(项目编号/名称为空则移除)
  105. extract_result = {k: v for k, v in extract_result.items() if v or isinstance(v, list)}
  106. return extract_result
  107. # 使用示例
  108. if __name__ == "__main__":
  109. # 读取data.json数据
  110. with open("data.json", "r", encoding="utf8") as f:
  111. preprocessed_data = json.load(f)
  112. # 初始化模板并执行提取
  113. template = CustomTransactionTemplate()
  114. if template.check_call_timing(preprocessed_data):
  115. result = template.extract(preprocessed_data)
  116. # 输出格式化JSON结果
  117. print("提取结果:")
  118. print(json.dumps(result, ensure_ascii=False, indent=4))
  119. else:
  120. print("当前数据不满足模板调用条件")