template1.py 4.0 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110
  1. # coding:utf8
  2. import re
  3. from typing import Dict, Any
  4. from BiddingKG.dl.template_extract.abstract_template import AbstractTemplate, table2list
  5. import os
  6. import json
  7. class BudgetTemplate(AbstractTemplate):
  8. """
  9. 招标信息提取模板(适配多列表格场景)
  10. 适配包含"预算、招标人"列的招标信息表格提取
  11. """
  12. def __init__(self):
  13. super().__init__(
  14. template_id=os.path.abspath(__file__),
  15. priority=3
  16. )
  17. def check_call_timing(self, preprocessed_data: Dict[str, Any]) -> bool:
  18. """检查是否符合模板调用条件"""
  19. if "表格列表" not in preprocessed_data:
  20. return False
  21. tables = preprocessed_data["表格列表"]
  22. if len(tables) < 1:
  23. return False
  24. try:
  25. datas = tables[0]
  26. # 验证表头列数(目标表格为8列)
  27. if len(datas[0]) != 8:
  28. print("表头数量异常;", len(datas[0]))
  29. return False
  30. # 表头内容正则匹配(适配包含"中标比例"的表格结构)
  31. header_patterns = [
  32. '序号', # 第1列:序号
  33. '标的(名称)?', # 第2列:标的
  34. '(预算|概算|招标)金额(([万亿美欧日]?元))?', # 第3列:预算
  35. '最大中标数量', # 第4列:中标数量
  36. '标包号', # 第5列:标包号
  37. '标包|标段|包名称', # 第6列:标包名称
  38. '(最高限价|拦标价)(([万亿美欧日]?元))?', # 第7列:限价
  39. '服务期/工期|工期/服务期|工期/交货期|交货期/工期|服务期|工期|交货期', # 第8列:工期/交货期
  40. ]
  41. # 逐列验证表头
  42. for i, pattern in enumerate(header_patterns):
  43. if not re.fullmatch(pattern, datas[0][i]):
  44. print('表头未验证: ', pattern, datas[0][i])
  45. return False
  46. # 确保表格有数据行
  47. if len(datas) < 2:
  48. return False
  49. self.header = datas[0]
  50. self.data = datas[1:]
  51. return True
  52. except Exception as e:
  53. print(f"表格验证错误: {e}")
  54. return False
  55. def extract(self, preprocessed_data: Dict[str, Any]) -> Dict[str, Any]:
  56. """提取表格中的招标信息、中标信息、候选人信息
  57. """
  58. extract_result = {"招标信息": []}
  59. for row in self.data:
  60. # 跳过列数异常的行
  61. if len(row) != 8:
  62. continue
  63. # 解析每行数据(适配10列结构)
  64. seq, subject, budget, quantity, number, package, limited_price, _ = row
  65. # 补充报价单位(如果表头有单位而内容没有)
  66. if re.search('[万亿美欧日]?元', self.header[2]) and not re.search('[万亿美欧日]?元', budget):
  67. budget += re.search('[万亿美欧日]?元', self.header[2]).group(0)
  68. if re.search('[万亿美欧日]?元', self.header[6]) and not re.search('[万亿美欧日]?元', limited_price):
  69. limited_price += re.search('[万亿美欧日]?元', self.header[6]).group(0)
  70. # 整理信息(保持与原模板一致的输出格式)
  71. extract_result["招标信息"].append({
  72. "标的": subject,
  73. "标包": package,
  74. "预算": budget,
  75. "限价": limited_price,
  76. })
  77. return extract_result
  78. # 使用示例
  79. if __name__ == "__main__":
  80. from lxml import etree
  81. # 读取并解析HTML文件
  82. with open("data.json", "r", encoding="utf8") as f:
  83. preprocessed_data = json.load(f)
  84. # 初始化模板并提取信息
  85. template = BudgetTemplate()
  86. if template.check_call_timing(preprocessed_data):
  87. result = template.extract(preprocessed_data)
  88. print("提取结果:", result)
  89. else:
  90. print("当前数据不满足模板调用条件")