template4.py 4.6 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120
  1. # coding:utf8
  2. import re
  3. from typing import Dict, Any
  4. from BiddingKG.dl.template_extract.abstract_template import AbstractTemplate, table2list
  5. import os
  6. import json
  7. class TranslationServiceBidTemplate(AbstractTemplate):
  8. """
  9. 翻译服务招标信息提取模板
  10. 适配包含标的名称、标包名称、采购金额等列的招标信息表格提取
  11. """
  12. def __init__(self):
  13. super().__init__(
  14. template_id=os.path.abspath(__file__),
  15. priority=3
  16. )
  17. def check_call_timing(self, preprocessed_data: Dict[str, Any]) -> bool:
  18. """检查是否符合模板调用条件"""
  19. if "表格列表" not in preprocessed_data:
  20. return False
  21. tables = preprocessed_data["表格列表"]
  22. if len(tables) < 1:
  23. return False
  24. try:
  25. datas = tables[0]
  26. # 验证表头列数(目标表格为10列)
  27. if len(datas[0]) < 4:# != 10:
  28. print(f"表头数量异常:{len(datas[0])}列,需10列")
  29. return False
  30. # 表头内容正则匹配(泛化表达)
  31. header_patterns = [
  32. '序号', # 第1列:序号
  33. '(标的|项目)(名称)?', # 第2列:标的名称
  34. '(标包|标段|包)(名称)?', # 第3列:标包名称
  35. '((预计采购|预算|概算)金额|最高投标限价|最高限价|拦标价)(([万亿美欧日]?元))?', # 第4列:预计采购金额
  36. # '(最高投标限价|最高限价|拦标价)(([万亿美欧日]?元))?', # 第5列:最高投标限价
  37. # '最大中标数量', # 第6列:最大中标数量
  38. # '(服务期/工期|工期/服务期|服务期|工期)', # 第7列:工期/服务期
  39. # '是否特殊包', # 第8列:是否特殊包
  40. # '(响应|投标)保证金', # 第9列:响应保证金
  41. # '备注' # 第10列:备注
  42. ]
  43. # 逐列验证表头
  44. for i, pattern in enumerate(header_patterns):
  45. if not re.fullmatch(pattern, datas[0][i], re.IGNORECASE):
  46. print(f'表头未验证:第{i+1}列 {pattern} 与 {datas[0][i]} 不匹配')
  47. return False
  48. # 确保表格有数据行
  49. if len(datas) < 2:
  50. return False
  51. self.header = datas[0]
  52. self.data = datas[1:]
  53. return True
  54. except Exception as e:
  55. print(f"表格验证错误: {e}")
  56. return False
  57. def extract(self, preprocessed_data: Dict[str, Any]) -> Dict[str, Any]:
  58. """提取表格中的招标信息、中标信息、候选人信息"""
  59. extract_result = {
  60. "招标信息": [],
  61. "中标信息": [],
  62. "候选人信息": []
  63. }
  64. for row in self.data:
  65. # 跳过列数异常的行
  66. if len(row) < 4: #!= 10:
  67. continue
  68. # 解析每行数据
  69. # seq, subject, package, budget, limited_price, max_win_num, period, is_special, deposit, remark = row
  70. seq, subject, package, budget = row[:4]
  71. # 补充金额单位(如果表头有单位而内容没有)
  72. if re.search('[万亿美欧日]?元', self.header[3]) and not re.search('[万亿美欧日]?元', budget):
  73. budget += re.search('[万亿美欧日]?元', self.header[3]).group(0)
  74. # if re.search('[万亿美欧日]?元', self.header[4]) and not re.search('[万亿美欧日]?元', limited_price):
  75. # limited_price += re.search('[万亿美欧日]?元', self.header[4]).group(0)
  76. # 整理招标信息(包含预算,符合必填条件)
  77. bid_info = {
  78. "标的": subject,
  79. "标包": package,
  80. "预算": budget,
  81. # "限价": limited_price
  82. }
  83. # 过滤空值字段
  84. bid_info = {k: v for k, v in bid_info.items() if v}
  85. extract_result["招标信息"].append(bid_info)
  86. return extract_result
  87. # 使用示例
  88. if __name__ == "__main__":
  89. from lxml import etree
  90. # 读取并解析数据文件
  91. with open("data.json", "r", encoding="utf8") as f:
  92. preprocessed_data = json.load(f)
  93. # 初始化模板并提取信息
  94. template = TranslationServiceBidTemplate()
  95. if template.check_call_timing(preprocessed_data):
  96. result = template.extract(preprocessed_data)
  97. print("提取结果:", json.dumps(result, ensure_ascii=False, indent=2))
  98. else:
  99. print("当前数据不满足模板调用条件")