kvtree识别优化

BiddingKG.iml

@@ -7,7 +7,7 @@
   </component>
   <component name="NewModuleRootManager">
     <content url="file://$MODULE_DIR$" />
-    <orderEntry type="jdk" jdkName="Remote Python 3.5.0 (sftp://yons@192.168.2.103:22/data/home/python/anaconda3/envs/dl_nlp/bin/python)" jdkType="Python SDK" />
+    <orderEntry type="jdk" jdkName="Python 3.7 (py37)" jdkType="Python SDK" />
     <orderEntry type="sourceFolder" forTests="false" />
     <orderEntry type="library" name="Python 3.5 (dl_nlp) interpreter library" level="application" />
   </component>

BiddingKG/dl/interface/html_2_kvtree.py

@@ -297,6 +297,8 @@ def tree_reposition(tree,sentence_index=None):
             obj["wordOffset_end"] = wordOffset_end
             wordOffset_begin = wordOffset_end
 
+            
+
             list_kv = obj.get("kv",[])
             for _d in list_kv:
                 _d["position"]["key_begin_sentence"] = sentence_index
@@ -592,7 +594,7 @@ def extract_kv_from_tree(tree):
                     _count += _c
                     if _t:
                         has_table = _t
-                    if child.get("tag","") in ("p","div"):
+                    if child.get("tag","") in ("p","div","li"):
                         child_has_p_div = True
                     if child.get("tag","")=="br":
                         child_has_br = True
@@ -605,16 +607,13 @@ def extract_kv_from_tree(tree):
                         list_kv = extract_kv_from_node(tree)
                         _count = len(list_kv)
                     return _count,has_table
-                if tree.get("tag","") in ("p","div") and not has_table and not child_has_p_div:
+                if tree.get("tag","") in ("p","div","li") and not has_table and not child_has_p_div:
                     if not child_has_br:
                         _text = get_child_text(tree)
                         tree["text"] = _text
-                    p_list_kv = extract_kv_from_node(tree)
-                    if len(p_list_kv)>=_count:
                         if "children" in tree:
                             del tree["children"]
-                    else:
-                        tree["text"] = ""
+                    p_list_kv = extract_kv_from_node(tree)
                     return len(p_list_kv),has_table
 
                 return _count,has_table
@@ -1599,126 +1598,101 @@ if __name__ == '__main__':
     # HTML 文本
     html_content = """
 <div>
- <div>   
-  <div> 
-   <div> 
-    <span>项目名称：</span> 
-    <span><mark data-markjs="true">广东公司肇庆热力供热管网设计服务项目询价采购</mark></span> 
-   </div> 
-   <div> 
-    <span>采购机构：</span> 
-    <span><a target="_blank" class="markBlue" href="/bdqyhx/340219751287832576.html" style="color: #3083EB !important;text-decoration: underline;">国能物资南方有限公司</a></span> 
-   </div> 
-   <div> 
-    <span>采购编号：</span> 
-    <span>NFSB-FWXJ-2024110471</span> 
-   </div> 
-   <div> 
-    <span>采购人：</span> 
-    <span><a target="_blank" class="markBlue" href="/bdqyhx/213048615245266944.html" style="color: #3083EB !important;text-decoration: underline;">肇庆大旺电力热力有限公司</a></span> 
-   </div> 
-   <div> 
-    <span>报价人资格条件：</span> 
-    <span>报价人资质要求:报价人须同时满足以下资质证书 1. 工程设计资质证书-市政-市政行业资质乙级 或 工程设计资质证书-电力-电力行业资质乙级 2. 特种设备生产许可证-压力管道-公用管道GB2。报价人业绩要求:报价人须满足以下业绩 1. 报价人须提供近五年内（2019年1月1日至报价截止日期） 管道设计（长度大于3公里） 合同 至少 2 个， 报价人须提供符合本采购要求的业绩合同扫描件，必须包含采购范围、合同签订时间、甲乙方盖章页， 报价人须同时提供业绩合同对应的其他证明文件： 结算发票（开票时间2019-01-01至2024-11-30） ，未按上述要求提供的业绩证明文件为无效证明文件。</span> 
-   </div> 
-   <div> 
-    <span>采购方式：</span> 
-    <span> 询价采购</span> 
-   </div> 
-   <div> 
-    <span>询价方式：</span> 
-    <span> 公开询价</span> 
-   </div> 
-   <div> 
-    <span>物资分类：</span> 
-    <span> 火电设备-&gt;热控系统设备及配件;服务-&gt;其它;燃机设备-&gt;锅炉设备;火电设备-&gt;除灰设备及配件;服务-&gt;综合服务;火电设备-&gt;汽机辅机设备及配件;服务-&gt;勘察设计;火电设备-&gt;脱硫设备及配件;火电设备-&gt;锅炉主机设备及配件;燃机设备-&gt;燃气轮机设备及配件;</span> 
-   </div> 
-   <div> 
-    <span>主要技术要求：</span> 
-    <span> 本设计服务采购范围包括但不限于: 1.新增或改造供热管网开口项目编制建设项目可行性研究报告、设计方案、勘察设计、初步设计、施工图设计文件、非标准设备设计文件、施工图预算文件等服务。 2.报价人自行组织现场踏勘，采购人可提供供热管网母管参数、用汽用户需求参数等资料，报价人根据相关资料提供项目设计方案，内容应包含项目概况、热负荷计算、管网敷设方案、工程投资估算等。</span> 
-   </div> 
-  </div>  
-  <div> 
-   <div> 
-    <div> 
-     <span>发布人：</span> 
-     <span> 任灏洋</span> 
-    </div> 
-    <div> 
-     <span>报价方式：</span> 
-     <span>整单</span> 
-    </div> 
-   </div> 
-   <div> 
-    <div> 
-     <span>联系电话：</span>  
-    </div> 
-    <div> 
-     <span>发布时间：</span> 
-     <span>2024-11-29 16:43:56</span> 
-    </div> 
-   </div> 
-   <div> 
-    <div> 
-     <span>服务时间：</span> 
-     <span>合同签订后730天内 </span> 
-    </div> 
-    <div> 
-     <span>报价截止时间：</span> 
-     <span> 2024-12-04 09:00:00</span> 
-    </div> 
-   </div> 
-   <div> 
-    <div> 
-     <span>支付方式：</span> 
-     <span> 电汇</span> 
-    </div> 
-    <div> 
-     <span>运费承接：</span> 
-     <span> 供应方承担</span> 
-    </div> 
-   </div> 
-   <div> 
-    <div> 
-     <span>服务地点：</span> 
-     <span><a target="_blank" class="markBlue" href="/bdqyhx/213048615245266944.html" style="color: #3083EB !important;text-decoration: underline;">肇庆大旺电力热力有限公司</a>物资工厂</span> 
-    </div> 
-    <div> 
-     <span>异议联系人：</span> 
-     <span> 杨帆</span> 
-    </div> 
-   </div> 
-  </div>  
-  <div> 
-   <div> 
-    <div> 
-     <div>
-       附件： 
-     </div> 
-     <div> 
-      <p> 有 </p> 
-     </div> 
-    </div> 
-    <div> 
-     <span>异议接收单位：</span> 
-     <span> <a target="_blank" class="markBlue" href="/bdqyhx/340219751287832576.html" style="color: #3083EB !important;text-decoration: underline;">国能物资南方有限公司</a></span> 
-    </div> 
-   </div> 
-  </div> 
-  <div> 
-   <div> 
-    <div> 
-     <span>备注：</span>  
-    </div> 
-   </div> 
-  </div> 
-  <div> 
-   <div> 
-    <span>发布平台：</span> 
-    <span>国家能源e购（网址：www.neep.shop），报价人须在发布平台注册、经审核通过并缴纳供应商分类年费后才能参与具体项目报价。</span> 
-   </div> 
-  </div> 
+<div>
+   工程造价咨询 
  </div>
+<div>
+<div>
+    关于为【意溪镇四宁村农村人居环境及村道整治提升项目-前期费用结算审核】公开选取【工程造价咨询】机构的公告 
+  </div>
+</div>
+<div>
+<p> 2024-12-24 17:30 ，在广东省网上中介服务超市为<a target="_blank" class="markBlue" href="/bdqyhx/216515788655505408.html" style="color: #3083EB !important;text-decoration: underline;">潮州市湘桥区意溪镇四宁村民委员会</a> 公开选取工程造价咨询中介服务机构，现将相关事项公告如下： </p>
+<p>此项目采用多选一的直接选取方式，项目业主将在报名的若干家中介机构中，自主选定一家作为中选机构，未被选中的机构不应有任何异议。</p>
+<ul>
+<li> <b>项目业主</b>
+<div data-purorgcode="G19187326" data-tyshxydm="54445102G191873262">
+      <a target="_blank" class="markBlue" href="/bdqyhx/216515788655505408.html" style="color: #3083EB !important;text-decoration: underline;">潮州市湘桥区意溪镇四宁村民委员会</a> 
+    </div> </li>
+<li> <b>采购项目名称</b>
+<div data-divisioncode="445100">
+      意溪镇四宁村农村人居环境及村道整治提升项目-前期费用结算审核 
+    </div> </li>
+<li> <b>中介服务事项</b>
+<div data-servicesubjectcode="">
+      无（属于非行政管理的中介服务项目采购） 
+    </div> </li>
+<li> <b>投资审批项目</b>
+<div>
+      否 
+    </div> </li>
+<li> <b>采购项目编码</b>
+<div>
+      445100G191873262412200638 
+    </div> </li>
+<li> <b>项目规模</b>
+<div data-restrictionsforehead="1500000.0" data-restrictionsforeheadtype="amountInvested">
+<p>投资额（￥1,500,000.00元）</p>
+</div> </li>
+<li> <b>所需服务</b>
+<div>
+      工程造价咨询 
+    </div> </li>
+<li> <b>服务内容</b>
+<div>
+      本次工程为意溪镇四宁村农村人居环境及村道整治提升项目，位于潮州市湘桥区意溪镇四宁村，投资额为1500000.00元，建设内容包括路面便底化约800平方米，黑底化约2150平方米，新安装太阳能路灯14盏等，现已竣工验收完成，根据业主要求，对本项目进行前期费用结算审核（概算编制费2571.86元，施工图审查费5024.5元，设计费54700元，预算编制费5315.66元，工程监理费35275.46元，工程测绘费22634.89元，建设方案编制费10500元），并出具前期费用结算审核报告及定案表。 
+    </div> </li>
+<li> <b>中介机构要求</b>
+<div>
+      仅承诺服务即可 
+    </div> </li>
+<li> <b>其他要求说明：</b>
+<div>
+      无 
+    </div> </li>
+<li> <b>服务时限说明</b>
+<div>
+      无要求，按合同约定。 
+    </div> </li>
+<li> <b>服务金额</b>
+<div data-biddingmode="" data-highprice="" data-lowprice="1600.0">
+      ￥1,600.00元 
+    </div> </li>
+<li> <b>金额说明</b>
+<div>
+      按广东省物价局关于调整我省建设工程造价咨询服务收费的复函（粤价函[2011]742号）规定的造价咨询行业收费标准，最终价格以财政审核或第三方工程造价公司审核价为准。 
+    </div> </li>
+<li> <b>选取中介服务机构方式</b>
+<div data-selectmodetype="DXYZJXQ">
+      直接选取 
+    </div> </li>
+<li> <b>是否选取中介</b>
+<div>
+      否 
+    </div> </li>
+<li> <b>有无回避情况</b>
+<div>
+      否 
+    </div> </li>
+<li> <b> 截止报名时间 </b>
+<div>
+      2024-12-24 17:30 
+    </div> </li>
+<li> <b>业主单位咨询电话</b>
+<div>
+      <a target="_blank" class="markBlue" href="/bdqyhx/216515788655505408.html" style="color: #3083EB !important;text-decoration: underline;">潮州市湘桥区意溪镇四宁村民委员会</a> （登录后查看） 
+    </div> </li>
+<li> <b>采购需求书下载</b>
+<div>
+<a target="_blank" class="markBlue" filelink="277a2f13e4a4d41149766c82adfc8762" href="https://attachment-hub.oss-cn-hangzhou.aliyuncs.com/277a/20230710/2023-07-10/04733/1688982497468.jpg?Expires=1734688561&amp;OSSAccessKeyId=LTAI5tHoEUDSy6FnZjMKsNiZ&amp;Signature=G3SAJQuJlYZ5lOpHNc%2BWHspfDpE%3D" original="https://ygp.gdzwfw.gov.cn/zjfwcs/gd-zjcs-pub/file/downloadfile/PjAttachment/7618f614-ae9c-48cc-97f7-17ffd05d4200" rel="noreferrer">资金说明1.jpg</a>
+<br>
+<a target="_blank" class="markBlue" filelink="3e3795ea0244f1b4cc77123512edd30a" href="https://attachment-hub.oss-cn-hangzhou.aliyuncs.com/3e37/20230710/2023-07-10/04733/1688982505603.jpg?Expires=1734688561&amp;OSSAccessKeyId=LTAI5tHoEUDSy6FnZjMKsNiZ&amp;Signature=ZP8xdy%2F1a%2Blbb%2FOAhFyzjpadprg%3D" original="https://ygp.gdzwfw.gov.cn/zjfwcs/gd-zjcs-pub/file/downloadfile/PjAttachment/beb5d765-4ce3-471f-a290-14a12d9ad64e" rel="noreferrer">资金说明2.jpg</a>
+<br>
+</div> </li>
+</ul>
+</div>
+<p> 广东省网上中介服务超市已经向符合资质条件的在库中介服务机构的业务授权人手机号码和中介专属网页发送通知，诚邀符合资质条件的在库中介服务机构登录中介专属网页进行报名。 </p>
+<p><span>潮州市公共资源交易中心</span><br> <span>2024-12-20</span></p>
 </div>
     """
     _tree = html_to_tree(html_content)