소스 검색

修复数据遗漏的问题

luojiehua 1 년 전
부모
커밋
6dfcf98d40
1개의 변경된 파일2개의 추가작업 그리고 1개의 파일을 삭제
  1. 2 1
      BaseDataMaintenance/maintenance/dataflow_mq.py

+ 2 - 1
BaseDataMaintenance/maintenance/dataflow_mq.py

@@ -765,7 +765,8 @@ class Dataflow_ActivteMQ_extract(Dataflow_extract):
                     _soup = BeautifulSoup(_dochtmlcon,"lxml")
                     if len(_dochtmlcon)>200000:
                         _find = _soup.find("div",attrs={"class":"richTextFetch"})
-                        _find.decompose()
+                        if _find is not None:
+                            _find.decompose()
                     else:
                         _soup = article_limit(_soup,50000)
                     _dochtmlcon = str(_soup)