DataMining/export/exportEs.py

#coding:utf8

import elasticsearch
from elasticsearch import Elasticsearch

from utils.Utils import getLegal_str

# 内网：http://es-cn-lbj3cjmy3000djxak.elasticsearch.aliyuncs.com:9200
# 外网：http://es-cn-lbj3cjmy3000djxak.public.elasticsearch.aliyuncs.com:9200

es = Elasticsearch(["http://es-cn-lbj3cjmy3000djxak.public.elasticsearch.aliyuncs.com:9200"],
                   http_auth=('elastic','WWBu9#1HWHo$$gJm'),
                   port=9200,timeout=60
                   )
print(es.info())

keywords = "无人机、游艇、风电、碳塑、改性塑料、高分子、新材料、自行车、复合材料、碳纤维"
# keywords = "无人机、游艇、风电、碳塑、改性塑料"
keywords = "高分子、新材料、自行车、复合材料、碳纤维"
list_should = []
for keyword in keywords.split("、"):
    list_should.extend([
        # {'match_phrase':
        #      {'nicknames':keyword
        #       # {
        #       # "query": "医院",  # >= 大于等于
        #       # # # "lt": 1650038400000  # < 小于
        #       # }
        #       },
        #  },
        {'match_phrase':
             {'business_scope':keyword
              # {
              # "query": "医院",  # >= 大于等于
              # # # "lt": 1650038400000  # < 小于
              # }
              },
         },
        # {'match_phrase':
        #      {'description':keyword
        #       # {
        #       # "query": "医院",  # >= 大于等于
        #       # # # "lt": 1650038400000  # < 小于
        #       # }
        #       },
        #  }
    ])
# print(es.indices.get_mapping())
body = {
    "_source": "_name",
    'query': {  # 查询命令
        "bool": {
            "must":[
                {"has_child":{
    "type":"contacts",
    "query":{
        "bool":{
            'must': [
                {'match_phrase':
                     {'nicknames':'医院'
                      # {
                      # "query": "医院",  # >= 大于等于
                      # # # "lt": 1650038400000  # < 小于
                      # }
                      },
                 },
                {'term':
                     {'contacts_is_legal_person':0
                      # {
                      # "query": "医院",  # >= 大于等于
                      # # # "lt": 1650038400000  # < 小于
                      # }
                      },
                 },{'term':
                        {'contacts_is_mobile':1
                         # {
                         # "query": "医院",  # >= 大于等于
                         # # # "lt": 1650038400000  # < 小于
                         # }
                         },
                    }
            ]
        }
    }
}},
                # {"bool":{
                #     "should":[
                #         {"term":{
                #             "district":"鹤山"
                #         }
                #         }
                #     ]
                # }},
                # {"bool":{
                #     "should":list_should
                # }}

            ]
            # 'must': [
            #
            #
            #     # {"range":{"tyc_id":{"gt":1111}}}
            #     # {'match_phrase':
            #     #     {'contacts_is_legal_person':1
            #     #         # {
            #     #         # "query": "医院",  # >= 大于等于
            #     #         # # # "lt": 1650038400000  # < 小于
            #     #         # }
            #     #     },
            #     # },{'match_phrase':
            #     #                        {'contacts_is_mobile':1
            #     #                         # {
            #     #                         # "query": "医院",  # >= 大于等于
            #     #                         # # # "lt": 1650038400000  # < 小于
            #     #                         # }
            #     #                         },
            #     #    }
            # ]

        },

    },
    # "sort": [
    #         {"id": "desc"}
    #     ]
    "_source":"reg_location,address,location"
}

str_district = '''
梅河口
公主岭
定州
辛集
晋州
新乐
滦州
遵化
迁安
塔城
乌苏
武安
阿勒泰
南宫
沙河
安国
高碑店
涿州
伊宁市
奎屯
霍尔果斯
平泉
阿图什
泊头
黄骅
河间
任丘
库尔勒
霸州
三河
深州
博乐
阿拉山口
昌吉
阜康
和田市
喀什
阿克苏
库车
古交
高平
怀仁
介休
河津
永济
原平
侯马
霍州
青铜峡
孝义
汾阳
灵武
德令哈
格尔木
霍林郭勒
玉树
满洲里
牙克石
扎兰屯
额尔古纳
根河
丰镇
乌兰浩特
阿尔山
锡林浩特
二连浩特
同仁
合作
江阴
宜兴
临夏市
邳州
新沂
溧阳
张家港
昆山
太仓
常熟
海安
如皋
启东
华亭
东台
仪征
高邮
丹阳
扬中
句容
玉门
敦煌
兴化
靖江
泰兴
建德
余姚
慈溪
瑞安
乐清
诸暨
嵊州
海宁
平湖
桐乡
兰溪
东阳
永康
义乌
神木
江山
子长
临海
温岭
玉环
龙泉
韩城
华阴
兴平
彬州
延吉大安
图们
敦化
和龙
珲春
龙井
巢湖
扶余
无为
洮南

临江
集安
双辽
磐石
桦甸
蛟河
舒兰
榆树
德惠
桐城
潜山
兴城
北票
凌源
界首
调兵山
开原
天长
明光
灯塔
大石桥
盖州
广德
宁国
凌海
北镇
东港
凤城
海城
瓦房店
庄河
新民
漠河
安达
肇东
海伦
嫩江
北安
五大连池
绥芬河
海林
宁安
穆棱
东宁
福清
龙海
同江
富锦
抚远
石狮
晋江
南安
铁力
永安
邵武
武夷山
建瓯
漳平
虎林
密山
福安
福鼎
讷河
尚志
五常
瑞昌
共青城
庐山
德兴
高安
丰城
樟树
景洪
井冈山
文山
龙南
瑞金
乐平
蒙自
个旧
开远
弥勒
楚雄
大理
贵溪
香格里拉
泸水
胶州
平度
莱西
芒市
瑞丽
滕州
龙口
莱阳
莱州
招远
栖霞
海阳
诸城
青州
寿光
安丘
昌邑
高密
邹城
曲阜
新泰
肥城
荣成
乳山
腾冲
水富
澄江
宣威
安宁
都匀
福泉
乐陵
禹城
凯里
临清
兴义
兴仁
赤水
仁怀
盘州
新郑
巩义
登封
荥阳
新密
清镇
偃师
舞钢
汝州
林州
华蓥
卫辉
辉县
长垣
西昌
沁阳
孟州
康定
马尔康
禹州
长葛
万源
灵宝
义马
阆中
永城
项城
峨眉山
隆昌
射洪
邓州
广汉
什邡
绵竹
江油
都江堰
彭州
崇州
邛崃
简阳
大冶
丹江口
宜都
当阳
枝江
凭祥
枣阳
宜城
老河口
合山
靖西
平果
钟祥
京山
北流
汉川
应城
安陆
桂平
东兴
松滋
石首
监利
洪湖
岑溪
麻城
武穴
荔浦
赤壁
广水
恩施
罗定
普宁
宁乡
浏阳
英德
连州
醴陵
韶山
湘乡
阳春
耒阳
常宁
邵东
武冈
陆丰
汨罗
临湘
津市
沅江
涟源
冷水江
兴宁
资兴
高州
化州
信宜
台山
鹤山
开平
恩平
洪江
吉首
四会
廉江
吴川
雷州
乐昌
南雄
龙港
邹平
利川
茫崖
'''
list_district = []
for s in str_district.split("\n"):
    s = s.strip()
    if s!="":
        list_district.append(s)

#查询联系人
body = {
    "query":{
        "bool":{
            "must":[
                {"term": {"my_join_field": "contacts"}},
                {"term":{"contacts_is_mobile":1}},
                {"term":{"contacts_is_legal_person":0}},
                {"range":{"contacts_update_time":{"gte":"2023-01-01 00:00:00"}}},

                # {"nested":{
                #     "path":"my_join_field",
                #     "query":{
                #         "bool":{
                #             "must":[
                #                 {"match_phrase":{"my_join_field.parent":"医院"}}
                #             ]
                #         }
                #     }
                # }}
                # {"match_phrase":{"contacts_enterprise_name":"广州"}}
                {
                    "has_parent":{
                        "parent_type": "enterprise",
                        "query":{
                            "bool":{
                                "must":[
                                    {"term":{"district":"鹤山"}},
                                    {"match_phrase":{"nicknames":"医院"}},
                                ],
                                "must_not":[
                                    {"match_phrase":{"nicknames":"美容"}},
                                    {"match_phrase":{"nicknames":"动物"}},
                                    {"match_phrase":{"nicknames":"植物"}},
                                ]
                            }
                        }
                    }
                }
            ],

        }
    },
    "_source":["contacts_enterprise_name","contacts_person_name","contacts_phone_no"]
}


def search_data(es,body,nums,get_total=False):

    every_page_number = min(nums,1000)

    list_result = []
    query = es.search(body,rest_total_hits_as_int=True,scroll='5m',size=every_page_number)
    total_count = query["hits"]["total"]
    _scroll_id = query["_scroll_id"]
    print(query["hits"]["hits"])
    list_result.extend(query["hits"]["hits"])

    print("es total_count:%d"%(total_count))
    if get_total:
        get_nums = total_count
    else:
        get_nums = min(nums,total_count)
    page_numbers = get_nums//every_page_number+1
    for _n in range(page_numbers):
        if len(list_result)>=get_nums:
            break
        query = es.scroll(scroll_id=_scroll_id,scroll='5m')
        _scroll_id = query["_scroll_id"]
        list_result.extend(query["hits"]["hits"])
        print("%d/%d"%(len(list_result),total_count))
    return list_result

def data_to_excel(list_result,columns):
    import pandas as pd
    from utils.Utils import getCurrent_date

    df_data = {}
    for c in columns:
        df_data[c] = []
    for _d in list_result:
        _d = _d.get("_source",{})
        for c in columns:
            print(c,getLegal_str(_d.get(c)))
            df_data[c].append(getLegal_str(_d.get(c)))
    df = pd.DataFrame(df_data)
    df.to_excel("../data/%s_to_excel.xlsx"%(getCurrent_date(format="%Y-%m-%d_%H%M%S")),columns=columns)

if __name__ == '__main__':

    # print(search_data(es,body,3000))
    list_result = []
    list_district_should = []
    for district in list_district:
        list_district_should.append({"term":{"district":district}})
    body = {
        "query":{
            "bool":{
                "must":[
                    {"term":{"contacts_status":1}},
                    {"term": {"my_join_field": "contacts"}},
                    {"term":{"contacts_is_mobile":1}},
                    {"term":{"contacts_is_legal_person":0}},
                    {"range":{"contacts_update_time":{"gte":"2023-01-01 00:00:00"}}},

                    # {"nested":{
                    #     "path":"my_join_field",
                    #     "query":{
                    #         "bool":{
                    #             "must":[
                    #                 {"match_phrase":{"my_join_field.parent":"医院"}}
                    #             ]
                    #         }
                    #     }
                    # }}
                    # {"match_phrase":{"contacts_enterprise_name":"广州"}}
                    {
                        "has_parent":{
                            "parent_type": "enterprise",
                            "query":{
                                "bool":{
                                    "must":[
                                        {"bool":{"should":list_district_should}},
                                        # {"term":{"district":district}},
                                        {"match_phrase":{"nicknames":"医院"}},
                                    ],
                                    "must_not":[
                                        {"match_phrase":{"nicknames":"美容"}},
                                        {"match_phrase":{"nicknames":"动物"}},
                                        {"match_phrase":{"nicknames":"宠物"}},
                                        {"match_phrase":{"nicknames":"植物"}},
                                    ]
                                }
                            }
                        }
                    }
                ],

            }
        },
        "_source":["contacts_enterprise_name","contacts_person_name","contacts_phone_no"]
    }
    list_result.extend(search_data(es,body,10000000,False))
    data_to_excel(list_result,["contacts_enterprise_name","contacts_person_name","contacts_phone_no"])