luojiehua 6f03687150 增加漏数据及修复数据;附件处理时如果历史已经处理过,则跳过 2 лет назад
..
comment 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
common 118ae0d95e 处理线上数据合并效率,解决合并重复公告的问题 2 лет назад
dataMonitor d71ee03a8a 增加重复入库提取监控,填充近期提取结果 2 лет назад
dataSource 8ddad17ebb oracle密码变更 2 лет назад
interface 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
java 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
maintenance 6f03687150 增加漏数据及修复数据;附件处理时如果历史已经处理过,则跳过 2 лет назад
maxcompute 6f03687150 增加漏数据及修复数据;附件处理时如果历史已经处理过,则跳过 2 лет назад
model 6f03687150 增加漏数据及修复数据;附件处理时如果历史已经处理过,则跳过 2 лет назад
primarykey a8a8e88bc8 地址改为linux下使用内网,修改启动间隔和错误日志打印 4 лет назад
readme 59be57dc38 启动脚本 2 лет назад
test d1f6436c45 工商数据已处理的定时删除 2 лет назад
__init__.py dc7a24c325 附件处理和上传第一版 4 лет назад
app.json 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
fixDoc_to_queue_extract.py cf2a71ef1b 数据流优化(数据遗漏,过长数据丢弃),增加数据遗漏检查 3 лет назад
monitor.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
readme.md 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
start_dataflow_attach_monitor.py 95d42ef0ea 拟在建入库改造,完善follow生成,联系人生成 2 лет назад
start_dataflow_attachment.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
start_dataflow_dumplicate.py adab5b785c 公告去重和合并的调整;要素提取增加超时 2 лет назад
start_dataflow_extract.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
start_dataflow_init.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
start_dataflow_merge.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
start_dataflow_monitor.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
start_dataflow_remove.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
start_drop_preproject_dump.py cf2a71ef1b 数据流优化(数据遗漏,过长数据丢弃),增加数据遗漏检查 3 лет назад
start_extract.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
start_fille_preproject.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
start_main.py d1f6436c45 工商数据已处理的定时删除 2 лет назад
start_rollback_services.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад
start_sychro_attachFix.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
start_sychro_attachProcess.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
start_sychro_attachRec.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
start_sychro_attachUpload.py dc7a24c325 附件处理和上传第一版 4 лет назад
start_sychro_docFix.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 3 лет назад
start_sychro_handInput.py 7b9d284cd0 地址改为linux下使用VPC 4 лет назад
start_sychro_proposedBuilding.py 5d1cc0f663 初始提交 4 лет назад
start_sychro_unionMajor.py 5210e6dd0a 同步时mysql连接重置策略,重点项目、实时公告合并 2 лет назад
test_convert_interface.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 3 лет назад

readme.md

将执行环节ENV放在BaseDataMaintenance同级路径下如/home/python

1.执行cd /home/python 2.执行 ./ENV/bin/python ./BaseDataMaintenance/start_*.py

start_dataflow_attachment 启动数据流中的附件识别

start_dataflow_dumplicate 启动数据流中的去重

start_dataflow_extract 启动数据流中的要素提取

start_dataflow_merge 启动数据流中的合并

start_dataflow_remove 启动数据流中的清除临时表