znj afa6dae0fb 公告去重标题对比规则优化;products对比规则优化 пре 4 дана
..
AIUtils 5e681b3fc5 AI提取增加医疗产品数据 пре 1 месец
chat 9e5621cde3 数据遗漏检查后自动同步 пре 5 месеци
comment 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
common 4c50d5cd27 优化附件截断的方法 пре 3 недеља
dataMonitor 8bcf3fb0dd Merge remote-tracking branch 'origin/master' пре 5 месеци
dataSource cceb10cdbf 要素提取补充AI提取 пре 2 месеци
interface db1f62f342 去重合并接口开发 пре 2 месеци
java 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
maintenance afa6dae0fb 公告去重标题对比规则优化;products对比规则优化 пре 4 дана
maxcompute afa6dae0fb 公告去重标题对比规则优化;products对比规则优化 пре 4 дана
model a187ece310 AI提取优化%金额 пре 1 месец
primarykey a8a8e88bc8 地址改为linux下使用内网,修改启动间隔和错误日志打印 пре 4 година
readme 59be57dc38 启动脚本 пре 2 година
services 5d9340b7b8 产品数据流版本 пре 1 година
test 5d9340b7b8 产品数据流版本 пре 1 година
__init__.py dc7a24c325 附件处理和上传第一版 пре 4 година
app.json 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 пре 3 година
embedding_services.py dd72c9a29a 优化产品配置提取,完善缺失和冗余问题,预估提取率和准确率能达到80%以上 пре 1 година
fixDoc_to_queue_extract.py 24632dfe69 数据遗漏检查后自动同步 пре 6 месеци
monitor.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 пре 3 година
readme.md 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
start_dataflow_attach_monitor.py 95d42ef0ea 拟在建入库改造,完善follow生成,联系人生成 пре 2 година
start_dataflow_attachment.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
start_dataflow_dumplicate.py 3fa7504cbc 调整监控报警,特殊情况增加@所有人 пре 2 година
start_dataflow_extract.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
start_dataflow_init.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
start_dataflow_merge.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
start_dataflow_monitor.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
start_drop_preproject_dump.py cf2a71ef1b 数据流优化(数据遗漏,过长数据丢弃),增加数据遗漏检查 пре 3 година
start_enterprise2Redis.py 0dd18a789f 新增 合法实体添加到Redis定时流程 пре 1 година
start_extract.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 пре 3 година
start_fille_preproject.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 пре 3 година
start_main.py 1fc79ae011 预下载附件及设置status流程 пре 1 година
start_product.py f7e579cf7e 提高配置提取的效率,修复因重启接口导致的附件未识别问题 пре 1 година
start_project_merge_server.py 9fa2fc346f 公告去重文档指纹不限时间,只要存在状态正常且文档指纹一样的公告即去重 пре 3 месеци
start_rollback_services.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година
start_sychro_attachFix.py 1053b8e26d 更改数据修复逻辑 пре 2 година
start_sychro_attachProcess.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 пре 3 година
start_sychro_attachRec.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 пре 3 година
start_sychro_attachUpload.py dc7a24c325 附件处理和上传第一版 пре 4 година
start_sychro_docFix.py 4c6dbfe709 附件处理和上传第2版,新增关系型数据支持,附近下载上传入库优化,要素提取eas接口等 пре 3 година
start_sychro_handInput.py 7b9d284cd0 地址改为linux下使用VPC пре 4 година
start_sychro_proposedBuilding.py 5d1cc0f663 初始提交 пре 4 година
start_sychro_unionMajor.py 5210e6dd0a 同步时mysql连接重置策略,重点项目、实时公告合并 пре 2 година
test.py 5d9340b7b8 产品数据流版本 пре 1 година
test_convert_interface.py 2617fce7d5 数据处理效率优化,附件2000/10min,要素10000/10min,数据监控 пре 3 година

readme.md

将执行环节ENV放在BaseDataMaintenance同级路径下如/home/python

1.执行cd /home/python 2.执行 ./ENV/bin/python ./BaseDataMaintenance/start_*.py

start_dataflow_attachment 启动数据流中的附件识别

start_dataflow_dumplicate 启动数据流中的去重

start_dataflow_extract 启动数据流中的要素提取

start_dataflow_merge 启动数据流中的合并

start_dataflow_remove 启动数据流中的清除临时表