50 Commits

Author SHA1 Message Date
DELL
7b3a83a1ab [twitter]用户名称对换 2026-01-21 17:53:48 +08:00
DELL
8631b0febf [twitter]新增用户信息采集功能 2026-01-21 17:52:17 +08:00
DELL
bf91c06801 翻译标题与内容字段替换-回滚 2026-01-21 15:39:07 +08:00
DELL
4d3cb2381a 翻译标题与内容字段替换 2026-01-21 11:01:27 +08:00
DELL
073f4325d0 es_isrepost 赋值修改为 1 2026-01-21 10:04:57 +08:00
DELL
8c84df0fdc [通用翻译] 翻译后标题修改 2026-01-20 17:23:31 +08:00
yuxin-pc
f7a210473a Merge branch 'main' of ssh://144.34.185.108:5282/osc-group/osc 2026-01-20 16:43:17 +08:00
yuxin-pc
ce478f495c 更新定义 2026-01-20 16:42:24 +08:00
DELL
92c8cdf9b2 [微博]redis 添加 cookie 成功请求获取返参 2026-01-20 16:36:44 +08:00
DELL
0008e619d1 [Twitter]删除多余注释 2026-01-20 16:35:35 +08:00
DELL
399165404e [通用翻译] 功能提交 2026-01-20 16:13:05 +08:00
yuxin-pc
910794aff7 Create translate-news.py
执行翻译
2026-01-20 11:08:23 +08:00
yuxin-pc
ee9473a6c3 匹配原文 2026-01-20 11:07:54 +08:00
yuxin-pc
0b2abd342a Delete decode-url-for-rodong-news.py
不再使用该脚本
2026-01-20 11:07:39 +08:00
DELL
9a36e9c5b5 [20260119]1、微信公众号扫码的脚本,改成调用Selenium Chrome,2、将TW、FB、微信公众号扫描调用Selenium的部分,抽象成一个方法;3、scrapy 框架 命令行启动注释 2026-01-19 17:18:53 +08:00
DELL
488bc2fdca Merge remote-tracking branch 'origin/main'
# Conflicts:
#	spiders/MediaSpiders/MediaSpiders/scrapy_selenium/middlewares.py
#	spiders/MediaSpiders/MediaSpiders/settings.py
#	spiders/MediaSpiders/MediaSpiders/spiders/TwitterUserSpider.py
#	spiders/MediaSpiders/run.py
2026-01-19 14:09:58 +08:00
yuxin-pc
91d3f484f0 百度翻译API工程 2026-01-19 11:14:41 +08:00
5a087b3275 Merge pull request 'jsc-dsp' (#1) from jsc-dsp into main
Reviewed-on: #1
Reviewed-by: admin <admin@jlitrdc.com>
2026-01-19 01:30:57 +00:00
yuxin-pc
89df3771e7 同步近期采集更改 2026-01-19 09:17:26 +08:00
yuxin-pc
becee60b6c PDF下载工具 2026-01-19 09:17:10 +08:00
yuxin-pc
ee958357b0 针对6S采集的针对性改造 2026-01-19 09:16:46 +08:00
DELL
a69ff25ce4 [twitterSpider]1、新增仿生物操作配置,2、修改业务逻辑,若自动化获取Cookie失败,则直接从redis中获取cookie;3、修改采集信息json层级 2026-01-16 16:30:41 +08:00
yuxin-pc
79b2d0d20a 按照命名规则进行部分优化 2025-12-26 14:13:51 +08:00
yuxin-pc
81cac59adb 实现公司部署处理的业务逻辑 2025-12-26 08:55:50 +08:00
yuxin-pc
970d86ed7d 调用selenium下载网页的方法 2025-12-26 08:54:58 +08:00
yuxin-pc
4de86e5f40 去掉不使用的功能 2025-12-23 19:23:51 +08:00
yuxin-pc
3cb5a02f03 本地化配置 2025-12-23 19:23:33 +08:00
yuxin-pc
9f3eb9cf94 Update StorageService.java
入库MySQL
2025-12-23 19:23:15 +08:00
yuxin-pc
afe6c34db7 Update settings.py
调用服务地址改变
2025-12-23 13:46:47 +08:00
yuxin-pc
300bb18b97 同步近期修改 2025-12-23 13:46:22 +08:00
yuxin-pc
bbacb8e1a0 补充缺少文件 2025-07-23 15:34:03 +08:00
yuxin-pc
95ee8f5f59 Update WeiboUserSpider.py
批次大小和间隔时间修改
2025-07-23 15:33:43 +08:00
yuxin-pc
45110c22d3 Update WeiboUserSpider.py
适配新的ID
2025-07-22 15:11:06 +08:00
yuxin-pc
62fa085ec7 Update wechat_links_fetcher.py
更新UA
2025-06-24 09:47:08 +08:00
yuxin-pc
301ce54771 复制任务 2025-06-24 09:31:13 +08:00
yuxin-pc
e47dcb9305 Update DataPackageController.java
创建时间倒序
2025-06-24 09:30:54 +08:00
yuxin-pc
58bdf5cc0c Update middlewares.py
采集开始时显示并发线程
2025-06-13 09:41:04 +08:00
yuxin-pc
8f1999376f Update settings.py
配置项改回ZQ
2025-06-13 09:40:52 +08:00
yuxin-pc
e2da209f39 Update DataPackage.vue
展示字段调整
2025-06-10 14:11:47 +08:00
yuxin-pc
0b67f34a89 Update vue.config.js
在线版配置
2025-06-10 14:11:38 +08:00
yuxin-pc
346bcdea22 Update DataPackageController.java
完善更新数据包记录的接口
2025-06-09 14:54:11 +08:00
yuxin-pc
89b951beb4 Create data_packager.py
数据自动打包
2025-06-09 14:53:53 +08:00
yuxin-pc
9910c1479a 数据包下载功能 2025-06-09 10:38:58 +08:00
yuxin-pc
8263f74a2c 完善导入导出功能 2025-06-08 15:33:44 +08:00
yuxin-pc
3a4430dcdc 导入/导出功能初步实现 2025-06-07 18:38:22 +08:00
yuxin-pc
7404ea6191 恢复为OSCM系统 2025-06-07 13:35:04 +08:00
yuxin-pc
3e500afd15 decoder已不再使用 2025-05-29 11:34:14 +08:00
yuxin-pc
cf4a6e2854 init 2025-05-28 19:16:17 +08:00
yuxin-pc
572c3c8e76 init 2025-05-28 19:02:06 +08:00
yuxin-pc
a405b14d43 Create README.md
init
2025-05-28 19:01:34 +08:00