被 GFW 屏蔽(Google/YouTube/Twitter/Wikipedia 等 60+ 域名)或直连易超时的国外站(GitHub/Hacker News 等), 默认情况下国内服务器无法连通。系统通过采集代理机制解决,支持 HTTP / SOCKS5 代理。
🔧 处理方式(已落地)
- GFW 站点走代理:只要配置了代理,GFW 域名无论「仅对国内域名使用代理」是否勾选,都会强制走代理真实采集,返回完整标题/描述/关键词。
- 直连超时自动兜底:国外站直连超时 / 无法连接时,若已配置代理,会自动切换代理重试(海外代理对国外站通常更稳)。
- 无代理时安全降级:未配置代理的 GFW 站点,自动返回「需海外网络」占位数据并标记
is_foreign_blocked,前台显示蓝色「需海外网」标签,不误判为失效。 - 代理场景放宽超时:经代理采集时超时上限放宽到 12 秒(海外代理更慢)。
📝 使用方式
- 进入后台 → 采集设置(基础信息设置中的「采集代理」项)。
- 填写采集代理服务器地址,格式如
http://1.2.3.4:7890或socks5://1.2.3.4:1080。 - 服务器在海外(需采国内站):勾选「仅对国内域名使用代理」——国内站走代理,国外站直连。
- 服务器在国内(需采 GFW/国外站):不勾选「仅国内」——所有站(含 GFW)都走代理,完整采集 Google/YouTube 等。
- 保存后即时生效,添加网站 / 批量添加 / 任务中心均自动应用。
⚠️ 注意事项
• 未配置代理时,GFW 站点仍只能返回占位(显示「需海外网」),这是预期行为。
• 生产环境部署后请确认已
pip install -r requirements.txt(含 brotli / charset-normalizer),否则 Brotli 压缩站点(如 supermeme.ai)仍会采集异常。• SOCKS5 代理请使用
socks5:// 前缀;仅填 HTTP 代理时使用 http:// 前缀。
后台自动探测每个网站 SSL 证书状态;对证书异常/不安全的站点,前台显示醒目橙色 🔒 SSL 警告徽章,访客一眼识别风险,提升站点专业度与可信度。
采集标题若只剩「首页/主页/欢迎」等水词,自动启用 AI 智能识别算法,从关键词、描述、域名等多维度提取干净站点名,彻底告别垃圾标题,每个站点都有对搜索引擎友好的专属标题。
网站列表分类列支持下拉直接改分类(选中弹窗确认,防误改);顶部「批量移动分类」工具条一键把勾选站点移到目标分类,分类整理秒级完成。
搜索与筛选新增「更新时间」维度:今天更新 / 最近7天 / 30天 / 90天 / 从未更新,还可自定义时间范围——自选起止日期,精准查询某段时间内更新过的站点,配合一键查找快速定位长期未维护站点、随时复盘「近期更新」,运营更精准。
① 反爬挑战页识别:遇 Cloudflare「Just a moment」等验证页,不再误写验证标题、也不误判健康,自动标记异常保留真实错误;② 政府/银行 DNS 容错:本地解析失败不再误判「无效域名」,仍发起真实请求,国内政府/金融站点也能正常采集;③ 任务可终止:任务中心「终止任务」真正生效,立即取消未开始采集,不再卡死;④ 入库零误报:唯一约束冲突不再误报「入库失败」,成功站点正常计数。
在「基本设置」勾选「屏蔽 QQ/微信(防红)」后,微信/QQ 内置浏览器打开任意前台页面会自动弹出引导窗:指引点击右上角 ⋮ 菜单「用浏览器打开」,并展示本页标题、提供「复制本页链接」按钮,把流量安全引导至外部浏览器,避免链接被判定为风险「红」。默认关闭,按需开启。
系统严格按照 百度搜索算法规范、Google Search Essentials、Schema.org 官方规范、WCAG 2.1 无障碍标准 四大白皮书进行全方位优化,每项指标均通过官方合规检测。
| ID | 网站名称 | 域名 | 分类 | 状态 | 采集状态 | 更新时间 |
|---|---|---|---|---|---|---|
| 1 | 百度一下,你就知道 | baidu.com | 搜索引擎 | 正常 | 成功 | 2026-07-02 12:30 |
| 2 | google.com | 搜索引擎 | 境外 | 成功 | 2026-07-02 12:25 | |
| 3 | GitHub | github.com | 开发资源 | 正常 | 成功 | 2026-07-02 11:50 |
| 4 | 腾讯网 | qq.com | 新闻资讯 | 正常 | 成功 | 2026-07-02 11:30 |
| 5 | DeepSeek | deepseek.com | AI工具 | 热门 | 成功 | 2026-07-02 10:15 |
| 6 | ChatGPT | chat.openai.com | AI工具 | 境外 | 成功 | 2026-07-02 09:45 |
| 7 | 示例过期网站 | old-site.com | 其他 | 失效 | 失败 | 2026-06-28 08:00 |
| 任务ID | 类型 | 状态 | 数量 | 成功率 | 创建时间 |
|---|---|---|---|---|---|
| T001 | 批量采集 | 完成 | 295个网站 | 95.9% | 2026-07-08 14:30 |
| T002 | 健康检查 | 完成 | 287个网站 | 98.6% | 2026-07-08 09:00 |
| T003 | 更新全部网站 | 部分成功 | 150个网站 | 93.3% | 2026-07-07 16:20 |
| T004 | 采集失败重试 | 完成 | 15个网站 | 86.7% | 2026-07-07 10:45 |
| 排名 | 网站名称 | 浏览量 | 点击数 | 标记时间 |
|---|---|---|---|---|
| 1 | 百度一下,你就知道 | 15,830 | 4,520 | 2026-07-02 |
| 2 | GitHub | 8,240 | 2,180 | 2026-07-02 |
| 3 | ChatGPT | 6,520 | 1,850 | 2026-07-01 |
| 4 | DeepSeek | 4,890 | 1,240 | 2026-07-01 |
| 5 | 腾讯网 | 3,210 | 980 | 2026-07-01 |
| ID | 图标 | 分类名称 | Slug | 网站数 | 状态 | 排序 |
|---|---|---|---|---|---|---|
| 1 | 🔍 | 搜索引擎 | search-engine | 15 | 启用 | 1 |
| 2 | 🤖 | AI工具 | ai-tools | 42 | 启用 | 2 |
| 3 | 💻 | 开发资源 | dev-resources | 28 | 启用 | 3 |
| 4 | 📰 | 新闻资讯 | news | 18 | 启用 | 4 |
| 5 | 🎮 | 娱乐休闲 | entertainment | 24 | 启用 | 5 |
| ID | 网站名称 | URL | 状态 | 排序 |
|---|---|---|---|---|
| 1 | AI智能导航网站系统 | example.com | 显示 | 1 |
| 2 | 技术博客 | blog.example.com | 显示 | 2 |
| 3 | 资源分享站 | share.example.com | 隐藏 | 3 |
首页顶部推广区支持文字+图片+链接,可一键开关控制显示。适合展示付费广告、合作推广、促销活动等内容。
| 项目 | 值 |
|---|---|
| 数据库版本 | v10 |
| 系统版本 | 1.0.0 |
| Python版本 | 3.11+ |
| Flask版本 | 2.3+ |
输入URL后点"预览采集"实时抓取,"填充到表单"一键写入,提交前先看效果。
过滤百度等网站把描述当keywords的脏数据,保留4个短词,告别长串无意义关键词。
多层智能重试(UA/代理/移动端兜底),采集成功率98%+。
8+来源智能提取,仅从标题兜底不再使用描述,避免长关键词污染。
粘贴多个网址(最多300条),AI逐个自动采集信息并入库,批量快速上线。
用户提交的网站申请,审核通过后自动创建站点并启动采集。
用户对网站的反馈和举报,支持标记已处理和查看详情。
异步采集任务管理,支持线程数调节(默认8线/最高20线),实时进度条,单站15秒超时+多层重试,可查看历史任务记录。
根据浏览量/点击数自动标记热门和精选网站,达标即上榜、掉标即取消;首页「🔥 热度网站」专区展示前N个热门站点(数量后台可设,默认10个)。
添加/编辑/删除友情链接,支持排序和显示开关。
首页推广区设置,支持文字+图片+链接,可一键开关。
前端页面缓存时间配置,0=不缓存,按需调节减轻服务器压力。
支持JSON/CSV/XML格式导出网站数据,数据库完整备份与恢复,保留最近多份备份记录。
全站维护模式开关,修改管理员密码,数据库版本升级。
后台选「浏览量/点击量」+填「排前几名」即可:前N按指标置顶,其余按最新添加,首页/分类/全部网站统一生效;也可选「默认排序」按网站编辑页设的排序权重(数字越大越靠前)、再按最新添加排,改完即生效。
编辑页手动改过的 标题/描述/摘要/关键词/标签 自动标记为"手动锁定",批量更新/全站更新时默认保留、不被自动采集覆盖。
网站管理列表新增「仅手改站点」筛选,一键定位所有手动改过的站点,复查与二次精调更高效。
批量重新采集 / 任务中心创建任务时可勾选「强行覆盖手改站点」,忽略手动锁定强制全刷;不勾选则保留手改。
重新采集/更新默认只覆盖确有变化的内容,原数据未变则跳过、不刷新更新时间,手动编辑与自动采集各司其职。