识别远程职位列表的程序化来源，特别是API，提供技术指导，助…

# 远程职位聚合抓取方案

一、数据源说明

• RemoteOK：提供官方JSON接口 https://remoteok.com/api，第一个元素是元数据，需跳过；开发职位可通过 tags 或 slug 筛选，需带 User-Agent 头。
• We Work Remotely（WWR）：无公开REST API，官方提供 RSS订阅源（如 https://weworkremotely.com/categories/remote-programming-jobs.rss），需用 feedparser 解析。

二、去重策略

以唯一键（RemoteOK 的 id/slug、WWR 的 guid/链接）为主键，用 INSERT OR IGNORE 实现幂等写入，重复数据自动跳过。

三、依赖安装

```bash

pip install requests feedparser schedule

```

四、核心脚本

```python

import sqlite3, requests, feedparser, hashlib, schedule, time

DB = "jobs.db"

def init_db():

conn = sqlite3.connect(DB)

conn.execute("""CREATE TABLE IF NOT EXISTS jobs(

uid TEXT PRIMARY KEY,

source TEXT, title TEXT, company TEXT,

url TEXT, location TEXT, tags TEXT, pub_date TEXT)""")

conn.commit()

return conn

def save(conn, jobs):

for j in jobs:

conn.execute("INSERT OR IGNORE INTO jobs VALUES (?,?,?,?,?,?,?,?)", j)

conn.commit()

print(f"本次写入完成")

def fetch_remoteok(conn):

headers = {"User-Agent": "Mozilla/5.0 (aggregator-demo)"}

data = requests.get("https://remoteok.com/api", headers=headers, timeout=30).json()

jobs = []

for item in data[1:]:

tags = ",".join(item.get("tags", []))

dev_kw = ("dev", "python", "javascript", "backend", "frontend", "full")

if any(k in tags.lower() for k in dev_kw):

uid = f"rok-{item.get('id') or item.get('slug')}"

jobs.append((uid, "RemoteOK", item.get("position"),

item.get("company"), item.get("url"),

item.get("location", ""),