学术论文搜索

arXiv 学术论文检索

通过 arXiv 免费的 REST API 搜索和获取学术论文。无需 API 密钥、无需依赖——只要 curl。

快速参考

| 操作 | 命令 |

|--------|---------|

| 搜索论文 | curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5" |

| 获取指定论文 | curl "https://export.arxiv.org/api/query?id_list=2402.03300" |

| 阅读摘要（网页） | web_extract(urls=["https://arxiv.org/abs/2402.03300"]) |

| 阅读全文（PDF） | web_extract(urls=["https://arxiv.org/pdf/2402.03300"]) |

搜索论文

API 返回 Atom XML。用 grep/sed 解析，或通过 python3 管道输出干净的格式。

基础搜索

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"

干净输出（将 XML 解析为可读格式）

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
    title = entry.find('a:title', ns).text.strip().replace('n', ' ')
    arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
    published = entry.find('a:published', ns).text[:10]
    authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
    summary = entry.find('a:summary', ns).text.strip()[:200]
    cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
    print(f'{i+1}. [{arxiv_id}] {title}')
    print(f'   Authors: {authors}')
    print(f'   Published: {published} | Categories: {cats}')
    print(f'   Abstract: {summary}...')
    print(f'   PDF: https://arxiv.org/pdf/{arxiv_id}')
    print()
"

搜索查询语法

| 前缀 | 搜索范围 | 示例 |

|--------|----------|---------|

| all: | 全部字段 | all:transformer+attention |

| ti: | 标题 | ti:large+language+models |

| au: | 作者 | au:vaswani |

| abs: | 摘要 | abs:reinforcement+learning |

| cat: | 分类 | cat:cs.AI |

| co: | 评论 | co:accepted+NeurIPS |

布尔运算符

# AND (default when using +)
search_query=all:transformer+attention

# OR
search_query=all:GPT+OR+all:BERT

# AND NOT
search_query=all:language+model+ANDNOT+all:vision

# Exact phrase
search_query=ti:"chain+of+thought"

# Combined
search_query=au:hinton+AND+cat:cs.LG

排序与分页

| 参数 | 选项 |

|-----------|---------|

| sortBy | relevance、lastUpdatedDate、submittedDate |

| sortOrder | ascending、descending |

| start | 结果偏移量（从 0 开始） |

| max_results | 结果数量（默认 10，最大 30000） |

# Latest 10 papers in cs.AI
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"

获取指定论文

# By arXiv ID
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"

# Multiple papers
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"

生成 BibTeX

获取论文元数据后，生成 BibTeX 条目：

{% raw %}

curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python3 -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('Paper not found')
title = entry.find('a:title', ns).text.strip().replace('n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(".", "")},')
print(f'  title     = {{{title}}},')
print(f'  author    = {{{authors}}},')
print(f'  year      = {{{year}}},')
print(f'  eprint    = {{{raw_id}}},')
print(f'  archivePrefix = {{arXiv}},')
print(f'  primaryClass  = {{{primary}}},')
print(f'  url       = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"

{% endraw %}

阅读论文内容

找到论文之后，阅读它：

# Abstract page (fast, metadata + abstract)
web_extract(urls=["https://arxiv.org/abs/2402.03300"])

# Full paper (PDF → markdown via Firecrawl)
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

本地 PDF 处理请参阅 ocr-and-documents 技能。

常见分类

| 分类 | 领域 |

|----------|-------|

| cs.AI | 人工智能 |

| cs.CL | 计算与语言（NLP） |

| cs.CV | 计算机视觉 |

| cs.LG | 机器学习 |

| cs.CR | 密码学与安全 |

| stat.ML | 机器学习（统计） |

| math.OC | 优化与控制 |

| physics.comp-ph | 计算物理 |

完整列表：https://arxiv.org/category_taxonomy

辅助脚本

scripts/search_arxiv.py 脚本负责 XML 解析并提供干净的输出：

python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345

零依赖——只使用 Python 标准库。

Semantic Scholar（引用、相关论文、作者档案）

arXiv 不提供引用数据或推荐。可以用 Semantic Scholar API——免费，基础使用无需密钥（1 请求/秒），返回 JSON。

获取论文详情 + 引用数

# By arXiv ID
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python3 -m json.tool

# By Semantic Scholar paper ID or DOI
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"

获取某篇论文的被引（谁引用了它）

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

获取某篇论文的参考文献（它引用了谁）

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python3 -m json.tool

搜索论文（arXiv 搜索的替代方案，返回 JSON）

curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python3 -m json.tool

获取论文推荐

curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" 
  -H "Content-Type: application/json" 
  -d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python3 -m json.tool

作者档案

curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python3 -m json.tool

有用的 Semantic Scholar 字段

title、authors、year、abstract、citationCount、referenceCount、influentialCitationCount、isOpenAccess、openAccessPdf、fieldsOfStudy、publicationVenue、externalIds（包含 arXiv ID、DOI 等）

完整研究流程

1. 发现：python scripts/search_arxiv.py "your topic" --sort date --max 10
2. 评估影响力：curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount"
3. 阅读摘要：web_extract(urls=["https://arxiv.org/abs/ID"])
4. 阅读全文：web_extract(urls=["https://arxiv.org/pdf/ID"])
5. 寻找相关工作：curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20"
6. 获取推荐：POST 到 Semantic Scholar recommendations 端点
7. 追踪作者：curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NAME"

速率限制

| API | 速率 | 认证 |

|-----|------|------|

| arXiv | 约 1 请求 / 3 秒 | 无需 |

| Semantic Scholar | 1 请求 / 秒 | 无需（有 API 密钥为 100/秒） |

注意事项

• arXiv 返回 Atom XML——使用辅助脚本或解析片段以获得干净输出
• Semantic Scholar 返回 JSON——通过 python3 -m json.tool 管道输出以便阅读
• arXiv ID：旧格式（hep-th/0601001）vs 新格式（2402.03300）
• PDF：https://arxiv.org/pdf/{id} — 摘要：https://arxiv.org/abs/{id}
• HTML（可用时）：https://arxiv.org/html/{id}
• 本地 PDF 处理请参阅 ocr-and-documents 技能

ID 版本

• arxiv.org/abs/1706.03762 始终解析到最新版本
• arxiv.org/abs/1706.03762v1 指向特定的不可变版本
• 生成引文时，保留你实际阅读过的版本后缀，防止引文漂移（后续版本可能大幅改变内容）
• API 的 <id> 字段返回带版本的 URL（例如 http://arxiv.org/abs/1706.03762v7）

已撤稿论文

论文在提交后可能被撤稿。发生这种情况时：

• <summary> 字段会包含撤稿通知（查找「withdrawn」或「retracted」字样）
• 元数据字段可能不完整
• 在把结果当作有效论文之前，务必检查 summary