Skip to content

feat(verify): GSMArena source_urls backfill tool (dry-run validated) - #70

Merged
Seungpyo1007 merged 2 commits into
mainfrom
Seungpyo1007/feat-gsmarena-backfill
Sep 22, 2026
Merged

Seungpyo1007 merged 2 commits into
mainfrom
Seungpyo1007/feat-gsmarena-backfill

Conversation

@Seungpyo1007

Copy link
Copy Markdown
Member

검증률 병목 해결: 스마트폰 레코드 중 Tier-3(kaggle.com)만 source_urls로 갖고 있어 완성도와 무관하게 영원히 yellow에 갇힌 케이스(실제 출처는 이미 Tier-2로 신뢰되는 gsmarena.com)를 위한 백필 도구.

구성

  • app/verify/gsmarena_backfill.py — sitemap 기반 slug→URL 인덱스, crossref.py의 Fetcher 프로토콜/정확매칭 재사용, http_check.py liveness 재사용, CONFIRM/AMBIGUOUS/NOTFOUND/CONTRADICT 2단 검증 게이트.
  • tests/verify/test_gsmarena_backfill.py

Dry-run 결과 (47건, gsmarena.com 429로 중단)

  • CONFIRM 45 (96%), AMBIGUOUS 1, NOTFOUND 1, CONTRADICT 0
  • CONFIRM 중 27건이 ram_gb만 불일치 — 조사 결과 우리 쪽 기존 데이터 품질 이슈로 확인(예: Acer beTouch E100 실제 256MB인데 ram_gb=1로 잘못 기록), URL 매칭 자체는 안전.

실행 전 보완 (이번 PR에 포함)

  • 429 Retry-After 실제 준수(최대 5분, 초과 시 안전 중단 — 10시간 대기 방지)
  • source_urls 쓰기 성공(파일 존재/JSON/HEAD 내용 일치/원자적 쓰기) 확인 후에만 CONFIRM 캐시
  • 판정과 쓰기 사이 파일 변경/부재(sparse-checkout) 안전 처리

상태

도구만 병합 대상. 실제 TechAPI source_urls 갱신(대상 약 2,224개 gsmarena 페이지, 관련 레코드 다건)은 gsmarena.com 요청 제한이 풀린 뒤(오늘 03:00 UTC 기준 약 10시간 후) 별도로 실행.

@Seungpyo1007 Seungpyo1007 added the enhancement New feature or request label Sep 22, 2026
@Seungpyo1007
Seungpyo1007 merged commit 48987e2 into main Sep 22, 2026
1 check passed
@Seungpyo1007
Seungpyo1007 deleted the Seungpyo1007/feat-gsmarena-backfill branch September 23, 2026 12:27
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

enhancement New feature or request

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant