바이두가 초장문 문서 파싱용 Unlimited OCR 2를 공개했다.
- Unlimited OCR 2는 SR-SWA를 통해 초장문 문서 파싱의 비용 문제를 줄이겠다고 제시했다.
- 대량 문서의 구조화 가능성은 커지지만 OCR 결과 자체가 원문 검증을 대체하지는 않는다.
- 정확도·언어 지원·개인정보 처리·라이선스는 별도로 확인할 필요가 있다.
발췌에 따르면 Unlimited OCR 2는 SR-SWA(Sparse Reference Sliding Window Attention)를 사용해 ‘무제한 범위’의 문서 파싱을 목표로 한다. 이 방식은 초장문 시퀀스에서 텍스트와 시각 정보의 주의 연산을 고정 크기의 작업 참조 집합으로 압축하는 구조로 설명됐다. 예시로 512개 토큰 수준의 참조가 언급됐으며, 문서 길이가 늘어나도 단계별 지연시간과 메모리 사용량을 거의 일정하게 유지하는 것이 목표다.
OCR과 문서 파싱은 단순 문자 인식을 넘어 페이지 구조, 표, 서식, 이미지와 텍스트의 관계를 해석하는 작업을 포함할 수 있다. 긴 기록물에서는 전체 문맥을 유지하면서도 처리 비용을 관리하는 문제가 중요하다. 이번 발표는 이러한 장문 문서 처리의 계산량 문제를 아키텍처 차원에서 다루려는 시도로 볼 수 있다.
실무적으로는 계약서 묶음, 장부·증빙, 인사기록, 의무기록 등 대량 문서의 디지털화와 검색 가능한 데이터화에 활용 가능성을 검토할 수 있다. 다만 OCR 결과는 원본의 법적·업무상 정본성을 자동으로 보장하지 않으며, 숫자·날짜·고유명사·표 셀의 오인식은 후속 판단에 큰 영향을 줄 수 있다. 따라서 자동 추출 결과를 원문 대조, 예외 탐지, 사람의 검수 흐름과 결합할 필요가 있다.
발췌는 공개일과 구조적 설명까지만 제공한다. 지원 파일 형식, 언어별 성능, 표·필기·저화질 스캔 처리 성능, 라이선스, 개인정보와 민감정보가 포함된 문서의 처리 방식은 원문과 기술 문서 확인이 필요하다.
본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.
Reddit r/LocalLLaMA