असीमित OCR: एक-शॉट दीर्घ-क्षितिज पार्सिंग

आज की OCR की स्थिति

• इस पर तीखी असहमति है कि क्या OCR “सुलझ” चुका है।
• कुछ लोगों का तर्क है कि पारंपरिक OCR तेज़, सस्ता और कई मुद्रित, सरल दस्तावेज़ों के लिए बहुत भरोसेमंद है।
• दूसरों का कहना है कि 2026 में भी OCR “अभी भी खराब” है, खासकर जटिल लेआउट, तालिकाओं, गणित, और गंदे वास्तविक-विश्व स्कैनों के लिए।
• गैर-लैटिन लिपियाँ (CJK, अरबी, वियतनामी, थाई) और कर्सिव या ऐतिहासिक हस्तलेख को विशेष रूप से चुनौतीपूर्ण बताया गया है।

पारंपरिक OCR बनाम LLM/VLM-आधारित OCR

• पारंपरिक OCR:
  • वर्ण-स्तर पहचान, हाथ से भरे फ़ॉर्म, स्थिर लेआउट, और ऑफ़लाइन CPU उपयोग में अच्छा।
  • अक्सर लेआउट समझने में संघर्ष करता है (बहु-स्तंभ, हेडर/फ़ुटर, विज्ञापन, अनियमित संरचनाएँ)।
• LLM/VLM-आधारित OCR:
  • विविध लिपियों, कर्सिव, मिश्रित-भाषा सामग्री, और जटिल लेआउट को संभालने में बेहतर।
  • शोरयुक्त इनपुट को ठीक करने के लिए भाषा-आधारित पूर्वधारणाओं का लाभ ले सकता है, लेकिन भ्रम-उत्पादन (hallucinations) और चुपचाप सुधार कर देने की चिंताएँ बढ़ाता है।
  • व्यावसायिक क्लाउड ऑफ़रिंग्स (जैसे प्रमुख क्लाउड OCR APIs) लगभग “85%” सटीकता पर रेट की जाती हैं, महंगी हैं, और उनकी विफलता के तरीके अलग-अलग हैं।

असीमित OCR और दीर्घ-क्षितिज ध्यान

• KV cache का बढ़ना लंबे दस्तावेज़ों के लिए एक बड़ा बाधक है; भोले-भाले तरीकों में प्रति-पृष्ठ chunking की आवश्यकता होती है।
• Unlimited OCR Reference Sliding Window Attention का उपयोग करता है:
  • Global: हमेशा पूरे दस्तावेज़ की छवि पर ध्यान देता है।
  • Local: केवल अपने उत्पन्न किए गए पाठ की एक छोटी चलती विंडो रखता है।
• इसका उद्देश्य O(N) मेमोरी वृद्धि के बिना दस्तावेज़-व्यापी संदर्भ बनाए रखना है, जो लंबे PDFs और स्थानीय तैनाती के लिए आशाजनक है।
• कुछ लोग सवाल करते हैं कि क्या स्थानीय विंडो बहुत लंबी या token-heavy इनपुट्स के लिए बहुत छोटी है।

उपयोग के मामले, उपकरण, और बेंचमार्क

• उपयोगकर्ता विभिन्न उपकरणों (marker, Mistral OCR, Claude, क्लाउड सेवाएँ, दस्तावेज़-पार्सिंग फ्रेमवर्क) को मिश्रित परिणामों के साथ उपयोग करने की बात करते हैं।
• लंबे, जटिल तकनीकी दस्तावेज़ों (मानक, datasheets, वैज्ञानिक PDFs) के लिए संरचना-जागरूक chunking और बहु-पृष्ठ संदर्भ को महत्वपूर्ण माना जाता है।
• अन्य SOTA OCR parsers और बेंचमार्क से तुलना की माँग की गई है; Unlimited OCR की अग्रणी मॉडलों के मुकाबले वर्तमान स्थिति स्पष्ट नहीं है।

विश्वसनीयता, भ्रम-उत्पादन, और भरोसा

• चिंता यह है कि संदर्भ-जागरूक मॉडल पाठ (नाम, विदेशी शब्द) को “सुधार” देते हैं या जहाँ केवल लिप्यंतरण करना चाहिए वहाँ अनुवाद कर देते हैं, जो अभिलेखीय या कानूनी उपयोग के लिए अस्वीकार्य हो सकता है।
• कुछ लोग महंगे सत्यापन लूप्स का प्रस्ताव रखते हैं (पाठ से छवियाँ पुनः उत्पन्न करना और दृश्य रूप से उनकी तुलना करना) ताकि लगभग 100% विश्वसनीयता के करीब पहुँचा जा सके।

ओपन सोर्स और रणनीति

• बड़ी कंपनियों द्वारा ओपन-सोर्स करना आदर्शों, प्रतिष्ठा, भर्ती, पारिस्थितिकी-तंत्र निर्माण, और प्रतिस्पर्धियों पर संभावित रणनीतिक प्रभाव के मिश्रण से प्रेरित माना जाता है।
• चीन से शक्तिशाली OCR मॉडलों का व्यापक रिलीज़ पश्चिमी AI प्रयोगशालाओं की आय को कमजोर कर सकता है, ऐसा कुछ लोग मानते हैं।