त्वचा कैंसर निदान के लिए 10 साल पुराना CNN frontier LLMs से बेहतर प्रदर्शन करता है
एक छोटा, दशक-पुराना convolutional neural network जिसे dermatology images पर fine-tune किया गया था, skin lesions को वर्गीकृत करने में state-of-the-art large language models से बेहतर निकला, जिससे यह बहस छिड़ गई कि LLMs वास्तव में किस तरह की समस्याओं को हल करने के लिए उपयुक्त हैं। टिप्पणीकारों का व्यापक मत है कि यह परिणाम आश्चर्यजनक नहीं है: डोमेन-विशिष्ट प्रशिक्षण वाला एक संकीर्ण, purpose-built vision model, खासकर उच्च-दांव वाले चिकित्सा संदर्भों में, image diagnosis में सामान्य-उद्देश्य language model से बेहतर होना चाहिए। कई लोग LLMs का वास्तविक मूल्य end-to-end diagnosticians के रूप में नहीं, बल्कि specialized models बनाने, अन्य systems को orchestrate करने, और उन models द्वारा उत्पन्न data के आसपास उच्च-स्तरीय reasoning संभालने वाले tools के रूप में देखते हैं।
विशेषीकृत CNN बनाम सामान्य-उद्देश्य LLMs
- अधिकांश पोस्टर कहते हैं कि त्वचा-कैंसर वर्गीकरण पर डर्मेटोलॉजी-ट्यून किया गया CNN frontier LLMs को हरा दे, यह कोई आश्चर्य की बात नहीं है।
- उपमा: एक अनुभवी विशेषज्ञ की तुलना एक होनहार बच्चे से करना; LLMs व्यापक हैं लेकिन इस संकीर्ण कार्य के लिए अनुकूलित नहीं हैं।
- केंद्रित वर्गीकरण समस्याओं में, जब लेबल्ड डेटा उपलब्ध हो, तब CNNs (और xgboost जैसे अन्य क्लासिक मॉडल) अभी भी प्राथमिकता पाते हैं।
तुलना की निष्पक्षता और गुणवत्ता
- CNN को वास्तुकला के लिहाज़ से “10 साल पुराना” कहा गया है, लेकिन हाल ही में इसे बड़े in-domain ISIC dataset पर fine-tune किया गया था; कुछ लोग तर्क देते हैं कि शीर्षक भ्रामक है।
- आलोचकों का कहना है कि CNN को “home field advantage” मिला है क्योंकि परीक्षण छवियाँ उसी distribution से आती हैं जिस पर इसे प्रशिक्षित किया गया था।
- अन्य लोग जवाब देते हैं कि यह मानक प्रथा है, “benchmaxxing” नहीं; overfitting का मूल्यांकन नए datasets पर परीक्षण करके होना चाहिए, मानकर नहीं।
LLMs की सीमाएँ और उपयुक्त उपयोग
- कई लोग ज़ोर देते हैं कि LLMs भाषा-प्रथम (या सामान्य vision-language) मॉडल हैं, न कि उद्देश्य-निर्मित चिकित्सीय classifiers।
- कई टिप्पणीकार “LLMs सब कुछ कर सकते हैं” वाले hype का विरोध करते हैं; इस परिणाम को एक आवश्यक reality check माना जा रहा है।
- कुछ लोग नोट करते हैं कि frontier VLMs ने thresholds को tune करने पर false negatives (खतरनाक misses) से बचने में बेहतर प्रदर्शन किया, जो सरल “जीत/हार” के बजाय safety trade-offs का संकेत देता है।
LLMs as Orchestrators and Tool-Builders
- एक मजबूत विषय: LLMs उच्च-स्तरीय controllers या coding assistants के रूप में चमकते हैं, अंतिम classifier के रूप में नहीं।
- सुझाए गए workflows: LLMs का उपयोग करें:
- CNNs या अन्य specialized models को design/train करने के लिए।
- labeling, features, या harness code जनरेट करने के लिए।
- सीधे images को classify करने के बजाय अधिक कुशल vision models या tools को call करने के लिए।
Decision Models and Zero-Shot Classification
- Jev-style decision models और lightweight classifiers को कई कार्यों के लिए full LLM calls के बजाय सस्ते, तेज़ विकल्पों के रूप में चर्चा की गई है।
- सहमति: low-volume या कठिन-से-label समस्याओं के लिए LLM/decision models आकर्षक हैं; बड़े पैमाने पर या safety-critical domains में supervised task-specific models अधिक उपयुक्त हैं।
चिकित्सीय और नैदानिक संदर्भ
- कई लोग नोट करते हैं कि वास्तविक dermatologic निर्णयों में history, notes, और follow-up शामिल होते हैं, केवल एक image नहीं।
- कुछ लोग diagnosis के लिए ChatGPT-शैली के tools पर अधिक निर्भरता को लेकर चिंतित हैं; अन्य तर्क देते हैं कि अपूर्ण AI भी missed cases में पहले detection को प्रेरित कर सकता था, लेकिन procedure risks और over-treatment पर बहस है।