बड़े मॉडल के लिए रिकॉल रेट मेट्रिक क्यों महत्वपूर्ण है
Categories:
कुछ सिस्टम प्रॉम्प्ट पढ़ने के बाद, अधिकांश बहुत लंबे होते हैं, और अभिव्यक्ति संक्षिप्त नहीं होती। कुछ प्रॉम्प्ट मुख्य रूप से मॉडल को काम करना सिखाते हैं।
इसके अलावा, मैंने रू कोड में एक स्विच देखा जो सिस्टम प्रॉम्प्ट को मॉडल को बार-बार भेजने की अनुमति देता है, जिससे भूमिका सेटिंग और निर्देश पालन को मजबूत किया जा सकता है। लेकिन यह टोकन खपत बढ़ाएगा।
शायद महत्वपूर्ण चीजों को वजन बढ़ाने और पुष्टि की संभावना को बढ़ाने के लिए कई बार दोहराया जाना चाहिए, जिससे अधिक संभावित सही परिणाम मिल सके। दुर्भाग्य से, ऐसे परिणाम अभी भी संभाव्यता के आधार पर सही होते हैं।
क्लॉड मॉडल और जीपीटी5हाई का लंबे समय तक उपयोग करने वाले लोगों को एहसास हो सकता है कि जीपीटी5हाई धीमा होने के बावजूद, सही दर बहुत अधिक होती है।
क्या यह जीपीटी5 की 100% तक पहुंचने वाली रिकॉल दर से संबंधित हो सकता है।
जब मैंने एजेंट्स.एमडी का उपयोग करके जीपीटी5 को काम करने के लिए निर्देशित किया, तो मैंने पाया कि केवल बहुत संक्षिप्त, संक्षिप्त भाषा का उपयोग करके कोडेक्स सीएलआई को काम करने के लिए निर्देशित किया जा सकता है। जबकि क्लॉड कोड का उपयोग करते समय, अक्सर क्लॉड.एमडी को बहुत “लंबा” लिखने की आवश्यकता होती है, और इसके बावजूद, क्लॉड अक्सर स्पष्ट रूप से आवश्यक ध्यान देने योग्य बातों को नजरअंदाज कर देता है। सुधार का तरीका एक आवश्यकता को बार-बार दोहराने की आवश्यकता नहीं हो सकता है, अलग-अलग शब्दों का उपयोग करना जैसे “आवश्यक”, “महत्वपूर्ण” आदि, कोष्ठक का उपयोग करना, मार्कडाउन में बोल्ड (**) का उपयोग करना, यह सब अनुसरण को मजबूत कर सकता है।
इसका मतलब है कि क्लॉड मॉडल के साथ काम करते समय, प्रॉम्प्ट के लिए उच्च आवश्यकता होती है, और थोड़े से शब्द परिवर्तन भी मॉडल के प्रदर्शन को प्रभावित कर सकते हैं। जीपीटी5 का उपयोग करते समय, प्रॉम्प्ट के लिए उच्च आवश्यकता नहीं होती है, बस संक्षिप्त अभिव्यक्ति में कोई तार्किक विरोधाभास नहीं होना चाहिए, और कोडेक्स सीएलआई अच्छा काम कर सकता है। यदि तार्किक विरोधाभास मौजूद हैं, तो जीपीटी5 इसकी ओर इशारा करेगा।
मैं क्लॉड मॉडल के साथ सहयोग करके विकास करने के बारे में अधिक से अधिक नाराज हूं, यह इसलिए नहीं कि उसका काम बहुत खराब है, बल्कि इसलिए कि कई बार धोखा खाने के बाद उस पर भरोसा नहीं किया जा सकता। क्लॉड के हर एपिसोड में बहुत सारे कोड बदल दिए जाते हैं, और CLAUDE.md में बहुत आक्रामक बदलाव करने के लिए कहना भी बहुत आक्रामक होता है। जैसा कि कहा जाता है, ज्यादा बात करने से गलती होती है, एक लंबे सिस्टम प्रॉम्प्ट में विरोधाभास के बिना रहना कैसे सुनिश्चित किया जा सकता है, जांच का काम बहुत ज्यादा है, मानसिक बोझ भी बहुत ज्यादा है।
इसके विपरीत, जीपीटी5हाई में वास्तविक तर्क होने लगता है, शायद इसकी उच्च रिकॉल दर से संबंधित हो।