AI அடிப்படையிலான மென்பொருள் உருவாக்கக் கருவிகளில் Token Management எவ்வளவு முக்கியமானது என்பதை வெளிப்படுத்தும் வகையில், Anthropic நிறுவனத்தின் Claude Code கருவியில் ஒரு முக்கியமான சிக்கல் கவனத்திற்கு வந்துள்ளது. குறிப்பிட்ட ஒரு Skill இயக்கப்படும்போது, பயனர் கேட்கும் கேள்விக்கு தேவையான தகவல்களை மட்டும் எடுத்துக்கொள்வதற்குப் பதிலாக, மிகப் பெரிய அளவிலான reference documentation-ஐ ஒரே நேரத்தில் context-ல் ஏற்றியதால் சுமார் 2,00,000 tokens அல்லது அதற்கும் அதிகமான context பயன்பாடு ஏற்பட்டதாகப் பதிவாகியுள்ளது.
இந்தச் சிக்கலில் முக்கியமாகக் குறிப்பிடப்படுவது claude-api Skill ஆகும். அந்த Skill-ன் SKILL.md கோப்பு மட்டும் சுமார் 570,000 characters அளவில் இருந்து, அது முழுமையாக context-ல் inject செய்யப்பட்டபோது சுமார் 2,10,000 tokens வரை பயன்படுத்தியதாக ஒரு Claude Code issue report பதிவு செய்கிறது. இதனால், ஒரு சாதாரண கேள்விக்குப் பதிலளிப்பதற்கே பெரும்பாலான context திறன் பயன்படுத்தப்பட்டுவிடும் நிலை ஏற்பட்டது.
இதன் பின்னணியில் உள்ள முக்கிய காரணம் தேவையான தகவல்களை மட்டும் தேவையான நேரத்தில் ஏற்றுவதற்குப் பதிலாக, முழு documentation-ஐ முன்கூட்டியே context-க்குள் கொண்டு வருவது. உதாரணமாக, ஒரு குறிப்பிட்ட programming language அல்லது API தொடர்பான சிறிய தகவல் மட்டுமே தேவைப்படும் நிலையில், பல மொழிகளுக்கான documentation மற்றும் ஏராளமான reference files அனைத்தும் ஒரே நேரத்தில் load செய்யப்பட்டதாகக் குறிப்பிடப்பட்டுள்ளது. இதனால் உண்மையான கேள்விக்குத் தேவையில்லாத தகவல்களும் context-ஐ நிரப்பின.
இதுபோன்ற context bloat இரண்டு முக்கியமான பாதிப்புகளை ஏற்படுத்தும். முதலாவது, தேவையற்ற input tokens அதிகரிப்பதால் API பயன்பாட்டின் செலவு உயரக்கூடும். இரண்டாவது, context window-ன் பெரும்பகுதி தேவையற்ற தகவல்களால் நிரம்பிவிட்டால், உண்மையான source code, user instructions மற்றும் task-specific information ஆகியவற்றுக்கு குறைந்த இடமே கிடைக்கும். இதனால் AI coding agent-ன் செயல்திறனும் பாதிக்கப்பட வாய்ப்புள்ளது.
இந்தச் சம்பவம் “Load everything first” என்பதற்குப் பதிலாக “Load only what is needed” என்ற அணுகுமுறை AI agent development-ல் அவசியம் என்பதை எடுத்துக்காட்டுகிறது. Skill-ன் அடிப்படை வழிமுறைகளைச் சிறியதாக வைத்துக்கொண்டு, விரிவான API documentation, examples மற்றும் reference files போன்றவற்றைத் தேவைப்படும் நேரத்தில் மட்டும் load செய்வது context பயன்பாட்டைக் கணிசமாகக் குறைக்க உதவும். வெளியான தகவலின்படி, பின்னர் செய்யப்பட்ட மாற்றங்களில் இதுபோன்ற documentation-ஐ on-demand முறையில் load செய்வதன் மூலம் token பயன்பாடு பெரிதும் குறைக்கப்பட்டதாகக் கூறப்படுகிறது.
மேலும், Claude Code தொடர்பான மற்றொரு issue-ல், அதிகமான Skills மற்றும் MCP tool schemas போன்றவை sub-agent-ன் ஆரம்ப context-ஐ பெரிதாக்கி, 200,000-token வரம்பை பயனர் prompt செயல்படுவதற்கு முன்பே எட்டச் செய்த சம்பவமும் பதிவாகியுள்ளது. இதனால் AI coding systems-ல் context management என்பது வெறும் செலவைக் குறைக்கும் விஷயம் மட்டுமல்ல; ஒரு agent சரியாக இயங்குவதற்கே முக்கியமானதாக மாறியுள்ளது.
மொத்தத்தில், இந்தச் சம்பவம் AI coding tools-ல் Token Optimization, context management மற்றும் progressive disclosure ஆகியவை எவ்வளவு முக்கியமானவை என்பதை தெளிவாகக் காட்டுகிறது. ஒரு சிறிய கேள்விக்காக ஆயிரக்கணக்கான பக்கங்களுக்குச் சமமான தகவலை AI-க்கு முன்கூட்டியே வழங்குவதற்குப் பதிலாக, அந்தக் கேள்விக்குத் தேவையான தகவலை மட்டும் சரியான நேரத்தில் வழங்குவது வேகத்தையும் செயல்திறனையும் மேம்படுத்துவதோடு, தேவையற்ற token பயன்பாட்டையும் குறைக்க உதவும்.
