AI எனப்படும் செய்யறிவு உலகில் இந்த மாதம் சிறிய சீன நிறுவனம் ஒன்று பெரும் புயலைக் கிளப்பி, அமெரிக்காவில் பல மிகப்பெரிய தொழில்நுட்ப நிறுவனங்களின் பங்குகளின் வீழ்ச்சிக்குக் காரணமாகியுள்ளது. கிட்டத்தட்ட 1 டிரில்லியன் அளவுக்கு வீழ்ச்சி. அதிலும் சில்லுத் தயாரிப்பாளர் NVidia நிறுவனத்தின் சந்தை மதிப்பில் 500 பில்லியனுக்கும் அதிகமான சரிவு. யாரும் எதிர்பாராத நேரத்தில் சீனப் புத்தாண்டு பரிசு போல AI தொழில்நுட்பத்தில் பெரும் போட்டியின்றிக் கோலோச்சிவந்த அமெரிக்காவுக்கு பலத்த அடி. என்ன நடந்தது?
AI தொழில்நுட்பத்தின் அடித்தளமாக (foundation) விளங்குவது “பெரு மொழி மாதிரி”கள் (LLM – Large Language Models). பெரு மொழிப் போல்மம் (அல்லது போன்மம்) என்றும் அழைக்கப்படுவதுண்டு. ”பெரு மொழி மாதிரி” என்பது எழுத்தில் (text) உள்ள பல்வேறு ஆவணத் தரவுகளை (documents) உள்ளீடாகக் கொண்டு, இயன்மொழி செயலாக்கச் (NLP – Natural Language Processing) செயல்பாடுகளைச் செய்யும் ஒரு பொறிக் கற்றல் முறைமை. அந்தக் கற்றல் முறை பல்வேறு வழிகளில் நிகழ்ந்து இறுதியில் ஒரு தீர்வு வழிமுறையாக (algorithm) அமைகிறது. அந்த வழிமுறையைக் கொண்டு பின்வரும் முறையில் பயனாளர்களுடன் ஒரு உரையாடலை நிகழ்த்த முடியும். (தற்போது உள்ள மொழி மாதிரிகள் ஒலி, படங்கள், காணொளிகள், நேரலைகள் போன்றவற்றையும் கற்றலுக்கு எடுத்துக்கொண்டு பலமடங்கு மேம்பட்டுள்ளன.)
- பல டெராபைட்டுகள் அளவுள்ள மூலத் தரவுகளிலிருந்து “நினைவுக்குறி”களைச் (tokens) சேமித்துக்கொள்ளுதல் (ஒரு token அல்லது நினைவுக்குறி என்பது ஆங்கிலத்தில் 4 எழுத்துகள் கொண்ட ஒரு தொடராக இருக்கலாம்)
- கேட்கப்பட்ட கேள்வியைப் புரிந்துகொண்டு அதிலுள்ள ‘முக்கியமான’ சொற்களைச் சலித்து எடுத்துக்கொள்ளுதல்
- சேகரித்து வைக்கப்பட்ட ஒரு மாபெரும் தரவுக் களஞ்சியத்திலிருந்து, கேட்கப்பட்ட கேள்விக்குத் தொடர்புடைய அனைத்துத் தகவல்களையும் தொகுத்துக் கொள்ளுதல்
- அதன் திரண்ட பொருளின் ஒரு சுருக்கமான வடிவத்தை (summary) அமைத்துக்கொள்ளுதல்
- தொடக்கம், கருத்துகளின் ஒழுங்கான வரிசை, இறுதி என வடிவத்தை முடிவெடுத்துக்கொள்ளுதல்
- பதிலுக்கான சொற்களை ‘அடுத்த சொல் என்ன’ எனக் கணித்துக் கணித்து இலக்கணப்படி வாக்கியங்களை அமைத்தல்
இந்தவகைப் பொறிகளுக்குள் மேற்சொன்ன பணிகளைச் செவ்வனே செய்யும் மூன்று சிறப்பு துணைப் பொறிகள் உள்ளன. எந்த ஒரு மொழியானாலும் அதை செய்யறிவுக்கு மாற்ற இந்தப் பொறிகள் அவசியமானவை.
- சொற்களின் பொருளைப் புரிந்துகொள்ளுதல் (Natural Language Processing – NLP)
- புரிதலுக்கு ஏற்ற முடிவுகளை எடுத்து அடுத்த நடவடிக்கையைத் தேர்ந்தெடுத்தல் (Natural Language Understanding – NLU)
- அளிக்கவேண்டிய பதிலை உருவாக்குதல் (Natural Language Generation – NLG)
இந்தத் துறையில் அமெரிக்க நிறுவங்களான OpenAI, Google, Meta, Amazon போன்ற பென்னம்பெரு மென்பொருள் நிறுவனங்களும், NVidia, Intel போன்ற சிலிக்கன் சில்லுகள் தயாரிக்கும் வன்பொருள் நிறுவனங்களும் பல நூறு பில்லியன் டாலர்களை முதலீடு செய்து ஆராய்ச்சியில் ஈடுபட்டு வருகின்றன. AI துறையில் முன்னணியில் இருக்க மாபெரும் தரவுகளைக் கொண்டு (பல டெராபைட்டுகள்) தத்தமது மொழி மாதிரிகளுக்குப் பயிற்சி அளிக்கின்றன. மூலத் தரவு எவ்வளவு பெரிதாகவும் பலதரப்பட்டதாகவும் இருக்குமோ அந்த அளவுக்கு பயிற்சி கூர்மையாக இருக்கும். அந்த மாதிரியைப் பயன்படுத்தி வெளிப்படும் முடிவுகளும் துல்லியமானதாக இருக்கும்.
மேலும், பெரு மொழி மாதிரிகள் தன்னிடம் வரும் வினவல்களின் பின்னணிச் சூழலை (context) எப்போதும் நினைவில்கொள்ளவேண்டும். அப்போதுதான் தொடர்பான செய்திகளைக்கொண்டு தொடர்ந்து ஒரு உரையாடலை நிகழ்த்தமுடியும். இந்த ‘சூழலைக் கையாளும் பரப்பு’ (context window) என்பதும் ஒரு முக்கிய அம்சம்.
மேலே கூறியுள்ளபடி, ஒரு பெரு மொழி மாதிரி என்பது:
- எத்தனை பெரிய தரவுப் பரப்பைக்கொண்டு பயிற்சி செய்யப்பட்டது (பல டெராபைட்டுகள்)
- பயிற்சித் தரவைக்கொண்டு எத்தனை அளவுருக்களைக் (parameters) கொண்டுள்ளது (நினைவுக்குறிகள் – சில மில்லியன் முதல் சில டிரில்லியன்கள் வரை)
- சூழலைக் கையாளும் பரப்பின் அளவு (2k நினைவுக்குறிகள் முதல் > 2048k)
இவற்றைக்கொண்டுதான் பெரு மொழி மாதிரிகள் கற்றலிலும், துல்லியத்திலும் ஒன்றையொன்று மிஞ்சும் போட்டியில் உள்ளன. அதோடு செயலாக்க வேகத்திற்காக (processing speed) GPU சில்லுகளை நம்பியுள்ளன. எனவே சில்லுத் தயாரிப்பு நிறுவனங்களும் அதிவேக திறன்கொண்ட சில்லுகளைத் தயாரிப்பதில் மும்முரம்காட்டிவருகின்றன.
சரி. இப்போது என்ன நடந்தது?
சில்லுத் தொழில்நுட்பத்தில் அமெரிக்காவே முன்னணியில் இருப்பதாலும் சீனாவுடனான வியாபாரப் போட்டியில் சீனாவைக் கட்டுப்படுத்த கடந்த பல ஆண்டுகளாகவே அதற்கெதிராக பல முட்டுக்கட்டைகள் போடப்பட்டுள்ளன. சென்ற பைடன் ஆட்சியில், 2019இல் அமெரிக்கா சில்லுத் தொழில்நுட்பம் தயாரிப்பு, ஏற்றுமதி தொடர்பாக ஒரு சட்டம் இயற்றி, அதன்படி சீனாவுக்கு சில்லுகள் ஏற்றுமதியை மிகச் சிக்கலாக்கி, தடைகள் போட்டு பெரும் நெருக்கடியை ஏற்படுத்தியது. விளைவாக, புதிய அதிவேகச் சில்லுகள் சீனாவுக்குக் கிடைக்காது. எனவே சீனா தானியங்கி ஊர்திகள், AI போன்ற தொழில்நுட்பங்களில் அமெரிக்காவை விடவும் பலவகைகளில் பின்தங்கிவிடும் என்பது எதிர்பார்ப்பு.
ஆனால், அந்த எதிர்பார்ப்புகளுக்கு மாறாக, DeepSeek எனும் ஒரு தொடக்க நிலை ஆக்குச் செய்யறிவு ஆராய்ச்சி நிறுவனம், ஜனவரி 20 அன்று தனது DeepSeek R1 என்னும் பெரு மொழி மாதிரியை வெளியிட்டது. இதன் சிறப்புகள் வருமாறு:
- அமெரிக்காவின் பல பில்லியன் டாலர்கள் மூதலீடுகளோடு ஒப்பிடுகையில், இதில் மிகச் சில மில்லியன் டாலர்களே முதலீடாகியுள்ளன (“நண்பன்” திரைப்படத்தில் வரும் வசனம் நினைவுக்கு வரலாம் – “விண்வெளியில் ஈர்ப்பு விசை இல்லாத இடத்தில் வேலை செய்யும் பேனாவை உருவாக்க அமெரிக்கா இலட்சம் டாலர் செலவழிக்கையில் ரஷ்யா பென்சிலை உபயோகித்தது”)
- தன்னிடம் உள்ள செயலாக்க வேகம் குறைந்த H800 சில்லுகளைக் கொண்டே ஒப்புக்கொள்ளக்கூடிய வேகத்தில் செயல்படுகிறது. (அமெரிக்கா H100 சில்லுகளைப் பயன்படுத்துகிறது) அதாவது வன்பொருளின் செயல்பாட்டு எல்லைகளை மென்பொருளில் சரிசெய்து புத்தாக்கத்தைக் கொண்டுவந்துள்ளது.
- சூழலைக் கையாளும் பரப்பும் அளவு 128k மட்டுமே (குறைந்த பரப்பைக் கையாண்டு துல்லியமாக விடை காண்பது சிறப்பு)
- தற்போது முன்னணியில் இருக்கும் OpenAI o1 மாதிரியுடன் ஒப்பிட, பல பரிமாணங்களில் ஏறத்தாழ சமமாகவும் சிலவற்றில் மேலோங்கியும் உள்ளது
- இலவச பயனீட்டிற்காக வழங்கியது
இதையெல்லாம் விட, தனது பெரு மொழி மாதிரி பற்றிய விளக்கமான அறிக்கையுடன் அதை கட்டற்ற மூலமாகவும் (open source) அறிவித்தது. அதோடு, மிக முக்கியமாக, தனது உள் செயல்பாடுகளை – வினவல்களை எப்படிப் புரிந்துகொண்டு, எப்படி சிந்தித்து, எப்படி ஒழுங்குபடுத்தி, எப்படி ஒரு விடையை வெளியிட்டது – மிக வெளிப்படையாகக் கொடுத்தது. <Think> என்ற குறிச்சொல் பத்திக்குள் தான் அனைத்து செயல்பாடுகளையும் சொல்லிவிடுகிறது. இது கட்டற்ற மூலத்தை எடுத்து அதை இன்னமும் மேம்படுத்தி தனிப்பயனாக்கச் செயலிகளை (customised apps) உருவாக்கும் நிரலாளர்கள், சிறு தொடக்க நிறுவனங்கள் போன்றவற்றிற்கு ஒரு பெரிய வரம்.
இதோடு ஒப்பிட, OpenAI பெயரளவில் கட்டற்றது என்பது தவிர, அதன் பல உள் செயலாக்கங்கள் வெளிப்படையாக இல்லை. தவிர, ஆரம்பத்தில் இலாப நோக்கற்ற சமூகமாகத் தொடங்கி, அது பின்னர் இலாப நோக்குள்ள பெருநிறுவனமாக மாறி கட்டண சேவைகளை அறிமுகப்படுத்தியது. Meta தவிர மற்ற பல நிறுவனங்களும் கட்டண சேவைகளை வழங்கிவருகின்றன.
இந்த நிலையில் DeepSeek தன் மாதிரியை இலவசமாக, கட்டற்ற மூலமாக, செயல்பாடு வேகங்குறைந்த சில்லுகளிலேயே பயிற்சி அளித்து, தனிப்பட்ட கணினிகளில் கூட இலகுவாகக் கையாளக் கூடிய அளவில் வெளியிட்டுள்ளது. முதல் வாரத்திலேயே DeepSeek செயலி பல மில்லியன் பயனாளர்கள் தரவிறக்கி, சோதனைகள் செய்து, பல்வேறு ஊடகங்களில் அதன் புகழை லாஸ் ஏஞ்சலிஸ் காட்டுதீயை விடவும் வேகமாகப் பரப்பினர். தென்னையில் தேள்கொட்ட பனைக்கு நெறிகட்டியது. அமெரிக்கப் பங்குச் சந்தையில் எதிரொலித்தது. 1 டிரில்லியன் டாலருக்கும் மேலாக தொழில்நுட்பத் துறைப் பங்குகள் சரிந்தன.
கொசுறு பாதிப்பாக, இதற்கு சில நாட்கள் முன்பு OpenAI நிறுவனம் தனது Operator தொழில்நுட்பத்தை அறிமுகப்படுத்தியது. அது AI நுட்பத்துடன், உலாவியை (browser) மனிதர்கள் பயன்படுத்துவதுபோலவே பயன்படுத்தி நமக்கு வேண்டிய பணிகளைச் செய்துமுடிக்கும். எடுத்துக்காட்டாக, இணையத்தில் பொருட்கள் வாங்குவது, பயணச்சீட்டுகள் முன்பதிவு செய்வது, பல தளங்களில் விலைகளை ஒப்பிட்டுப் பார்த்து முடிவு எடுப்பது, தேவையெனில் கட்டுப்பாட்டை மனிதரிடமே கொடுத்துவிடுவது என்று பலவிதங்களில் சுவாரஸ்யமாக இருந்தது. ஆனால் அதன் மீதும் DeepSeekஇன் பெருநிழல் படிந்து பெரிய அளவில் அதன் மீதான உரையாடல்கள், விவாதங்கள் நிகழாமல் செய்துவிட்டது.
அடுத்து என்ன?
எல்லாம் சரி. தற்போதைக்கு AI உலகில் சீனா தன்னையும் முன்னணியில் நிறுவிவிட்டது. போட்டியின்றி ஒரு ராஜபாட்டையில் போய்கொண்டிருந்த அமெரிக்காவுக்கு ஒரு பெரிய அடி. எனினும் அமெரிக்கா வாளவிருக்கப் போவதில்லை. DeepSeekஇன் செயல்பாடுகள் மீதும், அதன் அறிக்கை மீது சந்தேகங்களை எழுப்பலாம். தரவுகளின் பாதுகாப்பு (data security), உரிமைகள் (copyrights) போன்றவை தொடர்பான மீறல்களைக் குறிப்பிடும். [ஆனால் இதே குற்றச்சாட்டுகள் பல ஆண்டுகளாகவே அமெரிக்க நிறுவனங்கள் – குறிப்பாக சமூக வலை, AI போன்றவை – மீதே உள்ளன. அதிலும் பல சமூக தளங்களும், AI உரையாடிகளும் இலவசமாகவும் இருப்பதால் தங்கள் பயிற்சித் தேவைகளுக்கும், மேம்பாடுகளுக்கு அவை பயனாளர்களின் தரவுகளைக் கேட்டு பாதி; கேட்காமல் மீதி என்றுதான் எடுத்துக்கொள்கின்றன.] தங்கள் கட்டணச் சேவைகளைக் கொஞ்சம் திருத்தி அமைக்கவும் வாய்ப்புகள் உள்ளன.
தவிர, இதுவரை இருந்ததுபோல போட்டிபோட்டுக்கொண்டு முதலீட்டில் இறங்கிய முதலீட்டாளர்கள், இனிமேல் மிகவும் தயக்கம் காட்டுவர். இத்தனை பில்லியன் முதலீடுகள் தேவைதானா? அல்லது அந்த முதலீட்டில் என்ன கிடைக்கும், கிடைக்காது, எவ்வளவு விரைவில் கிடைக்கும் என்பது குறித்த சங்கடமான கேள்விகள் பலவற்றையும் எழுப்புவர். பயனாளர்களும் ஒரு கட்டற்ற மூலம் இருக்கும்போது எதற்காகக் கட்டண சேவை; தங்கள் தரவு தங்களிடமே இருக்கட்டும் என்றெல்லாம் யோசித்து DeepSeek போன்ற மொழி மாதிரிகளைப் பயன்படுத்தத் தொடங்கலாம். சீனாவின் பாய்ச்சலைக் கண்டு, இத்தனை சாத்தியங்கள் இருக்கும்போது நாமும் செய்யலாமே என்று தொழில்நுட்பத்தில் முன்னேறி வரும் மற்ற நாடுகள் – குறிப்பாக இந்தியா, தெற்காசிய நாடுகள், சில ஐரோப்பிய நாடுகள் – புத்தாக்க வழிமுறைகளை அறிமுகப்படுத்தலாம்.
DeepSeek பெரு மொழி மாதிரியை வைத்து OpenAIஐ விட மேம்பட்டதாக என்னென்ன பயன்கள், செயலிகள் வரபோகின்றன, எந்த அளவுக்கு வெற்றி பெறப் போகின்றன, பயனர்கள் அதன்பக்கம் சாய்வார்களா, சீனம் என்றாலே பல காலமாக உள்ள ஒரு உள்ளார்ந்த நம்பிக்கையிந்மை தகர்க்கப்படுமா என்பதையெல்லாம் பார்க்கவேண்டும். இப்படிப் பலவகையிலும் சுவாரஸ்யமாக இருக்கபோகிறது. பொறுத்திருந்து பார்ப்போம்.
mageshaz71@gmail.com