+2 வுக்கு பிறகு! — தரவு அறிவியல் (Data Science) — இயந்திரக்கற்றல் (Machine learning)- செயற்கை நுண்ணறிவு ( Artificial Intelligence)

கொட்டிக் கிடக்கும் வேலைவாய்ப்புகள்! எட்டிப் பிடிக்க தவறாதீர் !

அனைவருக்கும் வணக்கம்! பெருந்தொற்றின் இடையே நம்மாணவர்கள்(12 ம் வகுப்பு முடித்தவர்கள்) நீந்தி அவர்தம் வாழ்வின் கல்லூரி பருவம் எனும் கரையை சேர்ந்த / சேர்க்கப்பட்டுள்ள இவ்வேளையில் — அடுத்து என்ன படிப்பது ? அதை எங்கே படிப்பது? எந்த துறையில் வேலைவாய்ப்புகள் கொட்டிக்கிடக்கின்றன ? என்ற கேள்விகள் மாணவர்களிடையேயும் அவர்தம் பெற்றோர்களிடையேயும் எழுந்த வண்ணம் உள்ளது .

அக்கேள்விகளுக்கு விடையளிக்கும் பொருட்டு , தரவறிவியல் ( Data Science ) — இயந்திரக்கற்றல் (Machine Learning )- செயற்கை நுண்ணறிவு (Artificial Intelligence ) எனும் வளர்ந்து வரும் — நம்பிக்கை நட்சத்திரமாகத் திகழும் துறையினை பற்றி காண்போம் !

ஆமாம்! அதென்ன Data science — Machine learning — Artificial Intelligence ?

கொஞ்சம் விளக்கமா — எளிமையா பார்ப்போமா ?

Data ?

Datum — தரவு என்றால் meaningful Information எனப்படும் . அதாவது ஒரு பொருளுடைய ( அர்த்தம் ) தகவல் , எடுத்துக்காட்டாக 5 என்பது வெறும் எண்ணை மட்டும் குறிக்கும் அதுவே வயது — 5 என்பது ஒரு பொருளைத் தருகிறது. இதனுடன் இன்னபிற தரவுப்புள்ளிகளினை (Datum points ) — Data — சேர்க்கும் போது அது குறிப்பிட்ட ஒரு தனிநபர் / செயல் / பொருள் etc பற்றியான புரிதலை தருகிறது

எ .கா : வெறும் 5 என்பது பொருளற்ற ஒன்று → வயது 5 : என்பது ஓரளவு புரிதலை தருகிறது — -> பெயர் : பிரபாகரன் , வயது :23 என்பது இது ஒரு மனிதனைப் பற்றியது எனவும் → பெயர் : பிரபாகரன் , வயது : 23 , வேலை : தரவறிவியல் , பட்டம் : BE என்பது மேலும் பல பயனுள்ள தகவல்களைத் தருகிறது.

இந்த ஒரு நபர் பற்றிய தரவு பெரிய அளவிலான பலனைத் தராது , இதுவே கல்லூரியில் பயின்ற அனைவரது வேலை , அனுபவம் குறித்தான தகவல்கள் ஓரிடத்தில் கிடைக்கப்பெற்றால், அது பல புரிதலைத் தரும் . இந்த புரிதல் கல்லூரியின் வளர்ச்சிக்கு பயன்படலாம்( strategic understanding ).

இந்த எடுத்துக்காட்டை அடிப்படையாகக் கொண்டு , நீங்களே பலத் துறைகளில் கிடைக்கும் தரவுகள் , அதன் மூலம் கிபீடிக்கும் புரிதல்கள் , அந்த புரிதல்கள் மூலம் கிடைக்கும் தொழில் / துறைசார்ந்த பிரச்சனைகளுக்காக தீர்வுகள் கிடைக்கும்

ஒரு அரசின் மாதந்திர வருடாந்திர வரவு செலவு தரவினைக்கொண்டு அதன் செயல்பாடு , தேவையற்ற செலவுகள் , வருமானத்தை உயர்த்தும் செயல்முறைகள் , வளர்ச்சிக்கான தீர்வுகளைப்பெறலாம்.

ஒரு தனிநபரின் உணவு முறைகள் , உடற்பயிற்சி முறைகள் ஆகியவற்றின் தரவினைக்கொண்டு அவரது உடல்நிலை , நலன் குறித்த புரிதலைப் பெறலாம் .

இப்படியாக எதற்கு வேண்டுமாயின் தீர்வினை பெறலாம் , முடிவுகளை எடுக்கலாம் — இதனைத் தான் Data driven solutioning & decision making என்போம் .

எப்படி அந்த புரிதலையும் , தீர்வுகளையும் பெறலாம்?

இவற்றையெல்லாம் தொழில்நுட்பம்(டெக்னாலஜி) , கணிதம்(Ma ths ) , துறை(Domain Expertise) சார்ந்த அறிவைக் கொண்டு நடைமுறைப்படுத்திடும் ஒரு பரந்து விறிந்த ஒரு புலமே — DataScience — Machine learning — Artificial Intelligence.

இந்த கலைச்சொற்களைக் கண்டு கவலையுற வேண்டாம் — மூன்றுமே மிக நெருங்கியத் தொடர்பு கொண்டவை. செயல்பாடுகள் (tasks ) , திறன் ( efficiency ) , பயன்பாட்டின் அளவு ( application scale & area ) ஆகியவற்றை கொண்டு இவை வேறு படுகின்றன

விரிவாக ஒவ்வொரு பிரிவினை பற்றிக் காண , ஒரு தரவினை துணைக்கொள்வோம் — ஒரு நிறுவனத்தின் உற்பத்தி — விற்பனை ( Production & Sales Data )

1. Data Engineering : தரவு பொறியியல் .

உற்பத்தி — விற்பனை ( Production & Sales Data ) தரவு என்பது ஒரே இடத்தில் கிடைக்க போவது அல்ல , உற்பத்தி குறித்த தரவுகள் பல்வேறு கால இடைவெளிகளில் பல இடங்களில் ( Raw material provider, Process Machines etc ) இருந்து கிடைக்கப்பெறும் , விற்பனை குறித்த தரவு மொத்த விற்பனையாளர்கள் , சில்லறை விற்பனையாளைர்கள் ,விற்பனை விலை , தள்ளுபடி என பல தகவல்கள் இருக்கும் . இவை அனைத்தும் ஒரே இடத்தில் பெறப்படுவதில்லை.

இப்படி பல இடங்களில் கிடைக்கப்பெறும் தரவுகளை , ஒரே இடத்தில் ஒரு கணினிமயப்படுத்தப் பட்ட ஸ்டோரேஜ் இல் சேமிக்க வேண்டும் — இந்த வேலைத் தான் data engineering என்போம் .

சில KB களில் இருந்து பல TB வரை தரவுகள் உருவாகும் — இவை அனைத்தையும் ஒருங்கே சேகரித்தது குறிப்பிட்ட கால இடைவெளிகளில் அவற்றை ஒரே இடத்தில் சேமித்து அதை பகுப்பாய்விற்கு தகுதியானதாய் மாற்றுவதே Data Engineering .

இந்த Data இன்ஜினியரிங் ல் , தேர்வினை சேமித்தல் ( Data Base ) , அதனை தயார்ப்படுத்துதல் ( Data Processing ) ஆகியவை முக்கிய அம்சமாகும்.

வளர்ந்து வரும் மேகத்திரள் தொழில் நுட்பம் ( cloud கம்ப்யூட்டிங் technology ) இவை அனைத்தையும் ஒரே இடத்தில் கிடைக்கச்செய்கிறது

அனைத்து பன்னாட்டு , உள்நாட்டு நிறுவனங்களிலும் Data Engineer வேலை வாய்ப்புகள் கொட்டிக்கிடக்கின்றன

1. தரவுகளை சேமித்தல் என்பது எளிய காரியம் அல்ல , அதற்கு hardware infrastructure ( வன்பொருள் கட்டமைப்பும்) , அவற்றினை Filter , extract , aggregate செய்ய ஏதுவான மென்பொருட்கள் தேவை — உதாரணத்திற்கு SQL , No SQL போன்ற தொழில்நுட்பங்கள் இவற்றை செய்ய உதவுகின்றன

2.மிகப்பெரிய தரவுகளை மிக எளிதாக கடத்த ( transfer ) ,பகுக்க ,முறை செய்ய ( Processing ) Spark ,Hadoop போன்ற bigdata தொழில்நுட்பங்கள் உள்ளன.

இவற்றை BE — Data Science / Computer Science / IT துறைகளை எடுத்து படிப்பதன் மூலம் பல Data Engineering வாய்ப்புகளை பெறலாம்.

2.Data Analysis — Business analysis : தரவு பகுப்பாய்வு — வணிக பகுப்பாய்வு :

Data Engineering உதவிகொண்டு ஒரு சேமிப்புத்தளத்திற்கு ( SQL ) உற்பத்தி — விற்பனை தரவினை இனி பகுப்பாய்வு செய்ய வேண்டும் ,ஆமாம் ஏன் பகுப்பாய்வு செய்ய வேண்டும் ? அதில் என்ன தெரிய வரும் ?அதை எப்படி செய்ய வேண்டும் ?

உற்பத்தி — விற்பனை தரவினை கொண்டு கடந்த , நிகழ்காலத்தில் நிகழ்ந்தவற்றை அறிய முடியும் . உதாரணமாக லாபம் எவ்வளவு? விற்பனையில் தள்ளுபடியில் தாக்கம் என்ன ? உற்பத்தி யில் நிலவும் கால இடைவெளி என்ன ? அந்த கால இடைவெளி அதிகரிப்பதர்கான காரணம் என்ன ? என பல வணிக ரீதியிலான கேள்விகளுக்கான பதில்களை கணினி மூலமான பகுப்பாய்வின் வழியாக பெறுதலும் , அதன் மூலம் சில முடிவுகளை எடுப்பதே Data Analysis — Business Analysis எனும் பிரிவாகும் .

ஒரு நோயாளி / தனி நபரின் உடல் நிலையை நாம் எப்படி தெரிந்துகொண்டு அதற்கேற்றபடி உணவு முறைகளை , வாழ்வியல் முறையை மாற்றிக் கொள்கிறோமோ! அதைப்போலவே ஒரு பொருள்/இடம்/நபர்/நிறுவனம் பற்றி அவற்றின் தரவிலிருந்து புரிந்து கொள்வதும் , தீர்வு காண்பதும் Data Analysis / Business Analysis

சில்லறை வியாபார நிறுவனங்கள் -retail / உற்பத்தி சாலைகள் — Production & Manufacturing /மருந்து — மக்கள் நல்வாழ்வு நிறுவனங்கள் — Pharma & Healthcare என அணைத்து digitalized நிறுவனங்களிலும் Data analysis தேவைப்படுகிறது . அந்த தேவையை தாங்களாகவோ அல்லது பிற Data Analytics நிறுவனங்கள் மூலமாக outsourcing செய்து கொள்கின்றன.

Python ,SQL , Powerbi , Tableau போன்ற தொழில்நுட்பங்கள் பெருமளவில் Data analyst களால் பயன்படுத்த படுகின்றன

BSc — கணிதம் ,புள்ளியியல்( statistics ) , கணினி அறிவியல் , BCA — Computer applications , BE — CS , Data science போன்ற படிப்புகளை தெரிந்தெடுத்து முதல் பருவத்தில் இருந்தே ஆர்வமுடன் சில சில Projects செய்வதன் மூலம் எளிதில் நல்ல வேலை வாய்ப்புகளை பெறமுடியும் .

கணிதம் , புள்ளியியல் படித்தவர்கள் பயன்பாடு ரீதியிலான ஆய்வுகள் செய்ய , மேற்படிப்பினை மேற்கொள்ள வாய்ப்புகள் கொட்டி கிடக்கின்றன .

3.Data Science : தரவு அறிவியல் :

மேலே சொன்ன , தரவு பகுப்பாய்வில் , நாம் சில எளிய கணித/புள்ளியியல் முறைகளைக்கொண்டு கடந்த கால , நிகழ் கால தரவுகளை ஆராயவும் , புரிந்து கொள்ளவும் மட்டுமே முடியும். எதிர்காலம் குறித்த கணிப்புகளை செய்ய கணித / புள்ளியியல் வழிமுறைகள் ( algorithms ) தேவை . அவற்றை கொண்டு வேறுபட்ட காரணிகளின் தாக்க மதிப்பீடு ( Impact of Factors on sales , any variables ) குறித்து ஆராயவும் , எதிர்காலத்தை கணிக்கவும் முடியும். மேலும் Data Science தொழில்நுட்பத்தில் machine learning — இயந்திரக்கற்றல் பெரும் பங்கு வகிக்கிறது.

இதன் மூலம் ஒரு நிறுவனத்தின் எதிர்கால வருமானம் , விற்பனை , விற்பனையில மற்றவற்றின் தாக்கம் குறித்து அரிட்ந்து கொள்ள முடியும் . இத்தகைய algorithm களை மென்பொருளாக ( software — applications )மாற்றுவதன் மூலம் நீண்ட காலத்திற்கு நிறுவனங்களால் பயன்படுத்த முடியும்

மேற்கண்ட Data Engineer , Data Analyst களை விட Data Scientist களுக்கு அதிக ஊதியமும் , ஆராய்ச்சி வாய்ப்புகளும் உள்ளன

BE — கம்ப்யூட்டர் சயின்ஸ் , Data Science , IT படிப்பதன் மூலமும் Data Science algorithm களை பயிற்சி செய்வதன் மூலமும் எளிதில் வேலை வாய்ப்புகளை எட்டி பிடிக்கலாம் .

இதில் குறிப்பிடத்தக்கவாறு, இந்த ஆண்டு 2021 ல் பல கல்லூரிகளில் BE — Datascience பாடப்பிரிவு அறிமுகப்படுத்தபட்டுள்ளது. மேலும் இந்த பாடப்பிரிவு BE படிக்கும் போதே ஆராய்ச்சி வாய்ப்புகளை கூர்நோக்குடன் ஏற்படுத்தும்

சரி.? மேலே சொன்ன இயந்திரக்கற்றல் என்றால் என்ன? அது எப்படி Data Science ல் எப்படி முக்கியத்துவம் பெருகிறது ? கீழே விரிவாக காண்போம்.

நீங்கள் மேலும் தெரிந்து கொள்ள https://prabakaranchandran.com/2021/04/22/an-ultimate-data-science-starter-kit-for-beginners/

1. Machine learning : இயந்திரக் கற்றல்

சாதாரண Data Sciene முறைகளில் பயன்படுத்தப்படும் algorithms சில கணித சமன்பாடுகளால் அமையப்பெற்றவை . அவற்றால் சில கடினமான தரவுகளை புரிந்து கொள்வதில் பின்தங்குகின்றன , அதனால் கணிப்புகள் தவறாகிப்போகின்றன. அவற்றின் மிகப்பெரிய குறைபாடே அவை தவறிலிருந்து எந்த பாடமும் தொடர்ந்து படிப்பதில்லை . சில சமயம் அவை ஒருதலைப்பட்சமான (Biased output ) முடிவுகளை தரக்கூடும்,

அவற்றில் இருந்து மீள , இயந்திரக்கற்றல் ( Machine learning ) , அதன் மேம்படுத்தப்பட்ட ஒன்றான ஆழ் கற்றல் ( Deep learning ) ஆகியவை உதவுகின்றன .

இயந்திர கற்றல் என்பது , நாம் எப்படி ஒரு பாடத்தை படிக்கிறோமோ , பின்பு தவறுகளில் இருந்து நாம் படிக்கும் முறையை , மாற்றி கொள்கிறோமோ அதைப் போலவே, கணினியும் தரவுகளில் மறைந்து உள்ள
நுணுக்கங்களை கற்று கொல்வதாம் அதன் மூலம் கணிப்புகளை செய்வதும் , கணிப்புகளின் தவறுகளில் ( error ) இருந்து மீண்டும் சரியாக கற்றுக்கொள்வதே இயந்திர கற்றல் ஆகும். இதற்க்கு உதவிடும் கற்றல் வழிமுறைகள் ( algorithms ) ஏ machine learning algorithms ஆகும் .

இது வெறும் விற்பனை , வருமானம் போன்ற அட்டவணை தரவுகளில் மட்டும் பயன்படப்போவதில்லை. அதையும் தாண்டி ஒரு புகைப்படம் நாயா ,பூனையா? என்றும் வகைப்படுத்த ,ஒரு youtube கமெண்ட் ஒழுங்கீனமானதா இல்லையா என வகைப்படுத்த , பங்குச்சந்தை நிலவரங்களை கணிக்க , புற்றுநோய் செல்களை கண்டறிய , தானாகவே கணினியை பாடல் எழுத்த செய்ய , நம்முடன் பேச செய்ய (chatbots , voice assitants ) என பலவற்றில் Machine learning algorithms ஏ மூலாதாரம். இந்த algorithms களில் ஹீரோவாக திகழ்வது மனித மூளையின்-நரம்புமண்டலத்தை அடிப்படையாக கொண்ட ( Inspired from Biological Neurons ) alogorithms ஏ செயற்கை நரம்புமண்டலத்தை கொண்ட ஆழக்கற்றல் (deep learning )முறையாகும் .

இவற்றின் கற்றல் முறை , தவறுகளில் இருந்து மீள்கற்றல் வழிமுறை இந்த அல்கோரிதம்களை திறன் வாய்ந்ததாக எத்தகைய தரவுகளையும் கையாளத்தக்கதாக மாற்றுகிறது.

Deep learning ஏ நாம் பயன்படுத்தும் siri , alexa , google lens , amazon ,இன்னும் பலவற்றின் அடிப்படை ஆகும் .

Deep learing , Machine learning — அல்கோரிதம்ஸ் அவற்றை கணினிமயமாக்கல் , அவற்றின் மூலம் மென்பொருட்களை உருவாக்குதல் இவற்றை கற்று தேர்வதன் மூலம் உயர்தொழில்நுட்ப நிறுவனங்களில் வேலைவாய்ப்புகள் , ஆராய்ச்சி வாய்ப்புகள் இருக்கின்றன . வாய்ப்பிருப்போர் அயல் நாடுகளில் மேற்படிப்பு மேற்கொள்வதன் மூலம் அவை இன்னும் எளிதாகின்றன — வளர்ச்சிக்கும் வித்திடும்

BE : computer science , Mechatronics , DataScience & ML , AI &DataScience படிப்புகளை தெரிவு செய்வதன் மூலம் நீங்கள் வளர்ச்சிக்கும் அடித்தளமிடுவீர்கள்

Bsc , BCA , BE ன் மற்ற பாடப்பிரிவுகள் எடுத்து படித்தவர்கள் சில செர்டிபிகேஷன் courses படிப்பதன் மூலமும் , பயிற்சிகள் , projects செய்வதன் மூலமும் பிறரும் வாய்ப்புகளை வசமாக்கி கொள்ள முடியும்

1. Artificial Intelligence : செயற்கை நுண்ணறிவு

முதலில் நுண்ணறிவு என்பது என்ன , மனிதனால் பார்க்க , கேட்க , படிக்க , பாட ,மொழியை உணர ,புரிந்து கொள்ள , கண்டதை உணர — புரிந்து கொள்ள , கேட்டதை புரிந்து கொள்ள அறிவு சார் முடிவுகளை எடுக்க முடிகிறதே அதுவே நுண்ணறிவு . இவற்றையெல்லாம் செயற்கையாக ஒரு கணினியை செய்ய வைப்பதே செயற்கை நுண்ணறிவு ஆகும்

இவற்றியெல்லாம் மேலே சொன்ன Deep learning மூலமும் , அதி நவீன கணித்துவம் ( computation ) மூலமும் மிகப்பெரிய அளவிலானா ( Bigdata ) தரவுகளை கற்று தேர்வதன் வழியாக நிகழ்த்தமுடியும் .

இவற்றை வெறும் அல்கோரித்தத்தோடு மட்டும் விட்டுவிடாமல் , அதிவேக தரவுகளை கையாளுதல் , நவீன மென்பொருள் கட்டமைப்பை நிறுவுதல் , பயனர்களுக்கு தங்குதடையினின்றி கிடைக்க செய்தல் என எல்லாமும் செய்ய வேண்டியுள்ளது .

இதன் மூலம் நிறுவனங்களுக்கு மட்டும் அல்லாமல் , சமுதாயத்திற்கும் பயன்படக்கூடிய மென்பொருட்களை உருவாக்க முடியும் . செயற்கை நுண்ணறிவு சார்ந்த வேலைவாய்ப்புகள் அனைத்துமே ஆராய்ச்சி யுடன் தொடர்பு கொண்டவை. ஏனெனலில் இவற்றில் புதிய தொழில்நுட்பங்கள் தினசரி வந்த வண்ணம் உள்ளன

BE : computer science , Mechatronics , DataScience & ML , AI &DataScience — செயற்கை நுண்ணறிவு துறைக்குள் எளிதில் நுழைய இயலும்.

Bsc , BCA , BE ன் மற்ற பாடப்பிரிவுகள் எடுத்து படித்தவர்கள் சில செர்டிபிகேஷன் courses படிப்பதன் மூலமும் , பயிற்சிகள் , projects செய்வதன் மூலமும் பிறரும் வாய்ப்புகளை வசமாக்கி கொள்ள முடியும்.

சரி எங்கே படிக்கலாம் ?

BSc , BCA — Madras Christian college , St.Josephs college , Loyola college , SRM , VIT , Bishops herber , MOP Vaishnava , Guru nanak போன்ற கல்லூரிகளிலும்

BE Computer science , IT — Anna University , PSG , KCT,CIT, Amrita , SASTRA , VIT , SRM , SSN , St.Josephs ,Panimalar , Bannari amman , Sri Krishna , போன்ற கல்லூரிகளிலும்

BE — Data Science , AI , ML — VIT , KCT, St.Josephs போன்ற கல்லூரிகளிலும் ,

MSc — Integrated course in Data Science — PSG, CIT

போன்ற கல்லூரிகளில் சிறந்தமுறையில் பயிற்றுவிக்கப்படுகிறது

வேலை வாய்ப்புகள் அதிகம் ! கற்றல் கற்பித்தல் முறையும் மிக நன்று !

இந்த கட்டுரை உங்களுக்கு பயன்பட்டிருக்கும் என்று நம்புகிறேன் !
இப்படிக்கு பிரபாகரன் சந்திரன்