কৃত্রিম নিউরাল নেটওয়ার্ক

ওয়ারেন ম্যাককালোক এবং ওয়াল্টার পিটস^[১] (১৯৪৩) গণিত এবং থ্রেশহোল্ড লজিক নামক অ্যালগরিদমের উপর ভিত্তি করে নিউরাল নেটওয়ার্কের জন্য একটি কম্পিউটেশনাল মডেল তৈরি করেছেন। এই মডেল নিউরাল নেটওয়ার্ক গবেষণাকে দুটি পদ্ধতিতে বিভক্ত করে। এক দৃষ্টিভঙ্গি মস্তিষ্কের জৈবিক প্রক্রিয়ার উপর জোর দেয় এবং অন্যটি কৃত্রিম বুদ্ধিমত্তায় নিউরাল নেটওয়ার্কের প্রয়োগের উপর দৃষ্টি নিবদ্ধ করে। এই মডেল নার্ভ নেটওয়ার্ক এবং সীমাবদ্ধ স্বয়ংক্রীয় যন্ত্রের সাথে তার সম্পর্ক নিয়ে গবেষণার পথ প্রসারিত করে।^[২]

হেবিয়ান শিক্ষণ

১৯৪০-এর দশকের শেষ দিকে, ডি.ও. হেবেব^[৩] স্নায়ুতন্ত্রের নমনীয়তার উপর ভিত্তি করে একটি শিক্ষণ প্রস্তাবনা দেন যা হেলব্লিয়ান লার্নিং নামে পরিচিতি লাভ করে। হেবিয়ান শিক্ষণ এক ধরনের অতত্ত্বাবধানকৃত শিক্ষণ । এটি দীর্ঘমেয়াদী ক্ষমতায়নের মডেল হিসেবে বিকশিত হয়। গবেষকরা ১৯৪৮ সালে টুরিংয়ের বি-টাইপ মেশিনের মাধ্যমে কম্পিউটেশনাল মডেলে এই ধারণাগুলি প্রয়োগ করতে শুরু করেন।হেবিয়ান নেটওয়ার্ককে অনুকরণ করতে ফার্লি এবং ক্লার্ক^[৪] (১৯৫৪) প্রথম গণনাকারি যন্ত্র ( সেসময় "ক্যালকুলেটর" নামে পরিচিত) ব্যবহার করেছিলেন । রচেস্টার, হল্যান্ড, হাবিট এবং দুডা (১৯৫৬) অন্যান্য নিউরাল নেটওয়ার্ক কম্পিউটেশনাল মেশিন তৈরি করেন।^[৫] রোজানব্ল্যাট^[৬] (১৯৫৮) পারসেপট্রন নামক প্যাটার্ন শনাক্তের একটি অ্যালগরিদম তৈরি করেছিলেন। গাণিতিক সংকেত দিয়ে রোজেনল্যাব দেখান যে কিছু সার্কিট মৌলিক পারসেপট্রন- এ অনুপস্থিত, যেমন এক্সক্লুসিভ-অর সার্কিট সে সময়ে নিউরাল নেটওয়ার্ক দ্বারা প্রক্রিয়া করা সম্ভব হয় নি।^[৭] ১৯৫৯ সালে নোবেল বিজয়ী হিউবেল এবং উইসেলের প্রস্তাবিত জৈবিক মডেলটি প্রাথমিক দর্শন কর্টেক্সে দু ধরনের কোষ : সাধারণ কোষ এবং জটিল কোষ আবিষ্কারের উপর ভিত্তি করে ছিল।^[৮] ১৯৬৫ সালে ইভাখেনঙ্কো এবং লাপা প্রথম বহুস্তরবিশিষ্ট কার্যকরী নেটওয়ার্ক প্রকাশ করেন যা ডেটা হ্যান্ডলিংয়ের গ্রুপ পদ্ধতি হয়ে উঠেছে।^{[৯][১০][১১]}

মিনস্কি এবং পেপার্ট (1969) দ্বারা মেশিন লার্নিং গবেষণার পরে নিউরাল নেটওয়ার্ক গবেষণা স্থগিত থাকে,^[১২] কারণ তারা নিউরাল নেটওয়ার্ক প্রক্রিয়া করে এমন কম্পিউটেশনাল মেশিনগুলির দুটি মূল সমস্যা আবিষ্কার করেন। প্রথমটি হল মৌলিক পারসেপট্রন এক্সক্লুসিভ-অর সার্কিট প্রক্রিয়াকরণ করতে অসমর্থ ছিল। দ্বিতীয়ত বড় আকারের নিউরাল নেটওয়ার্কগুলির প্রয়োজনীয় কাজ পরিচালনা করার জন্য কম্পিউটারের পর্যাপ্ত প্রক্রিয়াকরণ ক্ষমতা ছিল না। কম্পিউটার অনেক বেশি প্রক্রিয়াকরণ ক্ষমতা অর্জন না করা পর্যন্ত নিউরাল নেটওয়ার্ক গবেষণা ধীর ছিল। অধিকাংশ কৃত্রিম বুদ্ধিমত্তা তখন উচ্চ পর্যায়ের (প্রতীকী) মডেলের উপর দৃষ্টি নিবদ্ধ করেছিল যা অ্যালগরিদম ব্যবহার করে প্রক্রিয়া করা যেত, উদাহরণস্বরুপ যদি-তারপর নিয়ম চালিতবিশেষজ্ঞ ব্যবস্থা দিয়ে চিহ্নিত, যে পর্যন্ত না ১৯৮০ সালে গবেষণা নিম্নস্তরের (উপ- প্রতীকী) মেশিন লার্নিং-এ প্রসারিত হয়, যা একটি জ্ঞানীয় মডেলের পরামিতির মধ্যে অন্তর্ভুক্ত জ্ঞান দ্বারা চিহ্নিত। ^{[তথ্যসূত্র প্রয়োজন]}

ব্যাকপ্রোপ্যাগেশন বা পশ্চাত-বিস্তার

নিউরাল নেটওয়ার্ক এবং শিক্ষার পুনরুজ্জীবিত আগ্রহের মূল সূত্রপাতকারি ছিল ওয়্যারবোস এর (১৯৭৫) ব্যাকপ্রোপ্যাগেশন বা পশ্চাত-বিস্তার অ্যালগরিদম,যা বহুস্তর নেটওয়ার্কগুলির প্রশিক্ষণ সম্ভাবপর ও কার্যকর করে। পশ্চাত-বিস্তার প্রতিটি নোডের ওজন সংশোধন করে স্তরগুলির মধ্যে ত্রুটি পেছন দিকে বিস্তার করে।^[৭]

১৯৮০-এর দশকের মাঝামাঝি সময়ে, সংযোগবাদ জনপ্রিয় হয়ে ওঠে সমান্তরাল বিতরণ প্রক্রিয়াকরণ নামে। রুমেলহার্ট এবং ম্যাকক্লেল্যান্ড (১৯৮৬) সংযোগবাদ ব্যবহার কীভাবে স্নায়ুবিক প্রক্রিয়া অনুকরণ করা যায় তা বর্ণনা করেন।^[১৩]

সাপোর্ট ভেক্টর মেশিন ও রৈখিক শ্রেণিভুক্তকারকের মত অনেক সহজ পদ্ধতি মেশিন লার্নিংকে ধীরে ধীরে নিউরাল নেটওয়ার্কের চেয়ে বেশি জনপ্রিয়তার করে তোলে। যাইহোক, নিউরাল নেটওয়ার্ক-এর ব্যবহার কিছু ডোমেন, যেমন প্রোটিন কাঠামো পূর্বাভাসে আমুল পরিবর্তন ঘটে।^{[১৪][১৫]}

১৯৯২ সালে ত্রিমাত্রিক বস্তু শনাক্তকরণে লিস্ট শিফট ইনভেরিয়েন্স এবং বিকৃতির সহনশীলতায় সহায়তা করার জন্য ম্যাক্স পুলিং চালু করা হয়েছিল।^{[১৬][১৭][১৮]} ২০১০ সালে, ম্যাক্স পুলিংয়ের মাধ্যমে পশ্চাত-বিস্তার প্রশিক্ষণ জিপিইউ দ্বারা ত্বরান্বিত হয় এবং অন্যান্য পুলিংয়ের বৈকল্পিকগুলির চেয়ে ভাল সঞ্চালন দেখানো হয়েছিল।^[১৯]

ভ্যানিশিং গ্রেডিয়েন্ট সমস্যাটি ব্যাক-প্রোপাগ্যাগেশন ব্যবহার করে এমন বহু-স্তরযুক্ত ফিডফরওয়ার্ড নেটওয়ার্ক এবং পুনরাবৃত্ত নিউরাল নেটওয়ার্ককে প্রভাবিত করে।^{[২০][২১]} যখন ত্রুটিগুলি স্তরে স্তরে ছড়িয়ে পড়ে, স্তরের সংখ্যার সাথে তারা দ্রুতগতিতে সঙ্কুচিত হয়,যা সেই ত্রুটিগুলির উপর ভিত্তি করে নিউরন ওজনগুলির সমন্বয়কে আটকে দেয়, বিশেষ করে গভীর নেটওয়ার্কগুলিকে প্রভাবিত করে।

এই সমস্যাটি কাটিয়ে উঠার জন্য, শ্মিডুবার নেটওয়ার্কগুলির একটি বহুস্তরের অনুক্রম (১৯৯২) গ্রহণ করেন, যাতে প্রতি স্তর এক স্তর করে আধাতত্ত্বাবধানকৃত শিক্ষণ মাধ্যমে প্রাক-প্রশিক্ষিত এবং ব্যাকপ্রোপাগেশন দ্বারা সমন্বিত।^[২২] বেনকে-এর (২০০৩) ইমেজ পুনর্গঠন এবং মুখ স্থানীয়করণ মত সমস্যা সমাধান শুধুমাত্র গ্রেডিয়েন্ট-এর ( আর.প্রপ )^[২৩] চিন্হের উপর নির্ভরশীল।

হিন্টন এবং তার সহকর্মীরা (২০০৬) প্রতিটি স্তর মডেল করার জন্য একটি সীমিত বোল্টজম্যান মেশিন- এর^[২৪] সঙ্গে বাইনারি বা বাস্তব-মান বিশিষ্ট প্রচ্ছন্ন চলকের ধারাবাহিক স্তর ব্যবহার করে একটি উচ্চ স্তরের উপস্থাপনা শেখার প্রস্তাবনা দেন। যথেষ্ট সংখ্যক স্তর শিখে গেলে, উচ্চ স্তরের বৈশিষ্ট্যের অ্যাক্টিভেশনগুলি থেকে মডেলটি ("পূর্বপুরুষ ধাপ") নমুনা করার সময় ডেটা পুনরুত্পাদন করে গভীর আর্কিটেকচারটিকে একটি জেনারেটিভ মডেল হিসাবে ব্যবহার করা যেতে পারে।^{[২৫][২৬]} ২০১২ সালে, অং ও ডিন ইউটিউব ভিডিও থেকে নেওয়া শুধু লেবেল-ছাড়া চিত্র দেখে বিড়ালের মতো উচ্চ স্তরের ধারণাকে চিনতে শেখা একটি নেটওয়ার্ক তৈরি করেছে।^[২৭]

জিপিইউ এবং বন্টিত কম্পিউটিং ব্যবহার করার মাধ্যমে যখন উপলব্ধ কম্পিউটিং ক্ষমতা বৃদ্ধি পেল, তখন গভীর নিউরাল নেটওয়ার্ক প্রশিক্ষণের প্রাথমিক চ্যালেঞ্জগুলি সফলভাবে অপ্রয়োজনীয় পূর্ব-প্রশিক্ষণের মতো পদ্ধতির সাহায্যে সমাধান করা হয়। নিউরাল নেটওয়ার্ক একটি বড় আকারে, বিশেষত ছবি ও দৃষ্টি শনাক্তকরণ সমস্যার সমাধানে নিযুক্ত করা হয়। এই " গভীর শিক্ষণ " বা “ডিপ লার্নিং” হিসাবে পরিচিত হয়ে ওঠে। ^{[তথ্যসূত্র প্রয়োজন]}

হার্ডওয়্যার-ভিত্তিক ডিজাইন

বায়োফিজিকাল সিমুলেশন এবং নিউরোমর্ফিক কম্পিউটিং উভয়ের জন্য সিমস (CMOS) দিয়ে কম্পিউটেশনাল ডিভাইস তৈরি করা হয়। ন্যানো ডিভাইসগুলো^[২৮] খুব বড় আকারের প্রধান উপাদান বিশ্লেষণ (PCA) ও সংবর্তন বা কনভলুশনে নিউরাল কম্পিউটিং এর একটি নতুন শ্রেণী তৈরি করতে পারে, কারণ মৌলিকভাবে এরা এনালগ (ডিজিটাল নয়) (যদিও প্রথম বাস্তবায়নের ডিজিটাল ডিভাইস ব্যবহার করা যেতে পারে)।^[২৯] শ্মিডুবার গ্রুপে সাইয়ারসন এবং সহকর্মীরা (২০১০)^[৩০] দেখিয়েছেন যে ভ্যানিশিং গ্রেডিয়েন্ট সমস্যাটি সত্ত্বেও, জিপিইউ-এর ব্যবহার বহুস্তর ফিডফরওয়ার্ড নিউরাল নেটওয়ার্কগুলির জন্য ব্যাক-প্রপোগেশন সম্ভবপর করে তোলে।

প্রতিযোগিতা

২০০৯ থেকে ২০১২ সাল পর্যন্ত শ্মিডুবার-এর গবেষণা দলের রিকারেন্ট নিউরাল নেটওয়ার্ক এবং গভীর ফিডফরওয়ার্ড নিউরাল নেটওয়ার্ক, প্যাটার্ন শনাক্তকরণ এবং মেশিন লার্নিং-এর আটটি আন্তর্জাতিক প্রতিযোগিতায় জয়ী হয়।^{[৩১][৩২]} উদাহরণস্বরূপ, গ্রেভস ও সহকর্মীর দ্বিমুখী এবং বহুমাত্রিক দীর্ঘ স্বল্পমেয়াদী স্মৃতি (এলএসটিএম)^{[৩৩][৩৪][৩৫][৩৬]} ,২০০৯ সালের ডকুমেন্ট বিশ্লেষণ ও শনাক্তকরণ আন্তর্জাতিক সম্মেলন (আইসিডিএআর) -এ তিনটি ভাষা সম্পর্কে পূর্বে কোন জ্ঞান ছাড়াই সংযুক্ত হস্তাক্ষর শনাক্তকরণণের তিনটি প্রতিযোগিতা জিতেছে।^{[৩৪][৩৫]}

সাইয়ারস এবং সহকর্মীরা আইইআরসিএনএন ২০১১ ট্রাফিক সাইন রেকগিশন কম্পিটিশন,^[৩৭] আইআরবিএন ২০১২ ইলেক্ট্রন মাইক্রোস্কোপি স্ট্যাকস চ্যালেঞ্জ-এ নিউরোনাল কাঠামোর বিভাজন সহ^[৩৮] অন্যান্য প্যাটার্ন প্রতিযোগিতা জিতেছে। ট্র্যাফিক সাইন শনাক্তকরণ (আইজেসিএনএন ২০১২), অথবা এমএনআইআইএসটি হাতের লেখা সংখ্যার সমস্যা হিসাবে মানক-প্রতিযোগিতামূলক বা এমনকি অতিমানবীয় কর্মক্ষমতা^[৩৯] অর্জনে তাদের নিউরালনেটওয়ার্কগুলি প্রথম প্যাটার্ন শনাক্তকারী ছিল।

গবেষকরা দেখিয়েছেন যে (২০১০), যদি গভীর নিউরাল নেটওয়ার্কগুলি একটি প্রসঙ্গ-নির্ভর অবস্থাযুক্ত গোপন মার্কভ মডেলের সাথে সংযুক্ত করা হয় যা নিউরাল নেটওয়ার্কের আউটপুট লেয়ারকে সংজ্ঞায়িত করে, তাহলে ভয়েস অনুসন্ধানের মতো বড় শব্দভাণ্ডারযুক্ত বাচন শনাক্তকরণের কাজগুলিতে ত্রুটিগুলি অনেকাংশে কমে যেতে পারে।

এই পদ্ধতির জিপিইউ ভিত্তিক বাস্তবায়ন^[৪০] আইজেসিএনএন ২০১১ ট্রাফিক সাইন রেকগিশন কম্পিটিশন,^[৩৭] আই এস স্ট্যাক চ্যালেঞ্জে নিউরোনাল কাঠামোর বিভাজন,^[৩৮] ইমেজনেট প্রতিযোগিতা^[৪১] সহ অনেক প্যাটার্ন শনাক্তকরণ প্রতিযোগিতা জিতেছে।

হিন্টন সরল এবং জটিল কোষ দ্বারা অনুপ্রাণিত গভীর, অত্যন্ত ননলিনিয়ার নিউরাল আর্কিটেকচার যা নিওকোগনিট্রন^[৪২] এবং "দৃষ্টির আদর্শ স্থাপত্য"-এর মতো^[৪৩] , অতত্ত্বাবধানকৃত পদ্ধতি দ্বারা প্রাক- প্রশিক্ষিত করেন।^{[২৫][৪৪]} তার গবেষণাগার থেকে একটি দল মর্কের পৃষ্ঠপোষকতায় ২০১২ সালের প্রতিযোগিতা জেতে। তারা এমন একটি সফ্টওয়্যার তৈরি করেন যা নতুন ড্রাগস শনাক্ত করতে পারে এমন অণু খুঁজে পেতে সহায়তা করে ।^[৪৫]

কনভলুশনাল নিউরাল নেটওয়ার্ক

২০১১-এর হিসাব অনুযায়ী^{[হালনাগাদ]} , গভীর শিক্ষা শেখার ফরোয়ার্ড নেটওয়ার্ক শিল্পের অবস্থা, সংকোচকারী স্তর এবং সর্বাধিক পুলিং স্তরগুলির মধ্যে পরিবর্তিত,^{[৪০][৪৬]} বিভিন্ন সম্পূর্ণ বা সামঞ্জস্যপূর্ণ সংযুক্ত স্তরগুলির দ্বারা শীর্ষস্থানীয় এবং পরবর্তী চূড়ান্ত শ্রেণীকরণ স্তর অনুসরণ করে। শিক্ষা সাধারণত unsupervised প্রাক প্রশিক্ষণ ছাড়া সম্পন্ন করা হয়। সংশ্লেষ স্তর, ইনপুট সঙ্গে convolved হয় ফিল্টার আছে। প্রতিটি ফিল্টার একটি ওজন ভেক্টর সমান যে প্রশিক্ষিত করা আছে।

এই ধরনের তত্ত্বাবধানে গভীর শিক্ষার পদ্ধতিগুলি প্রথম বাস্তব প্রয়োগগুলির উপর মানুষের প্রতিযোগিতামূলক কর্মক্ষমতা অর্জনের প্রথম ছিল।^[৩৯]

কৃত্রিম স্নায়ু নেটওয়ার্কগুলি স্থানান্তরের মতো ছোট এবং বৃহৎ প্রাকৃতিক বস্তুগুলির সাথে সামঞ্জস্য করার জন্য সরানো পরিবর্তনকে গ্যারান্টি প্রদান করতে সক্ষম হয়েছিল, কেবলমাত্র স্থানান্তরের বাইরে বর্ধিত বর্ধিত ধারণাগুলি, অবস্থান, টাইপ (অবজেক্ট ক্লাস লেবেল), স্কেল, আলো এবং অন্যদের. এটি ডেভেলপমেন্টাল নেটওয়ার্কস (ডিএনএস)^[৪৭] যার অঙ্গরাগগুলি কোথায়-কি নেটওয়ার্ক, WWN-1 (2008)^[৪৮] WWN-7 (2013) এর মাধ্যমে।^[৪৯]