প্রোগ্রামিংয়ের জন্য স্থানীয় এআই-এর সম্পূর্ণ নির্দেশিকা

  • আদর্শ স্ট্যাকে রানটাইম হিসেবে Ollama, যুক্তির জন্য Qwen2.5-Coder মডেল এবং ইন্টারঅ্যাকশনের জন্য Continue বা Aider-এর মতো টুলের সমন্বয় থাকে।
  • মডেলের আকার বেছে নেওয়ার ক্ষেত্রে VRAM হলো নির্ধারক বিষয়, এবং শক্তিশালী হার্ডওয়্যারে গুরুত্বপূর্ণ ডেভেলপমেন্টের জন্য ৩২ বাইট মডেলই আদর্শ হিসেবে বিবেচিত হয়।
  • স্থানীয় এজেন্টরা ডিভাইসেই সবকিছু প্রক্রিয়াকরণ করার মাধ্যমে টোকেন খরচ দূর করে এবং কোডের সম্পূর্ণ গোপনীয়তা নিশ্চিত করে।

একটি ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE)-এর স্ক্রিনশট, যেখানে একটি এআই অ্যাকশন মেনু প্রদর্শিত হচ্ছে এবং এতে রিফ্যাক্টরিং অপশন ও অ্যাসিস্টেড কোড জেনারেশন দেখা যাচ্ছে।

মাসিক সাবস্ক্রিপশনের কারণে আপনার ওয়ালেট খালি হয়ে যাওয়া, অথবা ঠিক যখন আপনি সেরা ফর্মে আছেন তখন টোকেন লিমিটের কারণে আপনার কাজের গতি নষ্ট হয়ে যাওয়ায় যদি আপনি ক্লান্ত হয়ে থাকেন, তবে আপনি একা নন। নিয়ন্ত্রণ ফিরে পেতে, আপনার কোড সুরক্ষিত রাখতে এবং ক্লাউড সার্ভারের খামখেয়ালিপনার উপর নির্ভর করা বন্ধ করতে, নিজের লোকাল এআই এনভায়রনমেন্ট তৈরি করাই হলো চূড়ান্ত সমাধান।

যারা এই ক্ষেত্রে প্রবেশ করছেন, বিশেষ করে নতুন ম্যাক মিনি এম৪-এর মতো শক্তিশালী মেশিন নিয়ে, তাদের কাছে এই ইকোসিস্টেমটিকে একটি গোলকধাঁধার মতো মনে হতে পারে। তবে, মূল বিষয়টি হলো এটা বোঝা যে, আপনার কোনো একটি জাদুকরী টুলের প্রয়োজন নেই, বরং একটি ইনফারেন্স ইঞ্জিন, একটি বিশেষায়িত কোড মডেল এবং একটি স্বায়ত্তশাসিত এজেন্ট হিসেবে কাজ করে এমন একটি ইন্টারফেস দিয়ে একটি স্ট্যাক তৈরি করতে হবে ।

এনভিডিয়া পেয়ার
সম্পর্কিত নিবন্ধ:
এনভিডিয়া পেয়ার: আপনার বাড়িকে একটি স্থানীয় এআই ক্লাস্টারে পরিণত করুন

স্থানীয় কোড সহকারীর স্তম্ভসমূহ

পাগলের মতো কোডের অংশবিশেষ কপি-পেস্ট না করে সবকিছু কার্যকর করতে, আপনার চারটি সুনির্দিষ্ট স্তরের প্রয়োজন। প্রথমটি হলো রানটাইম বা এক্সিকিউশন এনভায়রনমেন্ট , যেখানে OpenAI-কম্প্যাটিবল এপিআই-এর মাধ্যমে মডেল পরিবেশনের সহজতার কারণে বর্তমানে Ollama এবং LM Studio শীর্ষস্থানে রয়েছে। এরপর আসে ল্যাঙ্গুয়েজ মডেল (LLM) , যা হলো বিচার-বিবেচনার মস্তিষ্ক; এক্ষেত্রে, আকার ও ক্ষমতার মধ্যে ভারসাম্যের জন্য Qwen2.5-Coder ফ্যামিলিটি একটি আদর্শ মানদণ্ডে পরিণত হয়েছে।

তৃতীয় অংশটি হলো IDE ক্লায়েন্ট বা ইন্টারফেস , যেমন VS Code-এর জন্য Continue এক্সটেনশন, যা অটোকমপ্লিট এবং ইন্টিগ্রেটেড চ্যাটের সুবিধা দেয়। সবশেষে রয়েছে অ্যাকশন এজেন্ট , যা Cline বা Aider-এর মতো আরও উন্নত টুল, যেগুলো আপনার তত্ত্বাবধানে সম্পূর্ণ ফাইল পড়তে, টার্মিনালে কমান্ড চালাতে এবং রিপোজিটরিতে প্রকৃত পরিবর্তনের প্রস্তাব দিতে সক্ষম।

এআই এজেন্ট
সম্পর্কিত নিবন্ধ:
এআই এজেন্ট: কর্মদক্ষতা এবং নিয়ন্ত্রণ হারানোর ঝুঁকির মাঝে

আপনার হার্ডওয়্যারের উপর ভিত্তি করে প্রস্তাবিত মডেলগুলি

কাঠের পৃষ্ঠের উপর একটি ছোট ও দৃষ্টিনন্দন ডেস্কটপ কম্পিউটার, যা এআই মডেল চালানোর জন্য প্রয়োজনীয় ম্যাক মিনি এম৪-এর মতো স্থানীয় হার্ডওয়্যারের প্রতিনিধিত্ব করে।

সব মডেল সব মেশিনে খাপ খাবে না। মূল নিয়মটি হলো, প্রসেসরের ক্ষমতার চেয়েও ইউনিফাইড মেমোরি বা ভিআরএএম -ই আসল প্রতিবন্ধকতা। আপনার যদি ১৬ জিবি র‍্যামের একটি সাধারণ কম্পিউটার থাকে, তবে দ্রুত কাজ এবং হালকা কথাবার্তার জন্য ৭ জিবি বা ৮ জিবি মডেলগুলোই আপনার জন্য সেরা বিকল্প।

  • Qwen2.5-Coder 1.5B: আপনার কম্পিউটারের গতি না কমিয়েই তাৎক্ষণিক অটোকমপ্লিট (ট্যাব-অটোকমপ্লিট)-এর জন্য আদর্শ।
  • Qwen2.5-Coder 7B/14B: যারা গতি এবং যৌক্তিক যুক্তির মধ্যে ভারসাম্য খোঁজেন, তাদের জন্য এটিই আদর্শ উপায়।
  • Qwen2.5-Coder 32B: যাদের ২৪ জিবি বা তার বেশি ভিআরএএম আছে এবং যাদের প্রয়োজন একটি গুরুতর এবং পেশাদার কোডিং যা বাণিজ্যিক মডেলগুলোর মানের কাছাকাছি।
  • DeepSeek-Coder-V2 Lite: কঠিন লজিক টাস্ক বা জটিল অ্যালগরিদমের জন্য একটি দুর্দান্ত বিকল্প।
esp32-এ স্থানীয় এআই এজেন্ট
সম্পর্কিত নিবন্ধ:
ESP32-এ স্থানীয় এআই এজেন্ট: কাঠামো, প্রকল্প এবং সীমাবদ্ধতা

টুল ও এজেন্ট: কোনটি বেছে নেবেন?

কম্পিউটার সেটআপ এবং নিয়ন আলো সহ একটি ন্যূনতম ও আধুনিক কর্মক্ষেত্র, যা একটি পেশাদার এবং উন্নত প্রোগ্রামিং পরিবেশের আবহ তৈরি করে।

আপনি AI-কে কতটা স্বায়ত্তশাসন দিতে চান তার উপর নির্ভর করে আপনার কাছে বেশ কয়েকটি বিকল্প রয়েছে। আপনি যদি এডিটরের সাথে সমন্বিত কিছু পছন্দ করেন, তবে ' Continue ' হলো একটি আদর্শ সূচনা। আপনি যদি এমন একটি এজেন্ট খোঁজেন যা স্বয়ংক্রিয়ভাবে একাধিক ফাইল সম্পাদনা করতে এবং গিট কমিট পরিচালনা করতে পারে, তবে 'Aider' হলো চূড়ান্ত টার্মিনাল পাওয়ার টুল, কারণ এটি রিপোজিটরি ম্যাপের মাধ্যমে টোকেন ব্যবহারকে অপ্টিমাইজ করে।

অন্যদিকে, আমাদের কাছে রয়েছে Goose , একটি অত্যন্ত বহুমুখী ওপেন-সোর্স এজেন্ট যা ফাইল সিস্টেমের সাথে ইন্টারঅ্যাক্ট করতে পারে এবং MCP সার্ভারের মাধ্যমে একে সম্প্রসারিত করা যায়। যারা আরও ভিজ্যুয়াল কিছু খুঁজছেন, তাদের জন্য AnythingLLM লোকাল নলেজ ম্যানেজমেন্ট এবং ডকুমেন্ট ইনডেক্সিংয়ের সুবিধা দেয়, যদিও এটি ডেভেলপারদের জন্য একটি টুলের চেয়ে প্রোডাক্টিভিটি টুল হিসেবেই বেশি উপযোগী। এছাড়াও OllamaCode-এর মতো কিছু উদীয়মান প্রজেক্ট রয়েছে , যেগুলো AI-কে শুধু কোড লেখার জন্যই নয়, বরং রিয়েল টাইমে তা এক্সিকিউট ও টেস্ট করার জন্যও সক্ষম করে তোলার উপর মনোযোগ দেয়।

কার্যকরী কর্মপ্রবাহের জন্য ধাপে ধাপে সেটআপ

সবকিছু নিখুঁতভাবে কাজ করানোর জন্য, সবচেয়ে ভালো উপায় হলো প্রথমে Ollama ইনস্টল করা এবং আপনার মেমরির জন্য সবচেয়ে উপযুক্ত মডেলটি ডাউনলোড করা (উদাহরণস্বরূপ, ollama pull qwen2.5-coder:14bকনসোলে মডেলটি সঠিকভাবে সাড়া দিলে, আমরা এটিকে VS Code-এর সাথে সংযুক্ত করি সম্প্রসারণ অব্যাহত রাখুনলোকালহোস্ট ইউআরএল এমনভাবে কনফিগার করা যাতে চ্যাট এবং সম্পাদনা আপনার নিজের মেশিনে সম্পন্ন হয়।

যদি আপনি বিষয়টিকে পরবর্তী স্তরে নিয়ে যেতে চান, তাহলে আপনি ক্লাইন (Cline) ইনস্টল করতে পারেন । এটি এমন একটি এজেন্ট হিসেবে কাজ করবে যা শেল এবং ফাইলগুলিতে পরিবর্তনের পরামর্শ দেবে এবং কোনো কিছু কার্যকর করার আগে সর্বদা আপনার অনুমতি চাইবে। আরও শক্তিশালী একটি ওয়ার্কফ্লোর জন্য, এইডার (Aider) ব্যবহার করলে আপনি এজেন্টের আপনার গিট (Git) কাঠামো বোঝার ক্ষমতাকে কাজে লাগিয়ে অবিশ্বাস্য নির্ভুলতার সাথে একাধিক ফাইলের রিফ্যাক্টরিং করতে পারবেন।

একটি উচ্চ-প্রযুক্তি সম্পন্ন মাইক্রোচিপের বিমূর্ত উপস্থাপনা, যা এজ এআই-এর জন্য অ্যামলজিক এ৩১১ওয়াই৩ মডিউলের প্রক্রিয়াকরণ ক্ষমতার প্রতীক।
সম্পর্কিত নিবন্ধ:
অ্যামলজিক A311Y3 এজ কম্পিউটিং এআই মডিউলের সম্পূর্ণ নির্দেশিকা

গোপনীয়তা, খরচ এবং কর্মক্ষমতা

স্ক্রিনের ওপর প্রোগ্রামিং কোডের বিস্তারিত ও বহুরঙা লাইনের ক্লোজ-আপ, যা সফটওয়্যার উন্নয়নের আধুনিকতা এবং প্রযুক্তিগত জটিলতার প্রতীক।

এই পদ্ধতির প্রধান সুবিধা হলো সম্পূর্ণ গোপনীয়তা ; আপনার ব্যবসায়িক গোপনীয় তথ্য এবং এপিআই কী কখনোই কোনো বাহ্যিক সার্ভারে যায় না, যা নিয়ন্ত্রিত খাতে কাজ করার ক্ষেত্রে অত্যন্ত গুরুত্বপূর্ণ। তাছাড়া, একবার হার্ডওয়্যারে বিনিয়োগ করার পর, প্রতিটি টোকেনের খরচ কার্যত শূন্য হয়ে যায়, ফলে ক্লাউড প্রো সংস্করণগুলোর ব্যবহারের সীমাবদ্ধতার কারণে সৃষ্ট বিরক্তি দূর হয়।

পারফরম্যান্সের দিক থেকে, ল্যাটেন্সি নাটকীয়ভাবে কমে যায়, কারণ নেটওয়ার্ক জুড়ে কোনো রাউন্ড ট্রিপ হয় না। তবে, কেভি ক্যাশের (KV cache) ব্যাপারে সতর্ক থাকুন ; যদি আপনি লক্ষ্য করেন যে এআই (AI) হঠাৎ ধীর হয়ে যাচ্ছে, তাহলে সম্ভবত আপনার ভিআরএএম (VRAM) শেষ হয়ে গেছে এবং সিস্টেমটি সাধারণ র‍্যাম (RAM) ব্যবহার করছে, যা অনেক বেশি ধীরগতির। এর সমাধান হলো কনটেক্সট সাইজ কমানো অথবা একটি ছোট মডেল ব্যবহার করা।

প্রকল্পটি যাতে ভেস্তে না যায় তার জন্য কিছু পরামর্শ।

তত্ত্বাবধান ছাড়া কোনো এআই-কে আপনার টার্মিনাল কী দেওয়া বিপজ্জনক হতে পারে। সবচেয়ে বুদ্ধিমানের কাজ হলো একটি সীমাবদ্ধ অনুমতি নীতি প্রয়োগ করা : এআই-কে প্রথমে ফাইলগুলো পড়তে দিন, তারপর একটি পরিকল্পনা প্রস্তাব করতে দিন এবং কেবল তখনই পরিবর্তনগুলো লিখুন। সঠিক কমান্ডটি যাচাই না করে কোনো এজেন্টকে ফাইল মুছে ফেলার বা একসাথে অনেক কিছু ইনস্টল করার কমান্ড চালানোর অনুমতি দেবেন না।

এআই টেস্টিংয়ের জন্য ডেডিকেটেড গিট ব্রাঞ্চে কাজ করার পরামর্শ দেওয়া হয় । এভাবে, যদি এজেন্ট রিফ্যাক্টর করার সিদ্ধান্ত নেয় এবং পুরো প্রজেক্টটি ভেঙে দেয়, তবে আপনি একটিমাত্র কমান্ড দিয়ে আগের অবস্থায় ফিরে যেতে পারবেন। সফল পদ্ধতিটি হলো: ছোট লক্ষ্য নির্ধারণ, কনটেক্সট ইন্সপেকশন, একটি সীমিত প্যাচের অনুমোদন এবং ফাইনাল কমিট করার আগে আসল টেস্টের মাধ্যমে ভ্যালিডেশন।

Ollama-র মতো রানটাইম, শক্তিশালী Qwen সিরিজের মডেল এবং Aider বা Cline-এর মতো স্বয়ংক্রিয় এজেন্টের সমন্বয় একটি ব্যক্তিগত কম্পিউটারকে একটি স্বয়ংসম্পূর্ণ ডেভেলপমেন্ট ওয়ার্কস্টেশনে রূপান্তরিত করে। ইউনিফাইড মেমরিকে অগ্রাধিকার দিয়ে এবং এক্সিকিউশন পারমিশন ব্যবস্থাপনার মাধ্যমে, যেকোনো প্রোগ্রামার ক্লাউড কোটার উপর নির্ভরতা দূর করতে পারেন এবং একটি মসৃণ, ব্যক্তিগত ও সম্পূর্ণ স্বাধীন কর্মপ্রবাহ উপভোগ করতে পারেন।

ফুজিৎসু মোনাকা
সম্পর্কিত নিবন্ধ:
Fujitsu Monaka: সার্বভৌম AI এর জন্য 144-কোর CPU

Google-এ পছন্দের উৎস হিসেবে যোগ করুন