Open-weight and closed-weight models — ওপেন-ওয়েট ও ক্লোজড-ওয়েট মডেল

Open-weight এবং Closed-weight মডেল — এটি বৃহৎ ভাষা মডেল (LLM) তৈরি ও বিতরণের দুটি মৌলিকভাবে ভিন্ন পদ্ধতি, যা আধুনিক কৃত্রিম বুদ্ধিমত্তার বাস্তুতন্ত্রে একটি মূল দ্বিবিভাজন তৈরি করে। এই পদ্ধতিগুলির মধ্যে পছন্দ প্রযুক্তিগত সক্ষমতা, অর্থনীতি, নিরাপত্তা এবং AI-এর ভবিষ্যৎ উন্নয়নকে প্রভাবিত করে।

পার্থক্যটি মডেলের প্রশিক্ষিত প্যারামিটার (ওয়েট)-এর প্রাপ্যতার মধ্যে। Open-weight মডেলগুলি তাদের ওয়েট প্রকাশ করে, সম্প্রদায়কে সেগুলি ব্যবহার, পরিবর্তন এবং স্থানীয়ভাবে স্থাপন করার সুযোগ দেয়। Closed-weight মডেলগুলি, বিপরীতে, ওয়েট গোপন রাখে এবং তাদের সক্ষমতায় প্রবেশাধিকার শুধুমাত্র মালিকানাধীন API-এর মাধ্যমে প্রদান করে।

সংজ্ঞা এবং মূল পার্থক্য

Open-weight মডেল (উন্মুক্ত ওয়েট সহ)

Open-weight মডেল — এমন সিস্টেম যেখানে Neural Network-এর প্রশিক্ষিত প্যারামিটার (ওয়েট) ব্যবহার, পরিবর্তন এবং বিতরণের জন্য সর্বজনীনভাবে উপলব্ধ। OpenAI-এর আন্দ্রেই কার্পাথি-র সংজ্ঞা অনুযায়ী, এই ধরনের মডেল "অপারেটিং সিস্টেমের বাইনারি ফাইল হস্তান্তর করার" মতো — ব্যবহারকারীরা একটি কার্যকরী পণ্য পান, কিন্তু সাধারণত প্রশিক্ষণের সোর্স কোড বা প্রশিক্ষণ ডেটায় প্রবেশাধিকার ছাড়াই।

মূল বৈশিষ্ট্যসমূহ:

• স্থানীয় স্থাপনা: নিজস্ব হার্ডওয়্যারে মডেল চালানোর সক্ষমতা, যা ডেটার উপর সম্পূর্ণ নিয়ন্ত্রণ এবং গোপনীয়তা নিশ্চিত করে।
• সূক্ষ্ম সমন্বয় (Fine-tuning): নির্দিষ্ট কাজ ও ডোমেনের জন্য মডেল অভিযোজিত করার সক্ষমতা।
• স্বচ্ছতা ও নিরীক্ষা: গবেষকরা পক্ষপাত ও দুর্বলতা চিহ্নিত করতে মডেলের অভ্যন্তরীণ প্রক্রিয়া অধ্যয়ন করতে পারেন।

Closed-weight মডেল (বদ্ধ ওয়েট সহ)

Closed-weight মডেল (মালিকানাধীন হিসেবেও পরিচিত) — এমন সিস্টেম যার প্যারামিটার বাণিজ্যিক গোপনীয়তা হিসেবে বিবেচিত এবং শুধুমাত্র API বা সীমিত লাইসেন্সের মাধ্যমে অ্যাক্সেসযোগ্য। OpenAI এবং Anthropic-এর মতো ডেভেলপার কোম্পানিগুলি আর্কিটেকচার, প্রশিক্ষণ পদ্ধতি এবং inference প্রক্রিয়ার উপর সম্পূর্ণ নিয়ন্ত্রণ রাখে। GPT-4-এর প্রযুক্তিগত প্রতিবেদনে সরাসরি বিস্তারিত তথ্য প্রকাশ না করার কথা উল্লেখ করা হয়েছে, "প্রতিযোগিতামূলক পরিবেশ এবং বৃহৎ মাপের মডেলের নিরাপত্তার প্রভাব বিবেচনা করে"।

মূল বৈশিষ্ট্যসমূহ:

• কেন্দ্রীভূত নিয়ন্ত্রণ: ডেভেলপার আপডেট, নিরাপত্তা এবং ব্যবহারের নীতিমালা পরিচালনা করেন।
• ব্যবহারের সহজতা: API-এর মাধ্যমে অ্যাক্সেস ব্যবহারকারীদের জটিল অবকাঠামো পরিচালনার প্রয়োজনীয়তা থেকে মুক্তি দেয়।
• অস্বচ্ছতা: অভ্যন্তরীণ প্রক্রিয়ায় প্রবেশাধিকারের অভাব স্বাধীন নিরীক্ষাকে অসম্ভব করে তোলে এবং ত্রুটিপূর্ণ বা পক্ষপাতমূলক উত্তরের কারণ বোঝা কঠিন করে।

Open-source থেকে পার্থক্য

Open-weight এবং open-source পরিভাষার মধ্যে পার্থক্য করা গুরুত্বপূর্ণ। একটি প্রকৃত open-source মডেল পুনরুৎপাদনের জন্য প্রয়োজনীয় সকল উপাদান প্রকাশ করে: ওয়েট, আর্কিটেকচার, প্রশিক্ষণ কোড এবং dataset। Meta-এর Llama-এর মতো বেশিরভাগ আধুনিক "উন্মুক্ত" মডেল open-weight, কিন্তু সম্পূর্ণভাবে open-source নয়, কারণ তাদের প্রশিক্ষণ ডেটা এবং সুনির্দিষ্ট প্রশিক্ষণ পদ্ধতি বদ্ধ থাকে।

তুলনামূলক বিশ্লেষণ: কার্যক্ষমতা, খরচ এবং উদ্ভাবন

কার্যক্ষমতা এবং কাস্টমাইজেশন

ঐতিহাসিকভাবে closed-weight মডেল, যেমন GPT-4, সাধারণ benchmark-এ এগিয়ে ছিল। তবে কার্যক্ষমতার ব্যবধান দ্রুত হ্রাস পাচ্ছে। Stanford AI Index 2025-এর তথ্য অনুযায়ী, গত বছরে এই ব্যবধান ৮% থেকে ১.৭%-এ নেমে এসেছে। Meta-এর LLaMA 3.1 405B এবং DeepSeek-V3-এর মতো শক্তিশালী open-weight মডেলগুলি তুলনীয়, এবং কিছু কাজে (বিশেষত প্রোগ্রামিংয়ে) উচ্চতর ফলাফল দেখাচ্ছে।

Open-weight মডেলের মূল সুবিধা হলো গভীর কাস্টমাইজেশন। নির্দিষ্ট ডেটায় fine-tuning-এর সুযোগ তাদের চিকিৎসা বা আইন-এর মতো সংকীর্ণ ক্ষেত্রে বৃহত্তর কিন্তু সর্বজনীন closed-weight মডেলকে ছাড়িয়ে যেতে সাহায্য করে।

অর্থনৈতিক দিক

• প্রশিক্ষণ ব্যয়: অগ্রগামী (frontier) মডেল তৈরি অত্যন্ত ব্যয়বহুল। GPT-4-এর প্রশিক্ষণের ব্যয় $১০০ মিলিয়নেরও বেশি বলে অনুমান করা হয়। DeepSeek-V3-এর মতো open-weight মডেলগুলি $৫.৫ মিলিয়ন খরচে অনুরূপ কার্যক্ষমতা অর্জন করে, শক্তিশালী সিস্টেম তৈরিতে অ্যাক্সেসকে গণতান্ত্রিক করে তুলছে।
• ব্যবহারের খরচ (inference): Closed-weight মডেলগুলি API-এর মাধ্যমে pay-per-use পদ্ধতিতে চার্জ করে, যা বড় পরিমাণে উচ্চ ব্যয়ের দিকে নিয়ে যেতে পারে। স্থানীয়ভাবে স্থাপিত open-weight মডেলগুলির অবকাঠামোতে প্রাথমিক বিনিয়োগ প্রয়োজন, কিন্তু স্কেলিংয়ের সময় মোট মালিকানা ব্যয় (TCO) উল্লেখযোগ্যভাবে কম।

বৈজ্ঞানিক গবেষণা ও উদ্ভাবনে প্রভাব

Open-weight মডেলগুলি পুনরুৎপাদনযোগ্যতা এবং প্রবেশাধিকারের গণতন্ত্রীকরণ নিশ্চিত করে বৈজ্ঞানিক গবেষণাকে মৌলিকভাবে রূপান্তরিত করছে। বিশ্বজুড়ে গবেষকরা উন্মুক্ত মডেল বিশ্লেষণ, সমালোচনা এবং উন্নত করতে পারেন, যা একটি গতিশীল বাস্তুতন্ত্র তৈরি করে এবং অগ্রগতিকে ত্বরান্বিত করে। অন্যদিকে, বদ্ধ মডেলগুলি "পুনরুৎপাদনের সংকট" তৈরি করে, কারণ দাবি করা ফলাফলগুলি স্বাধীনভাবে যাচাই করা সম্ভব নয়।

নিরাপত্তা ও নৈতিক দ্বন্দ্ব

নিরাপত্তার প্রশ্নটি উন্মুক্ততা ও নিয়ন্ত্রণের বিতর্কে কেন্দ্রীয় দ্বন্দ্ব।

• Closed-weight পদ্ধতি (কেন্দ্রীভূত প্রতিরোধ): OpenAI এবং Anthropic-এর মতো ডেভেলপাররা প্রতিরোধমূলক পদ্ধতি অনুসরণ করেন। তারা জটিল নিরাপত্তা ফিল্টার প্রয়োগ করেন, নিবিড় red teaming পরিচালনা করেন এবং Anthropic-এর Responsible Scaling Policy-এর মতো কঠোর নীতিমালা অনুসরণ করেন, নির্দিষ্ট ঝুঁকি সীমা অতিক্রমকারী মডেল স্থাপন না করার প্রতিশ্রুতি দিয়ে।
• Open-weight পদ্ধতি (বিকেন্দ্রীভূত স্থিতিস্থাপকতা): এই দর্শন, open-source জগতের মতো, এই বিশ্বাসের উপর ভিত্তি করে যে "অনেক চোখ সব ত্রুটিকে ছোট করে তোলে"। সম্প্রদায় দ্রুত দুর্বলতা খুঁজে বের করতে এবং সংশোধন করতে পারে। তবে এটি ঝুঁকিও তৈরি করে: দূর্বৃত্তরা দুর্বলতা খোঁজার জন্য বা fine-tuning-এর মাধ্যমে সুরক্ষা প্রক্রিয়া সরিয়ে দেওয়ার জন্য মডেল অধ্যয়ন করতে পারে।

গবেষণা দেখায় যে মডেলের প্রাপ্যতা নয়, বরং মানুষের উদ্দেশ্যই প্রাথমিক ঝুঁকির কারণ। জেনারেটিভ AI-এর অপব্যবহারের নথিভুক্ত ঘটনাগুলির ৯০% সিস্টেমগুলির দ্বারা উৎপন্ন ক্ষতির পরিবর্তে অনুমোদিত সক্ষমতার শোষণের সাথে সম্পর্কিত।

নিয়ন্ত্রক পদ্ধতি: ইইউ এবং যুক্তরাষ্ট্র

• ইইউ AI আইন: প্রতিরোধমূলক, ঝুঁকি-ভিত্তিক পদ্ধতি গ্রহণ করে। আইনটি "সিস্টেমিক ঝুঁকি" সহ মডেলগুলির জন্য (প্রশিক্ষণের জন্য ১০^২৫ ফ্লপসেরও বেশি প্রয়োজন) কঠোর বাধ্যবাধকতা আরোপ করে, তবে এই ধরনের ঝুঁকি বহন করে না এমন open-source মডেলগুলির জন্য সীমিত ব্যতিক্রম প্রদান করে। এটি স্বচ্ছতার জন্য প্রণোদনা তৈরি করে, কিন্তু নিয়ন্ত্রক জটিলতাও সৃষ্টি করে।
• যুক্তরাষ্ট্রের পদ্ধতি: শিল্প মানদণ্ডের মাধ্যমে উদ্ভাবনের উৎসাহ এবং ঝুঁকি ব্যবস্থাপনার উপর ভিত্তি করে। প্রেসিডেন্ট বাইডেনের নির্বাহী আদেশ ১৪১১০ এবং পরবর্তী NTIA প্রতিবেদন open-weight মডেলে তাৎক্ষণিক বিধিনিষেধ আরোপ থেকে বিরত থাকার সুপারিশ করে, পরিবর্তে তথ্য-ভিত্তিক সিদ্ধান্ত গ্রহণের জন্য একটি পর্যবেক্ষণ ব্যবস্থা তৈরির প্রস্তাব করে।

মূল মডেল এবং অংশগ্রহণকারীরা

শীর্ষস্থানীয় Open-weight এবং Closed-weight মডেলের তুলনামূলক সারণি

মডেলের ধরন	মডেল	ডেভেলপার	মূল বৈশিষ্ট্য
Open-weight	LLaMA 3.1	Meta	উচ্চ কার্যক্ষমতা, উন্মুক্ত মডেলের জন্য মানদণ্ড স্থাপনকারী; বৃহৎ সম্প্রদায়।
Mixtral 8x7B	Mistral AI	\"মিশ্রণ বিশেষজ্ঞ\" (MoE) আর্কিটেকচার, inference-এ কম খরচে উচ্চ কার্যক্ষমতা নিশ্চিত করে।
Closed-weight	GPT-4 / GPT-4o	OpenAI	কার্যক্ষমতায় ঐতিহাসিক নেতা, শক্তিশালী মাল্টিমোডাল সক্ষমতা।
Claude 4 Opus	Anthropic	নিরাপত্তা ও নৈতিকতায় মনোযোগ (Constitutional AI), বৃহৎ কনটেক্সট উইন্ডো।

তথ্যসূত্র

• Stanford AI Index Report 2025 — AI-এর অবস্থা সম্পর্কে বার্ষিক প্রতিবেদন।
• উন্মুক্ত ওয়েট মডেলের উপর NTIA প্রতিবেদন

সাহিত্য

• OpenAI et al. (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288.
• DeepSeek-AI (2025). DeepSeek-V3 Technical Report. arXiv:2412.19437.
• Kapoor, S.; Bommasani, R. et al. (2024). On the Societal Impact of Open Foundation Models. arXiv:2403.07918.
• U.S. NTIA (2024). Dual-Use Foundation Models with Widely Available Model Weights. NTIA Report.
• Stanford HAI (2025). Artificial Intelligence Index Report 2025. Full PDF.
• Anthropic (2023). Responsible Scaling Policy. Anthropiс RSP.
• Klyman, K. et al. (2024). A Design Framework for Open-Source Foundation Model Safety. arXiv:2406.10415.
• Kembery, E.; Reed, T. (2024). AI Safety Frameworks Should Include Procedure for Model Access Decisions. arXiv:2411.10547.
• European Commission (2024). General-Purpose AI Models in the AI Act – Q&A. EU AI Act FAQ.
• Zhang, X. et al. (2025). Mitigating Cyber Risk in the Age of Open-Weight LLMs. arXiv:2505.17109.
• Biderman, S. et al. (2024). Risks and Opportunities of Open-Source Generative AI. arXiv:2405.08597.