Hunyuan (Tencent) (BN)

Hunyuan (চীনা: 腾讯混元大模型, Tencent Hunyuan, Tencent HY) — ফান্ডামেন্টাল মডেলের (Foundation Models) এবং বৃহৎ ভাষা মডেলের (Large Language Model, LLM) একটি পরিবার, যা Tencent Hunyuan Foundation Model Team কর্তৃক তৈরি এবং Tencent Cloud ক্লাউড সেবার মাধ্যমে, পাশাপাশি Hugging Face ও GitHub প্ল্যাটফর্মে উন্মুক্ত ওজন (open weights) হিসেবে পাওয়া যায়। এই পরিবারে রয়েছে টেক্সট তৈরি ও বোঝার মডেল, যৌক্তিক ও গাণিতিক অনুমান, প্রোগ্রামিং, দীর্ঘ প্রসঙ্গ প্রক্রিয়াকরণ, এবং মাল্টিমোডাল সম্প্রসারণ (ছবি, ভিডিও, থ্রিডি)। Hunyuan কে Tencent-এর জেনারেটিভ AI-এর ফ্ল্যাগশিপ লাইনআপ হিসেবে অবস্থান করা হয়েছে এবং এটি কোম্পানির পণ্য ইকোসিস্টেমে (Yuanbao, WeChat, Tencent Meeting, Tencent Cloud) সমন্বিত।

ইতিহাস ও উন্নয়নের কালপঞ্জি

Hunyuan-এর উন্নয়ন বৈশ্বিক LLM প্রতিযোগিতা এবং কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে চীনের প্রযুক্তিগত স্বনির্ভরতার কৌশলগত প্রেক্ষাপটে পরিচালিত হয়েছে। এই লাইনআপটি মালিকানাধীন (proprietary) dense মডেল থেকে উন্মুক্ত Mixture-of-Experts (MoE) এবং হাইব্রিড Transformer-Mamba আর্কিটেকচারের দিকে বিকশিত হয়েছে।

প্রথম প্রজন্ম (২০২৩)

Hunyuan সিরিজের সর্বজনীন ঘোষণা ২০২৩ সালের ৭ সেপ্টেম্বর শেনজেনে Tencent Global Digital Ecosystem Summit-এ হয়েছিল। প্রথম সংস্করণটি ছিল একটি মালিকানাধীন dense মডেল যার ১০০ বিলিয়নেরও বেশি প্যারামিটার ছিল, ২ ট্রিলিয়নেরও বেশি token-এ পূর্ব-প্রশিক্ষিত। মডেলটি চীনা ভাষা, যৌক্তিক অনুমান এবং কন্টেন্ট জেনারেশনে মনোযোগ দিয়েছিল, Tencent-এর ৫০টিরও বেশি পণ্যে সমন্বিত হয়েছিল এবং Tencent Cloud API-এর মাধ্যমে পাওয়া যেত।

Hunyuan-Large এবং MoE-তে রূপান্তর (২০২৪)

২০২৪ সালের নভেম্বরে Tencent Hunyuan-Large প্রকাশ করে — সে সময়ের সবচেয়ে বড় উন্মুক্ত Transformer-MoE মডেল, যার মোট ৩৮৯ বিলিয়ন এবং সক্রিয় ৫২ বিলিয়ন প্যারামিটার ছিল। মডেলটি Hugging Face ও GitHub-এ উন্মুক্ত ওজনসহ প্রকাশিত হয়েছিল এবং arXiv-এ একটি প্রিপ্রিন্ট দ্বারা অনুষঙ্গী ছিল। এই রিলিজ উন্মুক্ত উন্নয়নের দিকে Tencent-এর কৌশলগত পরিবর্তনকে চিহ্নিত করেছে।

হাইব্রিড ও reasoning মডেল (২০২৫)

২০২৫ সালে লাইনআপ বেশ কিছু গুরুত্বপূর্ণ রিলিজ দিয়ে প্রসারিত হয়েছে:

• Hunyuan-TurboS (ফেব্রুয়ারি ২০২৫) — প্রথম শিল্পমানের বৃহৎ-আকারের হাইব্রিড Transformer-Mamba-MoE মডেল, মোট ৫৬০ বিলিয়ন এবং সক্রিয় ৫৬ বিলিয়ন প্যারামিটারসহ, ১৬ ট্রিলিয়ন token-এ পূর্ব-প্রশিক্ষিত। দ্রুত ও গভীর চিন্তার মধ্যে গতিশীলভাবে স্যুইচ করার জন্য অভিযোজিত Chain-of-Thought (CoT) পদ্ধতি প্রবর্তন করা হয়েছে।
• Hunyuan-T1 (মার্চ ২০২৫) — একটি বিশেষায়িত reasoning মডেল, TurboS-এর উপর নির্মিত, বড় আকারের Reinforcement Learning প্রশিক্ষণসহ (পোস্ট-ট্রেনিং কম্পিউটের ৯৬.৭% — reinforcement learning)।
• Hunyuan-A13B (জুন ২০২৫) — কর্মক্ষমতা ও খরচের ভারসাম্যের জন্য একটি কমপ্যাক্ট MoE মডেল (মোট ৮০ বিলিয়ন / সক্রিয় ১৩ বিলিয়ন প্যারামিটার), দ্রুত ও ধীর চিন্তার সমর্থনসহ।
• ছোট dense মডেল (জুলাই ২০২৫) — edge ডিভাইস এবং উচ্চ-প্রতিযোগিতামূলক ডিপ্লয়মেন্ট পরিস্থিতির জন্য ০.৫B, ১.৮B, ৪B, ৭B ভেরিয়েন্ট, ২৫৬K কনটেক্সট সমর্থনসহ।

Hunyuan 2.0 (নভেম্বর–ডিসেম্বর ২০২৫)

২০২৫ সালের ডিসেম্বরে দ্বিতীয় প্রজন্মের বাণিজ্যিক মডেল ঘোষণা করা হয় — Hunyuan 2.0 (HY 2.0), MoE আর্কিটেকচার (মোট ৪০৬ বিলিয়ন / সক্রিয় ৩২ বিলিয়ন প্যারামিটার) এবং ২৫৬K token-এর কনটেক্সট উইন্ডোসহ। লাইনআপটি দুটি ভেরিয়েন্টে বিভক্ত: HY 2.0 Think (গভীর যুক্তি, কোড) এবং HY 2.0 Instruct (সংলাপ, সৃজনশীল জেনারেশন)। মডেলগুলো Tencent Cloud API-এর মাধ্যমে পাওয়া যায় এবং Yuanbao ও ima অ্যাপ্লিকেশনে সমন্বিত।

সংক্ষিপ্ত কালপঞ্জি

তারিখ	ঘটনা
সেপ্টেম্বর ২০২৩	মালিকানাধীন LLM হিসেবে Hunyuan-এর সর্বজনীন ঘোষণা (>১০০B প্যারামিটার); Tencent Cloud API চালু
ফেব্রুয়ারি ২০২৪	Yuanbao চ্যাটবটের জন্য অভ্যন্তরীণ MoE মডেল
এপ্রিল ২০২৪	রিব্র্যান্ডিং: «advanced» → hunyuan-pro, «standard» → hunyuan-standard; hunyuan-lite যোগ
মে ২০২৪	hunyuan-lite MoE-তে স্থানান্তরিত, ২৫৬K কনটেক্সটে প্রসারিত
সেপ্টেম্বর ২০২৪	নতুন hunyuan-turbo চালু (নতুন প্রজন্মের MoE)
নভেম্বর ২০২৪	Hunyuan-Large (389B/52B MoE) উন্মুক্ত রিলিজ, প্রিপ্রিন্ট arXiv:2411.02265
ফেব্রুয়ারি–মার্চ ২০২৫	Hunyuan-TurboS (হাইব্রিড Mamba-MoE); Hunyuan-T1 (reasoning)
জুন ২০২৫	Hunyuan-A13B (80B/13B, fine-grained MoE)
জুলাই ২০২৫	ছোট dense মডেল ০.৫B–৭B
সেপ্টেম্বর ২০২৫	Hunyuan-MT (বিশেষায়িত অনুবাদ মডেল)
নভেম্বর–ডিসেম্বর ২০২৫	Hunyuan 2.0 (HY 2.0 Think / Instruct), 406B/32B MoE

উৎস: Tencent Cloud product dynamics; অফিসিয়াল রিপোজিটরি।

তাত্ত্বিক ভিত্তি ও আর্কিটেকচার

Mixture-of-Experts আর্কিটেকচার

সিরিজের মূল মডেলগুলো (Hunyuan-Large, A13B, HY 2.0) Mixture-of-Experts (MoE) আর্কিটেকচার ব্যবহার করে, যেখানে transformer-এর কিছু স্তরে একাধিক «বিশেষজ্ঞ» (সাব-নেটওয়ার্ক) থাকে এবং একটি রাউটার (gating network) প্রতিটি token-এর জন্য সক্রিয় বিশেষজ্ঞদের একটি উপসেট নির্বাচন করে। MoE স্তরের মূল সূত্র:

$\mathrm{O}\mathrm{u}\mathrm{t}\mathrm{p}\mathrm{u}\mathrm{t}=\sum _{i=1}^{N}G(x{)}_i\cdot E_i(x)$

যেখানে $G(x)$ — রাউটিং ফাংশন (gating), $E_i$ — $i$-তম বিশেষজ্ঞ, $N$ — মোট বিশেষজ্ঞের সংখ্যা। এই পদ্ধতিতে মডেলের মোট প্যারামিটারের সংখ্যা $P_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}$ একক পাসে সক্রিয় প্যারামিটারের সংখ্যা $P_{\mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}}$-কে উল্লেখযোগ্যভাবে ছাড়িয়ে যায়:

$P_{\mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}}\ll P_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}$

যা inference-এ গণনামূলক ব্যয় আনুপাতিকভাবে না বাড়িয়ে মডেলের ক্ষমতা বাড়ানোর সুযোগ দেয়।

Hunyuan-Large-এ ১টি shared (সাধারণ) বিশেষজ্ঞ এবং ১৬টি বিশেষায়িত বিশেষজ্ঞ সহ প্রতি token-এ ১ বিশেষজ্ঞ সক্রিয় করার পরিকল্পনা (top-1 routing) বাস্তবায়িত হয়েছে। অতিরিক্ত উদ্ভাবনের মধ্যে রয়েছে recycle পদ্ধতিসহ মিশ্র রাউটিং (প্রত্যাখ্যাত token-গুলো পুনর্ব্যবহার) এবং বিশেষজ্ঞদের অবদানের ভারসাম্য উন্নত করতে বিশেষজ্ঞ-নির্দিষ্ট learning rate।

হাইব্রিড Transformer-Mamba আর্কিটেকচার

Hunyuan-TurboS এবং T1 একটি হাইব্রিড আর্কিটেকচার প্রবর্তন করে যা Transformer (attention) এবং Mamba (state-space model) ব্লককে একত্রিত করে। Mamba ক্রমের দৈর্ঘ্যের উপর রৈখিক জটিলতা নিশ্চিত করে:

$h_t=A{h}_{t-1}+B{x}_t$

যেখানে $A$, $B$ — প্রশিক্ষণযোগ্য ম্যাট্রিক্স, $h_t$ — $t$ ধাপে লুকানো অবস্থা, $x_t$ — ইনপুট token। এটি দৈর্ঘ্যের উপর $O(1)$ মেমোরি স্কেলিং নিশ্চিত করে (স্ট্যান্ডার্ড Transformer-এ $O(N)$-এর বিপরীতে)।

TurboS-এ ১২৮টি স্তর রয়েছে যা ব্লকে সংগঠিত: ৫৭টি Mamba2 স্তর, ৭টি Attention স্তর এবং ৩২টি বিশেষজ্ঞ সহ ৬৪টি FFN-MoE স্তর। বৈশ্বিক ও স্থানীয় প্রসঙ্গের ভারসাম্যের জন্য AMF (Attention → Mamba2 → FFN) এবং MF (Mamba2 → FFN) ব্লক পর্যায়ক্রমে ব্যবহার করা হয়।

Attention পদ্ধতি ও KV-ক্যাশ

Hunyuan-Large Grouped Query Attention (GQA) ব্যবহার করে — একটি attention ভেরিয়েন্ট যেখানে একাধিক query সাধারণ key ও value ভাগ করে — এবং KV-ক্যাশের পরিমাণ কমাতে Cross-Layer Attention (CLA) ব্যবহার করে। $H$ head, $L$ দৈর্ঘ্যের ক্রম এবং $d_h$ head আকার সহ self-attention স্তরের জন্য স্ট্যান্ডার্ড KV-ক্যাশের পরিমাণ:

$S_{\mathrm{K}\mathrm{V}}\propto 2\cdot H\cdot L\cdot d_h$

যেখানে $S_{\mathrm{K}\mathrm{V}}$ — KV-ক্যাশের পরিমাণ। $H_g<H$ গ্রুপ সহ GQA-তে পরিমাণ কমে যায়:

$S_{\mathrm{K}\mathrm{V}}^{\mathrm{G}\mathrm{Q}\mathrm{A}}\propto 2\cdot H_g\cdot L\cdot d_h$

CLA অতিরিক্তভাবে স্তরের মধ্যে KV-ক্যাশ পুনরায় ব্যবহারের ধারণা করে। সামগ্রিকভাবে এই অপ্টিমাইজেশনগুলো প্রায় ৯৫% মেমোরি সাশ্রয় নিশ্চিত করে।

পজিশনাল এনকোডিং ও দীর্ঘ প্রসঙ্গ

মডেলগুলো দীর্ঘ ক্রম সমর্থনের জন্য স্কেলিং সহ Rotary Position Embedding (RoPE) ব্যবহার করে। প্রসঙ্গ প্রশিক্ষণ ধাপে ধাপে (curriculum learning) পরিচালিত হয়: ৩২K থেকে ২৫৬K token পর্যন্ত। অ্যাক্টিভেশন — SwiGLU। টোকেনাইজার শব্দভাণ্ডার — ১২৮K (চীনা ভাষার জন্য সম্প্রসারণসহ tiktoken)।

প্রশিক্ষণ ও স্কেলিং

MoE মডেলের জন্য empirical power law আকারে scaling law অন্বেষণ করা হয়:

$Q\approx a-b\cdot P_{\mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}}^{-\alpha }-c\cdot N^{-\beta }$

যেখানে $Q$ — গুণমানের মেট্রিক, $P_{\mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}}$ — সক্রিয় প্যারামিটারের সংখ্যা, $N$ — ডেটার পরিমাণ, $a,b,c,\alpha ,\beta$ — পরীক্ষামূলকভাবে নির্বাচিত প্যারামিটার। Hunyuan-Large ১.৫ ট্রিলিয়ন token আয়তনের synthetic ডেটা ব্যবহারের উপর জোর দেয় — MoE-সংক্রান্ত পূর্ববর্তী প্রকাশনাগুলোর তুলনায় বহুগুণ বেশি।

প্রশিক্ষণ পাইপলাইন ও সমন্বয়

Hunyuan মডেলের প্রশিক্ষণ প্রক্রিয়ায় আধুনিক LLM-এর জন্য বৈশিষ্ট্যগত বেশ কয়েকটি ধাপ রয়েছে:

পূর্ব-প্রশিক্ষণ (Pre-training)

বৃহৎ বহুভাষিক কর্পাসে (চীনা, ইংরেজি এবং অন্যান্য ভাষা) বড় আকারের প্রশিক্ষণ। Hunyuan-Large ৭ ট্রিলিয়ন token-এ পূর্ব-প্রশিক্ষিত (১.৫ ট্রিলিয়ন synthetic সহ)। TurboS — ১৬ ট্রিলিয়ন token-এ। ডেটাসেটের সঠিক গঠন প্রকাশ করা হয়নি।

তত্ত্বাবধায়িত fine-tuning (Supervised Fine-Tuning, SFT)

১ মিলিয়নেরও বেশি নির্দেশনায় ("নির্দেশনা — উত্তর" জোড়া) fine-tuning, যা মডেলকে ব্যবহারকারীর নির্দেশনা অনুসরণ করতে সক্ষম করে।

Reinforcement Learning-এর মাধ্যমে সমন্বয়

মানুষের পছন্দ অনুযায়ী মডেলের আচরণ সমন্বয়ের জন্য ব্যবহার করা হয়:

Direct Preference Optimization (DPO) — সুস্পষ্ট পুরস্কার মডেল ছাড়া সমন্বয়ের পদ্ধতি, Hunyuan-Large-এ ব্যবহৃত।

Reinforcement Learning (RL) — Hunyuan-T1-এ curriculum learning সহ বড় আকারের reinforcement learning প্রয়োগ করা হয়; ডেভেলপারের বিবৃতি অনুযায়ী, পোস্ট-ট্রেনিং কম্পিউটের ৯৬.৭% RL-এ যায়।

Adaptive Long-Short Chain-of-Thought — TurboS-এ দ্রুত ও গভীর চিন্তার মধ্যে গতিশীলভাবে স্যুইচ করার পদ্ধতি বাস্তবায়িত হয়েছে, যা মডেলকে কাজের জটিলতার সাথে যুক্তির গভীরতা মানিয়ে নিতে দেয়।

মডেল পরিবারের গঠন

পরিবারটি বদ্ধ ক্লাউড API মডেল এবং ওজনসহ উন্মুক্ত মডেলে বিভক্ত।

মূল মডেলসমূহ (সংক্ষিপ্ত বিবরণ)

মডেল	রিলিজের তারিখ	আর্কিটেকচার	প্যারামিটার (মোট / সক্রিয়)	প্রসঙ্গ	প্রাপ্যতা
Hunyuan (২০২৩)	সেপ্টেম্বর ২০২৩	Dense Transformer	>১০০ বিলিয়ন / —	প্রকাশিত নয়	মালিকানাধীন API
Hunyuan-Large	নভেম্বর ২০২৪	Transformer-MoE	৩৮৯ বিলিয়ন / ৫২ বিলিয়ন	২৫৬K (pretrain), ১২৮K (instruct)	উন্মুক্ত ওজন (GitHub, HF)
Hunyuan-TurboS	ফেব্রুয়ারি ২০২৫	Hybrid Transformer-Mamba-MoE	৫৬০ বিলিয়ন / ৫৬ বিলিয়ন	২৫৬K (আর্কিট.), ৩২K/১৬K (API)	মালিকানাধীন API + উন্মুক্ত ভেরিয়েন্ট
Hunyuan-T1	মার্চ ২০২৫	TurboS-ভিত্তিক + বড় আকারের RL	—	৩২K/৬৪K (API)	মালিকানাধীন API
Hunyuan-A13B	জুন ২০২৫	Fine-grained MoE	৮০ বিলিয়ন / ১৩ বিলিয়ন	২৫৬K (উন্মুক্ত), ২২৪K/৩২K (API)	উন্মুক্ত ওজন + API
ছোট (০.৫–৭B)	জুলাই ২০২৫	Dense	০.৫–৭ বিলিয়ন	২৫৬K	উন্মুক্ত ওজন
HY 2.0 Think	নভেম্বর ২০২৫	MoE	৪০৬ বিলিয়ন / ৩২ বিলিয়ন	১২৮K ইনপুট / ৬৪K আউটপুট (API)	মালিকানাধীন API
HY 2.0 Instruct	নভেম্বর ২০২৫	MoE	৪০৬ বিলিয়ন / ৩২ বিলিয়ন	১২৮K ইনপুট / ১৬K আউটপুট (API)	মালিকানাধীন API

উৎস: arXiv:2411.02265; arXiv:2505.15431; Tencent Cloud docs; GitHub।

দ্রষ্টব্য। কিছু মডেলের জন্য আর্কিটেকচারাল প্রসঙ্গের সীমা (প্রযুক্তি প্রতিবেদন থেকে) এবং API সেবার সীমা (পণ্য ডকুমেন্টেশন থেকে) ভিন্ন। এটি কোনো বৈপরীত্য নয়, বরং গবেষণা ও পণ্য কনফিগারেশনের মধ্যে পার্থক্য প্রতিফলিত করে।

বিশেষায়িত মডেল

Hunyuan-MT (সেপ্টেম্বর ২০২৫) — একটি বিশেষায়িত মেশিন ট্রান্সলেশন মডেল, যা WMT25-এ ৩১টি বিভাগের মধ্যে ৩০টিতে ১ম স্থান অর্জন করেছে।

HunyuanImage, HunyuanVideo, Hunyuan3D — যথাক্রমে ছবি, ভিডিও এবং থ্রিডি বস্তু তৈরির জন্য পরিবারের মাল্টিমোডাল মডেল।

অবস্থান ও বিবর্তনীয় সম্পর্ক

Tencent Cloud ডকুমেন্টেশনে নিম্নলিখিত বিবর্তনীয় সম্পর্ক চিহ্নিত:

• hunyuan-a13b কে hunyuan-standard-256K-এর আপগ্রেড হিসেবে উল্লেখ করা হয়েছে।
• hunyuan-t1 উন্নত RL পোস্ট-ট্রেনিংসহ TurboS-এর উপর নির্মিত।
• HY 2.0 Think/Instruct — একটি শাখা যেখানে ভিত্তি TurboS থেকে Hunyuan 2.0-তে আপডেট হয়েছে।
• উন্মুক্ত শাখা (Hunyuan-Large, A13B, compact dense) বদ্ধ API শাখার সমান্তরালভাবে বিকশিত হয়, গবেষণামূলক প্রবেশাধিকার নিশ্চিত করে।

মূল প্রজন্মের নতুন বৈশিষ্ট্য

Hunyuan-Large (২০২৪)

প্রথম প্রজন্ম ও পূর্ববর্তী MoE পদ্ধতির তুলনায় Hunyuan-Large যা প্রবর্তন করে:

• ৩৮৯ বিলিয়ন প্যারামিটারের স্কেল (৫২ বিলিয়ন সক্রিয়) — প্রকাশনার সময় সবচেয়ে বড় উন্মুক্ত Transformer-MoE মডেল।
• ২৫৬K (pretrain) এবং ১২৮K (instruct) প্রসঙ্গ সমর্থন — ২০২৪ সালের গণ-বাজারের LLM-এর সাধারণ মানকে উল্লেখযোগ্যভাবে ছাড়িয়ে যাওয়া।
• GQA + CLA-ভিত্তিক KV-cache compression (প্রায় ৯৫% মেমোরি সাশ্রয়)।
• বড় আকারের synthetic ডেটা (১.৫ ট্রিলিয়ন token synthetic ডেটা)।
• বিশেষজ্ঞদের মিশ্র রাউটিং এবং বিশেষজ্ঞ-নির্দিষ্ট learning rate।

Hunyuan-TurboS (২০২৫)

মূল আর্কিটেকচারাল পরিবর্তন:

• Mamba2 + Attention + MoE হাইব্রিড: মোট ৫৬০B / সক্রিয় ৫৬B, ১২৮টি স্তর।
• ১৬ ট্রিলিয়ন token-এ পূর্ব-প্রশিক্ষণ।
• যুক্তির গভীরতা গতিশীলভাবে নিয়ন্ত্রণের জন্য Adaptive Long-Short Chain-of-Thought।
• পূর্ববর্তী Turbo সংস্করণের তুলনায় ডিকোডিং ১.৮–২ গুণ ত্বরান্বিত বলে দাবি।

Hunyuan-T1 (২০২৫)

TurboS-ভিত্তিক reasoning মডেল:

• পোস্ট-ট্রেনিং কম্পিউটের ৯৬.৭% — reinforcement learning।
• তুলনামূলক deployment envelope-এ ডিকোডিং দ্বিগুণ ত্বরান্বিত।
• যুক্তির কৌশল উন্নত করতে curriculum learning।

HY 2.0 (২০২৫)

বাণিজ্যিক ফ্ল্যাগশিপ আপডেট:

• MoE আর্কিটেকচার: মোট ৪০৬B / সক্রিয় ৩২B প্যারামিটার।
• ২৫৬K token-এর কনটেক্সট উইন্ডো।
• বিশেষায়িত benchmark-এ উল্লেখযোগ্য উন্নতি: IMO-AnswerBench ৭৩.৪% (পূর্ববর্তী HY সংস্করণ থেকে +২০%), SWE-bench Verified ৫৩.০ (৬.০ থেকে), τ²-Bench ৭২.৪ (১৭.১ থেকে)।
• RLHF ও পোস্ট-ট্রেনিং কৌশলে উন্নতি।

মূল্যায়ন ও benchmark

মূল্যায়ন zero-shot ও few-shot প্রোটোকল ব্যবহার করে স্ট্যান্ডার্ড benchmark-এ পরিচালিত হয়েছে। ফলাফল অফিসিয়াল প্রযুক্তি প্রতিবেদন ও রিপোজিটরির উপর ভিত্তি করে; কিছু মডেলের জন্য স্বাধীন বাহ্যিক যাচাইকরণ এখনও সীমিত।

Hunyuan-Large (pretrain) benchmark

Benchmark	Hunyuan-Large	Llama 3.1-405B	Llama 3.1-70B	Mixtral-8x22B	DeepSeek-V2
MMLU	88,4	85,2	79,3	77,8	78,5
CMMLU	90,2	—	—	—	84,0
C-Eval	91,9	—	—	—	81,7
GSM8K	92,8	89,0	83,7	83,7	79,2
MATH	69,8	53,8	41,4	42,5	43,6
HumanEval	71,4	61,0	58,5	53,1	48,8

উৎস: arXiv:2411.02265।

প্রযুক্তি প্রতিবেদনের তথ্য অনুযায়ী, Hunyuan-Large (pretrain) Llama 3.1-405B, Mixtral-8x22B ও DeepSeek-V2-এর সাথে তুলনায় ১৯টি benchmark-এর মধ্যে ১৫টিতে এগিয়ে।

Hunyuan-Large-Instruct benchmark

Benchmark	Hunyuan-Large-Instruct
MMLU	89,9
MATH	77,4
HumanEval	90,0
Arena-Hard	81,8

উৎস: arXiv:2411.02265; Hugging Face model card।

ডেভেলপারদের দাবি অনুযায়ী, Hunyuan-Large-Instruct MMLU-তে LLaMA 3.1-405B-এর চেয়ে ২.৬ শতাংশ পয়েন্ট এগিয়ে।

TurboS ও T1 benchmark

Benchmark	TurboS	T1
LMSYS Chatbot Arena	1356 (শীর্ষ-৭)	—
২৩টি benchmark-এর গড়	77,9%	—
MMLU-Pro	—	87,2
GPQA-Diamond	—	69,3
MATH-500	—	96,2
LiveCodeBench	—	64,9
Arena-Hard	—	91,9

উৎস: arXiv:2505.15431; T1 official page।

Hunyuan-A13B benchmark

Benchmark	Hunyuan-A13B	Hunyuan-Large	Qwen2.5-72B
MMLU	88,17	88,4	—
MMLU-Pro	67,23	60,2	—
BBH	87,56	86,3	—
MATH	72,35	69,8	—
GPQA	49,12	—	—
MBPP	83,86	—	—

উৎস: GitHub Hunyuan-A13B README।

A13B বেশ কিছু post-training-সংবেদনশীল কাজে (MMLU-Pro, MATH, MBPP) Hunyuan-Large-কে ছাড়িয়ে যায়, যা আরও নতুন ও প্রায়োগিক ভেরিয়েন্ট হিসেবে এর অবস্থানের সাথে সামঞ্জস্যপূর্ণ।

কমপ্যাক্ট dense শাখার benchmark

মডেল	MMLU	MMLU-Pro	BBH	GSM8K	MATH
Hunyuan-0,5B	54,02	31,15	45,92	55,64	42,95
Hunyuan-1,8B	64,62	38,65	74,32	77,26	62,85
Hunyuan-4B	74,01	51,91	75,17	87,49	72,25
Hunyuan-7B	79,82	57,79	82,95	88,25	74,85

উৎস: GitHub Hunyuan-7B README।

HY 2.0 benchmark

ফলাফল ডেভেলপার কর্তৃক ঘোষিত (একমাত্র স্পষ্ট উৎস — Hunyuan-এর অফিসিয়াল অ্যাকাউন্ট):

Benchmark	HY 2.0	HY-এর পূর্ববর্তী সংস্করণ
IMO-AnswerBench	73,4	~53 (অনুমান, +২০%)
SWE-bench Verified	53,0	6,0
τ²-Bench	72,4	17,1

দ্রষ্টব্য। এই তথ্যগুলো «ডেভেলপার-ঘোষিত, ব্যাপক বাহ্যিক নিশ্চিতকরণ প্রতীক্ষিত» হিসেবে শ্রেণিবদ্ধ।

ব্যবহারের প্রযুক্তিগত বিবরণ

শাখা অনুযায়ী কনটেক্সট উইন্ডো

মডেল	ইনপুট (token)	আউটপুট (token)
HY 2.0 Think	128K	64K
HY 2.0 Instruct	128K	16K
T1 (API)	32K	64K
A13B (API)	224K	32K
TurboS (API)	32K	16K
Lite (API)	250K	6K
Hunyuan-Large (উন্মুক্ত)	২৫৬K (pretrain) / ১২৮K (instruct)	—
Compact 0,5–7B	256K	—

উৎস: Tencent Cloud product overview।

সমর্থিত সরঞ্জাম

Tencent Cloud API ডকুমেন্টেশনে উল্লেখিত:

• Function Calling (tools, tool_choice)।
• AI Search Enhancement — বাহ্যিক উৎস থেকে অন্তর্নির্মিত অনুসন্ধান (retrieval-augmented generation)।
• SearchInfo ও Citation — উত্তরে উদ্ধৃতি চিহ্নিতকারী।
• EnableMultimedia — আউটপুটে মাল্টিমিডিয়া সন্নিবেশন।
• EnableThinking — A13B-এর জন্য chain-of-thought স্যুইচ।
• EnableRecommendedQuestions — প্রস্তাবিত প্রশ্ন তৈরি।

API সামঞ্জস্যতা

Hunyuan API OpenAI-সামঞ্জস্যপূর্ণ ফরম্যাট সমর্থন করে:

• Base URL: https://api.hunyuan.cloud.tencent.com/v1।
• /v1/chat/completions এবং /v1/embeddings সমর্থিত।
• Embedding model: hunyuan-embedding, মাত্রা ১০২৪।
• SSE-এর মাধ্যমে Streaming।
• ডিফল্ট Concurrency: প্রতি অ্যাকাউন্টে ৫।

Hunyuan-Large (উন্মুক্ত)-এর জন্য স্ট্যান্ডার্ড ইনপুট/আউটপুট ফরম্যাট PyTorch/Transformers ফ্রেমওয়ার্কের সাথে সামঞ্জস্যপূর্ণ। কোয়ান্টাইজেশন সমর্থিত: FP8, INT4 (GPTQ/AWQ)।

প্রয়োগ ও সমন্বয়

Hunyuan মডেলগুলো Tencent ইকোসিস্টেমে সমন্বিত এবং বাহ্যিক ডেভেলপারদের জন্য পাওয়া যায়। মূল ডকুমেন্টেড পরিস্থিতি:

Tencent পণ্যসমূহ

• Yuanbao — Hunyuan ও DeepSeek সমর্থনসহ চ্যাটবট।
• Tencent Meeting — মিটিং সারসংক্ষেপ তৈরি।
• Tencent Docs — টেক্সট তৈরি ও বিশ্লেষণ।
• ima — আর্থিক ও মাল্টিমিডিয়া AI সহকারী।

এন্টারপ্রাইজ প্রয়োগ

• টেক্সট জেনারেশন: নিবন্ধ, বিজ্ঞাপন কপি, চিত্রনাট্য, পণ্য বিবরণ।
• বুদ্ধিমান গ্রাহক সেবা: চ্যাটবট, FAQ, স্বয়ংক্রিয় উত্তর।
• কোড তৈরি ও বিশ্লেষণ (বিশেষত HY 2.0 Think ও T1)।
• গাণিতিক ও যৌক্তিক যুক্তি, বিশ্লেষণধর্মী কাজ।
• বহুভাষিক অনুবাদ (৩০+ ভাষা, Hunyuan-MT)।

উন্মুক্ত মডেল

উন্মুক্ত ভেরিয়েন্টগুলো গবেষণা, fine-tuning এবং edge ডিভাইসে ডিপ্লয়মেন্টের জন্য (ছোট dense মডেল) ব্যবহৃত হয়। মাল্টিমোডাল সম্প্রসারণ (HunyuanImage, HunyuanVideo, Hunyuan3D) থ্রিডি মডেলিং ও ভিডিও জেনারেশনে ব্যবহৃত হয়।

সীমাবদ্ধতা ও উন্মুক্ত সমস্যা

• বাণিজ্যিক মডেলের বদ্ধতা। HY 2.0 ও T1-এর জন্য উন্মুক্ত ওজন ও বিস্তারিত আর্কিটেকচারাল স্পেসিফিকেশন নেই; প্রবেশাধিকার API-এর মধ্যে সীমিত, যা স্বাধীন পুনরুৎপাদনকে কঠিন করে।
• প্রশিক্ষণ ডেটার অস্বচ্ছতা। বড় আকারের synthetic ডেটা ব্যবহারের উপর জোর দেওয়া সত্ত্বেও, ডেটাসেটের সঠিক গঠন, ভাষার অংশ ও বিষয়ভিত্তিক ক্ষেত্রের তথ্য প্রকাশ করা হয়নি।
• গণনামূলক প্রয়োজনীয়তা। উন্মুক্ত মডেলগুলোর জন্য উল্লেখযোগ্য সম্পদ প্রয়োজন: Hunyuan-Large-এর পূর্ণ fine-tuning-এর জন্য ন্যূনতম ৩২টি GPU; FP8-এ এমনকি কয়েক দশ GB VRAM।
• হ্যালুসিনেশন। অন্যান্য LLM-এর মতো, মডেলগুলো সম্ভাব্য কিন্তু তথ্যগতভাবে ভুল বিবৃতি তৈরি করার প্রবণতা রাখে। Hunyuan-এর এই দিকটি নিয়ে উন্মুক্ত পর্যালোচিত কাজে পদ্ধতিগত গবেষণা এখনও সীমিত।
• আর্কিটেকচারাল ও সার্ভিস সীমার পার্থক্য। কিছু মডেলের (TurboS, A13B) জন্য API সার্ভিস সীমা আর্কিটেকচারাল সম্ভাবনার চেয়ে উল্লেখযোগ্যভাবে কম।
• আঞ্চলিক প্রাপ্যতা। মূল ফোকাস চীনা বাজারে; চীনের বাইরের ব্যবহারকারীদের জন্য API-এ ভাষাগত ও আইনগত সীমাবদ্ধতা রয়েছে।
• বিস্তারিত নিরাপত্তা প্রতিবেদনের অনুপস্থিতি। ডকুমেন্টেশনে সাধারণ নিরাপত্তা ও ফিল্টারিং নীতি উল্লেখ আছে, কিন্তু কিছু আন্তর্জাতিক মডেলের সমতুল্য পরিমাণের পাবলিক technical safety report নেই।
• ওপেন-সোর্স শাখার সামঞ্জস্যতা। রিলিজের পরে transformers / vllm-এর সাথে একীভূতকরণ সমস্যা নথিভুক্ত হয়েছে, যেখানে লাইব্রেরিগুলো hunyuan_v1_dense আর্কিটেকচার টাইপ চিনতে পারেনি, trust_remote_code বা বিশেষ শাখার প্রয়োজন হয়েছিল।

ঘটনা ও পরিচিত সমস্যা

উপলব্ধ উপকরণের সময় পর্যন্ত (২০২৫ সালের শেষ — ২০২৬ সালের শুরু) Hunyuan-এর সাথে সুনির্দিষ্টভাবে সম্পর্কিত কোনো বড় পাবলিক ঘটনা (ব্যাপক ডেটা ফাঁস, অনন্য নিরাপত্তা হুমকি) নথিভুক্ত হয়নি।

নথিভুক্ত পণ্য সংশোধন

Tencent Cloud product dynamics-এ মাইক্রো-সংশোধন প্রতিফলিত:

• ২০২৪-১১-২০: hunyuan-turbo-latest special characters-এর কারণে পুনরাবৃত্তি সংশোধন, Markdown আউটপুটের স্থিতিশীলতা বৃদ্ধি এবং অযৌক্তিক প্রত্যাখ্যান হ্রাস করতে আপডেট করা হয়েছে।
• ২০২৫-০৪-০৩: সরলীকৃত/ঐতিহ্যবাহী চীনা ভাষা মিশ্রণ ও চীনা/ইংরেজি মিশ্রণের সংশোধন, এবং প্রজেক্ট-স্তরীয় কোড জেনারেশন উন্নতিসহ T1 আপডেট।
• ২০২৫-০৪-২০: Search Enhancement ডিফল্ট-চালু থেকে ডিফল্ট-বন্ধে স্থানান্তর — সংযোজনের জন্য একটি কার্যকর API আচরণগত পরিবর্তন।

MoE নিরাপত্তা গবেষণা

গবেষণামূলক সমালোচনার স্তরে (প্রিপ্রিন্ট স্তর) Hunyuan-A13B MoE মডেলে safety-স্থানীয়করণে আক্রমণ বিষয়ক কাজে উল্লিখিত হয়েছে। বিশেষভাবে, Large Language Lobotomy এবং GateBreaker কাজে safety-বিশেষজ্ঞদের «চুপ করানোর» সময় উচ্চ attack success rate রিপোর্ট করা হয়েছে। এটি কোনো প্রোডাকশন ঘটনার নিশ্চিতকরণ নয়, তবে দেখায় যে MoE রাউটিংয়ের নিরাপত্তাকে একটি দুর্বল গবেষণা ভেক্টর হিসেবে বিবেচনা করা হচ্ছে।

নৈতিক ও নিয়ন্ত্রক দিক

Hunyuan চীনের আইনি ও নিয়ন্ত্রক প্রেক্ষাপটে কাজ করে, যার মধ্যে রয়েছে জেনারেটিভ AI পরিচালনা (CAC) ও কন্টেন্ট ফিল্টারিং বিষয়ক জাতীয় নিয়মাবলী, এবং ডেটা নিরাপত্তা বিষয়ে Tencent-এর অভ্যন্তরীণ নীতি। Tencent Cloud ডকুমেন্টেশন জোর দেয় যে Hunyuan API ব্যবহার প্রযোজ্য আইন ও প্ল্যাটফর্ম নীতি মেনে চলতে হবে।

সুনির্দিষ্ট পদক্ষেপের মধ্যে রয়েছে:

• স্ট্রিমিং আউটপুট ও সম্ভাব্য FinishReason=sensitive সহ অন্তর্নির্মিত কন্টেন্ট মডারেশন।
• হ্যালুসিনেশন ও অবাঞ্ছিত আচরণ কমাতে RLHF/DPO-এর মাধ্যমে সমন্বয়।
• পক্ষপাত কমাতে প্রশিক্ষণ ডেটা ফিল্টারিং।
• উন্মুক্ত মডেলের জন্য উন্মুক্ত লাইসেন্স (Tencent Hunyuan Community License Agreement), এই মর্মে বিধান সহ যে চুক্তিটি কিছু ভেরিয়েন্টের জন্য ইইউতে প্রযোজ্য নয়।

Hunyuan-এর পক্ষপাত (bias) ও ন্যায্যতা (fairness) বিষয়ে বিশেষায়িত স্বাধীন প্রতিবেদন এখনও কম; উন্মুক্ত ওজন ও স্বাধীন পরীক্ষার প্রসার ঘটার সাথে সাথে গবেষণা প্রত্যাশিত।

সম্প্রদায়ের প্রতিক্রিয়া

বদ্ধ শাখার জন্য সবচেয়ে তথ্যবহুল বাহ্যিক সংকেত হল LMSYS Chatbot Arena-তে TurboS-এর ফলাফল (১৩৫৬, বৈশ্বিকভাবে শীর্ষ-৭)। উন্মুক্ত শাখার জন্য পরোক্ষ সূচক হল GitHub কার্যকলাপ: Hunyuan-Large-এ প্রায় ১.৬ হাজার stars, A13B-তে ৮১২, Hunyuan-MT-তে ৬৮৩। এটি উন্মুক্ত LLM ইকোসিস্টেমের মানদণ্ডে উল্লেখযোগ্য কিন্তু আধিপত্যশীল নয় এমন সম্পৃক্ততার মাত্রা প্রতিফলিত করে। সম্প্রদায়ের বিষয়গত মূল্যায়ন (Hugging Face, Reddit) চীনা ভাষা ও এজেন্ট-কাজে শক্তিশালী দিক উল্লেখ করে।

সম্ভাবনা ও গবেষণার দিকসমূহ

পাবলিক উপকরণে চিহ্নিত আরও উন্নয়নের দিকসমূহ:

• আর্কিটেকচারের আরও হাইব্রিডায়ন (Mamba + Transformer + MoE) এবং MoE-এর জন্য scaling law গবেষণা।
• মাল্টিমোডাল সক্ষমতার সম্প্রসারণ: ভাষা মডেলের সাথে Hunyuan3D, HunyuanVideo ও HunyuanImage-এর সমন্বয়।
• টুল ব্যবহার (tool use) ও এজেন্টিক সক্ষমতার উন্নতি।
• inference ব্যয় হ্রাস: কোয়ান্টাইজেশন (edge-এর জন্য 2-bit), TRT-LLM/vLLM-এর মাধ্যমে অপ্টিমাইজেশন।
• উন্মুক্ত মডেল পোর্টফোলিওর সম্প্রসারণ।
• বিস্তারিত safety- ও alignment-প্রতিবেদন প্রণয়ন ও প্রকাশ।

আরও দেখুন

• LLaMA (Meta)
• DeepSeek

সাহিত্য

• Sun, X. et al. Hunyuan-Large: An Open-Source MoE Model with 52 Billion Activated Parameters by Tencent. arXiv:2411.02265, 2024. https://arxiv.org/abs/2411.02265
• Tencent Hunyuan Team. Hunyuan-TurboS: Advancing Large Language Models through Mamba-Transformer Synergy and Adaptive Chain-of-Thought. arXiv:2505.15431, 2025. https://arxiv.org/abs/2505.15431
• Tencent Hunyuan Team. Hunyuan-MT Technical Report. arXiv:2509.05209, 2025. https://arxiv.org/abs/2509.05209
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762
• Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS. https://arxiv.org/abs/2305.18290

তথ্যসূত্র

• https://cloud.tencent.com/document/product/1729/104753 — Tencent Cloud Hunyuan-এর অফিসিয়াল ডকুমেন্টেশন
• https://huggingface.co/tencent/Tencent-Hunyuan-Large — Hugging Face-এ Hunyuan-Large
• https://github.com/Tencent-Hunyuan/Tencent-Hunyuan-Large — GitHub-এ Hunyuan-Large
• https://github.com/Tencent-Hunyuan/Hunyuan-A13B — GitHub-এ Hunyuan-A13B
• https://tencent.github.io/llm.hunyuan.T1/README_EN.html — Hunyuan-T1 official page
• https://www.tencent.com/en-us/articles/2201685.html — Hunyuan ঘোষণা (সেপ্টেম্বর ২০২৩)