Parameter

تعداد پارامترهای یک مدل برابر تعداد مقادیر به کار رفته در آن است. این عدد برابر تعداد کل مقادیر ماتریس‌های وزن و بایاس یک شبکهٔ عصبی است. به طور مثال شبکه‌ای را در نظر بگیرید که یک لایهٔ ورودی X، دو لایهٔ میانی Z1 و Z2 و لایهٔ خروجی Z3 را دارد.

لایه ورودی شامل دو متغیر است:

$$X=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$

لایه میانی اول شامل یک متغیر وزن W1 و یک متغیر بایاس B1 است. لایهٔ میانی دوم هم ساختار مشابهی دارد.

$$W_1=\left[\begin{array}{cc}{w}_{11}& w_{12}\\ w_{21}& w_{22}\\ w_{31}& w_{32}\end{array}\right],b_1=\left[\begin{array}{c}{b}_{11}\\ b_{21}\\ b_{31}\end{array}\right]$$ $$W_2=\left[\begin{array}{ccc}{w}_{41}& w_{42}& w_{43}\end{array}\right],b_2=b_{41}$$

که این لایه ورودی‌ها را تبدیل به ماتریس Z1‌ می‌کند و برای لایهٔ بعدی می‌فرستد:

$$Z_1=W_{1}X+b_1=\left[\begin{array}{cc}{w}_{11}& w_{12}\\ w_{21}& w_{22}\\ w_{31}& w_{32}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]+\left[\begin{array}{c}{b}_{11}\\ b_{21}\\ b_{31}\end{array}\right]$$

و در مرحلهٔ بعدی ماتریس Z2 تولید می‌شود که همان خروجی شبکهٔ عصبی است.

$$Z_2=W_2{Z}_1+b_2=\left[\begin{array}{ccc}{w}_{41}& w_{42}& w_{43}\end{array}\right]\left[\begin{array}{c}{z}_{11}\\ z_{21}\\ z_{31}\end{array}\right]+b_{41}$$

تعداد پارامتر‌های این شبکهٔ عصبی، برابر مقادیر ماتریس‌هاست:

ماتریس	تعداد پارامتر
W1	۶
B1	۳
W2	۳
B2	۱
مجموع	۱۳

اکثر مدل‌های پرکاربرد موجود، مقدار پارامتر خود را در انتهای نام مدل ذکر می‌کنند. مثلاً مدل Llama-3.1-8B دارای ۸ میلیارد پارامتر و مدل Qwen2.5-72B-Instruct دارای ۷۲ میلیارد پارامتر است. هر چقدر مقدار پارامتر بیشتر باشد، زمان و هزینهٔ بیشتری صرف اجرای آن می‌شود.