الانحدار الخطي البسيط من الصفر: شرح المعادلة والمتغيرات والخطأ العشوائي

إذا كنت تدرس الإحصاء أو الاقتصاد أو تحليل البيانات، فمن المؤكد أنك قابلت مصطلح الانحدار الخطي البسيط Simple Linear Regression.

وقد تبدو الفكرة في البداية معقدة بسبب الرموز والمعادلات، لكن الفكرة الأساسية للانحدار بسيطة جدًا:

نريد معرفة كيف يتغير متغير معين عندما يتغير متغير آخر.

مثلًا، إذا أردنا دراسة العلاقة بين سعر سلعة وكمية الطلب عليها، يمكن أن نسأل:

إذا تغير السعر، كيف يتغير الطلب؟

وإذا أردنا دراسة العلاقة بين الدخل والاستهلاك، نسأل:

إذا تغير دخل الفرد، كيف يتغير استهلاكه؟

وإذا أردنا دراسة العلاقة بين الإنفاق الإعلاني والمبيعات، نسأل:

إذا زاد الإنفاق على الإعلان، ماذا يحدث للمبيعات؟

كل هذه الأسئلة يمكن أن تقودنا إلى استخدام تحليل الانحدار.

ما هو الانحدار الخطي البسيط؟

الانحدار الخطي البسيط هو أحد الأساليب الإحصائية التي تستخدم لدراسة العلاقة بين متغيرين، بحيث يكون لدينا متغير تابع Y ومتغير تفسيري أو مستقل X.

وكلمة بسيط هنا لها معنى مهم جدًا.

المقصود أن النموذج يستخدم متغيرًا تفسيريًا واحدًا فقط.

أي:

X → Y

أما إذا استخدمنا أكثر من متغير تفسيري لتفسير Y، فإننا ننتقل إلى الانحدار المتعدد Multiple Regression.

مثال السيارة لفهم الفكرة

لنفترض أن لدينا سيارة، ونريد دراسة العلاقة بين كمية البنزين التي تستخدمها السيارة والمسافة التي تقطعها.

نرمز إلى كمية البنزين بالرمز:

X

ونرمز إلى المسافة المقطوعة بالرمز:

Y

إذن:

X = كمية البنزين المستخدمة

Y = المسافة المقطوعة

الآن، إذا جمعنا بيانات عدد من الرحلات، يمكننا أن نحصل على مجموعة من الأزواج:

(X₁,Y₁)، (X₂,Y₂)، (X₃,Y₃)، ...، (Xₙ,Yₙ)

كل زوج يمثل رحلة معينة.

بيانات مثال السيارة

لنفترض أن لدينا 14 رحلة للسيارة، وسجلنا في كل رحلة عدد الأميال التي قطعتها السيارة وكمية البنزين التي استهلكتها.

الرحلة	المسافة بالأميال Y	البنزين بالجالون X
1	62	4.6
2	49	5.7
3	73	4.3
4	63	6.1
5	108	9.3
6	135	9.9
7	60	4.9
8	108	8.0
9	96	7.5
10	61	4.7
11	165	10.8
12	148	8.9
13	197	13.1
14	185	12.7

ماذا نلاحظ من البيانات؟

عند النظر إلى البيانات يمكننا ملاحظة اتجاه عام.

فعلى سبيل المثال، الرحلة رقم 1 استخدمت السيارة فيها 4.6 جالون وقطعت 62 ميلًا.

بينما الرحلة رقم 13 استخدمت 13.1 جالون وقطعت 197 ميلًا.

وهذا يعطينا انطباعًا بأن زيادة كمية البنزين المستخدمة ترتبط بزيادة المسافة التي قطعتها السيارة.

لكن هل يمكننا الاكتفاء بهذه الملاحظة؟

لا.

لأننا نريد أن نحول هذه الملاحظة إلى نموذج رياضي إحصائي.

لماذا نستخدم الانحدار بدلًا من مجرد حساب المتوسط؟

يمكننا الحصول على فكرة أولية عن كفاءة استهلاك السيارة من خلال قسمة إجمالي الأميال على إجمالي الجالونات.

أي:

إجمالي الأميال ÷ إجمالي الجالونات

وهذه النسبة تعطينا عدد الأميال التي تقطعها السيارة في المتوسط لكل جالون.

كما يمكن كتابتها في صورة:

ΣY ÷ ΣX

وهي تساوي:

ȳ ÷ x̄

حيث:

ȳ = ΣY ÷ n

و:

x̄ = ΣX ÷ n

لكن الانحدار لا يتوقف عند هذا الحد.

فهو يحاول بناء علاقة رياضية تصف كيفية تغير Y مع تغير X.

معادلة الانحدار الخطي البسيط

يمكن كتابة نموذج الانحدار الخطي البسيط بالشكل:

Yᵢ = a + bXᵢ + εᵢ

وهذه المعادلة تحتوي على كل الأفكار الأساسية التي نحتاج إلى فهمها.

ما معنى Yᵢ؟

يمثل Yᵢ القيمة الفعلية أو الحقيقية للمتغير التابع في المشاهدة رقم i.

في مثال السيارة:

Yᵢ = عدد الأميال الفعلية التي قطعتها السيارة في الرحلة i

أما في مثال الاقتصاد:

Yᵢ = كمية الطلب الفعلية

إذن Y هو المتغير الذي نريد تفسيره أو التنبؤ به.

ما هو المتغير التابع؟

المتغير التابع هو المتغير الذي نريد معرفة سلوكه أو تقدير قيمته.

قد يسمى أيضًا:

• المتغير التابع.
• المتغير المعتمد.
• Response Variable.
• Dependent Variable.

وسبب تسميته تابعًا أنه في النموذج يعتمد سلوكه على المتغير أو المتغيرات التفسيرية.

ما معنى Xᵢ؟

يمثل Xᵢ قيمة المتغير المستقل أو التفسيري في المشاهدة رقم i.

في مثال السيارة:

Xᵢ = كمية البنزين المستخدمة في الرحلة i

وفي مثال الطلب:

Xᵢ = سعر السلعة في المشاهدة i

ما هو المتغير المستقل أو التفسيري؟

هو المتغير الذي نستخدمه لتفسير التغير في المتغير التابع وفقًا للنموذج.

وقد يسمى:

• المتغير المستقل.
• المتغير التفسيري.
• المتغير التوضيحي.
• Explanatory Variable.
• Independent Variable.

ما هو الثابت a؟

يمثل الرمز a ثابت المعادلة أو المقطع، ويسمى بالإنجليزية:

Constant Term أو Intercept

وهو يمثل النقطة التي يتقاطع عندها خط الانحدار مع المحور الخاص بالمتغير التابع.

ومن الناحية الرياضية، يمثل القيمة التي يعطيها النموذج لـ Y عندما تكون:

X = 0

لكن من المهم الانتباه إلى أن تفسير a اقتصاديًا أو عمليًا يعتمد على طبيعة البيانات وما إذا كانت قيمة X = 0 ذات معنى في المشكلة محل الدراسة.

ما هو الميل b؟

الرمز b يمثل ميل خط الانحدار.

وهو من أهم عناصر النموذج.

فالميل يخبرنا عن مقدار التغير المتوقع في Y عندما تتغير X بمقدار وحدة واحدة.

إذا كان:

b > 0

فإن العلاقة الخطية المقدرة تكون طردية.

أي أن زيادة X ترتبط بزيادة Y وفقًا للنموذج.

أما إذا كان:

b < 0

فإن العلاقة تكون عكسية.

أي أن زيادة X ترتبط بانخفاض Y وفقًا للنموذج.

مثال لفهم الميل

لنفترض أن لدينا معادلة مبسطة:

Y = 20 + 5X

هنا:

a = 20

و:

b = 5

هذا يعني أن زيادة X بمقدار وحدة واحدة ترتبط بزيادة Y بمقدار 5 وحدات وفقًا للنموذج.

أما إذا كانت المعادلة:

Y = 20 - 5X

فإن زيادة X بوحدة واحدة ترتبط بانخفاض Y بمقدار 5 وحدات.

ما هو الخطأ العشوائي ε؟

الآن نصل إلى الجزء الذي يجعل النموذج الإحصائي مختلفًا عن العلاقة الرياضية الدقيقة.

لدينا:

Yᵢ = a + bXᵢ + εᵢ

لماذا لم نكتب فقط:

Yᵢ = a + bXᵢ

لأن الواقع لا يسمح لنا عادةً بتفسير Y بالكامل من خلال X وحده.

هناك عوامل أخرى تؤثر في Y، وهذه العوامل قد لا تكون موجودة في النموذج.

مثال السيارة مرة أخرى

في مثال السيارة، نفترض أن كمية البنزين X تساعد في تفسير المسافة Y.

لكن هل البنزين هو العامل الوحيد؟

بالطبع لا.

فالمسافة التي تقطعها السيارة قد تتأثر أيضًا بـ:

• سرعة السيارة.
• حالة الطريق.
• وزن السيارة.
• حالة المحرك.
• درجة الحرارة.
• أسلوب القيادة.
• الازدحام.

لذلك قد تستخدم سيارتان كمية متقاربة من البنزين، ولكن لا تقطعان بالضرورة المسافة نفسها.

وهذا الاختلاف يظهر في النموذج من خلال الخطأ العشوائي ε.

الخطأ العشوائي قد يكون موجبًا أو سالبًا أو صفرًا

إذا كانت القيمة الفعلية لـ Y أكبر من القيمة التي يتوقعها النموذج، فقد يكون الخطأ موجبًا.

أما إذا كانت القيمة الفعلية أقل من القيمة المتوقعة، فقد يكون الخطأ سالبًا.

وإذا تطابقت القيمة الفعلية مع القيمة التي يعطيها النموذج، يكون الخطأ صفرًا.

إذن:

ε > 0 يعني أن القيمة الفعلية أعلى من القيمة التي يمثلها الجزء المنتظم من النموذج.

ε < 0 يعني أن القيمة الفعلية أقل من القيمة التي يمثلها النموذج.

ε = 0 يعني عدم وجود انحراف في تلك المشاهدة بين القيمة الفعلية والقيمة التي يعطيها النموذج.

لماذا لا تقع جميع النقاط على خط الانحدار؟

عند رسم البيانات على الإحداثيات الديكارتية، تظهر كل مشاهدة في صورة نقطة.

وقد نرسم خطًا يمثل العلاقة الخطية المقدرة بين X وY.

لكن من الطبيعي أن نجد نقاطًا فوق الخط ونقاطًا تحته.

لماذا؟

بسبب وجود الخطأ العشوائي والعوامل الأخرى التي تؤثر في Y.

وبالتالي، فإن خط الانحدار يمثل العلاقة المتوسطة، بينما تمثل المسافات أو الانحرافات بين المشاهدات والخط الجزء غير المفسر بواسطة النموذج.

مثال بصري مبسط للفكرة

تخيل أن لدينا خطًا مستقيمًا يمر في منتصف مجموعة من النقاط.

بعض النقاط تقع فوق الخط.

هذه النقاط يكون انحرافها في اتجاه موجب.

وبعض النقاط تقع أسفل الخط.

هذه النقاط يكون انحرافها في اتجاه سالب.

وقد توجد نقطة تقع على الخط تمامًا، وفي هذه الحالة يكون الانحراف صفرًا.

إذن يمكن تصور كل مشاهدة باعتبارها مكونة من:

القيمة التي يفسرها النموذج + الجزء العشوائي

القيمة المتوقعة والمتوسط الشرطي

عندما نتحدث عن الانحدار، لا نهتم فقط بالقيم الفعلية، وإنما نهتم أيضًا بالقيمة المتوقعة لـ Y عند قيمة معينة من X.

يمكن التعبير عن ذلك بالشكل:

E[Y | X = x] = βx

في حالة النموذج الذي يمر بنقطة الأصل ولا يحتوي على ثابت.

وبصورة أكثر عمومية، إذا كان النموذج يحتوي على ثابت، فإن المتوسط الشرطي يكون:

E[Y | X = x] = a + bx

وهذه العلاقة تمثل دالة الانحدار Regression Function.

ما المقصود بدالة الانحدار؟

دالة الانحدار هي العلاقة التي تصف المتوسط المتوقع للمتغير Y عند قيمة معينة من X.

وهذا يعني أننا لا نقول إن كل فرد أو كل مشاهدة لها القيمة نفسها.

بل نقول إن المتوسط المتوقع لـ Y عند قيمة معينة من X يمكن تمثيله بواسطة دالة الانحدار.

النموذج المشاهدي

عندما ننتقل من النموذج النظري إلى المشاهدات الفعلية، نكتب النموذج للمشاهدة رقم i بالشكل:

Yᵢ = a + bXᵢ + εᵢ

وبذلك نحصل على مجموعة من المعادلات، واحدة لكل مشاهدة.

مثلًا:

Y₁ = a + bX₁ + ε₁

ثم:

Y₂ = a + bX₂ + ε₂

وهكذا حتى:

Yₙ = a + bXₙ + εₙ

كل مشاهدة لها قيمة X وقيمة Y، وكذلك لها خطأ عشوائي خاص بها.

لماذا نستخدم العينة؟

من الناحية العملية، من الصعب جدًا أن ندرس جميع مفردات المجتمع الإحصائي.

قد يكون المجتمع كبيرًا جدًا، وقد يتطلب جمع البيانات من كل مفرداته وقتًا وتكلفة وجهدًا كبيرًا.

لذلك نلجأ إلى العينة Sample.

نختار مجموعة من المشاهدات التي نستخدمها في التحليل، ثم نحاول من خلالها الاستدلال على خصائص المجتمع الأكبر.

من معلمات المجتمع إلى تقديرات العينة

إذا كان المجتمع يحتوي على معلمات حقيقية لا نعرفها، فإننا نستخدم بيانات العينة لتقديرها.

فبدلًا من معرفة العلاقة الحقيقية الكاملة في المجتمع، نحصل على تقديرات مبنية على البيانات التي تم جمعها.

وهنا تظهر أهمية طرق تقدير معاملات الانحدار.

فنحن نريد أن نجد قيمًا مناسبة لـ a وb تجعل خط الانحدار قريبًا قدر الإمكان من البيانات وفقًا لمعيار إحصائي محدد.

خط الانحدار وخط أفضل ملاءمة

عندما نرسم البيانات، قد لا يكون واضحًا بالعين المجردة أي خط يمثل العلاقة بشكل أفضل.

لذلك نحتاج إلى طريقة رياضية لتحديد الخط الذي يناسب البيانات.

ومن أشهر الطرق المستخدمة في هذا المجال طريقة المربعات الصغرى Least Squares.

الفكرة الأساسية هي اختيار معاملات المعادلة بحيث يكون الخط قريبًا من المشاهدات وفق معيار يعتمد على مربعات الانحرافات.

وبذلك نحصل على خط يسمى غالبًا خط الانحدار المقدر.

ما الفرق بين القيمة الفعلية والقيمة المقدرة؟

لنفترض أن لدينا قيمة فعلية لـ Y تسمى:

Yᵢ

ولدينا قيمة يتوقعها خط الانحدار تسمى:

Ŷᵢ

فالفرق بينهما يرتبط بالانحراف أو الباقي في المشاهدة.

بصورة مبسطة:

الباقي = القيمة الفعلية − القيمة المقدرة

أي:

eᵢ = Yᵢ − Ŷᵢ

ويجب التمييز بين الخطأ العشوائي النظري εᵢ وبين الباقي eᵢ الذي نحسبه بعد تقدير النموذج من العينة.

لماذا يعد هذا الفرق مهمًا؟

لأن الباحث لا يرى الخطأ العشوائي الحقيقي في المجتمع بصورة مباشرة، لكنه يستطيع حساب البواقي من البيانات بعد تقدير النموذج.

وهذه البواقي تساعده في تقييم مدى ملاءمة النموذج للبيانات وفحص ما إذا كانت هناك مشكلات أو أنماط غير مفسرة.

الانحدار لا يعني أن X يفسر كل شيء

من أكثر الأخطاء شيوعًا في فهم الانحدار الاعتقاد بأن وجود X في النموذج يعني أنه يفسر كل التغير في Y.

هذا غير صحيح.

فالانحدار نموذج للتبسيط والتحليل.

وحتى عندما يكون النموذج جيدًا، قد يبقى جزء من التغير في Y غير مفسر.

وهذا الجزء يرتبط بالعوامل الأخرى وبالعشوائية وبطبيعة البيانات.

مثال اقتصادي على الخطأ العشوائي

لنرجع إلى مثال الطلب والسعر.

إذا ارتفع سعر سلعة من 10 إلى 12 جنيهًا، فقد نتوقع انخفاض الطلب.

لكن حجم الانخفاض الفعلي قد يختلف من فترة إلى أخرى.

لماذا؟

لأن الطلب يتأثر بعوامل أخرى.

إذا كان هناك موسم معين، أو حملة إعلانية، أو تغير في دخل المستهلكين، فقد يختلف الطلب عما يتوقعه النموذج بناءً على السعر وحده.

لذلك يمثل ε الجزء الذي يسمح للنموذج باستيعاب هذا الاختلاف.

ماذا يعني أن يكون الميل موجبًا أو سالبًا؟

الميل هو مفتاح مهم لفهم اتجاه العلاقة.

إذا كان b موجبًا

عندما يكون:

b > 0

فإن العلاقة المقدرة تكون طردية.

أي أن زيادة X ترتبط بزيادة Y.

مثال محتمل:

الدخل والاستهلاك، وفق نموذج اقتصادي مناسب.

إذا كان b سالبًا

عندما يكون:

b < 0

فإن العلاقة المقدرة تكون عكسية.

مثال شائع:

السعر والطلب، وفق افتراضات النظرية الاقتصادية.

هل الانحدار هو نفسه الارتباط؟

لا.

هناك علاقة بين مفهومي الارتباط والانحدار، لكنهما ليسا الشيء نفسه.

الارتباط يهتم بقياس قوة واتجاه العلاقة الخطية بين متغيرين، بينما الانحدار يهتم ببناء نموذج يصف المتغير التابع في ضوء المتغير التفسيري، ويمكن استخدامه في التقدير والتنبؤ.

ولهذا فإن فهم الانحدار يحتاج إلى معرفة واضحة بفكرة المتغير التابع والمستقل والمعادلة والخطأ العشوائي.

متى يكون الانحدار الخطي البسيط مناسبًا؟

يكون الانحدار الخطي البسيط مناسبًا عندما يكون لدينا سبب نظري أو عملي لدراسة العلاقة بين متغير تابع ومتغير تفسيري واحد، وتكون العلاقة الخطية تقريبًا معقولة في سياق البيانات.

كما ينبغي فحص البيانات والافتراضات الإحصائية قبل الاعتماد على النموذج في الاستنتاج أو التنبؤ.

أهم عناصر نموذج الانحدار الخطي البسيط

الرمز	المعنى
Yᵢ	القيمة الفعلية للمتغير التابع
Xᵢ	قيمة المتغير المستقل أو التفسيري
a	ثابت المعادلة أو المقطع
b	ميل خط الانحدار
εᵢ	الخطأ العشوائي أو معامل الإزعاج

الخلاصة النهائية

يمكن تلخيص الانحدار الخطي البسيط في فكرة واحدة:

نحن نريد استخدام متغير X لفهم أو تقدير سلوك متغير Y، مع الاعتراف بأن Y لا يتأثر بـ X وحده.

ولهذا نكتب نموذج الانحدار:

Yᵢ = a + bXᵢ + εᵢ

حيث يمثل:

• Yᵢ: القيمة الفعلية للمتغير التابع.
• Xᵢ: قيمة المتغير المستقل.
• a: ثابت المعادلة.
• b: ميل خط الانحدار.
• εᵢ: الخطأ العشوائي.

وعندما تكون البيانات عبارة عن مجموعة من المشاهدات، فإننا نستطيع تمثيلها على رسم بياني وملاحظة اتجاهها، ثم بناء خط انحدار يمثل العلاقة المتوسطة بينها.

ولا تقع جميع المشاهدات على الخط لأن الواقع الاقتصادي والإنساني يحتوي على عوامل كثيرة لا يمكن إدخالها كلها في نموذج بسيط.

ومن خلال العينة نحاول تقدير معاملات المجتمع، ثم استخدام النموذج في تفسير العلاقة والتنبؤ بالقيم المستقبلية.

وهكذا ننتقل من مجرد مشاهدة البيانات إلى بناء نموذج إحصائي يساعدنا على الفهم والقياس والتقدير والتنبؤ.

أسئلة شائعة عن الانحدار الخطي البسيط

ما هي معادلة الانحدار الخطي البسيط؟

الصيغة العامة للنموذج هي:

Yᵢ = a + bXᵢ + εᵢ

وتوضح العلاقة بين المتغير التابع والمتغير المستقل والخطأ العشوائي.

ما معنى b في معادلة الانحدار؟

b هو ميل خط الانحدار، ويعبر عن مقدار التغير المتوقع في Y عندما تتغير X بمقدار وحدة واحدة وفق النموذج.

ما معنى a؟

a هو ثابت المعادلة أو المقطع، ويمثل القيمة التي يعطيها النموذج لـ Y عندما تكون X مساوية للصفر، بشرط أن يكون تفسير X = 0 منطقيًا في سياق الدراسة.

ما هو ε في الانحدار؟

ε يمثل الخطأ العشوائي أو معامل الإزعاج، وهو الجزء من التغير في Y الذي لا يفسره X والنموذج المستخدم.

لماذا لا تقع كل البيانات على خط الانحدار؟

لأن المتغير التابع يتأثر عادةً بعوامل أخرى بالإضافة إلى المتغير الموجود في النموذج، ولذلك تظهر انحرافات بين القيم الفعلية والقيم التي يمثلها خط الانحدار.

ما الفرق بين الخطأ العشوائي والباقي؟

الخطأ العشوائي ε مفهوم نظري يتعلق بالنموذج الحقيقي للمجتمع، بينما الباقي e هو الفرق المحسوب من بيانات العينة بين القيمة الفعلية والقيمة المقدرة بواسطة نموذج الانحدار.

كلمات مفتاحية المقال

الانحدار الخطي البسيط، شرح الانحدار الخطي، تحليل الانحدار، معادلة الانحدار، خط الانحدار، ميل خط الانحدار، ثابت الانحدار، المتغير التابع، المتغير المستقل، المتغير التفسيري، الخطأ العشوائي، معامل الإزعاج، البواقي، العينة، المربعات الصغرى، الانحدار في الاقتصاد، Simple Linear Regression، Regression Analysis، Regression Equation، Regression Line.