تحليل المكونات الرئيسية PCA

إن أكثر المشاكل تحديا في التحليل الإحصائي هي تلك التي نتعامل معها في الحياة العملية بعيدا عن مقاعد الدراسة وتهذيب مسائلها النموذجية، ففي إطار العمل على أرض الواقع غالبا ما نجمع كمية كبيرة إن لم تكن هائلة من البيانات المتعلقة بالقضية المدروسة من كل حدب وصوب ومصدر دون أن نكون على يقين أو معرفة مسبقة أكيدة أيُّها يملك دورا في تفسير ما نراه من نتائج، فكيف بنا إن كنّا نرغب في تقدير مدى تأثير كل منها في توصيف السلوك العام للمنظومة وما يستتبع ذلك من ضرورة استكشاف طبيعة العلاقات والروابط الداخلية ما بين عناصر البيانات المختلفة التي لدينا.

على سبيل المثال إن كان هناك 20 متغير مختلف تم جمعه أو قياسه، فسيكون لدينا بالنتيجة 190 علاقة ارتباط ثنائية محتملة يجب دراستها وأخذها بعين الاعتبار، حيث أن كل واحد من تلك المتغيرات العشرين يجب أن يحسب ارتباطه مع بقية المتغيرات التسع عشر الأخرى واحدا فواحد، ونظرا لأن علاقة الارتباط تعتبر علاقة تبديلية فلا فرق حينها ما بين حساب معامل الارتباط للمتغيرين س و ع أو حسابه بين المتغيرين ع و س، لذا سيكون العدد الكامل هو نصف ناتج جداء العددين 20 و 19 ويساوي 190 كما سبق وأن ذكرنا. من الواضح أن مثل هذا الأسلوب غير عملي أو فعّال كما توحي تطبيقاته النموذجية حينما يكون لدينا بضعة متغيرات فقط، ففي حالتنا هذه سننتهي إلى غابة من الأرقام وشبكة معقدة من العلاقات المحتملة والتي يصعب الإلمام بحجمها ومداها من خلال مجرد النظر والتمحيص في مصفوفة معاملات الارتباط التي سنحصل عليها.

 

إطلاق الإصدار 4.0 من مكتبة الكاشي للتوابع الإحصائية

يهدف مشروع الكاشي لتقديم مكتبة PHP غنية بالتوابع الإحصائية المفيدة لتطبيقات ذكاء الأعمال والتنقيب في البيانات على الشابكة (الإنترنت)، حيث تتضمن التطبيقات المحتملة لمثل هذه المكتبة على سبيل المثال لا الحصر تحليل سجلات الدخول والتصفح للمواقع المختلفة أو إحصائيات أداء الحملات الإعلانية أو حتى تحليل نتائج الاستبيانات أو عمليات التصويت المباشرة. توزع مكتبة الكاشي وفق ترخيص البرمجيات الحرة المفتوحة المصدر GPL حيث تستطيع تحميلها باستخدام هذا الرابط، كما يمكنك الإطلاع هنا على سجل التعديلات التي نفذت مع كل إصدار تم نشره من هذه المكتبة.

منذ إطلاق الإصدار 3.0 من مكتبة الكاشي نهاية العام الماضي 2012، وضعنا نصب أعيننا أن تكون خطوتنا التالية هي توفير أدوات كفيلة بدعم بعض المخططات البيانية ذات الطبيعة الإحصائية، لكننا لم نستقر بعد أو حتى نتفق على آلية إظهار معينة، لذا كنا دوما نشير إلى الإصدار التالي على أنه سيحمل الرقم 3.5 باعتبار أن وظائف المخططات البيانية لن تكون مكتملة فيه تماما بحيث تصبح جاهزة للعرض على المستخدم النهائي كما كنا نطمح. لكن خلال فترة التطوير التي امتدت على مدار ثمانية أشهر ولو بشكل متقطع، توالت الإضافات والتعديلات التي طالت نواحي متعددة من هذه المكتبة بحيث أصبحت النسخة التي بين أيدينا تتجاوز مجرد كونها تتبع لإصدار فرعي، وهكذا أصبح المنتج النهائي الذي نعرضه بين أيديكم الآن يحمل رقم الإصدار الرئيسي 4.0!

 

لغة R والتحليل الإحصائي – تحليل التباين ANOVA

.

يعد تحليل التباين ANOVA, Analysis of Variance واحدا من أكثر الأدوات شيوعا بالاستخدام في جعبة العاملين بالتحليل الإحصائي، لذا سنقوم في هذه التدوينة بتغطية موضوع تنفيذ تحليل التباين باستخدام لغة R وتفسير النتائج التي سنحصل عليها نتيجة تطبيق مثل هكذا تقنية وذلك من وجهة نظر تطبيقية بحتة تبتعد عن التجريد الرياضي وتركز على النواحي العملانية.

كما سبق وأن أشرنا في تدوينات سابقة، تعد لغة R من اللغات التي صعد نجمها حديثا وبشكل سريع بمجال البرمجة العلمية في قطاعي الإحصاء والمعلوماتية الحيوية (bioinformatics) حيث باتت معتمدة على نطاق واسع في كثير من الجامعات ومراكز البحث العلمية، وأصبحنا نرى استخدامها والإشارة إليها في المقالات المنشورة بالمجلات العلمية المحكّمة يزداد بشكل طردي ومتسارع، هذا عدى عن حقيقة كونها لغة حرة مفتوحة المصدر يخضع توزيعها لترخيص GPL الشهير. كل ذلك أدى إلى تزايد ما هو متوافر ومتاح على الشابكة (الإنترنت) من مصادر لها على توزع طيف تلك المصادر، فهناك الكتب الإلكترونية والدروس التعليمية وحتى المناهج الأكاديمية والدورات التدريبية إضافة إلى البرامج الجاهزة والمكتوبة بلغة R لتنفيذ هذه المهمة أو تلك، حتى أنها باتت تحظى ببعض الامتياز مقارنة بالعديد من العمالقة في قطاعي البرمجة الرياضياتية العلمية والإحصائية مثل SAS و SPSS وغيرهما، خصوصا من حيث توافر الأمثلة والتطبيقات للطرق والخوارزميات الحديثة، حيث يقاد هذا التوجه في معظمه من طرف الجامعات ممثلة بطلاب الدراسات العليا يحفّزهم على ذلك سهولة بناء الإضافات لهذه اللغة، ويعتبر هذا الأسلوب رغم ما قد يشوبه من نقاط ضعف تتعلق بموثوقية وجودة وغزارة تلك الإضافات الجديدة، والتي تتبع خبرة ومهارة مطوريها وناشريها، لكنها تبقى في القطاع العلمي والأكاديمي أفضل كثيرا من البدائل التجارية التي يعيبها إرتفاع ثمنها من جهة، ومن جهة أخرى بطئ إضافة التحديثات التي تعكس تطور القطاعات العلمية المختلفة، حيث أنها عادة ما تتبع دورة تجارية تتحكم بها الشركات المنتجة.

 

فصل في كتاب، بداية رائعة للعام الجديد!

قرائي الكرام أود أن أشارككم فرحتي بخبر نشر فصل ساهمت بتطوير الشيفرات البرمجية التي طبقت في خوارزمياته والتي تعنى بمواضيع تخص المعلوماتية الحيوية Bioinformatics وذلك باستخدام لغة Perl، هذا الفصل هو بعنوان Optimization of sequence alignment for microsatelite regions وهو الفصل 29 من كتاب Introduction to Sequence and Genome Analysis من منشورات iConcept Press Ltd.

 

إطلاق الإصدار 3.0 من مكتبة الكاشي

إحدى نقاط القوة في المشاريع الحرة المفتوحة المصدر تكمن في فلسفتها التي لا تشترط مقاربة الكمال حتى يتم طرح برمجية ما للعموم، فلا حرج من عرض منتج غير ناضج نتشارك به مع مجتمع المهتمين خلال مراحل التطوير أو حتى استمزاج آرائهم لتحديد الأولويات وإتجاه الخطوة التالية.

هذه هي حالنا أيضا في مشروع الكاشي، فما بدأنا به منذ تسعة أشهر لم يزد عن كونه مكتبة برمجية بسيطة أعدت لتنجز طيفا متنوعا من الإحصائيات الوصفية البسيطة، وذلك إنطلاقا من حاجتنا إلى مثل تلك التوابع الإحصائية في مشاريع أخرى موازية نعمل عليها مثل مشروعي الكندي والحسن، خصوصا بعد أن تبين لنا حاجة مجتمع مطوري لغة PHP إلى مثل هكذا أدوات وافتقاره لها.

 

خطوة على طريق النضج، الإصدار 0.7 من الكندي

• ff’x g;k fefhj
  هل تقصد: ببطء لكن بثبات
  
• FF’X G;K FEFHJ
  هل تقصد: ببطء لكن بثبات
  
• ٍمخصمغ لاعف سعقثمغ
  Do you mean: Slowly but surely
  
• sLOWLY BUT sURELY
  Do you mean: Slowly but Surely
  
• ببطء ، ( لكن )بثبات !
  تصبح: ببطء، (لكن) بثبات!

هذا ليس سحراً! إنها ببساطة أمثلة على تطبيقات مشروع الكندي، هل تعلم أنك تستطيع إضافة ميزة التصحيح هذه إلى صفحات موقعك دون أي تعقيدات حقيقية، فقط أضف بضعة أسطر برمجية إلى أسفل صفحتك والتي ستقوم بتحميل ملف المكتبة البرمجي والذي لايتجاوز حجمه 3 كيلوبايت وبالتالي لن يؤثر على سرعة موقعك، وتطبيق هذه المكتبة ليس محصورا بأصحاب المواقع المطورة بلغة PHP بل يمكن الاستفادة من وظائفها في أي موقع مهما كانت لغة البرمجة المستخدمة لتطويره، أو حتى إن كان موقع HTML بسيط غير تفاعلي.

 

الإصدار 0.6 من الكندي – ما هو الجديد؟

شرح لأداة الكندي وطريقة عملها:
على عكس الغاية من الإضافة التي سبق وأن تم تطويرها لمتصفح فايرفوكس والتي تركز على تقديم حلول من طرف المستخدم، فإن مشروع الكندي يقدم حلولا لأصحاب المواقع بغض النظر عما يستخدمه زوار مواقعهم من متصفحات، وهي حلول أكثر تكاملية وسهولة في التطبيق والاستثمار مما سبق وأن قدمناه في الإضافة المخصصة لصندوق TinyMCE السحري (أداة من نوع ما تراه هو ما تحصل عليه WYSIWYG).

ما هو الجديد في الإصدار 0.6
لقد تم إطلاق هذا الإصدار منذ شهرين تقريبا في شهر آب/أغسطس 2012، إن هذا الإصدار من الكندي أصبح متوافقا مع متصفح الإنترنت إكسبلورر من مايكروسوفت شائع الاستخدام بين غير المتخصصين، وهو أمر تطلب من فريق العمل جهدا لا بأس به بعد مواجهة العديد من الإختلافات عن ما هو معتاد من صيغ معيارية لأوامر لغة جافاسكريبت في بقية المتصفحات (حيث سبق وأن تعاملنا مع حالتين شاذتين فقط فيما مضى، إحداهما تتعلق بالمتصفح فايرفوكس والأخرى تتعلق بالمتصفح أوبرا)، أما هنا وفي هذه الحالة فنحن نتكلم عن دزينة كاملة من التعليمات التي ترد بصيغة مختلفة، وكل ذلك ورد في ملف برمجي صغير لا يتجاوز حجمه 10 كيلوبايت (ملاحظة: لم نعمل على تصغير وضغط هذا الملف لأن هذه المهمة ليست على سلم أولوياتنا حاليا، فنحن لا نزال نطلق نسخ وإصدارات تجريبية حتى هذه اللحظة).

 

لغة R والتحليل الإحصائي – تطبيقات متقدمة

تعد لغة R من اللغات التي صعد نجمها حديثا وبشكل سريع بمجال البرمجة العلمية في قطاعي الإحصاء والمعلوماتية الحيوية (bioinformatics) حيث باتت معتمدة على نطاق واسع في كثير من الجامعات ومراكز البحث العلمية، وأصبحنا نرى استخدامها والإشارة إليها في المقالات المنشورة بالمجلات العلمية المحكّمة يزداد بشكل طردي ومتسارع، هذا عدى عن حقيقة كونها لغة حرة مفتوحة المصدر يخضع توزيعها لترخيص GPL الشهير. كل ذلك أدى إلى تزايد ما هو متوفر ومتاح على الشابكة (الإنترنت) من مصادر لها على توزع طيف تلك المصادر، فهناك الكتب الإلكترونية والدروس التعليمية وحتى المناهج الأكاديمية والدورات التدريبية إضافة إلى البرامج الجاهزة والمكتوبة بلغة R لتنفيذ هذه المهمة أو تلك، حتى أنها باتت تحظى ببعض الامتياز مقارنة بالعديد من العمالقة في قطاع البرمجة الرياضياتية العلمية والإحصائية مثل SAS و SPSS خصوصا في مجال توافر الجديد من الطرق والخوارزميات الحديثة، حيث يقاد هذا التوجه في معظمه من طرف الجامعات ممثلة بطلاب الدراسات العليا يحفّزهم على ذلك سهولة بناء الإضافات لهذه اللغة، ويعتبر هذا الأسلوب رغم ما قد يشوبه من نقاط ضعف تتعلق بموثوقية وجودة وغزارة تلك الإضافات الجديدة، والتي تتبع خبرة ومهارة مطوريها وناشريها، لكنها تبقى في القطاع العلمي والأكاديمي أفضل كثيرا من البدائل التجارية التي يعيبها ارتفاع ثمنها من جهة، ومن جهة أخرى بطئ إضافة التحديثات التي تعكس تطور القطاعات العلمية المختلفة، حيث أنها عادة ما تتبع دورة تجارية تتحكم بها الشركات المنتجة.

سنحاول في هذه التدوينة أن نقدم مدخلا مبسطا ومختصرا لأساسيات هذه اللغة ونستكشف بعضا من إمكانياتها واستخداماتها، والتي أتمنى أن أراها تدرّس في جامعاتنا يوما ما، بحيث تستخدم كأداة للاختبار والتجربة والتطوير ضمن الجلسات العملية لبعض المقررات العلمية في الكليات ذات الاختصاص. هذا هو الجزء الأخير في سلسة مؤلفة من أربع مقالات تهدف إلى التعريف بلغة R حيث قدم الجزء الأول مدخل عام إلى هذه اللغة بما فيها الإحصائيات الوصفية، أما الجزء الثاني فتحدث عن كيفية توليد بعض المخططات البيانية الإحصائية بلغة R، أما الجزء الثالث فتحدثنا فيه عن طريقة إجراء بعض التحاليل الإحصائية باستخدام هذه اللغة.

 

لغة R والتحليل الإحصائي – الاختبارات الإحصائية

تعد لغة R من اللغات التي صعد نجمها حديثا وبشكل سريع بمجال البرمجة العلمية في قطاعي الإحصاء والمعلوماتية الحيوية (bioinformatics) حيث باتت معتمدة على نطاق واسع في كثير من الجامعات ومراكز البحث العلمية، وأصبحنا نرى استخدامها والإشارة إليها في المقالات المنشورة بالمجلات العلمية المحكّمة يزداد بشكل طردي ومتسارع، هذا عدى عن حقيقة كونها لغة حرة مفتوحة المصدر يخضع توزيعها لترخيص GPL الشهير. كل ذلك أدى إلى تزايد ما هو متوفر ومتاح على الشابكة (الإنترنت) من مصادر لها على توزع طيف تلك المصادر، فهناك الكتب الإلكترونية والدروس التعليمية وحتى المناهج الأكاديمية والدورات التدريبية إضافة إلى البرامج الجاهزة والمكتوبة بلغة R لتنفيذ هذه المهمة أو تلك، حتى أنها باتت تحظى ببعض الامتياز مقارنة بالعديد من العمالقة في قطاع البرمجة الرياضياتية العلمية والإحصائية مثل SAS و SPSS خصوصا في مجال توافر الجديد من الطرق والخوارزميات الحديثة، حيث يقاد هذا التوجه في معظمه من طرف الجامعات ممثلة بطلاب الدراسات العليا يحفّزهم على ذلك سهولة بناء الإضافات لهذه اللغة، ويعتبر هذا الأسلوب رغم ما قد يشوبه من نقاط ضعف تتعلق بموثوقية وجودة وغزارة تلك الإضافات الجديدة، والتي تتبع خبرة ومهارة مطوريها وناشريها، لكنها تبقى في القطاع العلمي والأكاديمي أفضل كثيرا من البدائل التجارية التي يعيبها ارتفاع ثمنها من جهة، ومن جهة أخرى بطئ إضافة التحديثات التي تعكس تطور القطاعات العلمية المختلفة، حيث أنها عادة ما تتبع دورة تجارية تتحكم بها الشركات المنتجة.

سأحاول في هذه التدوينة أن أقدم مدخلا مبسطا ومختصرا لأساسيات هذه اللغة ونستكشف بعضا من إمكانياتها واستخداماتها، والتي أتمنى أن أراها تدرّس في جامعاتنا يوما ما، بحيث تستخدم كأداة للاختبار والتجربة والتطوير ضمن الجلسات العملية لبعض المقررات العلمية في الكليات ذات الاختصاص. هذا هو الجزء الثالث في سلسة مؤلفة من أربع تدوينات تهدف إلى التعريف بلغة R حيث قدم الجزء الأول مدخل عام إلى هذه اللغة بما فيها الإحصائيات الوصفية، أما الجزء الثاني فتحدث عن كيفية توليد بعض المخططات البيانية الإحصائية بلغة R، فيما سنختم السلسلة بجزء رابع يتحدث عن بعض التقنيات المتقدمة في هذه اللغة.

 

مشروع الكندي

يأتي مشروع الكندي استكمالا للرؤية والاستراتيجية التي وضعناها نصب أعيننا في مشروع PHP واللغة العربية والتي تنص في عنوانين عريضين لها على استكشاف واستثمار النماذج اللغوية الإحصائية من جهة، والتوجه نحو أصحاب المواقع بحلول أكثر بساطة ويسر من ناحية التطبيق والاستخدام من جهة أخرى وذلك عوض الاكتفاء بتقديم حلول برمجية موجهة لفئة المطورين، على أن يبقى ذلك تحت المظلة الأم ألا وهي تطوير حلول حرة مفتوحة المصدر وتقديم دعم احترافي لمساعدة الشركات الصغيرة والمتوسطة في مواجهة التحديات التي ترافق تطوير مواقع عربية احترافية وذلك بهدف خدمة اللغة العربية ذاتها وتمكين مطوري المواقع العربية من التعامل مع لغتنا بشكل احترافي في مختلف المناحي من بحث وعرض ومعالجة.

يعتبر مشروع الكندي عبارة عن منصة تجريبية نستعرض من خلالها بعض الأفكار والتقنيات التي طورناها لنتيحها لكم كي تختبروها بدوركم وتغنوا هذا الجهد من خلال الإشارة إلى الهفوات والأخطاء وكذلك تقديم الاقتراحات والأفكار بغية المضي قدما في عملية التطوير والتحسين وصولا إلى حزمة ناضجة من الأدوات القابلة للتطبيق والاستخدام في بيئة حقيقية واقعية.