الفرق بين الحوسبة السحابية وتحليلات البيانات الضخمة

حوسبة سحابية

البيانات الكبيرة

الوصف

نموذج الحوسبة

مجموعات بيانات كبيرة للغاية

التركيز

توفير الوصول الشامل إلى الخدمات

حل مشكلة تكنولوجية في التعامل مع مجموعات البيانات العملاقة

أفضل وصف بواسطة

تتعلق الحوسبة السحابية بتوفير الخدمات عبر شبكة ، معظمها عبر الإنترنت. يمكن أن تكون الخدمات عبارة عن برنامج أو منصة أو بنية تحتية لتكنولوجيا المعلومات.

3 V''s - السرعة والحجم والتنوع
لتصنيف بياناتك على أنها "بيانات كبيرة" ، يجب توضيح مجموعة البيانات ذات الأهمية إما من خلال V أو جميعها.

متى تستخدم ؟

قد تفكر في الترحيل إلى السحابة عندما تحتاج إلى نشر سريع أو توسيع نطاق تطبيقات تكنولوجيا المعلومات أو البنية التحتية مع الحفاظ على الوصول المركزي. يتطلب الحفاظ على عمليات تكنولوجيا المعلومات في مكان العمل الابتعاد عن عملك ، مع الحوسبة السحابية يظل تركيزك على عملك.

تدخل هندسة البيانات الضخمة حيز التنفيذ عندما تكون الأساليب والأطر التقليدية غير فعالة عند التعامل مع الكم الهائل من البيانات. عندما نقوم بتحليل بيانات بيتابايت ، يلزم وجود إطار عمل موزع جنبًا إلى جنب مع الحوسبة المتوازية.

متى لا تستخدم

على العكس من ذلك ، في بعض الحالات ، قد لا ترغب في الترحيل إلى السحابة. إذا كان تطبيقك يتعامل مع بيانات شديدة الحساسية ويتطلب امتثالًا صارمًا أو كان تطبيقك لا يلتزم بالبنية السحابية ، فيجب عليك إبعاد الأشياء عن السحابة. علاوة على ذلك ، فإن الانتقال إلى السحابة يعادل فقدان التحكم في أجهزتك.

تحل حلول البيانات الضخمة بيان مشكلة محددًا للغاية يتعلق بمجموعات البيانات الضخمة ولا تهدف معظم حلول البيانات الكبيرة إلى التعامل مع البيانات الصغيرة. البيانات الضخمة ليست بديلاً لأنظمة قواعد البيانات العلائقية.

فوائد

تكاليف صيانة منخفضة ، تنفيذ آمن للكوارث ، منصة مركزية ، تكاليف أولية صفرية

قابلية عالية للتوسع (يتدرج إلى الأبد) ، فعالة من حيث التكلفة ، توازي ، نظام بيئي قوي

شاع بواسطة

أصبح مصطلح "الحوسبة السحابية" سائدًا عندما أصدرت Amazon منتج EC2 (Elastic Compute Cloud) في عام 2006.

عندما أطلق مايك كافاريلا ودوغ كاتنج مشروع "Hadoop" في عام 2005 في Yahoo ، بدأت "البيانات الكبيرة" تصبح سائدة.

الأدوار المشتركة

1. مسؤول موارد السحابة :
الشخص أو المؤسسة التي تدير السحابة.
2. مزود الخدمة السحابية:
مالك النظام الأساسي السحابي الذي يقدم خدمات في شكل تطبيقات أو موارد أو بنية أساسية.
3. مستهلك السحابة:
"مستخدمو" السحابة ، يمكن أن يكونوا مطورين أو عاملين في المكتب في مؤسسة.
4. وسيط الخدمات السحابية: وسيط
بين المستهلكين ومقدمي الخدمة. أنها توفر خدمات وسيطة.
 5. مدقق السحابة:
الشخص الذي يستشير المستهلكين بشأن الأمان أو الثغرة الأمنية المحتملة

1. مطورو البيانات الضخمة:
يكتبون برامج لاستيعاب البيانات أو معالجتها أو تنظيفها. قاموا أيضًا بإعداد آليات الجدولة والتقاط دلتا.
2. مسؤولو البيانات الضخمة:
يقومون بإعداد الخوادم وتثبيت البرامج وإدارة الموارد المادية أو المنطقية.
3. محللو البيانات الضخمة:
هم مسؤولون عن تحليل البيانات والعثور على رؤى مثيرة للاهتمام والاتجاهات المستقبلية المحتملة.
4. عالم البيانات:
في الأساس ، محلل مجهز بمهارات الترميز والإحصاءات. يشارك هذا الشخص في التعدين والنمذجة التنبؤية وتصور البيانات من أنظمة البيانات الضخمة.
5. مهندس البيانات الضخمة:
المسؤول عن نشر الحلول الشاملة.

المصطلحات الرئيسية

IaaS : تحدث البنية التحتية كخدمة عندما يزود مقدمو الخدمة المستهلك بالموارد المادية مثل الذاكرة والقرص والخوادم والشبكات. يمكن للعميل الاستفادة من هذه الخدمات كيفما شاء وتثبيت التطبيقات فوقها.
PaaS: يمكن أن تكون المنصة عبارة عن نظام تشغيل أو نظام RDBMS أو خادم أو بيئة برمجة. يتم توفير جميع هذه المنصات في شكل منصة كخدمة.
SaaS: في البرنامج كنموذج خدمة ، يستخدم المستهلك التطبيق أو البرنامج مباشرةً ولا داعي للقلق بشأن النظام الأساسي أو البنية التحتية الأساسية.

هادوب: Hadoop نفسها كلمة طنانة. إنه نظام بيئي من مكونات مختلفة تقوم بمهام محددة ويتم دمجها معًا لتنفيذ حل البيانات الضخمة. أطلق دوغ كاتنج على مشروعه اسم "هادوب" نسبة إلى لعبة فيل ابنه.
HDFS (نظام الملفات الموزعة Hadoop): نظام ملفات يوفر وصولاً عالي الإنتاجية. إنه نظام ملفات قائم على Java يتم توزيعه عبر أجهزة متعددة.
MapReduce: إطار عمل لكتابة تطبيقات متوازية بشكل كبير تعالج كميات كبيرة من البيانات المخزنة في HDFS. على مستوى بدائي ، ينفذ MapReduce عمليتين ، خريطة حيث يتم تحويل البيانات إلى أزواج Key-Value وتقليل حيث يتم تجميع البيانات.

الباعة / موفرو الحلول

جوجل ، أمازون ، مايكروسوفت ، آي بي إم ، ديل ، أبل

Cloudera ، MapR ، HortonWorks ، Apache

أمثلة / حلول شائعة

IaaS : Google Compute Engine و Amazon Web Services و Microsoft Azure.
PaaS : Windows Azure و AWS Elastic Beanstalk و Google App Engine و Apache Stratos.
SaaS : محرر مستندات Google و Microsoft Office 365

Hadoop هو أكثر حلول البيانات الضخمة شيوعًا وهو مستوحى من نظام ملفات Google (GFS) وأوراق MapReduce. عادةً ما يكون نظام Hadoop البيئي كمجموعة متعددة من المكونات مثل Ambari لإدارة المجموعة ، و Sqoop لاستخراج البيانات ، و Hive لتخزين البيانات و Oozie للجدولة.