النشرة الإخبارية
Sed ut perspiciatis unde.
تقنيات متقدمة للمبتدئين
في هذه القصة، أود أن أثير مناقشة حول كيفية تحويل البيانات. سواء كانت قاعدة بيانات أو مستودع بيانات أو حل إعداد التقارير، فإننا نقوم بإجراء تحويلات البيانات بناءً على نماذج البيانات، ولكن كيف ننظمها؟ أود أن أتحدث عن أدوات تحويل البيانات الحديثة التي تستخدمها. سنتطرق إلى بعض الفروق الدقيقة في النهج المعياري واختبارات الجدولة وتحويل البيانات. في نهاية هذه المقالة، سأقدم مثالًا لتطبيق لتشغيل مهام نمذجة البيانات باستخدام ميزات نسب البيانات والتوثيق الذاتي. أنا حريص جدًا على معرفة رأيك في الأمر.
لقد شهدت العشرات من الطرق المختلفة لإجراء تحويلات البيانات. طوال مسيرتي المهنية التي تزيد عن خمسة عشر عامًا في مجال البيانات الضخمة والتحليلات، قمت ببناء خطوط بيانات بأنماط تصميم مختلفة وأنا متأكد من أن هناك المزيد. ولهذا السبب أحب عالم التكنولوجيا كثيرًا. إن الإمكانيات المتعددة التي يقدمها مذهلة بكل بساطة.
ما هو نظام التشغيل الذي تستخدمه لمستودع البيانات الخاص بك؟
أدوات تحويل البيانات الحديثة
تم تصميم أدوات تحويل البيانات الحديثة المعروفة أيضًا باسم أدوات نمذجة البيانات أو أنظمة تشغيل مستودع البيانات (DWH) لتبسيط مهام معالجة بيانات SQL لإنشاء مجموعات البيانات وطرق العرض والجداول. غالبًا ما يستخدمون لهجة تشبه SQL لتشغيل أي تعريفات بيانات محتملة (DDL) وعمليات معالجة (DML) قد نحتاجها بما في ذلك اختبارات تحويل البيانات وإنشاء مجموعة بيانات مخصصة في وضع التطوير.
إن وفرة حلول مستودعات البيانات ANSI-SQL في السوق تجعل هذه الأدوات مفيدة للغاية. على سبيل المثال، خذ بعين الاعتبار قائمة محولات dbt أدناه. جميع قادة السوق موجودون هناك.
dbt تعني أداة بناء قاعدة البيانات وهي في الأساس تطبيق جدولة يمكن تشغيله محليًا أو على الخادم لتشغيل مهام تحويل البيانات. على سبيل المثال، النظر في هذا النموذج البسيط أدناه. إنه ينشئ عرضًا في قاعدة بياناتنا ويمكننا تحقيقه كل 5 دقائق على سبيل المثال للحفاظ على البيانات للتحليلات. في أعلى الملف لدينا…
رابط المصدر
اكتشاف المزيد من موقع علم
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
