معرفی
امروزه در زمینه داده، اصطلاح "پایپ لاین داده" بسیار رایج شده است.
اگر شما از آن دسته افرادی هستید که در ابتدا آن را درک نمی کنند، به جای درستی آمده اید.
این مقاله مبانی آن را مورد بحث قرار می دهد و برخی از مفاهیم اساسی آن را توضیح می دهد، مانند اینکه خط لوله داده چیست، عملکرد داخلی آن، اجزا و ابزارهای مورد نیاز.
خوب، پس بیایید شروع کنیم.
زمینه
اسب های خود را نگه دارید! قبل از اینکه پاسخ دهیم خط لوله داده چیست، به نظر من بهتر است ابتدا آن را تجسم کنیم و سپس به سوال پاسخ دهیم.
خوب، می دانم که بیشتر ما با آب آشنا هستیم. درست است - آبی که از شیر آب داخل آشپزخانه شما خارج می شود.
و ممکن است از خود بپرسید که رابطه بین آب و خط لوله داده چیست؟
دقیقاً آب نیست، اما می توانیم یک سیستم توزیع آب را با یک خط لوله داده مقایسه کنیم.
نمودار زیر را ببینید.
هر دو سیستم توزیع آب و خط لوله داده، منبع، مخازن و مصرف کنندگان دارند.
علاوه بر این، همانطور که می بینید، آب از منبع خاصی می آید.
به انباری می رود که در آنجا ذخیره می شود و این انبار دارای خط لوله ای است که در آن فرآیند پاکسازی انجام می شود و سپس به خانه همه می رود تا به عنوان آب آشامیدنی مصرف شود.
در دنیای داده، خط لوله داده شکلی از انتقال از نقطه A به نقطه B است و جایی در وسط، پردازش اتفاق می افتد.