مجله زیبایی و درمانی آذروت superapp یک مجموعه جامع از خدمات از حمل و نقل تا تحویل غذا و خدمات مالی را ارائه می‌دهد. این باعث پیمایش‌های چندرویه کاربر می‌شود که از صفحه اصلی، صفحات محصول، خریدها و تعاملات با محتوای متنوع از جمله تبلیغات و کدهای تبلیغی شامل می‌شود.
تبلیغات برای مجله زیبایی و درمانی آذروت در جذب مشارکت کاربر و حمایت از اکوسیستم ما بسیار مهم است زیرا کاربران را به طور سریع با خدمات ما ارتباط می‌دهد. در دنیای پیشرفته تبلیغات، توانایی ارزیابی تاثیر سرمایه‌گذاری های بازاریابی درک بسیار مهمی دارد. تبلیغ کنندگان منابع قابل توجهی را برای تبلیغ کسب و کار خود اختصاص می‌دهند، که نیازمندی به درک دقیقی از بازده سرمایه گذاری در تبلیغات (ROAS) برای هر کمپین است. در این زمینه، نسبت نسبت (ROAS) نقش محوری را ایفا می‌کند، به عنوان قطب هدایت کننده برای تبلیغ کنندگان و بازاریابان، که اثربخشی نقاط تماس در داخل کمپین ها را روشن می‌کند.
به عنوان مثال، یک بازرگان-همکار تلاش می‌کند تا با تبلیغ در صفحه اصلی تحویل غذای مجله زیبایی و درمانی آذروت، برداشت خود را افزایش دهد. با کمک سیستم اختصاص، بازرگان-همکار می‌تواند به طور دقیق تاثیر تبلیغات صفحه اصلی خود را بر Grab محاسبه کند. این شامل ردیابی مشارکت کاربر و نظارت بر سفارشات ناشی از این تعاملات است. این سطح جزیات نه تنها ارزش اختصاص را برجسته می‌کند، بلکه قدرت خود را در ارائه بینش‌های دقیق در مورد اثربخشی کمپین‌های تبلیغاتی نشان می‌دهد و باعث می‌شود بازرگانی-همکاران بتوانند کمپین های خود را با دقت بیشتری بهینه کنند.
در این وبلاگ به جزئیات فنی، معماری نرم‌افزار، چالش‌ها و راه‌حل‌های مربوط به ساخت یک راه حل مهندسی پیشرفته برای پلتفرم نسبت دادن ارجاع می‌پردازیم.
زمانی که سفر ما در سال 2020 آغاز شد، تلاش‌های بازاریابی Grab قابلیت‌های تعقیبی محدودی در مورد نسبت دادن ارجاع داشت و تجزیه و تحلیل داده اصولاً بر تغریبیه‌های مطبوعاتی توسط تجارت و تحلیلگر داده‌ها وابسته بود. قبل از معرفی یک رویکرد استاندارد، باید نتایج ناهمخوان اداره کنیم و فرآیند دستی زمان‌بری از آماده سازی داده، پاکسازی و ذخیرهسازی در تیم‌ها را مدیریت کنیم. هنگام بروز مشکلات در خط لوله تجزیه و تحلیل، تلاش‌های رفع مشکل به نسبت نسبتاً مدت طولانی‌تری طول می‌کشد و تکرار می‌شود. ما به یک راه‌حل مهندسی جامع نیاز داشتیم که به شکاف‌های شناخته شده پاسخ دهد و به طور قابل توجهی معیارهای مربوط به بازده سرمایه گذاری، دقت نسبت دادن و کارایی در اختیار داده بگذارد.
با توجه به نقش قابل توجهی کاربردی در کسب و کار برای تحویل سریع نزدیک به واقعیت (CPO)، معماری Kappa را انتخاب کردیم. با این راه‌حل، ما به طور قابل توجهی تاخیر داده را از 2-3 روز به چند دقیقه کاهش می‌دهیم. روش‌های پردازش دسته‌ای مبتنی بر ETL سنتی بررسی شدند، اما به سرعت برای هدف‌های ما کافی نبودند، عمدتاً به دلیل سرعت آنها.
در صنعت تبلیغات، اتخاذ تصمیم سریع بسیار حائز اهمیت است. راه‌حل‌های پردازش دسته‌ای سنتی می‌توانند تاخیر قابل توجهی ایجاد کنند و توانایی ما را در اتخاذ تصمیمات بر مبنای داده‌های زمان واقعی مورد نیازمان بازاریابی سرمایه گذاری را محدود کنند. با توجه به قابلیت‌های ذاتی معماری Kappa در پردازش جریان زمان واقعی، Kappa به عنوان انتخاب منطقی به شمار می‌رود. به علاوه، Kappa انعطاف‌پذیری مورد نیاز برای توانمندسازی تیم تبلیغات ما برای حمایت از تصمیم‌گیری زمان واقعی و بهترین رده بندی و انتخاب تبلیغات، امکان تصمیم‌گیری هدفمند و موثر بدون تأخیر را فراهم می‌کند.
گام اول در این سفر، ایجاد یک موتور نسبت دادن تبلیغات واقعی و نزدیک به زمان واقعی بود. این موتور بر اساس معماری Kappa برای ارائه برازشی سریع به تبلیغ کنندگان در مورد ROAS آنها بر اساس نسبت واقعی ارائه شده، تبلیغ کنندگان را قادر می‌سازد تا کمپین‌های خود را بهینه کنند.
در این راه‌حل از ابزارهای زیر در تکنولوژی استفاده کردیم:
- Kafka برای جریان رویدادDDB برای ذخیره رویدادهاAmazon S3 به عنوان دریاچه دادهیک چارچوب پردازش جریان درون خانه مانند Keystoneردیس برای کش رویدادهاScyllaDB برای ذخیرهسازی متادیتای تبلیغاتیRDS سرویس پایگاه داده رابطه‌ای Amazon برای تجزیه و تحلیل
ما شروع به تصور یک جهان کرده‌ایم که می‌توانیم کنترل‌های بازاریابی مختلف را در یک موتور نسبت دادن یکپارچه ترکیب کنیم، از تبلیغات و تخفیف‌ها آغاز می‌شود. این ایده درآمد، همچنین به ایجاد حلقه کسب و کار مجدد نسبت دادن سفارش (وقتی کاربر در چک‌اوت هم به تبلیغات و هم به تخفیف‌ها واکنش نشان می‌دهد)، که یک راه حل نسبت دادن جامعتر ارائه می‌دهد.
با موتور نسبت دادن یکپارچه، ما قادر خواهیم بود به وسیلهٔ مدل‌های یادگیری ماشینی پیشرفته تر، به تخصیص شخصی ساده تر و بهبود تبدیل بالاتری دهیم.
موتور نسبت دادن یکپارچه اکثراً از همان مجموعه ابزارها استفاده می‌کند، به استثنای تجزیه و تحلیل که به جای RDS از Druid استفاده می‌شود.
اگرچه موتور نسبت دادن یکپارچه یک گام در جهت درست بود، اما بدون چالش‌های خود نبود. چالش‌هایی در مورد هزینه‌های پردازش داده زمان واقعی، قابلیت مقیاس‌پذیری برای پنجره‌های زمانی طولانی‌تر، مشکلات تاخیر و کندی، رویدادهای بی‌ترتیب منجر به نقض ارجاع و پیچیدگی از پیاده سازی مدل‌های ارجاع چندلمسی بود. برای قدرت بخشیدن به تبلیغ کنندگان و بهبود فرآیند نسبت دادن، ما می‌دانستیم باید بهبود بیشتری بدست آوریم.
تولد یک پلتفرم نسبت دادن کامل (معماری Lambda)
این انتخاب یک انتخاب استراتژیک است - پردازش زمان واقعی برای ردیابی رویدادها در حین روی دادن آنها بسیار مهم است، اما تنها یک نمای روز جاری از رفتار کاربر ارائه می‌دهد. این به این معناست که نمی‌توانیم داده‌های تاریخی را تجزیه و تحلیل کنیم که یک جزء حیاتی از نسبت دادن دقیق و بررسی مدل‌های نسبت دادن چندگانه است. داده‌های سابق به ما امکان می‌دهد تا الگوها، الگوها و همبستگی‌هایی را که در داده‌های زمان واقعی به تنهایی آشکار نیستند، شناسایی کنیم.
- Coban، یک چارچوب پردازش جریان درون خانه از داده‌های زمان واقعیETL مبتنی بر Spark برای پردازش دسته‌ایAmazon S3 به عنوان انبار دادهلایه آفلاین که قادر به ارائه زمان کانتکست تاریخی، مدیریت حجم بزرگی از داده، انجام تجزیه و تحلیل پیچیده و غیره است.
مزایای کلیدی لایه آفلاین
چالش‌های معماری لامبدا و کاهش موارد عدم اطمینان
معماری لامبدا به ما اجازه می‌دهد دقت و قوی بودن پردازش دسته‌ای را به همراه پردازش جریان زمان واقعی داشته باشیم. با این حال، برخی از مشکلاتی که ممکن است منجر به پیچیدگی به دلیل حفظ هر دو پردازش دسته‌ای و جریان در محیط‌های تولید شوند را متوجه شده‌ایم:
برای مهار این پیچیدگی‌ها، ما یک استراتژی بهینه‌سازی برای سیستم فعلی خود ایجاد می‌کنیم. با تمایز واضح مسئولیت‌های لوله‌های زمان واقعی نسبت به کارهای آفلاین، قصد داریم از ظرفیت کامل هر دو رویکرد استفاده کنیم و همزمان پیچیدگی اضافی را کاهش دهیم.
بنابراین، بازتعریف روش استفاده از معماری لامبدا، تعادل کارآمد بین واکنش زمان واقعی و دقت قوی را با پیشنهاد زیر برقرار می‌کنیم.