معرفی
آزمایشهای قابل اعتماد کلیدی برای تصمیمگیریهای صحیح هستند، بنابراین تحلیل آنها و تأثیر آنها بر روی تجارت نیازمند تلاش زیادی از سوی تحلیلگران و دانشمندان داده است. تحلیل آزمایشات خودکار یکی از محصولات دادهای Grab است که برای سادهسازی تحلیلهای آماری آزمایشات و ارائه خطوط لوله آزمایشی خودکار و آزمونهای سفارشی برای انواع آزمایشات طراحی شده است.
به منظور کمک به مجله زیبایی و درمانی آذروت در مسیر نوآوری و تصمیمگیری مبتنی بر داده، محصول دادهای به تحلیل خودکار آزمایشات کمک میکند و به رسمیت شناختن نتایج پس از آزمایش تحت یک استاندارد سراسری شرکت و بازبینی آسان توسط دیگران را تضمین میکند. بررسی دانش سازمانی آزمایش در تمامی توابع را دموکراسی میکند.
- سادهسازی و خودکارسازی فرآیند تحلیل آزمایش پایه در آزمایشات مجله زیبایی و درمانی آذروت.تضمین قابلیت تولید نتایج پس از آزمایش با استفاده از یک استاندارد سراسری شرکت و بازبینی آسان توسط یکدیگر.دموکراسی دانش سازمانی آزمایش در تمامی توابع.
زمینهها
امروزه، پلتفرم GrabX قابلیت تعریف، پیکربندی و اجرای آزمایشهای کنترل شده آنلاین (OCEs)، که اغلب به آنها تست A/B گفته میشود، را فراهم میکند تا دادههای قابل اعتماد جمع آوری کند و تصمیمهای مبتنی بر داده درباره بهبود محصولاتمان را بگیریم.
قبل از تحلیل خودکار، هر آزمایش به صورت دستی و براساس نیاز انجام میشد. این مدل دستی و فدرال چندین چالش را در سطح شرکت ایجاد میکند:
- کارایی: شکل تکراری فرآیند ساخت خطوط لوله داده و تحلیلهای پس از آزمایش هزینههای بزرگی را ایجاد میکند و پهنای باند تحلیلگران داده را از تحلیلهای عمقی باز میکند.عدم کنترل کیفیت: خطر نتایج بی اعتبار، نا دسته بندی شده یا دیر ارسال به عنوان اینکه پلتفرم نمیتواند نظارت و کنترل داده را تمرین کند یا فراهمی را به دیگر شرکتهای Grab ارائه کند.عدم قابلیت مقیاس پذیری و دسترسی: کاربران GrabX پس زمینهها و مهارتهای مختلفی دارند، که سبب میشود رویکردهای آنها به آزمایشات متفاوت و غیر قابل انتقال / قابل استفاده باشد. به عنوان مثال، برخی تیمها ممکن است از تکنیکهای پیشرفتهتری برای افزایش سرعت آزمایشات خود استفاده کنند بدون استفاده از منابع زیاد، اما این تکنیکها بدون آموزش قابل انتقال نیستند.
راه حل
جزئیات معماری
زمانی که کاربران آزمایشها را در GrabX تنظیم میکنند، میتوانند معیارهای موفقیت مورد علاقه خود را پیکربندی کنند. این پیکربندی معیارها سپس به عنوان مجموعهدادههای «برنزه»، «نقره» و «طلایی» در فرآیند خط لوله داده خودکار ذخیره میشوند.
پیکربندی معیارها و مجموعهدادههای «برنزه»
در این پروژه، یک لغتنامه معیارها توسعه دادهایم که اطلاعاتی در مورد معیارها و نحوه محاسبه آنها را ذخیره میکند. لغتنامه معیارها در CosmoDB ذخیره شده است و به عنوان یک پایانه API برای GrabX عمل میکند تا کاربران بتوانند از لیستی از معیارهای موجود انتخاب کنند. اگر یک معیار در دسترس نباشد، کاربران میتوانند تعریف سفارشی معیارهای خود را وارد کنند.
این انتخاب معیارها به عنوان یک پیکربندی تحلیل، سپس به عنوان مجموعهدادههای «برنزه» در Lake Data Azure به عنوان Metadata (فراداده) همراه با پیکربندیهای آزمایش ذخیره میشود. زمانی که آزمایش شروع میشود، خط لوله داده تمام موضوعات آزمایش را و گروههای آزمایشی اختصاص داده شده به آنها را از سامانه پیگیری پیکره کلیک جمعآوری میکند.
در این مورد، موضوع آزمایش به معنای جوانههای آزمایش است. به عنوان مثال، اگر موضوع آزمایش کاربر باشد، کاربر در طول دوره آزمایش تجربه مشابهی را تجربه خواهد کرد.
محاسبه معیارها و مجموعهدادههای «نقره»
در این مرحله، موتور معیارها تمام دادههای معیار را براساس پیکربندی معیارها جمعآوری میکند و معیارها را برای هر موضوع آزمایش محاسبه میکند. این داده محاسبه شده سپس به عنوان یک مجموعهداده «نقره» ذخیره میشود و مبنای مجموعهدادههای آماری است.
مجموعهدادههای «نقره» سپس از طریق «موتور تصمیمگیری» عبور میکنند تا مجموعهدادههای «طلایی» نهایی را که شامل نتایج آزمایش است، دریافت کنند.
بصریسازی نتایج و مجموعهدادههای «طلایی»
در مجموعهدادههای «طلایی»، نتیجه آزمایش همراه با برخی از پیامهای سفارشی که میخواهیم به کاربران خود نشان دهیم، در مجموعههای جدولی Facts و Dimensions ذخیره میشود (که معمولاً در طرحهای استار استفاده میشوند).
برای کاربران بصریسازی نتایج در GrabX، از بصریسازی Power BI تعبیه شده استفاده میکنیم. ما بصریسازی را با استفاده از مجموعهداده «طلایی» بسازیم و آن را به هر صفحه آزمایش با یک فیلتر ثابت تعبیه کنیم. از این طریق، کاربران میتوانند تجربه جریان انتها به انتها را مستقیماً از GrabX تجربه کنند.
اجرا
اجرا شامل چهار مولفه مهندسی کلیدی است:
- پیکربندی تنظیمات تحلیلپایپلاین داده تحلیل خودکاربصریسازی نتایج
پیکربندی تنظیمات تحلیل بخشی از فرآیند تنظیم آزمایش است که در آن کاربران معیارهای موفقیتی که به آنها علاقه دارند را انتخاب میکنند. این یک پیکربندی اساسی برای تحلیلهای پس از آزمایش است، علاوه بر پیکربندیهای معمول آزمایش (مانند استراتژیهای نمونهبرداری).
تضمین میکند که نتایج آزمایش گزارش شده با تنظیم فرضیه همخوانی داشته باشند، که کمک میکند تا یکی از تلههای متداول در OCEs1 از بین برود.
سه نوع معیار موجود است:
- معیارهای پیشتعیین شده: این معیارها در Datamart Scribe تعریف شدهاند، مانند ارزش ناخالص مرجع تجارت (GMV) هر نفر.معیارهای مبتنی بر رویداد: کاربران میتوانند یک معیار آزمایشی به صورت یک گیج با نام رویداد برای شروع و پایان گیج خود تعیین کنند.ایجاد معیارهای اختصاصی: کاربران قابلیت تعریف معیاری را به صورت یک پرس و جو SQL دارند.
پایپلاین داده اینجا بیشتر از منابع داده و پردازش داده تشکیل شده است. ما از Azure Data Factory برای زمانبندی پایپلاینهای ETL استفاده میکنیم تا بتوانیم معیارها و تحلیلهای آماری را محاسبه کنیم. کارهای ETL با استفاده از Spark نوشته شده و با استفاده از Databricks اجرا میشوند.
پایپلاینهای داده به صورت زیر سازماندهی میشوند:
- بارگیری آزمایشها و Metadata معیارها که در مرحله ایجاد آزمایش تعریف شدهاند.بارگیری رویدادهای آزمایش و پیگیری کلیک.بارگیری اختصاصدهی آزمایش. اختصاص یک تطبیق واحد تصادفی به شناسههای تجزیه و تحلیل داده به معادلهای مربوطه آزمایش یا نسخههای آزمایشی.تلفیق دادههای یادشده بالا برای هر نسخه آزمایش و به دست آوردن دادههای کافی برای انجام تحلیلهای عمیقتر.
تحلیل خودکار از یک پکیج پایتون داخلی به نام «موتور تصمیمگیری» استفاده میکند که مجموعه داده و آزمونهای آماری را از هم جدا میکند، به طوری که بتوانیم به تدریج برنامههای کاربردی از تکنیکهای پیشرفته پیادهسازی شده بهبود دهیم. این ابزار مجموعه جامعی از نتایج آزمایش در سطح نسخه را ارائه میدهد که شامل آمارهای آماری، ارزش p، فاصلههای اطمینان و انتخابهای آزمونی است که با پیکربندیهای آزمایش مطابقت دارند. این یک پروژه همکاری جمعی است که به همه اجازه میدهد که آنچه را که باور میکنند باید در تحلیل پس از آزمایش بنیانی شامل شود، مشارکت کنند.
بصریسازی نتایج با استفاده از PowerBI انجام میشود که به GrabX تعبیه شده است، بنابراین کاربران میتوانند آزمایشها را اجرا و نتایج را در یک پلتفرم واحد مرور کنند.
تأثیر
در سطح هر کاربر، تحلیل آزمایش خودکار برای امکان سنجی معیارها با آزمایشات طراحی شده و ارائه نتایج آزمایش به صورت استاندارد و جامع طراحی شده است. این فرآیند تصمیمگیری را سریعتر میکند و پهنای باند تحلیلگران و دانشمندان داده را برای انجام تحلیلهای عمیقتر آزاد میکند.
در سطح جامعه کاربری، به بهبود کارایی اجرای تحلیل آزمایشی با دسترسی به تمام آزمایشها، نتایج و تصمیمات راهاندازی در یک پلتفرم واحد کمک میکند.
یادآوری/نتیجه
تحلیل آزمایش خودکار اولین سنگ بنای برای افزایش اعتماد OCEs در Grab است. همه انواع آزمایشات کاملاً وارد نمیشوند و احتمالاً لازم نیستند. در این مسیر، معتقدیم که این یادگیریهای کلیدی میتواند برای آزمایشها و تیمهای پلتفرم مفید باشند:
- برای معیارگذاری و سادهسازی چندین گام تحلیل آزمایش، نیازمندیم به خطوط لوله دادهای، ابزارهای تجزیه و تحلیل و یک فروشگاه معیار در زیرساخت.ابزار تجزیه «موتور تصمیمگیری» باید از دیگر مولفههای مهندسی جدا شود تا بتوان آن را به تدریج بهبود داد.