معرفی

تجزیه و تحلیلگران نیاز دارند قانون را روی داده‌های تاریخی تجزیه و شبیه‌سازی کنند تا عملکرد و دقت قانون را بررسی کنند. تست عقب‌بینی به تجزیه و تحلیلگران اجازه می‌دهد شبیه‌سازی قوانین را اجرا کرده و نتایج را از رابط کاربری موتور قانون مدیریت کنند.

تست عقب‌بینی به تجزیه و تحلیلگران کمک می‌کند تا:

تاثیر مطلوب قانون را برای تجارت و کاربران ما تعریف کنند.دقت قانون را بر اساس داده‌های تاریخی ارزیابی کنند.نتایج را با نقاط داده‌ای مقایسه و تجزیه و تحلیل کنند، مانند نتایج نادرست مشخص شده، بخش‌های کاربر، پروفایل ریسک یک کاربر یا تراکنش و غیره.

در حال حاضر، فرایند تجزیه و تحلیل برای تست عملکرد قانون استاندارد نیست، نامناسب و ناکارآمد است. تجزیه و تحلیلگران از تیم‌های مختلف رویکردهای مختلفی دارند:

فرایند آفلاین با استفاده از جدول‌های Presto. این فرایند طولانی و نادقیق است.فرایند آفلاین بر اساس بارگذاری موتور قانون. راه‌اندازی زمان می‌برد و فرآیند سازمان یافته نیست.اجرای قوانین در حالت سایه. این فرایند برای به دست آوردن نتیجه مطلوب روزها طول می‌کشد.تیم در مجله زیبایی و درمانی آذروت از موتورهای قانون مختلف استفاده می‌کند تا قوانین را مدیریت و عقب‌بینی کند. این باعث دو برابر شدن تلاش برای تجزیه و تحلیلگران و مهندسان می‌شود.

در دیدگاه ما برای تست عقب‌بینی، این باید به تجزیه و تحلیلگران اجازه بدهد:

کارها وظایف خود را به طور کارآمد اجرا و مدیریت کنند.معیارها، گزارشات و ابعاد سفارشی برای تست عقب‌بینی ایجاد کنند.نقاط داده‌ای و معیارهای خارجی را برای انجام تجزیه و تحلیل عمیق اضافه کنند.

برای ایجاد یک محصول قابل قبول حداقل (MVP)، تست عقب‌بینی قابلیت‌های پایه را پشتیبانی کرده و به تجزیه و تحلیلگران امکان دسترسی به معیارها و نقاط داده مورد نیاز را می‌دهد. بنابراین، تجزیه و تحلیلگران می‌توانند:

کارهای تست عقب‌بینی را از رابط کاربری موتور قانون اجرا کنند.گزارشات و ابعاد ثابت برای هر نقطه بررسی دریافت کنند.دسترسی به داده‌های مرتبط برای تجزیه و تحلیل نتایج تست عقب‌بینی.

زمینه

یک مورد استفاده ساده را در نظر بگیرید:یک قانون برای تشخیص ریسک تراکنش.

هر تراکنش شامل شناسه تراکنش، شناسه کاربر، واحد پول، مقدار و زمان است. موتور قانون نیز براساس منطق قانون برای تراکنش عملکردی (تایید یا رد) فراهم می‌کند.

در این مورد خاص، ما می‌خواهیم ببینیم چه تعداد تراکنش، تعداد کاربران متمایز کلی و مجموع مقدار براساس ابعاد تاریخ، عملکرد و واحد پول در چند هفته اخیر خواهند بود.

نتیجه ممکن است مانند داده‌های زیر باشد:

* این داده نشانی واقعی داده‌های مجله زیبایی و درمانی آذروت را نشان نمی‌دهد و فقط به منظور توضیح است.

راه‌حل

از یک لوله‌کشی داده مبتنی بر اسپارک وابسته به ابر (Cloud-agnostic) برای بازپخش هر قانون موجود یا پیشنهادی برای بررسی عملکرد استفاده کنید.از یک پرتال وب برای ایجاد یا انتخاب قانون برای بازپخش با بازه زمانی بازپخش استفاده کنید.نتایج را نمایش و دانلود کنید، مانند تعداد کل رویدادها و تعداد ضربات.هر قانون موجود یا پیشنهادی را برای بررسی عملکرد در موتور قانونی رداخت کنید، با ارائه بازه زمانی بازپخش.نتایج بازپخش را در رابط کاربری موتور قانون نمایش دهید، مانند تعداد کل رویدادها و تعداد ضربات.یک راه برای دانلود کلیه نتایج آزمایش در رابط کاربری موتور قانونی فراهم کنید (به عنوان مثال، تمام پاسخ‌های قانون).از وابستگی به پشته ابر خاص خودداری کنید، تا تیم‌های دیگر در مجله زیبایی و درمانی آذروت بتوانند از آن استفاده کنند به جای Google Cloud Platform (GCP).

جزئیات معماری

رابط کاربری ویرایشگر قانون به ورودی کاربر واکنش می‌نشاند. موتور آن دستور کاری را به سرویس صف ساده اما به‌روز شده (SQS) ارسال می‌کند تا کار را آغاز کند. پس از آن، ویرایشگر قانون نیز فرآیندهای زیر را در پس‌زمینه انجام می‌دهد:

لامبدا برای درخواست صف SQS گوش می‌کند و یک کار را از طریق API‌های کارهای اسپارک فراخوانی می‌کند.کار، نمونه‌های قابل اجرا، منبع داده را بارگیری می‌کند. پس از اتمام کار، اسکریپت کار نتیجه را به پوشه نتیجه به صورت مورد نیاز در S3 ذخیره می‌کند.اسکریپت اسپارک وضعیت نهایی کار (موفقیت، شکست، زمان انقضا) را از طریق هوک خاموش کنندۀ صف به صف SQS ارسال می‌کند.موتور ویرایشگر قانون پیام‌های بازخورد پاسخ را گوش می‌دهد و اطلاعات فراداده کار را به پایگاه داده پردازش می‌کند یا اعلان‌ها را ارسال می‌کند.ویرایشگر قانون نتایج فراداده کار را در رابط کاربری نشان می‌دهد.خط لوله بسته‌ای اجرا کننده مجموعه صلاحیت‌های قابل مدیریت را به S3 ارائه می‌دهد.اسکریپت اسپارک منطق فیلتر را به عنوان پارامترهای ورودی خود می‌گیرد.

گردش کار

آماده‌سازی داده‌های تاریخی

رویدادهای تاریخی توسط موتور قانون از طریق کافکا انتشار می‌یابند و بر اساس زمان در سبد S3 ذخیره می‌شوند. سیستم تست عقب‌بینی سپس این داده‌ها را برای آزمون بر اساس محدوده زمانی درخواست شده بازیابی می‌کند.

با استفاده از یک لوله‌کشی جریان کوبرنتیز، ما همچنین جریان استنباط اعتماد را در زیرحساب Trust AWS ذخیره می‌کنیم. با داشتن سبد و فرمت فایل مشتری می‌توانیم کارایی پردازش داده را بهبود دهیم و همچنین هر تأخیری از دریاچه داده را اجتناب کنیم.

مشخصات فنی

مکان هدف:

s3a://stg-trust-inference-event/<engine-name>/<predict-name>/<YYYY>/MM/DD/hh/mm/ss/<000001>.snappy.parquet
    s3a://prd-trust-inference-event/<engine-name>/<predict-name>/<YYYY>/MM/DD/hh/mm/ss/<000001>.snappy.parquet

توضیح: با توجه به فیلدهای تعریف جریان، نام موتور می‌تواند ruleengine یا catwalk باشد. نام predict در مورد زمینه آزمون (نام نقطه بررسی) یا cnpu (نام مدل) است.

فرمت فایل: avroفشرده‌سازی فایل: Snappyهیچ روند خودکاری بر روی S3 زیرحساب وجود ندارد. در آینده فرآیند بایگانی را پیاده‌سازی خواهیم کرد.خط لوله پیش‌فرض و خط لوله جدید به‌طور موازی اجرا می‌شوند تا تیم مهندسی داده آماده بازنشانی خط لوله پیش‌فرض شود.

تست عقب‌بینی

با زمان‌بندی، پورتال تست عقب‌بینی پیامی را به SQS ارسال می‌کند که سپس توسط لامبدا گوش می‌شود.لامبدا یک کار اسپارک را در موتور mapreduce انعطاف‌پذیر AWS (EMR) فراخوانی می‌کند.موتور EMR نمونه‌های قابل اجرا، اسکریپت قانون و داده‌های تاریخی را از S3 بارگیری می‌کند.

Coban یک تیم پلتفرم جریان داده در زمان واقعی برنامه Grab است. به عنوان یک تیم پلتفرم، ما بر تأمین منابع جریان داده خود سرو در دسترس برای کاربران داخلیمان از تمام عمودی ها تکیه می کنیم، مانند موضوعات کافکا، فلینک و خطوط CDC (ترکیب داده تغییر) ، انواع مختلف از کانکتورهای Kafka-Connect و همچنین دفترچه یادداشت Apache Zeppelin، به طوری که آنها بتوانند به سادگی از داده های واقعی زمان استفاده کنند برای ساخت برنامه ها و خدمات هوشمند.

در این مقاله، ما سفر خود را از زیرساخت به عنوان کد (IaC) تا یک صفحه کنترل پیشرفته تر که روشی نوین برای خودخدماتی منابع جریان داده در Grab را غیرممکن کرده است، معرفی می کنیم. این تغییر نیز منجر به بهبود قابلیت همپوشانی، پایداری، امنیت و پذیرش کاربران از پلتفرم جریان داده ما می شود.

بیان مسئله

در اوایل عصر ابر عموماً عملیات روزانه برای ایجاد منابع مجازی را با کلیک بر روی کنسول وب ارائه دهنده ابر انجام می دادند که گاهی به عنوان کلیک است ارجاع می شود.

کلیک است دارای معایبی است مانند:

قابلیت مرور، پیگیری و بررسی تغییرات زیرساخت ناپذیر است.قابلیت مقیاس پذیری عملیات زیرساخت محدود است.عدم همسانی بین محیط ها، مانند محیط نمونه و تولید.قابلیت بازیابی سریع از فاجعه با بازسازی زیرساخت در مکان دیگر زمانی.

با این حال، کلیک است یک مزیت بسیار بزرگ دارد؛ این باعث می شود ایجاد منابع با استفاده از رابط کاربری گرافیکی (UI) برای هر کسی مانند مهندسان زیرساخت، مهندسان نرم افزار، مهندسان داده و غیره به سادگی امکان پذیر باشد. این نیز منجر به سرعت تکرار بالا به سمت نوآوری به طور کلی می شود.

IaC بسیاری از محدودیت های کلیک را به طوری که:

تغییرات در سیستم کنترل نسخه (VCS) مانند گیت اعمال می شوند: آنها می توانند توسط همتاها قبل از ادغام بررسی شوند. تمام تاریخچه تغییرات در دسترس است برای بررسی موضوعات و برای آزمون.عملیات زیرساخت بهتر مقیاس می شود: کد برای بخش های مشابه زیرساخت قابل مدولاریت است. تغییرات می توانند به طور خودکار توسط لوله های CI در سیستم VCS اجرا شوند، زمانی که یک تغییر به شاخه اصلی ادغام می شود.همان کد می تواند برای استقرار محیط های نمونه و تولید به طور یکنواخت استفاده شود.زیرساخت هر زمان می تواند از کد منبع خود بازسازی شود، در صورت وقوع فاجعه.

با این حال، IaC به طور ناخواسته نیز موانع ورودی جدیدی را ایجاد کرد، که نیاز به یادگیری ابزارهای جدیدی مانند Ansible، Puppet، Chef، Terraform و غیره دارد.

بعضی سازمان ها تیم های Site Reliability Engineer (SRE) را برای مدیریت متمرکز، عملیات و پشتیبانی از این ابزارها و زیرساخت به طور کلی تنظیم می کنند، اما این به زودی باعث ایجاد مشکلات جدید در مسیر نوآوری می شود.

از طرف دیگر، دیگران به تیم های مهندسی اجازه می دهند زیرساخت خود را مدیریت کنند، و به همان رویکرد متصل شده اند. ما از Terraform برای مدیریت زیرساخت استفاده می کنیم و انتظار داریم تمام تیم ها مهندسانی را که دوره آموزش Terraform را گذرونده و درک واضحی از آن دارند، داشته باشند.

در این زمینه، پلتفرم Coban ابتدا به عنوان یک دسته از مخازن Git در نظر گرفته شده بود که کاربران برای ایجاد منابع جریان داده خود تغییرات Terraform خود را ارسال کنند. بعد از بررسی توسط یک مهندس Coban، این تغییرات توسط لوله CI داشت اجرا شود.

اگرچه این یک قدم معنادار در مسیر خودخدماتی و پلتفرمی شدن ارائه Coban در Grab بود، اما دارای چندین معایب مهم بود:

پایداری: به دلیل عدم کنترل تغییرات Terraform، لوله CI به خطاها و شکست های مکرر تمایل داشت. به عنوان مثال، کاربران با تکثیر یک پروژه Terraform جدید ، اما سپس فراموش می کنند تا محل ذخیره state یا وضعیت از راه دور Terraform را تغییر دهند، که منجر به جایگزینی در محل موجود شدن یک منبع است.مقیاس پذیری: تیم Coban نیاز به بررسی همه MR ها و ارائه پشتیبانی به صورت اد hoc داشت هر زمان که لوله خراب شد.امنیت: در نبود Identity and Access Management (IAM) ، MR ها ممکن است شامل تغییرات مربوط به منابع تیم های دیگر باشند، یا حتی تغییرات در زیرساخت هسته Coban با بازبینی کد به عنوان یک حصار گارد.Limited user growth: ما تنها می توانیم کاربرانی را که در Terraform ماهر هستند، به دست آوریم.

به زودی روشن شد که نیازمندیم لایه ای از انتزاع بین کاربران و کد Terraform خود ایجاد کنیم تا سطح کنترل را افزایش دهیم و در عین حال تمام مزایای IaC را حفظ کنیم.

راه حل

ما یک صفحه کنترل سه سطحی داخلی طراحی و ایجاد کردیم که شامل:

واسط کاربری Coban ، یک رابط کاربری وب پیشانی که کاربران خود را با تجربهی ClickOps یکپارچه فراهم می کند.Heimdall ، بک اند Go رابط کاربری ، کلیک است را به IaC تبدیل می کند.Khone ، لایه ذخیره و راه اندازی کننده ، یک مخزن Git است که کد Terraform و متادیتا همه منابع و همچنین لاین کشی های CI برای برنامهریزی و اجرای تغییرات را ذخیره می کند.

در بخش های بعدی، به این سه کامپوننت عمیق وارد خواهیم شد.

اگرچه ما سفر کاربر را از واسط کاربری Coban شروع کردیم، کاربران ما هنوز می توانند با Heimdall و Khone به صورت مستقیم ارتباط برقرار کنند ، به عنوان مثال برای تغییرات دسته ای ، یا فقط به این دلیل که بسیاری از مهندسان دوست دارند از Git استفاده کنند و ما می خواهیم ترویج گسترده ای را تشویق کنیم. برای اطمینان از هماهنگی نهایی داده در سه سیستم، ما Khone را تنها لایه ذخیره سازی دائمی انتخاب کردیم. Heimdall به طور منظم از Khone داده ها را بگیرد ، آنها را در حافظه نهان می کند و به واسط کاربری Coban در هر پرس و جویی ارائه می دهد.

ما همچنین به برای تمام منابع از Terraform استفاده کردیم، به جای ترکیب گونه های مختلفی از روش های زیرساخت اظهاری (به عنوان مثال Custom Resource Definition یا چارت های Helm) ، به منظور هماهنگی منطق در لایه های Khone CI.

واسط کاربری Coban

واسط کاربری Coban یک برنامه یک برگه React است که توسط تیم همکار ما Chroma ، یک تیم اختصاصی از مهندسان front-end که بر روی ایجاد UI های افسانه ای و کامپوننت های قابل استفاده مجدد برای تیم های پلتفرم در Grab افتخار می کنند ، طراحی شده است.

این به عنوان یک پورتال خدمات خودکار جامع عمل می کند و به کاربران امکان می دهد تنها با چند کلیک منابع جریان داده را ایجاد و پیکربندی کنند.

به علاوه از تسهیل ایجاد و پیکربندی منابع، واسط کاربری Coban به طور یکپارچه با چند سیستم نظارتی متصل شده است. این ادغام امکان نظارت بر زمان واقعی بر روی معیارهای بحرانی و وضعیت سلامتی برای اجزای زیرساخت Coban را فراهم می کند، از جمله خوشه های Kafka، نرخ بایت و وضعیت ورود خروج موضوعات Kafka و غیره. تحت پوست، تمام این اطلاعات توسط API های Heimdall ارائه شده است.

در مورد زیرساخت ، واسط کاربری Coban در هاستینگ وب سایت AWS S3 قرار دارد. تمام محتوای پویا با پرس و جو کردن API های پشتیبانی شده است: Heimdall.

Heimdall

Heimdall بک اند Go واسط کاربری Coban است. این مجموعه ای از API ها را برای ارائه می دهد:

مدیریت منابع جریان داده پلتفرم Coban با عملیات CRUD (ساخت، خواندن، به روزرسانی و حذف) ، برای رسوندن واسط کاربری Coban به عنوان یک تابع اصلی.Exposing the metadata of all Coban resources, so that they can be exposed by the Coban UI.Exposing the metadata of all Coban resources, so that they can be

از سال 2016 تاکنون، مجله زیبایی و درمانی آذروت ازGrabChat استفاده می‌کند، یک قابلیت پیام‌رسان داخلی برای اتصال کاربران ما با شرکا یا رانندگی‌کنندگان تحویل. با این حال، همانطور که سوپراپ آذروتشامل ویژگی‌های بیشتری شد، محدودیت‌های سیستم قدیمی آشکار شدند. GrabChat فقط می‌توانست چتهای دوتایی را مدیریت کند زیرا برای همین طراحی شده بود. برای افزایش قابلیت انعطاف‌پذیری قابلیت پیام‌رسان خود برای ویژگی‌های آینده، تصمیم به بازطراحی تجربه ارسال پیام گرفتیم که در حال حاضر به نام مرکز پیام می‌شود.

برای برخی از مردم، ساختن تابع چت خود ممکن است رویکرد ایده‌آلی نباشد، به‌ویژه با وجود جایگزین‌های منبع باز مانند Signal. با این حال، نیازمندی‌های کسب و کاری Grab مقداری پیچیدگی به همراه می‌آورد که ما را مجبور می‌کند به راه‌حل خود بپردازیم.

بعضی از این نیازمندی‌ها شامل موارد زیر می‌شوند، اما محدود به آنها نمی‌شود:

مدیریت انواع کاربران مختلف (مسافران، رانندگی‌کنندگان، مصرف‌کنندگان، شرکای تحویل، کارکنان پشتیبانی مشتریان، شرکای تجاری و غیره) با منطق و رفتار مناسب برای رابط کاربری (UI).امکان ارسال پیام‌های تولیدی سیستم توسط خدمات پشتیبانی آذروت و سفارشی‌سازی اعلان‌های فشاری.دریافت و ذخیره وضعیت پیام حتی اگر کاربران برنامه را حذف کرده و مجددا نصب کنند.کاربران باید قادر باشند پیام‌های تحویل‌نشده را دریافت کنند حتی اگر چندین ساعت آفلاین بوده باشند.فراهم کردن گزینه ترجمه برای غیرزبان‌مادری.فیلتر کردن کلمات ناشایست در چت.اجازه دادن به کاربران برای مدیریت چت‌های گروهی. این ویژگی ممکن است در آینده در صورت نیاز به ارتباط بین مسافران، رانندگی‌کنندگان و شرکای تحویل مورد استفاده قرار گیرد.

معماری راه‌حل

مرکز پیام جدید برای دو کامپوننت زیر طراحی شده است:

مرکز پیام - کارگر سرویسی که عملیات منطقی و پایگاه داده را انجام می‌دهد.تحویل چاپشونده‌های مرکز پیام - سرویس تحویل پیام که قابلیت مقیاس‌پذیری مستقل از سرویس پشتیبانی است.

این معماری امکان جداسازی و مقیاس‌پذیری مناسب سرویس‌ها را فراهم می‌کند. به عنوان مثال، اگر یک گروه چت با N شرکت کننده داشته باشید و هر پیام ارسال شده موجب تحویل N پیام می‌شود، این معماری اجازه می‌دهد سرویس تحویل چاپشونده‌های مرکز پیام به اندازه لازم برای مدیریت بار بیشتر مقیاس داده شود.

چون مجله زیبایی و درمانی آذروت از طریق سرویس مرکز پیام، میلیون‌ها رویداد را در روز ارسال می‌کند، باید اطمینان حاصل کنیم که سیستم ما قادر به مدیریت ترافیک بالا است. به همین دلیل از Apache Kafka به عنوان جریان رویداد با تاخیر کم و ترافیک بالا استفاده می‌کنیم که اتصال بین دو سرویس و از طریق یک صف با تاخیر زمان تلاش ۱۰ ثانیه‌ای تکراری صورت می‌گیرد.

یک جنبه مهم دیگر برای این سرویس، امکان پشتیبانی از ارتباطات کم‌تاخیر و دوطرفه از مشتری تا سرور است. به همین دلیل، برای ارتباط بین مشتریان تلفن همراه و وب از Protocol Control Transmission (TCP) به عنوان پروتکل اصلی استفاده می‌کنیم. مشتریان تلفن همراه و وب به Hermes متصل می‌شوند، سرویس دروازه TCP آذروت، که بسته‌های TCP را هضم می‌کند و بارهای مفید را از طریق gRPC به مرکز پیام رسانی می‌فرستد. اگر گیرنده و فرستنده هر دو آنلاین باشند، پیام با مدت زمانی کمتر از یک میلی‌ثانیه با موفقیت تحویل می‌شود.

بر خلاف پروتکل HTTP، بسته‌های جداگانه TCP نیازی به پاسخ ندارند، بنابراین عدم اطمینان در مورد تحویل موفقیت‌آمیز پیام وجود دارد. تحویل پیام ممکن است به دلیل چندین دلیل، مانند قطع شدن اتصال کاربر اما حفظ اتصال سرور، شکست بخورد. به همین دلیل، سیستمی از تائیدیه‌ها (ACKs) بین کاربر و سرور برقرار کرده‌ایم که اطمینان می‌دهد هر رویدادی توسط طرف گیرنده دریافت می‌شود.

نمودار زیر نمایشی از دنباله رویدادهای سطح بالا در هنگام ارسال یک پیام نشان می‌دهد.

با دنباله رویدادهای مرتبط با ارسال پیام و به‌روزرسانی وضعیت آن برای فرستنده از ارسال تا ارسال شده و از تحویل شده تا خوانده شده، فرآیند به‌سرعت پیچیده می‌شود. به عنوان مثال، فرستنده تا دریافت یک ACK سرور تلاش مجدد می‌کند تا پیام TCP 1302 را ارسال کند. به طور مشابه، سرور نیز تا دریافت ACK کاربر یا پیام 1303 TCP، تلاش می‌کند. با توجه به این مسئله، ما باید به توجه ویژه‌ای به پیاده‌سازی ACK داشته باشیم تا از تکرارهای نامحدود در کلاینت و سرور جلوگیری کنیم که می‌تواند منجر به خرابی در سراسر سیستم شود.

در آخر، ما همچنین باید به قطع شدن اتصال‌های TCP بر روی دستگاه‌های تلفن همراه توجه کنیم که بسیار رخ می‌دهد. در چنین مواردی چه می‌شود؟ مرکز پیام بستگی به Hedwig دارد، یک سرویس اعلان داخلی دیگر که در صورت دریافت پاسخ ناموفق از Hermes، اعلان‌های فشاری را به دستگاه تلفن همراه ارسال می‌کند. همچنین مرکز پیام یک پایگاه داده DynamoDB رویداد کاربر را حفظ می‌کند و وضعیت هر رویداد در حالت معلق را به تحویل شده تغییر می‌دهد هرگاه یک ACK کاربر دریافت شود.

هر باری که مشتری تلفن همراه به Hermes متصل می‌شود، نیز یک پیام TCP ویژه برای اطلاع رسانی به مرکز پیام ارسال می‌شود که مشتری به صورت آنلاین برگشت و سپس سرور تلاش می‌کند تا همه رویدادهای معلق را به مشتری ارسال کند.

دروس/نتیجه‌گیری

با وجود ویژگی‌های بزرگ مانند مرکز پیام، مهم است:

سرویس‌ها را از هم جدا کنید تا هر میکروسرویس بتواند به عنوان نیاز و مقیاس کار کند.نیازمندی‌های ویژگی خود را خوب درک کنید تا بتوانیم بهترین انتخاب‌ها و طراحی برای انعطاف‌پذیری داشته باشیم.اقداماتی را برای جلوگیری از اوقات انتظار سیستم، حلقه‌های نامحدود یا سایر خرابی‌ها که می‌تواند منجر به خرابی در سراسر سیستم شود، پیاده‌سازی کنیم. به عنوان مثال، محدودیت نرخ، دسته‌بندی پیام و شناسه‌های رویدادی یکتا.

به ما بپیوندید

مجله زیبایی و درمانی آذروت بزرگترین پلتفرم سوپراپ در جنوب شرق آسیا است که خدمات روزمره مهمی را برای مصرف کنندگان فراهم می‌کند. مجله زیبایی و درمانی آذروت فقط یک اپلیکیشن برای حمل و نقل و سفارش غذا نیست، بلکه خدمات متنوعی از جمله حمل و نقل، غذا، تحویل بسته و خرید مواد غذایی، پرداخت‌های تلفن همراه و خدمات مالی را در منطقه ارائه می‌دهد در ۴۲۸ شهر در هشت کشور.

قدرت گرفته از فناوری و انگیزه، ماموریت ما ترویج اقتصادی جنوب شرق آسیا با ایجاد توانمندی اقتصادی برای همه است. اگر این ماموریت به شما صحبت می‌کند، امروز به تیم ما بپیوندید!