معرفی

تیم پلتفرم داده بلادرنگ Grab کبان، منابع زیرساخت را از طریق زیرساخت به عنوان کد (IaC) مدیریت می کند. از طریق رویکرد IaC، از Terraform برای حفظ هماهنگی زیرساخت استفاده می شود، اتوماسیون و آسانی استقرار زیرساخت جریان زنده ما، به خصوص:

با رشد نماینده Grab، باید راه بهتری برای تغییر سازمانی زیرساخت به طور خودکار وجود داشته باشد. حرکت به سمت روند GitOps در بسیاری از راه ها برای ما سودمند است:

نسخه بندی و غیرقابل تغییر: با ذخیره کد منبع در مخازن Git، حالت مطلوب زیرساخت در یک محیط ذخیره می شود که عدم قابلیت تغییر، نسخه بندی و نگهداری تاریخچه نسخه را اجبار می کند، که در بازرسی و قابلیت ردیابی کمک می کند.استقرار سریعتر: با اتوماسیون فرآیند استقرار منابع پس از ادغام کد، ما مراحل دستی را حذف می کنیم و به طور کلی بهره وری مهندسی کلی را افزایش می دهیم در حالی که هماهنگی را حفظ می کنیم.بازگشت آسانتر: این به راحتی مانند بازگشت روی یک کامیت Git است در مقایسه با ایجاد یک درخواست ادغام (MR) و توضیح دستورات Atlantis است که مراحل اضافی را اضافه می کند و به افزایش زمان میانگین برای حل موارد عملکرد مشارکت می کند (MTTR) برای حوادث.

پیش زمینه

برخلاف، Coban پیاده سازی اتوماسیون منابع Terraform را با استفاده از Atlantis، یک برنامه که بر اساس نظرات کاربر در MR ها عمل می کند، انجام می دهد.

ما با Atlantis راه زیادی پیموده ایم. این به ما کمک کرده است تا جریان کاری خود را اتوماتیک کنیم و امکانات خود خدمت را برای مهندسین ما در دسترس قرار دهیم. با این حال، چند محدودیت در راه اندازی ما وجود داشت که می خواستیم بهبود ببخشیم:

دانسگرانه: راهی برای محدود کردن انواع منابع Terraform که کاربران می توانند ایجاد کنند وجود ندارد، که مسائل امنیتی را ایجاد می کند. به عنوان مثال، اگر یک کاربر یکی از صاحبان کد باشد، می تواند با تأییدیه تیم خود، دوره امتیاز IAM دیگری با دسترسی های مدیریتی ایجاد کند. همه جا در مخزن.

راه حل

ما یک راه حل GitOps داخلی به نام Khone توسعه داده ایم. نام آن الهام گرفته شده از آبشار Khone Phapheng است. ما برخی از بهترین و معروف ترین محصولات GitOps موجود را ارزیابی کرده ایم، اما تصمیم گرفتیم هیچ کدام را در نظر نگیریم زیرا بیشتر آنها برای پشتیبانی منابع اختصاصی یا سفارشی Kubernetes هستند و ما نیاز داشتیم زیرساخت زیرساخت را فراتر ببریم. با رویکرد ما، ما کنترل کاملی بر روی جریان کاربری کلی و پیاده سازی آن داریم و از طریق آن به پیامدهای زیر استفاده می بریم:

امنیت: قابلیت ایمنی خط لوله با اسکریپت ها و جریان کارهای سفارشی زیادی را دارد.تجربه کاربری ساده (UX): جریان کاری ساده شده و خطاهای انسانی را با اتوماسیون جلوگیری می کند.DRY: کاهش کدهای boilerplate. کاربران فقط نیاز به ایجاد یک منبع Terraform و نه یک پروژه کامل Terraform را دارند.

با تمام انواع منابع زیرساخت جریان زنده که ما پشتیبانی می کنیم، سوابق مشترکی مانند فضای نام، محیط یا نام خوشه مانند خوشه Kafka و خوشه Kubernetes شناسایی شده است. به عنوان مثال، استفاده از این مقادیر به عنوان مسیرهای فایل به ما کمک می کند تا ورودی کاربران را به راحتی اعتبار سنجی کنیم و آنها را از تنظیمات خاص منبع در کد منبع HCL خود جدا کنیم. علاوه بر این، باعث حذف اطلاعات تکراری برای حفظ هماهنگی می شود. اگر این قطعه اطلاعات در مسیر فایل باشد، در جای دیگری در تعریف منبع وجود نخواهد داشت.

با این رویکرد، ما می توانیم از اسکریپت های لوله که به زبان پایتون نوشته شده اند و اعتبارسنجی هایی بر روی انواع منابع و نام های منابع با استفاده از عبارت های منظم (Regex) را انجام دهند بدون وابستگی به توابع HCL استفاده کنیم. علاوه بر این، ما با استخراج خودکار تنظیمات مانند نقاط پایانی پراکسی Kafka از نام خوشه و محیط، خطاهای انسانی را جلوگیری کرده و به کارایی توسعه دهندگان کمک می کنیم.

مراحل لوله کاری

پیاده سازی لوله کاری Khone با سه مرحله طراحی شده است. هر مرحله وظایف و مسئولیت های مختلفی را در تأیید ورودی کاربر و ایجاد ایمن منابع ایجاد می کند.

مرحله اولیه

در این مرحله، تغییرات را به منابع حذف شده، ایجاد شده یا تغییر کرده و انواع منابع پشتیبانی نشده را فیلتر می کنیم. همچنین با اعتبارسنجی تغییرات بر اساس مسیر منبع و بررسی کد منبع HCL در ماژول Terraform آنها را از ایجاد منابع ناخواسته جلوگیری می کنیم. این مرحله همچنین آرتیفکت ها را برای مراحل بعدی آماده می کند.

مرحله Terraform

این یک لوله کاری نزولی است که دستور طرح یا دستور اعمال Terraform را بسته به وضعیت MR اجرا می کند، که ممکن است تأخیر در بررسی یا ادغام باشد.هر بخش جداگانه در پردازش های همزمان اجرا می شود برای هر تغییر منبع که در بازدهی کمک می کند و زمان کلی اجرای لوله را کاهش می دهد.

برای هر کار جداگانه، ما چندین گیت آنی امنیتی را پیاده سازی کرده ایم مانند:

بررسی کد: از کتابخانه python-hcl2 برای خواندن محتوای HCL منابع Terraform برای انجام اعتبارسنجی، محدود کردن انواع منابع Terraform که کاربران می توانند ایجاد کنند و اطمینان حاصل می کند که منابع تنظیمات مورد نظر دارند. همچنین از منبع Terraform مجاز به اعتبارسنجی مبدا ویدیویی استفاده کرده ایم بر اساس نوع منبع اعلام شده. این به ما این امکان را می دهد که از انعطاف پذیری زبان پایتون به عنوان یک زبان برنامه نویسی بهره ببریم و اعتبارسنجی ها را به طور پویا تر وابسته به توابع HCL بیشتر انجام دهیم.اعتبارسنجی منابع: ما تنظیمات را بر اساس مسیر منبع اعتبارسنجی می کنیم تا اطمینان حاصل کنیم کاربران با ساختار مسیر صحیح و قصد شده دنبال می کنند.اندازه گیری و قالب بندی: استفاده از برنامه Terraform CLI برای لینتینگ و قالب بندی کد HCL به منظور اطمینان از همسانی کد.

علاوه بر این، ماژول Terraform ما به طور مستقل پارامترها را با تأیید مسیر کاری به جای وابستگی به ورودی کاربر اعتبارسنجی می کند که به عنوان یک لایه دیگری از دفاع برای اعتبارسنجی عمل می کند.

مسیر = یکی (regexall (join ("/",
[
    "^ * "،
    "(? P <repository> khone | khone-dev) "،
    "منابع"،
    "(? P <namespace> [^/] *) "،
    "(? P <resource_type> [^/] *) "،
    "(? P <env> [^/] *) "،
    "(? P <cluster_name> [^/] *) "،
    "(? P <resource_name> [^/] *) $ "
] )، مسیر ( مسیر کاری))

مرحله معیار

در این مرحله، ما وضعیت کارهای قبلی را تحت عنوان موفقیت یا نرخ خطا گزارش می دهیم.

برای معیارهای ما، با حذف کاربران از Coban، به دست آوردن کاربران واقعی را تشخیص دادیم. این به ما کمک می کند معیارهای موفقیت را به طور پیوسته اندازه گیری کنیم زیرا می توانیم معیارها را از لوله های تست CI / CD جدا کنیم.

در نیمه دوم سال 2022، ما به یک uptime 100٪ برسید

«تلماتیک» یک ترکیب از کلمات مخابرات و اطلاعات شد که در دهه 1970 میلادی به کار بردن فناوری ارتباطی در تسهیل تبادل اطلاعات اشاره داشت. در دنیای مدرن، این فناوری‌ها می‌توانند شامل پلتفرم‌های ابری، شبکه‌های موبایل و انتقال‌های بی‌سیم (مانند بلوتوث) باشند. اگرچه قصد اصلی آن برای محدوده‌ای عمومی‌تر بود، اما امروزه به صورت خاص برای ارجاع به تلماتیک خودرو استفاده می‌شود که جزئیات حرکت خودرو را برای موارد استفاده مانند ایمنی رانندگی، تشخیص شخصیت راننده، بهینه سازی اسطول و بهبود بهره‌وری ردیابی می‌کند.

قبلاً این مقاله را منتشر کرده‌ایمتا با استفاده از تلماتیک، ایمنی رانندگی را بهبود ببخشیم. در این نوشتار وبلاگ، به بررسی عمیق‌تر استفاده از فناوری تلماتیک در مجله زیبایی و درمانی آذروت برای تشویق رانندگی ایمن توسط راننده‌ها و شرکای تحویل می‌پردازیم.

زمینه

در Grab، ایمنی کاربران و تجربه آنها در پلتفرم ما در اولویت بالاترین است. با تشویق عادات رانندگی ایمن از طرف رانندگان و شرکای تحویل ما، می‌توان تصادفات را به حداقل رساند و به طور پتانسیلی خسارت مالی، صدمات و حتی کشته شدن را کاهش داد. رانندگی ایمن همچنین به اطمینان از سفرهای ساده‌تر و تجربه‌ای لذت‌بخش‌تر برای مشتریانی که از پلتفرم ما استفاده می‌کنند، کمک می‌کند.

برای تشویق رانندگی ایمن، باید:

رویکردی مبتنی بر داده داشته باشیم تا بفهمیم چگونه رانندگان و شرکای تحویل ما رانندگی می‌کنند.به شرکایمان کمک کنیم تا با خلاصه‌سازی تاریخچه رانندگی کلیدی خودشان به یک گزارش تشخیص ایمنی رانندگی شخصی‌سازی‌شده دست پیدا کنند.

درک رفتار رانندگی

یکی از مستقیم‌ترین روش‌های ارزیابی رانندگی، بازخورد یا شکایات مشتریان است. با این حال، تعداد و پوشش این بازخوردها بسیار پایین است زیرا فقط برای عمودهای حمل و نقل مانند JustGrab یا GrabBike قابل اعمال است و برای عمودهای تحویل مانند GrabFood یا GrabExpress قابل اعمال نیستند. علاوه بر این، بیشتر شرکای رانندگی ناچار به دریافت هیچگونه بازخوردی مربوط به رانندگی (مثبت یا منفی) نیستند، حتی برای عمودهای حمل و نقل.

یک روش جامع‌تر برای ارزیابی رفتار رانندگی، استفاده از داده‌های رانندگی جمع‌آوری شده در رزروهای مجله زیبایی و درمانی آذروت است. برای درک این داده‌ها، ما بر روی حرکات رانندگی انتخاب شده (مانند ترمز، شتاب‌دهی، خم شدن و سرعت) تمرکز می‌کنیم و تعداد مواردی را که داده‌هایمان نشان می‌دهد رانندگی ناامن در هر یک از این حوزه‌ها وجود دارد، تشخیص می‌دهیم.

ما می‌پذیریم که موارد شناسایی شده ممکن است به خطا مبتلا شوند و ممکن است تصویر کاملی از اتفاقات در زمین را ارائه ندهند (به عنوان مثال، شرکای ممکن است به انجام ترمز اضطراری ناشی از یک فردی که به خط حرکت آن‌ها وارد شده است مجبور باشند).

برای رفع این موضوع، ما چندین کنترل ایمنی قرار داده‌ایم تا شناسایی‌ها ورودی غیردرست را به حداقل برساند. همچنین، هر ارزیابی رفتار رانندگی بر اساس تجمیع این موارد رانندگی ناامن بر روی مقادیر بزرگی از داده‌های رانندگی صورت می‌گیرد. به عنوان مثال، موارد ترمز مفرد تنها نتیجه قطعی را نخواهند داشت، اما اگر یک شریک رانندگی شمارش‌های چندگانه‌ای را به طور پیوسته در طول تعداد زیادی از رزروها نشان دهد، احتمالاً بهانه به رانندگی ناامن مانند رانندگی نزدیک یا دست‌کاری در حین رانندگی عادت دارد.

تلماتیک برای شناسایی رانندگی ناامن

برای اطمینان از ایمنی مشتریان مجله زیبایی و درمانی آذروت به طور پیوسته، نیاز است که رفتار رانندگی ناامن را پیش از وقوع تصادفات تشخیص دهیم. با این حال، ممکن نیست همیشه کسی همراه با رانندگان و شرکای تحویل ما باشد تا رفتار رانندگی آنها را مشاهده کند. باید از داده‌های حسگر استفاده کرد تا این رفتار رانندگی را به مقیاس بزرگ نظارت کنیم.

سنتیا، یک واحد اندازه‌گیری نسبی متخصص (IMU) مجهز به حسگرهایی مانند شتاب‌سنج، ژیروسکوپ و GPS به طور مستقیم بر روی خودرو نصب شده و شتاب‌دهی و سرعتی مربوط به خودرو را به طور مستقیم اندازه گیری می‌کند. به این ترتیب، تشخیص موارد رانندگی ناامن با استفاده از این داده‌ها ساده خواهد بود. بدون تردید، هزینه خرید و نصب چنین دستگاهی برای همه شرکای ما بسیار گران است و مشکل در مقیاس‌پذیری ایجاد می‌کند.

به جای آن، می‌توانیم از دستگاهی که همه شرکای ما قبلاً دارند، یعنی تلفن همراه خود، استفاده کنیم. تلفن‌های هوشمند مدرن در حال حاضر دارای حسگرهای مشابهی با IMU هستند و داده‌ها می‌توانند از طریق SDK تلماتیک جمع‌آوری شوند. جزئیات بیشتر در مورد جمع‌آوری داده‌های تلماتیک در یک مقاله تکنولوژی وبلاگ مجله زیبایی و درمانی آذروت اخیراً منتشرشده است1.

مهم است به طور کافی بالا نمونه‌برداری شود که داده‌های تلماتیک به اندازه کافی در فرکانس نمونه‌برداری شوند (بسیار بیشتر از 1 هرتز) تا عدم دقت در تشخیص موارد رانندگی ناامن با تکان‌های تند شتابی کاهش یابد.

پردازش داده‌های حسگر تلفن همراه برای تشخیص رانندگی ناامن

برخلاف IMU های ویژه موجود در خودروها، داده‌های حسگر تلفن همراه چالش‌های بیشتری برای تشخیص رانندگی ناامن دارند.

محاسبه جهت گیری: تلفن در مقایسه با خودرو

تلفن معمولاً در جهت گیری متفاوتی نسبت به خودرو قرار دارد. به صراحت از این می‌توان گفت که حسگر شتاب سنج تلفن، شتاب‌های تلفن را و نه شتاب خودرو اندازه گیری می‌کند. برای استخراج شتاب خودرو از داده‌های حسگر تلفن، الگوریتم پردازشی سفارشی سازی شده بهینه‌سازی شده برای داده‌های Grab توسعه داده شده است.

ابتدا، افست جهت گیری تلفن نسبت به خودرو با استفاده از زاویه‌های اویلر (گردش، تکانه و یاو) تعریف می‌شود. در پنجره‌های داده بدون شتاب خالص خودرو (مانند ترمز، حرکت خم شدن)، تنها شتابی که توسط شتاب سنج اندازه گیری می‌شود، شتاب گرانشی است. زوایای گردش و تکانه سپس توسط ترکیب تریگونومتریک تعیین می‌شوند. شتاب‌های سه محوری تلفن سپس به صفحه افقی چرخانده می‌شوند و زاویه یاو توسط تجزیه و تحلیل مؤلفه اصلی (PCA) تعیین می‌شود.

یک فرضیه در اینجا این است که برای PCA نیاز به ترمیم کافی ترمز و شتاب‌دهی وجود داشته باشد تا جهت جلو صحیح تعیین شود. تعیین زاویه‌های اویلر به طور دوره‌ای انجام می‌شود تا هر گونه حرکت تلفن‌ها در طول سفر را در نظر بگیرد. در نهایت، شتاب‌های تلفن خام به گونه‌ای چرخش داده می‌شوند که با استفاده از ضرب ماتریسی با ماتریس چرخش به دست آمده از زوایا ژئولوژی (مشاهده شکل 1) به جهت گیری خودرو تبدیل می‌شوند.

مدیریت تغییرات در کیفیت داده

الگوریتم پردازش ما بهینه شده است تا بسیار قوی و مقاوم در برابر تغییرات بزرگ در کیفیت داده‌هایی که از پلتفرم مجله زیبایی و درمان آذر ورودی می‌آیند باشد. برای پردازش داده‌های تلفن به منظور بازچینی داده‌های تلماتیک برای خودروهای چهار چرخ متداول روش‌های متعددی گزارش شده‌اند23.

با این حال، با استفاده گسترده از موتورسیکلت‌ها در پلتفرم ما، به خصوص برای عمودهای تحویل، مشاهده کردیم که داده‌های جمع آوری شده از خودروهای دو چرخه تمایل به نویز بیشتری دارند به دلیل تفاوت‌های در پایداری تلفن و لرزش‌های خودرویی. نویز داده می‌تواند در صورت نگهداری تلفن توسط شرکا در دست خود یا قرار دادن آن در جیب خود در حین رانندگی تشدید شود.

علاوه بر این، انتظار می‌رود کیفیت داده و در دسترس بودن حسگرها از مدل‌های مختلف تلفن، مانند مدل‌های قدیمی و پایین‌دست تا مدل‌های جدید و پرچمدار، متفاوت باشد. مثال خوبی برای نشان دادن قدرت الگوریتم ما داشتن استراتژی‌های متفاوت برای کنترل درجات مختلف نویز داده است. به عنوان مثال، برای داده‌های با نویز کم از فیلتر پایین گذر ساده استفاده می‌شود، در حالی که برای داده‌های با نویز بالا از رویکردهای تجزیه تغییری و فیلتر کالمن پیچیده‌تر استفاده می‌شود.

تشخیص ناهنجاری‌های رفتار با آستانه‌ها

با استفاده از معیار آستانه (مشاهده شکل 2) می‌توان موارد رانندگی ناامن را تشخیص داد.

برای شتاب و ترمز ناامن، از یک الگوریتم یافتن بیشینه استفاده می‌شود تا لحظه‌های شتاب‌دهی بیش از یک آستانه در جهت طولی (جلو / عقب) تشخیص داده شوند. برای رانندگی بدون ایمنی، تلفن‌های قدیمی و پایین‌دست عموماً با حسگر ژیروسکوپ تجهیز نمی‌شوند، بنابراین باید لحظه‌های شتاب جانبی (که شتاب جنبش میانه را در حین نوبت تشکیل می‌دهد) بیش از یک آستانه تشخیص داد. داده‌های جهت‌یابی GPS که به طور خشونت‌آمیز جهتی خودرو را اندازه‌گیری می‌کند، سپس برای تأیید استفاده می‌شود که آیا یک حرکت خم یا تغییر خط حرکت تشخیص داده می‌شود. آستانه‌های انتخاب شده بر اساس داده‌های Grab طبق مقادیر اولیه است که بر اساس ادبیات منتشر شده4و منابع دیگر است.

برای کاهش تشخیص مثبت غلط، هیچ نمونه ایمنی رانندگی مشخص نخواهد شد وقتی:

انطباقات بزرگی بین سرعت‌های حاصل از ادغام شتاب طولی (جلو / عقب) و سرعت‌های مستقیم اندازه گیری شده توسط حسگر GPS مشاهده می‌شود.حرکات بزرگ تلفن تشخیص داده شده است. به عنوان مثال، وقتی تلفن از داشبورد به صندلی سقوط کند، شتاب‌های ثبت شده در حسگر تلفن به طور قابل توجهی از شتاب‌های خودرویی تفاوت خواهند داشت.GPS

آزمایش A/B یک آزمایش است که در آن یک کاربر تصادفی پلتفرم تجارت الکترونیکی، به دو نسخه از یک متغیر داده می‌شود: یک گروه کنترل و یک گروه درمان، برای کشف نسخه بهینه که بهبود تبدیل را بیشینه می‌کند. هنگام اجرای آزمایش A/B، می‌توانید از رویکرد بهینه‌سازی Multi-Armed Bandit استفاده کنید تا کاهش تبدیل به علت عملکرد پایین را کمینه کنید.

در فرآیند سنتی توسعه نرم افزار، آزمایش Multi-Armed Bandit (MAB) و راه‌اندازی یک ویژگی جدید معمولاً فرآیندهای جداگانه‌ای هستند. نوآوری Multi-Armed Bandit System for Recommendation، در ادامه به عنوان بهینه‌ساز Multi-Armed Bandit Optimiser، پیشنهاد می‌دهد آزمایش Multi-Armed Bandit را به طور همزمان با راه‌اندازی ویژگی جدید به صورت خودکار انجام دهد.

فرآیند آزمایش MAB را در زمان راه‌اندازی ویژگی جدید خودکار می‌کند.پارامترهای بهینه را بر اساس معیارهای پیش‌تعیین‌شده هر حالت استفاده می‌کند که منجر به یک راه حل پایان به پایان بدون نیاز به مداخله کاربر می‌شود.از روش های Batched Multi-Armed Bandit و Monte Carlo شبیه سازی استفاده می‌کند که به او امکان می‌دهد سناریوهای کسب و کار بزرگ را پردازش کند.از یک حلقه بازخورد برای جمع آوری خودکار معیارهای توصیه از لاگ های رویداد کاربر و تغذیه آنها به بهینه‌ساز Multi-Armed Bandit استفاده می‌کند.از یک روش راه اندازی تطبیقی برای به صورت خودکار راه اندازی بهترین مدل با ظرفیت توزیع حداکثر به توزیع بازخورد معیارها استفاده می‌کند.

سیستم پردازش جریان یک سیستم سبک است که عملیات پایه‌ای را در جریان‌های Kafka انجام می‌دهد مانند انگلوماسیون، فیلترینگ و نگاشت. راه حل پیشنهادی بر این چارچوب تکیه دارد تا رویدادهای خامی که توسط برنامه‌های تلفن همراه و پردازش‌های پشتیبانی به صورت خروجی‌های مربوط به نورد وارد شده است را به فرمت مناسبی که می‌تواند به حلقه بازخورد تغذیه شود، پیش پردازش کند.

یک سیستم که معیارهای هدف را محاسبه کرده و توزیع ترافیک مدل را بهینه می‌کند. یک سرور معیارها را اجرا کرده که داده را از Stalker دریافت می‌کند که یک پایگاه داده سری زمانی است که رویدادهای پردازش شده را در یک ساعت گذشته ذخیره می‌کند. سرور معیارها به صورت دوره‌ای یک Spark Job را فراخوانی می‌کند تا کوئری‌های SQL را اجرا کند که معیارهای هدف از پیش تعیین شده را محاسبه می‌کند: نرخ کلیک، نرخ تبدیل و غیره که توسط کاربران ارائه می‌شود. خروجی کار در یک کیسه S3 دمپ شده و توسط runtime بهینه ساز برداشت می‌شود. این بهینه ساز Multi-Armed Bandit را اجرا می‌کند تا توزیع ترافیک مدل را بر اساس معیارهای هدف آخرین به روز رسانی بهینه سازی کند.

با روش شبیه سازی Monte-Carlo، به مدت بارهایی تکراری برای پیدا کردن بهترین بازو در پنجره شبیه سازی پیاده سازی می‌شود. سپس، نتایج شبیه سازی به عنوان درصدهای توزیع هر بازو در دور بعدی استفاده می‌شود.