معرفی

در Grab، با داده های سطح پتابایت سروکار داریم و موجودیت های داده متعددی را مدیریت می کنیم که از جداول پایگاه داده تا طرح های پیام Kafka متفاوت است. درک داده ها درون آن برای ما حیاتی است، زیرا این کار نه تنها مدیریت دسترسی به داده را برای حفاظت از داده های کاربران، رانندگان و شرکت های معامله گر اصلاح می کند، بلکه فرایند کشف داده برای تحلیلگران و دانشمندان داده را برای پیدا کردن آنچه که می خواهند بهبود می بخشد.

تیم Caspian (تیم مهندسی داده) به صورت نزدیکی با تیم حاکمیت داده در همکاری برای اتوماسیون تولید متادیتای حاکمیتی همکاری کرد. ما با تشخیص اطلاعات شخصی قابل شناسایی (PII) آغاز کردیم و یک سرویس هماهنگی با استفاده از سرویس طبقه بندی شخص ثالث را برگرداندیم. با ظهور مدل زبان بزرگ (LLM)، امکانات جدید برای تولید متادیتا و شناسایی داده های حساس در Grab ممکن شد. این امر موجب پایه ریزی از پروژه شد که هدف آن ادغام طبقه بندی LLM در سرویس موجود ما بود. در این بلاگ، بینش خود را در مورد تبدیل از آنچه که یک فرآیند خسته کننده و دردناک بود به یک سیستم بسیار کارآمد، و چگونگی توانمند سازی تیم ها در سراسر سازمان به اشتراک می گذاریم.

برای راحتی مراجعه، در زیر لیستی از اصطلاحاتی که استفاده کرده ایم و تعریف آنها را می بینید:

موجودیت داده: موجودیتی است که یک طرح دارای سطرها / جریان های داده را نمایندگی می کند، به عنوان مثال، جداول پایگاه داده، پیامهای جریان، جداول دیتا لیک.پیش بینی: برچسب خروجی مدل را با توجه به موجودیت داده، به صورت دستی تایید نشده.طبقه بندی داده: فرایند طبقه بندی موجودیت داده داده شده است، که در زمینه این بلاگ، شامل تولید برچسب هایی است که داده های حساس را یا انواع داده های خاص Grab را نشان می دهد.تولید متادیتا: فرایند تولید متادیتا برای موجودیت داده داده شده است. در این بلاگ، از آنجایی که متادیتا را تا حد برچسب ها محدود کردیم، اغلب از این اصطلاح و طبقه بندی داده به صورت هم رده استفاده می کنیم.حساسیت: به سطح محرمانگی داده اشاره دارد. حساسیت بالا به معنی محرمانه بودن داده است. پایین ترین سطح حساسیت معمولا به داده های قابل مشاهده عمومی یا عموما در دسترس است اشاره می کند.

زمینه

زمانی که ابتدا به مسئله طبقه بندی داده پرداختیم، هدف ما حل یک مسئله مشخص تر بود - تشخیص اطلاعات شخصی شناسایی پذیر (PII). ابتدا برای حفاظت از داده های حساس در برابر فاش شدن تصادفی یا سوء استفاده، مجله زیبایی و درمانی آذروت فرآیندها و کمپین های دستی را اجرا کرد که به تاگ کردن طرح ها با پایگاه مختصر حساسیت کمک می کند. این پایگاه حساسیت از Tier 1 که طرح های دارای اطلاعات بسیار حساس را نمایندگی می کند تا Tier 4 که هیچ اطلاعات حساسی ندارد، متنوع است. به عنوان نتیجه، نیمی از تمام طرح ها به عنوان Tier 1 علامت گذاری شده اند و اقدامات سختگیرانه کنترل دسترسی را اعمال می کنند.

حضور یک جدول Tier 1 واحد در یک طرح با صد ها جدول، دسته بندی کل طرح را به عنوان Tier 1 توجیه می کند. با این حال، از آنجا که داده های Tier 1 کمیتی نادر است، این معنا می شود که حجم زیادی از جداول غیر Tier 1 که بهتر است قابل دسترس باشند، کنترل دسترسی سختگیرانه دارند.

منتقل کردن کنترل دسترسی از سطح طرح به سطح جدول به ایمنی قابل انجام نبود به دلیل عدم وجود طبقه بندی جدول در دریاچه داده. ما می توانستیم چندین کمپین طبقه بندی دستی برای جداول انجام دهیم، با این حال این کار به دو دلیل امکان پذیر نبود:

حجم، سرعت و نوع داده ها در سازمان افزایش یافته بود، بنابراین تصنیف بر روی سطح جدول نسبت به سطح طرح بسیار بیشتر زمان می برد. بنابراین، یک راه حل برنامه نویسی برای ساده سازی فرایند طبقه بندی لازم بود تا نیاز به زحمت دستی را کاهش دهد.توسعه دهندگان برنامه، علاوه بر آشنایی با دامنه تجاری داده خود، سیاست های طبقه بندی داده داخلی و مقررات خارجی داده را با تفاوت در درک تفسیر می کنند.

یک سرویس به نام جمینی (نامگذاری شده قبل از اعلام مدل جمینی توسط گوگل!) در داخل برای اتوماسیون فرآیند تولید برچسب با استفاده از سرویس طبقه بندی داده شخص ثالث ساخته شد. هدف آن اسکن موجودیت های داده را به صورت دسته ای و برچسب ستون / فیلد تولید کند. سپس این برچسب ها توسط تولید کنندگان داده مموزی می شوند. تیم حاکمیت داده قوانین طبقه بندی را فراهم می کند و با استفاده از طبقه بندیگرهای عبارت با قوانین مکمن گسسته سومین سرویس، برای کشف اطلاعات حساس استفاده می شود.

پس از اجرای نسخه اولیه جمینی، چند چالش باقی ماند.

ابزار شخص ثالث امکان سفارشی سازی طبقه بندی گرهای یادگیری ماشین را نمی دهد و الگوهای رگولار عمومی بیش از حدی خطا می دهد. ساخت گرهای داخلی نیاز به یک تیم داده شناسی مختص تربیت مدل سفارشی دارد. آنها باید مقدار زمان قابل توجهی را برای درک قوانین حاکمیت داده به طور کامل و آماده سازی مجموعه داده هایی با برچسب دستی تمرینی سرمایه گذاری کنند.

LLM در دنیای تازه” آیفون (iPhone moment) ”با شکستگی ChatGPT در صحنه ظاهر شد. این مدل با استفاده از مجموعه بسیار بزرگی از متن آموزش دیده است و شامل تریلیون پارامتر است. این قادر است برای وظایف درک زبان طبیعی، نوشتن کد و حتی تحلیل داده براساس نیازها مورد استفاده قرار گیرد. LLM به طور طبیعی نقاط درد مذکور را حل می کند زیرا به نیروی زبانی آن برای نیروهای حاکمیت داده ارائه می کند. آنها می توانند از طریق پیام های متنی الزامات حاکمیت را بیان کنند و LLM بدون نیاز به کد یا آموزش مدل به راحتی سفارشی شوند.

روش

در این بخش، به جزییات پیاده سازی جزئیات طبقه بندی داده می پردازیم. لطفا برای دیدن چگونگی کار به نمودار زیر مراجعه کنید:

این نمودار نشان می دهد چگونه پلتفرم های داده، سرویس تولید متادیتا (جمینی) و مالکان داده با یکدیگر همکاری می کنند تا متادیتا را طبقه بندی و تایید کنند. پلتفرم های داده درخواست های اسکن را به سرویس جمینی ارسال کرده و فرایند طبقه بندی برچسب ها را شروع می کند. پس از پیش بینی برچسب ها، پلتفرم های داده پیش بینی ها را مصرف می کنند و مالکان داده مطلع می شوند تا این برچسب ها را تایید کنند.

سازگارسازی

سرویس سازنده ما، ژامینی، درخواست های طبقه بندی داده را از پلتفرم های داده مدیریت می کند. از نظر معماری، شامل اجزای زیر است:

پلتفرم های داده: این پلتفرم ها مسئول مدیریت موجودیت های داده و شروع درخواست های طبقه بندی داده هستند.ژامینی: این سرویس سازنده با پلتفرم های داده ارتباط برقرار می کند، برنامه ریزی و گروه بندی درخواست های طبقه بندی داده را انجام می دهد.موتورهای طبقه بندی: دو موتور در دسترس هستند (سرویس طبقه بندی شخص ثالث و GPT3.5) برای اجرای کارهای طبقه بندی و بازگرداندن نتایج. از آنجا که هنوز در حال ارزیابی دو موتور هستیم، هر دو موتور به طور همزمان کار می کنند.

وقتی سرویس سازنده درخواست ها را دریافت می کند، به تشکیل دسته های کوچک مناسب کمک می کند. این گروه بندی از طریق صف پیام در بازه های زمانی ثابت قابل دستیابی است. به علاوه، یک محدود کننده نرخ در سطح جریان کار اضافه شده است. این امکان را به سرویس می دهد تا با نرخ مربوطه از API های ارائه دهندگان خدمات ابری تماس بگیرد و از ترافیک اضافی جلوگیری کند.

مختص آرکانیزاسیون LLM، دو محدودیت وجود دارد که باید مورد توجه قرار گیرد. اولین مورد طول متن است. طول ورودی نمی تواند از طول متن، که در زمان توسعه برابر با 4000 نشانه برای GPT3.5 بود (یا حدود 3000 کلمه)، فراتر رود. مورد دوم، محدودیت نمادکننده کلی است (زیرا ورودی و خروجی با یک محدودیت نمادین برای یک درخواست تکنولوژی به اشتراک می گذارند). در حال حاضر، تمام استقرارهای مدل Azure OpenAI نقل مالکیت همان محدودیت در یک حساب را به اشتراک می گذارند، که در دقیقه 240K توکن تنظیم شده است.

طبقه بندی

در این بخش، به طبقه بندی برچسب ستون بر اساس LLM تمرکز می کنیم. فرآیند طبقه بندی برچسب به شرح زیر تعریف می شود:

با توجه به موجودیت داده با یک طرح تعیین شده، می خواهیم هر فیلد طرح را با طبقه بندی های متادیتایی که طبق یک طرح داخلی از حاکمیت داده ها بودجه بندی شده اند برچسب گذاری کنیم.

مجله زیبایی و درمانی آذروت is Southeast Asia's leading superapp, providing everyday services such as ride-hailing, food delivery, payments, and more. In this blog, we'd like to share our journey in discovering the need for GrabMart and coming together as a team to build it.

Back in March 2020, as the COVID-19 pandemic was getting increasingly widespread in Southeast Asia, people began to feel the pressing threat of the virus in carrying out their everyday activities. As social distancing restrictions tightened across Southeast Asia, consumers' reliance on online shopping and delivery services also grew.

Given the ability of our systems to readily adapt to changes, we were able to introduce a new service that our consumers needed - GrabMart. By leveraging the GrabFood platform and quickly onboarding retail partners, we can now provide consumers with their daily essentials on-demand, within a one hour delivery window.

As early as November 2019, مجله زیبایی و درمانی آذروت was already piloting the concept of GrabMart in Malaysia and Singapore in light of the growing online grocery shopping trend. Our Product team decided to first launch GrabMart as a category within GrabFood to quickly gather learnings with minimal engineering effort. Through this pilot, we were able to test the operational flow, identify the value proposition to our consumers, and expand our merchant selection.

We learned that consumers had difficulty finding specific items as there was no search function available and they had to scroll through the full list of merchants on the app. Drivers who received GrabMart orders were not always prepared to accept the booking as the orders - especially larger ones - were not distinguished from GrabFood. Thanks to our agile Engineering teams, we fixed these issues efficiently, ensuring a smoother user experience.

With the exponential growth of GrabMart regionally at 50% week over week (from around April to September), the team was determined to create a new version of GrabMart that better suited the needs of our users.

Our user research validated our hypothesis that shopping for groceries online is completely different from ordering meals online. Replicating the user flow of GrabFood for GrabMart would have led us to completely miss the natural path consumers take at a grocery store on the app. For example, unlike ordering food, grocery shopping begins at an item-level instead of a merchant-level (like with GrabFood). Identifying this distinction led us to highlight item categories on both the GrabMart homepage and search results page. Other important user research highlights include:

Item/Store Categories. For users that already have a store in mind, they often look for the store directly. This behaviour is similar to the offline shopping behaviour. Users, who are unsure of where to find an item, search for it directly or navigate to item categories.Add to Cart. When purchasing familiar items, users often add the items to cart without clicking to read more about the product. Product details are only viewed when purchasing newer items.Scheduled Delivery. As far as delivery time goes, every consumer has different needs. Some prefer paying a higher fee for faster delivery, while others preferred waiting longer if it meant that the delivery fee was reduced. Hence we decided to offer on-demand delivery for urgent purchases, and scheduled delivery for non-urgent buys.

In order to meet our timelines, we divided the deliverables into two main releases and got early feedback from internal users through our مجله زیبایی و درمانی آذروت Early Access (GEA) programme. Since GEA gives users a sneak-peek into upcoming app features, we can resolve any issues that they encounter before releasing the product to the general public. In addition, we made some large-scale changes required across multiple مجله زیبایی و درمانی آذروت systems, such as the order management system to account for the new mart order type, the allocation system to allocate the right type of driver for mart orders, and the merchant app and our Partner APIs to enable merchants to prepare mart orders efficiently.

Coupled with user research and country insights on grocery shopping behaviour, we ruthlessly prioritised the features to be built. We introduced Item categories to cater to consumers who needed urgent restock of a few items, and Store categories for those shopping for their weekly groceries. We developed add-to-cart to make it easier for consumers to put items in their basket, especially if they have a long list of products to buy. Furthermore, we included a Scheduled Delivery option for our Indonesian consumers who want to receive their orders in person.

As we implemented multiple product changes, we realised that we could not risk overwhelming our consumers with the amount of information we wanted to communicate. Thus, we decided to prominently display product images in the item category page and allocated space only for essential product details, such as price. Overall, we strived for an engaging design that balanced showing a mix of products, merchant offers, and our own data-driven recommendations.

"COVID-19 has accelerated the adoption of on-demand delivery services across Southeast Asia, and we were able to tap on existing technologies, our extensive delivery network, and operational footprint to quickly scale GrabMart across the region. In a post-COVID19 normal, we anticipate demand for delivery services to remain elevated. We will continue to double down on expanding our GrabMart service to support consumers' shopping needs," said Demi Yu, Regional Head of GrabFood and GrabMart.

To learn more about GrabMart and its supported stores and features, click .

لیستی از تمامی معیارها و اطلاعات مربوط به آن‌ها می‌تواند در اینجا پیدا شود.

sparkMeasure

به عنوان یک ابزار مستقل، سپارک‌میچر ساخته شده است تا معیارهای مربوط به کارهای سپارک را به‌طور قوی و قابل اعتماد ثبت کند.

این ابزار به عنوان یک گوش‌دهنده سفارشی ثبت شده و با جمع‌آوری معیارهای داخلی که سپارک بین گره‌های درایور و اجرا کننده ارسال می‌کند، فعالیت می‌کند. قابلیت برجسته آن قابلیت جمع‌آوری همه معیارهایی است که سپارک آن‌ها را پشتیبانی می‌کند، همانطور که در مستندات رسمی سپارک تعریف شده است که می‌توانید به آنجا مراجعه کنید.

نمونه‌هایی از معیارهای مرحله به دست آمده توسط سپارک‌میچر (کد منبع)

حالت برنامه‌ریزی = FIFO

پاراللیسم پیش‌فرض شیوه کاری سپارک = 8

معیارهای تجمعی مراحل سپارک:

تعداد مراحل => 3
تعداد وظایف => 17
زمان گذشته => 1291 (1 ثانیه)
مدت زمان مرحله => 1058 (1 ثانیه)
مدت زمان اجرا کننده => 2774 (3 ثانیه)
مدت زمان پردازنده مرحله => 2004 (2 ثانیه)
مدت زمان بازیابی همگرا شدن اجرا کننده => 2868 (3 ثانیه)
زمان پردازنده مرحله => 1051 (1 ثانیه)
زمان سریالی‌سازی نتیجه => 5 (5 میلی ثانیه)
زمان بازیابی زباله (GC) JVM => 88 (88 میلی ثانیه)
زمان انتظار برای دریافت داده‌های شافل => 0 (0 میلی ثانیه)
زمان نوشتن داده‌های شافل => 16 (16 میلی ثانیه)
حجم نتیجه => 16091 (15.0 کیلوبایت)
زمان به دیسک ریخته شده (به بایت) => 0 (0 بایت)
زمان به حافظه ریخته شده (هرزنونی) => 0 (0 بایت)
حافظه اجرایی بیشینه => 0
تعداد ضبط شده‌ها => 2000
حجم داده‌های خوانده شده => 0 (0 بایت)
تعداد ضبط نوشته شده => 0
حجم داده‌های نوشته شده => 0 (0 بایت)
تعداد ضبط خوانده شده از شافل => 8
تعداد کل بلوک‌های دریافت شده از شافل => 8
تعداد بلوک‌های محلی دریافت شده از شافل => 8
تعداد بلوک‌های دور از شافل دریافت شده => 0
مجموع بایت‌های خوانده شده از شافل => 472 (472 بایت)
مجموع بایت‌های محلی خوانده شده از شافل => 472 (472 بایت)
مجموع بایت‌های دور از شافل خوانده شده => 0 (0 بایت)
مجموع بایت‌های دور از شافل خوانده شده برای ریختن به دیسک => 0 (0 بایت)
مجموع بایت‌های نوشته شده به شافل => 472 (472 بایت)
تعداد ضبط نوشته شده به شافل => 8

مدت زمان مراحل و مدت زمان آن‌ها:
مدت زمان مرحله 0 => 593 (0.6 ثانیه)
مدت زمان مرحله 1 => 416 (0.4 ثانیه)
مدت زمان مرحله 3 => 49 (49 میلی ثانیه)

سازماندهی داده

معماری آیریس برای مسیریابی بهینه معیارها به دو مقصد اصلی طراحی شده است:

مجموعه داده‌های بلادرنگ: InfluxDB مجموعه داده‌های آفلاین: GrabTech Datalake در AWS

مجموعه داده بلادرنگ

تازگی / تاخیر: 5 تا 10 ثانیه

تمامی معیارهایی که از طریق موضوعات Kafka جاری می‌شوند، به‌صورت فوری در InfluxDB ثبت می‌شوند. بخش حیاتی این فرآیند با استفاده از Telegraf، یک عامل سرور مبتنی بر افزونه است که برای جمع‌آوری و ارسال معیارها استفاده می‌شود. Telegraf به عنوان یک مصرف‌کننده Kafka، به هر یک از موضوعات Kafka وفق می‌دهد و پیام‌های JSON ورودی را تجزیه کرده و داده‌های مهم (مانند نقش، نام میزبان، نام کار و غیره) را استخراج می‌کند. پس از پردازش داده‌ها، Telegraf آن‌ها را در InfluxDB می‌نویسد.

InfluxDB داده‌های ذخیره شده را در چیزی که ما آن‌ها را ‘اندازه‌گیری’ می‌نامیم، سازماندهی می‌کند که می‌توان آن‌ها را به عنوان جداولی در بانک‌های اطلاعاتی رابطه‌ای سنتی در نظر گرفت.

در زمینه آیریس، داده بلادرنگ خود را به معیارهای مهم زیر ساختاردهی کرده‌ایم: