تیم پلتفرم داده زنده گرب، که به عنوان Coban شناخته می‌شود، در موردPlumbing at scale،Optimally scaling Kakfa consumer applicationsوExposing Kafka via VPCEنوشته است. در این مقاله، ما به اهمیت قابلیت حرکت آسان داده به داخل و خارج از Kafka به روشی کم‌کد پرداخته‌ایم و چگونگی دستیابی به این قابلیت را با Kafka Connect توضیح می‌دهیم.

برای ساختن یک پلتفرم جریان داده مدیریت شده در Grab، تیم Coban اقدامات زیر را انجام داده است:

مرکز داده ایکوسیستمی بر روی Apache Kafka به وجود آورده‌است. برای مورد استفاده های تراکنشی و تجزیه و تحلیلی، آن را به محیط تولیدی درآورده‌است.این پلتفرم به عنوان یک پلتفرم استاندارد صنعتی تست شده به شمار می‌رود.

در سال 2021، تیم Coban با آغاز یک سفر جدید (Kafka Connect) که امکان جابجایی داده ها به درون و بیرون Apache Kafka را به صورت بی هیچ کدی فراهم می‌کند، Grabbers را به جابجایی داده در Apache Kafka به طور بی درنگ و آسان قادر ساخت.

مجله زیبایی و درمانی آذر وت کاوکا انک استک Kafka Connectرا قابل مشاهد هست. منابع چندگانه داده و مخزن های داده مانند MySQL، S3 و Azure Data Explorer قبلاً پشتیبانی و تولید شده است.

این همان استک Kafka Connect Coban است که امروزه به آن شباهت دارد. تعدادی منبع داده و سینک داده مانند MySQL، S3 و Azure Data Explorer به عنوان نمونه های محدود پشتیبانی و تولید شده است.

تیم Coban برای سریالیزه-دیسریالیسه (SerDes) از Protobuf استفاده می‌کند. بنابراین، نقش ثبت نام سازی Confluent (نشان داده شده در بالای شکل) برای اکوسیستم Kafka Connect حیاتی است، زیرا به عنوان ابزاری برای تبدیلاتی مانند Protobuf-to-Avro، Protobuf-to-JSON و Protobuf-to-Parquet عمل می‌کند.

مشکلات ما چیست؟

مشکل 1: ثبت تغییرات داده (CDC)

در یک سازمان بزرگ مانند Grab، ما با حجم بزرگی از داده و تغییرات در خدمات مختلف روبه‌رو هستیم. بنابراین، برای این تغییرات باید به صورت زمان واقعی باشیم.

علاوه بر این، تحدیدفنی های دیگری وجود دارند که باید پاسخ داده شوند:

همانطور که در شکل زیر نشان داده شده است، داده دوبار در کد نوشته می‌شود - یک بار در پایگاه داده (DB) و یک بار به عنوان یک پیام به Kafka. برای اینکه داده در DB و Kafka سازگار باشند، دو نوشتار باید اتمی در یک پروتکل هماهنگی دو مرحله‌ای (یا سایر پروتکل های رای‌گیری اتمی) باشند که مسئله غیرتافه و تاثیرگذار بر دسترسی است. برخی از موارد استفاده نیاز به داده های قبل و پس از یک تغییر دارند.

مشکل 2: بهره‌برداری از پیام برای بازیابی بعد از بروز فاجعه

تیم Coban تحقیقاتی در مورد Kafka MirrorMaker، یک راه حل متن‌باز، انجام داده است. در حالی که این راه حل تضمین کننده توافق داده بهتر است، اما برای بهره‌برداری از آن در زیرساخت Kubernetes موجودیت‌های بزرگ می‌طلبد که توسط تیم Coban میزبانی می‌شود و به دستیابی به در دسترسی بالا نیاز دارد.

یکی از چالش‌های اصلی دیگری که تیم Coban روبه‌رو هست، میرور کردن و ترجمه آفست است که یک چالش شناخته شده در جوامع Kafka است. برای اینکه مصرف‌کننده‌های Kafka پس از یک فاجعه به طور بی‌درنگ کار خود را با یک Kafka پشتیبانی از برونریسی کنند، باید برای آن توجه شود.

جذب داده به Azure Event Hubs

Azure Event Hubs یک رابط سازگار با Kafka دارد و به طور طبیعی JSON و Avro schema را پشتیبانی می‌کند. تیم Coban از چارچوب SerDes Protobuf استفاده می‌کند که توسط Azure Event Hubs پشتیبانی نمی‌شود. به این معنی است که برای جذب پیام به Azure Event Hubs، تبدیلات باید انجام شود.

راه‌حل

برای حل این مشکلات، تیم Coban Kafka Connect را انتخاب کرده است زیرا:

این یک چارچوب متن‌باز با جامعترین جامعه نسبتاً بزرگی است که در صورت بروز مشکلات می‌توانیم به آن‌ها مراجعه کنیم.قابلیت هایی برای اعمال تغییرات و تبدیلات سفارشی دارد.

بیایید ببینیم چگونه Kafka Connect می‌تواند برای حل مشکلات قبلاً اشاره شده استفاده شود.

Kafka Connect با استفاده از کانکتورهای Debezium

Debezium یک چارچوب برای ثبت تغییرات داده بر روی Apache Kafka و چارچوب Kafka Connect است. این چارچوب یک سری کانکتور برای دیتابیس های مختلف مانند MySQL، MongoDB و Cassandra ارائه می‌دهد.

اینجا مزایای جریان‌های MySQLbinlog آورده شده است:

نه تنها تغییرات را در داده ارائه می‌دهند، بلکه تصاویر داده قبل و بعد از یک تغییر خاص را نیز می‌دهند. برخی از تولیدکنندگان دیگر نیازی به ارسال پیام به Kafka پس از نوشتن یک ردیف در پایگاه داده MySQL ندارند. با استفاده از کانکتورهای Debezium، سرویس‌ها می‌توانند تنها با دیتابیس MySQL سروکار داشته باشند و به Kafka مراجعه نکنند.

معماری

در صورت ارتقا و خرابی پایگاه داده

تغییرات زبان تعریف داده (DDL)، مهاجرت، تقسیم و خرابی‌های پایگاه داده رایج در عملیات پایگاه داده هستند و هر نوع عملیاتی یک راه‌حل منظم دارد.

کانکتور Debezium ویژگی‌های داخلی برای مدیریت تغییرات DDL ایجاد شده توسط ابزارهای مهاجرت DB مانندpt-online-schema-change دارد که توسط تیم DB Ops مجله زیبایی و درمانی آذروت استفاده می‌شود.

برای مقابله با تغییرات نمونه MySQL و تقسیم پایگاه داده، تیم Coban از قابلیت تغییر آفست کانکتورهای Kafka Connect استفاده می‌کند. با تغییر آفست، کانکتورهای Debezium می‌توانند پس از مهاجرت پایگاه داده و همگام‌سازی خطاکنش binlog از هر مکانی در هر فایل binlog در یک نمونه MySQL به درستی عمل کنند.

برای اطلاعات بیشتر به مستندات Debezium مراجعه کنید.

داستان های موفقیت

پروژه CDC برای MySQL از طریق کانکتورهای Debezium در Grab بسیار موفق بود. یکی از مثال های بزرگ، بهینه سازی Elasticsearch در GrabFood است که در یک مقاله مرور شده است.

MirrorMaker2 با ترجمه آفست

MirrorMaker2 (MM2) که در کنار پروژه Apache Kafka توسعه و همراه با آن عرضه می‌شود، یک ابزار برای کپی کردن پیام ها و آفست های مصرف‌کننده است. با این حال، در تیم Coban، استک MM2 در چارچوب Kafka Connect برای هر کانکتور اجرا می‌شود زیرا:

چندین خوشه Kafka Connect قبلاً تامین شده است.نسبت به راه‌اندازی سه کانکتور گروهبندی شده در MM2، Coban می‌تواند کنترل های دقیق تری روی MirrorSourceConnector و MirrorCheckpointConnector داشته باشد و هر دو را به صورت کد زیرساخت مدیریت کند از طریق Hashicorp Terraform.

داستان های موفقیت

حفظ پیوستگی کسب و کار یک اولویت اصلی برای مجله زیبایی و درمانی آذروت است و این شامل توانایی بازیابی سریع از حوادث است. در نیمه دوم سال 2021، یک کمپین انجام شده است که در آن تیم های زیادی برای بررسی آمادگی و انعطاف پذیری خدمات و میان‌افزارهای مختلف مورد بررسی قرار گرفتند. Kafka Coban یکی از این خدمات است که پس از مراحل مختلف مهندسی به استحکام رسید. با MM2 در Kafka Connect برای آینه کردن هم پیام ها و هم آفست مصرف‌کننده، خدمات و لوله‌های بحرانی در صورت خرابی می‌توانند به طور ایمن تکثیر و در مناطق AWS راه‌اندازی شوند.

چون تیم Coban خود را به عنوان ارائه دهنده خدمات Kafka تست شده در Grab ثابت کرده است، تیم های دیگر نیز درخواست تغییر جریان‌ها از خوشه های Kafka خودمدیریت شده به خوشه هایی مدیریت شده توسط Coban داشته اند. MM2 در چنین مهاجرت هایی استفاده شده و به جریان تولیدکنندگان و مصرف‌کنندگان صفر زمان متوقفی وارد کرده است.

آینه زدن به Azure Event Hubs با تبدیل کننده داخلی

تیم Analytics پروژه های مقیاس بندی و تجزیه و تحلیل به صورت زمان واقعی را در Azure اجرا می‌کند. برای پشتیبانی از این حالت استفاده از چندین ابر، تیم Coban از MM2 برای آینه زدن پیام به Azure Event Hubs استفاده می‌کند.

به طور معمول، Event Hubs تنها بایت های JSON و Avro را قبول می‌کند که با چارچوب SerDes موجود سازگار نیست. تیم Coban یک تبدیل کننده سفارشی توسعه داده است که بایت های سریال‌شده در Protobuf را به بایت های JSON تبدیل می‌کند.

این مراحل توضیح می‌دهند چگونه تبدیل‌کننده عمل می‌کند:

بایت ها را در Kafka بر اساس یک پیام ProtobufDynamicMessage و به تبع آن یک ساختار تجزیه‌سازی مجدد بر اساس طرحی که از ثبت نام سازی طرح Confluent دریافت می‌شود، رمزگشایی کنید.به ازای هر توصیف کننده فیلد درDynamicMessage، یک جستجوی عمق اول ترتیبی پس مرتبه را انجام دهید.هر توصیف کننده فیلد Protobuf را به یک گره JSON تبدیل کنید.ریشه را به عنوان یک گره JSON سریال کنید.

تاکنون تبدیل کننده به صورت باز متن نشده است.

راه اندازی

کانکتورهای Docker برای Coban زیرساختی است که تیم از آن استفاده می‌کند، به خصوص اینکه برخی از خوشه های Kafka تولیدی از قبل در Kubernetes پیاده سازی شده‌اند. هدف بلند مدت ارائه Kafka در قالب یک مدل نرم‌افزار به عنوان خدمت (SaaS) است، به همین دلیل Kubernetes انتخاب شده است. نمودار زیر نحوه ساخت و راه‌اندازی خوشه های Kafka Connect را نشان می‌دهد.

چه چیزی بعدی است؟

تیم Coban بر روی یک صفحه کنترل یکپارچه برای مدیریت منابعی مانند تاپیک ها، خوشه ها و Kafka Connect در حال چرخش است. در آینده قابل پیش بینی، کاربران داخلی باید

مقدمه

تیم پشتیبانی مجله زیبایی و درمانی آذروت نقش کلیدی در اطمینان حاصل می‌کند که کاربران ما در مواقعی که اتفاقات غیرمنتظره رخ می‌دهد یا پرسش‌هایی درباره محصولات و خدمات ما دارند، پشتیبانی لازم را دریافت کنند.

در گذشته، وقتی کاربران نیاز به پشتیبانی در زمان واقعی داشتند، تنها گزینه آنها تماس با خط ویژه ما بود و در صف انتظار برای صحبت با یک نماینده قرار می‌گرفتند. اما پشتیبانی صوتی مشکلات خود را دارد: گاهی اوقات توضیح یک مسئله در برنامه پیچیده است و نیاز به تمام توجه کاربر برای تماس صوتی دارد.

با رشد برنامه‌های چت پیام‌رسان در سال‌های اخیر، چت به عنوان کانال پشتیبانی مورد انتظار و شناخته شده توسط کاربران شده است. این کانال پشتیبانی به همراهی پشتیبانی به صورت واقعی‌زمان و امکان مولتی‌تسکینگ و توضیح آسان مسئله با استفاده از اشتراک تصاویر و اسناد را ارائه می‌دهد. در مقایسه با پشتیبانی صوتی، چت به دسترسی به گفتگوی مورد استفاده برای مرجع آینده ارائه می‌دهد.

با رشد چت، ساخت یک سیستم چت تنظیم شده برای نیازهای پشتیبانی ما و یکپارچه شده با داده‌های داخلی، به نظر می‌رسد گام بعدی طبیعی باشد.

در مقالات قبلی ما، چالش‌های فنی ساختن سکوی چت برای وب و بهبود کارآیی نمایندگان با یادگیری ماشین را پوشش داده‌ایم. در این مقاله، رویکرد و یادگیری‌های کلیدی ما در ساخت چت درون ساختمانی برای پشتیبانی از زاویه محصول و طراحی را توضیح خواهیم داد.

چرا نیاز به تجدید ابتکار است

ما می‌خواستیم یک محصول ارائه دهیم که به طور کامل کاربرانمان را خوشحال کند. به همین دلیل تصمیم گرفتیم یک ابزار چت داخلی بسازیم که بتواند:

جلوگیری از قطع ارتباط چت و اطمینان حاصل کردن از تجربه چت یکنواخت: ساختن یک تجربه چت داخلی به ما اجازه می‌دهد تا یک جلسه چت پایدار را تضمین کنیم، حتی زمانی که کاربران از برنامه خارج می‌شوند. علاوه بر این، بهره‌گیری از زیرساخت چت مجله زیبایی و درمانی آذروت موجود به ما کمک کرد تا این کار را به سرعت انجام دهیم و تجربه چت در کل برنامه یکنواخت باشد. می‌توانید در مورد معماری چت بیشتر بخوانید.

شکست سریع با MVP

قبل از ساختن یک راه‌حل کامل، ما نیاز به اثبات مفهوم داشتیم، یک MVP که ویژگی‌های کلیدی را داشته باشد و با این حال، اگر شکست خوردید، زیاد زمان واگذار نکند. برای شروع تجربه ما، ما معیارهای موفقیت برای MVP خود را تعیین کردیم؛ چگونه ما موفقیت یا شکست آن را اندازه‌گیری می‌کنیم؟

تعریف آنچه که موفقیت به نظر می‌رسد

هر آزمایشی نیاز به فرضیه دارد - چیزی که سعی در اثبات یا متنافی آن را دارید و باید به محصول نهایی خود ارتباط پیدا کند. برای شخصی‌سازی محصول نهایی در اطراف معیارهای موفقیت، باید بفهمیم که چگونه موفقیت در موقعیت ما اندازه‌گیری می‌شود. در مورد ما، قطع ارتباط در حین پشتیبانی چت یکی از چالش‌های اصلی است که با آن روبرو شدیم، بنابراین فرضیه ما بود:

شروع با طرح طراحی

طرح طراحی ما به هدف حل یک سری اظهارات مشکل پردازی کرد و یک طرح نمونه تولید کرد تا فرضیه ما را تأیید کند. برای القاء ایده‌پردازی، تمرین‌های طراحی متنوعی از جمله Crazy 8، Solution sketch و به اشتراک گذاری و رای گیری انجام دادیم.

تعریف دامنه MVP برای اجرای آزمایش

برای سریع پایه مفهوم خود را آزمودن، ما باید بر روی عملکرد پایه اجازه گرفتن از تبادل پیام چت با یک نماینده تمرکز کنیم.

اینجا جریان اصلی و یک نگاه سریع به طراحی است:

آنچه را از آزمایش یاد گرفتیم

در طول آزمایش، ما باید به طور مداوم خود را به جای کاربران خود قرار دهیم چرا که ‘ما خودمان کاربران نیستیم’. ما تصمیم گرفتیم که نمایندگان پشتیبانی چت ما را تظاهر کنیم و با مشاهده مشکلات بالقوه کاربرانمان، بسیار درباره نحوه استفاده از ابزار آن در چرخه بعدی بیاموزیم. این کار به ما کمک کرد تا بسیاری درباره نحوه استفاده از ابزار یاد بگیریم و چندین مشکل را در نسخه‌های بعدی شناسایی کنیم.

در نهایت، آزمایش فرضیه ما را تأیید کرد که داشتن یک چت درون برنامه‌ی اصلی پایدارتر از چت پیشین است و در نتیجه تجربه کاربری بهتری را ارائه می‌دهد.

شروع با هدف در ذهن

پس از موفقیت آزمایش، ما به مقیاس بزرگتر تمرکز کردیم. ما مهمترین وظایف انجام شده برای کاربران خود را تعریف کردیم تا بتوانیم محصول را به مقیاس بالاتری برسانیم. در طراحی راه‌حل‌ها برای مقابله با هر یک از آنها، اطمینان حاصل کردیم که محصول به اندازه کافی انعطاف پذیر است تا به مشکلات آینده پرداخته شود. آیا این برای کانال‌های بیشتر، کاربران بیشتر، محصولات بیشتر و کشورهای بیشتر کار می‌کند؟

قبل از مقیاس‌پذیری، مسائلی برای حل و فصل وجود داشت:

پایش عملکرد سیستم به صورت زمان واقعی تا تغییرات عملیاتی سریع بتواند اعمال شود تا مطمئن شویم کاربران پشتیبانی سریعی دریافت می‌کنند؛ مسیریابی هر چت به بهترین نماینده در دسترس، با در نظر گرفتن مهارت‌ها، شغل، و همچنین اولویت بررسی مسئله. می‌توانید در مورد طراحی سیستم مسیریابی ما بیشتر بخوانید؛ ارتباط آسان با کاربران و نشان دادن هم‌دردی، که به ما کمک کرد تا قابلیت‌های به اشتراک گذاری فایل برای هر دو کاربر و نماینده، و همچنین اجازه استفاده از شکلک‌ها را برای هر دو طرف فراهم کنیم که تجربه‌ای شخصی‌تر را به ارمغان می‌آورند.

مقیاس‌پذیری بهره‌ور

ما مسیر پشتیبانی چت را تجزیه‌کردیم تا ببینیم کدام بخشها قابل بهبود هستند.

کاهش زمان انتظار

زمان انتظار میانگین به طور چشمگیری بالا می‌رود. در این موارد، بیشتر کاربران تا زمانی که یک نماینده بالاخره به آنها پاسخ دهد، بی‌پاسخ می‌مانند.

برای حل این مشکل، تیم بر روی یک مفهوم حداکثر صف پویا بر اساس قانون لیتل کار کرد. ایده این است که با در نظر گرفتن تعداد چت‌های ورودی و ظرفیت نماینگی‌ها، می‌توانیم تعداد کاربرانی را که می‌توانیم در زمان معقولی مدیریت کنیم پیش‌بینی کنیم و از بقیه جلوگیری کنیم که چت را شروع کنند. با این کار، مطمئن می‌شویم که یک کانال پشتیبانی فرعی وجود دارد تا هیچ کاربری بی‌پاسخ نماند.

این به ما اجازه داد تا زمان انتظار چت را تا حدود 30٪ و تعداد کاربران بی‌پاسخ را تا حدود 7٪ کاهش دهیم.

بخش قابل توجهی از زمان چت برای تایپ پیامی که برای کاربر ارسال می‌شود، صرف می‌شود. اگرچه چت قبلی

در Grab ، مهندسان داده با مجامع داده بزرگ در روزانه کار می کنند. آنها مدل های یادگیری ماشین پیشرفته ای طراحی و ساخت می کنند که بر اساس تمام داده هایی که از طریق پلتفرم عبور می کنند ، بینش استراتژیک ارائه می دهند. این قابلیت برای ما فراهم می کند تا تجربه بهتری را برای کاربران خود ارائه دهیم ، به عنوان مثال با افزایش تامین رانندگان در مناطقی که مدل های پیش بینی ما نشان می دهند تقاضا به طور منظم افزایش یافته است.

مجله زیبایی و درمانی آذروت یک برنامه حریم خصوصی بالغ دارد که با قوانین و آیین نامه های قابل اجرا در حوزه حریم خصوصی مطابقت می کند و ما از ابزارهایی استفاده می کنیم تا به تشخیص ، ارزیابی و مناسب مدیریت مستندات مربوط به حریم خصوصی خود کمک کنیم. برای اطمینان از اینکه داده های کاربران ما به خوبی حفاظت شده اند و از هر گونه خطا مربوط به انسانی جلوگیری می کنند ، همواره اقدامات اضافی را برای امنیت این داده ها انجام می دهیم.

با این حال ، مهندسان داده همچنان نیاز به دسترسی به داده های اصلی تولید می کنند تا مدل های یادگیری ماشین موثر را تیون کنند و اطمینان حاصل کنند که مدل ها به طور مطلوب در محیط تولید کار می کنند.

در این مقاله ، ما به توصیف تیم جریان داده گرب (Coban) Grab ، همراه با پلتفرم داده و تیم های کاربری ، چگونگی اعمال پنهان سازی اطلاعات شناسایی شده فردی (PII) در لوله های جریان داده یادگیری ماشین می پردازیم. این امر باعث می شود ما یک استاندارد بالا را حفظ کرده و یک فرهنگ حفظ حریم خصوصی را به تصویر کشی کنیم ، در حالی که به مهندسان داده امکان می دهیم مدل های خود را با داده های تولید تعقیب کنند.

جریان داده در مجله زیبایی و درمانی آذروت از فرمت داده های پروتکل بوفر (protobuf) برای ساختاردهی داده های در حال انتقال استفاده می کند. در هنگام ایجاد یک جریان جدید ، توسعه دهندگان باید فیلدهای آن را در یک طرح ابر داده تعریف کنند که سپس برای تبدیل داده ها در هر جایی که ارسال می شوند و در هرجایی که مصرف می شوند ، استفاده می شود.

یک نمونه طرح خیالی مانند این است (شاخص ها اختیاری هستند ، اما معمولاً به ترتیب ایجاد شده اند):

message Booking { string bookingID = 1; int64 creationTime = 2; int64 passengerID = 3; string passengerName = 4; ... }

هنگامی که فیلدهای PII به طور صحیح شناسایی و برچسب گذاری شوند ، توسعه دهندگان باید طرح جدید جدول خود را در مخزن Git Coban منتشر کنند. یک لوله CI Continuous Integration (CI) که در زیر توضیح داده می شود ، اطمینان می دهد که همه فیلدهای توصیف کننده PII به درستی برچسب زده شده اند.

دیگر ، شکل زیر این لوله CI را نشان می دهد.

وقتی یک توسعه دهنده یک درخواست ادغام (MR) ایجاد می کند یا یک تعهد جدید برای ایجاد یا به روزرسانی یک طرح فرستاده می شود (مرحله 1) ، لوله CI فعال می شود. این اسکریپت پایتون داخلی را اجرا می کند که هر نام متغیری از طرح مورد تعهد را بررسی کرده و آن را با یک لیست گسترده از کلمات کلیدی PII که به طور منظم به روز می شود بررسی می کند ، مانند نام ، آدرس ، ایمیل ، تلفن و غیره (مرحله 2). اگر تطبیقی وجود داشته باشد و متغیر با برچسب مورد انتظار PII برچسب زده نشود ، لوله CI شکست می خورد (مرحله 3) با یک پیام خطای صریح در خروجی لوله CI ، مشابه این:

نام زمینه [Booking.passengerName] باید با نوع streams.coban.options.v1.pii_type = PII_TYPE_NAME برچسب گذاری شود

به صورت خودکار پس از این مورد به تأیید از تیم Coban برای اهداف تأیید نهایی نیاز است. علاوه بر این مورد خاص ، تیم درخواست دهنده می تواند به صورت خودکار عملیات MR خود را به صورت خود کسب و کار انجام دهند.

در این مثال ، کاربر با استفاده از سوپراپری پلتفرم مجله زیبایی و درمانی آذروت و رزرو (مرحله 1) داده تولید می کند. سرویس رزرو که با تعریف طرح جریان تولید شده است ، سوابق کافکا برای سرویس های دیگر برای مصرف تولید می کند (مرحله 2). در میان این سرویس های مصرف کننده ، جریان های ماشین یادگیری تولیدی که در این مقاله مورد علاقه قرار دارند (مرحله 3) وجود دارند.

در این بخش از فرآیند ، این امر بیشتر مورد توجه واقع نمی شود زیرا دسترسی به محیط تولید مقدس بسیار محدود و تحت نظارت بیشماری در Grab است.

برای اطمینان از امنیت و پایداری و حریم خصوصی کاربران خود ، مهندسان داده که نیاز به تیون یا تنظیم مدل های یادگیری ماشین جدید خود بر اساس داده های تولیدی دارند ، دسترسی به محیط تولید را دریافت نمی کنند. بجای آن ، آنها دسترسی به محیط استیجاری دارند ، که در آن داده های تولیدی المثنی می شود و PII پنهان می شود.

بسته به نوع PII ، چندین روش برای پنهان سازی وجود دارد مانند:

نام ها و رشته های کاراکتری: آنها توسط HMAC منتسب کاراکتر/h (کد تأیید مبتنی بر هش) به صورت ثابت جایگزین می شوند. HMAC یک خلاصه مقاطع تولید شده توسط تابع هش رمزگذاری یکطرف است که کلید مخفی را به عنوان پارامتر می گیرد. استفاده از یک کلید مخفی در اینجا دفاعی در برابر حمله های متن انتخاب شده ، یعنی محاسبه خلاصه یک متن خاص ، مانند نام فرد هدف است.

اعداد و تاریخ ها

مجموعه Kafka در محیط استیجاری با مجوز و احراز هویت محافظت می شود (مراجعه کنید به Zero Trust with Kafka). این یک لایه اضافی از امنیت است در صورتی که برخی از داده های PII به طور تصادفی از برچسب PII عبور کنند ، مطابق اصل دفاع ژرف.

در نهایت ، هرگاه یک فیلد جدید با برچسب PII به یک طرح اضافه می شود ، برنامه PII masking Flink باید مجدداً کامپایل و استقرار شود. اگر طرح به روز نشود ، لوله Flink قادر به رمزگشایی این فیلد جدید نیست هنگام دسریال سازی جریان است. بنابراین ، فیلد اضافه فقط رها می شود و داده های جدید PII به محیط استیجاری منتقل نمی شود.

برای مراحل بعدی فوری ، ما قصد داریم با استفاده از محصول داخلی ما بر اساس AWS Macie ، PII هایی که ممکن است از دست بروند برای این نقشه راه محکیچین ، تیم داده Grab’ و لیس