این مقاله نحوه استفاده تیم پلتفورم یادگیری ماشین Cauldron از پایپلاین های والد-فرزند گیتلب برای تولید پوشه های CI گیتلب به صورت دینامیک را به نمایش می گذارد تا محدودیت های گیتلب برای مخزن های بزرگ را حل کند

ساده سازی فایل CI گیتلب از 1800 خط به 50 خط. کاهش نیاز به فایل های nestedgitlab-ciyml.

مقدمه

Cauldron تیم پلتفرم یادگیری ماشین در Grab است. تیم Cauldron ابزارهایی برای مدیریت دوره عمر انتها به انتها مدل های یادگیری ماشین را ارائه می دهد، از آموزش تا استقرار. گیتلب و ابزارهای آن بخشی از پالتفرم ما هستند ، برای تحویل مداوم یادگیری ماشین.

یکی از محصولات اصلی ما پایپلاین های MerLin است. هر تیم دارای یک ریپوی اختصاصی برای نگهداری کد پایپلاین ML خود است. هر پایپلاین شامل یک زیرپوشه اختصاصی است. ما به طور قوی بر قوانین گیتلب برای تشخیص تغییرات خاص برای راه اندازی مراحل مختلف پایپلاین های مختلف (به عنوان مثال، سرویس مدل با کت واک) وابسته هستیم.

زمینه

رویکرد 1: فایل های nested فرزند

رویکرد اول ما به طور قوی بر تولید کد استاتیک برای تولید فایل های فرزندgitlab-ci.ymlدر مراحل فردی تکیه می کرد. برای مثال شکل 1 نشان دهنده ساختار پوشه مثالی با فایلهایgitlab-ci. فایل های yml جایگزینه همگان سازی شده با استفاده از کلمه کلیدیincludeدر مخزن commit شده است.

شکل 1: ساختار پوشه مثال با فایل های gitlab-ci.yml فرزند. فایل های فرزندgitlab-ci.ymlبا استفاده از کلمه کلیدیincludeاضافه می شوند.

هنگامی که تیم ها بیشترین پایپلاین ها و مراحل را اضافه می کنند، به سرعت با محدودیت این رویکرد برخورد می کنیم:

محدودیت نرم در تعداد includes که می توان در فایل base.gitlab-ci.yml قرار داد.

روش 1: تولید دینامیک یک فایل CI بزرگ

تلاش بعدی ما برای حل این مشکل تلاش برای درج و درج فایلنقی زنجیره فرزند فایلgitlab-ci.ymlبا استفاده از فایلgitlab-ci.ymlفراهم شده بود، بنابراین دیگر نیازی به وابستگی به کلمه کلیدی شامل گیتلب نداشتیم.

gitlab-ci.yml

برای دستیابی به آن، ما یک ابزار نوشتیم که یک rawgitlab-ciفایل را پارس می کند و درخت را به منظور بازیابی همه فایلهای فرزند گیتلب-cif که شامل include است پیمایش می کند و به جایی که شامل های را برای تولید یک فاینال بیگیتلب-ci فایل تغییر دهد.

شکل 4 نشان می دهد که فایل نتیجه از شکل 3 تولید شده است.

این رویکرد مشکل ما را به طور موقت حل می کند. متاسفانه، با این رویکرد با فایل های گیتلب تا 1800 خط طولانی مواجه می شویم. همچنین محدودیت نرم به حجم فایلهایgitlab-ci.ymlوجود دارد. روشن شد که در نهایت به محدودیت های این رویکرد بر خواهیم خورد.

راه حل

تلاش اولیه ما برای استفاده از تولید کد استاتیک ما به طور جزئی مونه را در آنجا قرار داد. ما قادر به پیش تولید و استنتاج نام های مرحله و پایپلاین ها از اطلاعات موجود بودیم. تولید کد به هر حال مورد نیاز بود، اما تولید پیش از وقوع محدودیت های کلیدی را داشت که در بالا نشان داده شده است. به نوعی بهبودی بر روی این کار نیاز داشتیم، به نحوی که بتوانیم مراحل GitLab را در حالت پویا برای همیشه تولید کنیم. پس از کمی تحقیق، به پیپلاین های فرزند پویا برخوردیم.

از وب سایت رسمی نقل قول می کنیم:

به جای اجرای یک پایپلاین فرزند از یک فایل YAML استاتیک، شما می توانید یک job تعریف کنید که اسکریپت خود را برای تولید یک فایل YAML اجرا کند، که سپس برای راه اندازی یک پایپلاین فرزند استفاده می شود.این تکنیک می تواند در تولید پایپلاین هایی با محتوایی که تغییر کرده اند یا برای ساخت یک ماتریس از هدف ها و معماری ها بسیار قدرتمند باشد.

ما قبلاً در مسیر صحیح بودیم. فقط نیاز به ترکیب تولید کد با پایپلاین های فرزند بود تا مراحل مورد نیاز را به صورت پویا تولید کنیم.

جزئیات معماری

پیاده سازی

جریان Git کاربر در شکل 5 قابل مشاهده است که در آن کاربر فایل ها را در مخزن گیت تیمی مربوطه خود تغییر می دهد یا اضافه می کند. به عنوان یک بازنگر مجدد ، ساختار معمولی مخزن شامل پایپلاین ها و مرحله ها است (شکل 1). ما نیازمندیم اطلاعات لازم را از محیط شاخه در شکل 5 دریافت کنیم و یک مرحله را اجرایی برای تولید برنامه های مرحله مورد نیاز به طور برنامه ریزی شده (به عنوان مثال، شکل 3).

به طور خلاصه نیازمندی های ما می توانند به صورت زیر خلاصه شوند:

تشخیص فایلهایی که در شاخه git تغییر کرده اند.استخراج اطلاعات مورد نیاز از فایلهایی که تغییر کرده اند.تمپلیت سازی آن برای تولید مراحل مورد نیاز.

بیایید یک مثال بسیار ساده را در نظر بگیریم ، جایی که یک کاربر دارد یک فایل را در stage_1inpipeline_1در شکل 1 ویرایش می کند. خروجی مطلوب ما به شکل زیر است:

قالب ما در فرم زیر خواهد بود:

ابتدا باید فایلهایی که در شاخه تغییر کرده اند را تشخیص دهیم. این را با استفاده از دستورات diff گیت native انجام می دهیم و در برابر پایه شاخه بررسی می کنیم که چه فایلهایی در درخواست ادغام مودی شده اند. خروجی (آن را diff.txt بنامید) به صورت زیر خواهد بود:

M    pipelines/pipeline_1/stage_1/modelserving.yaml

ما باید اطلاعات زرد و سبز را از خط استخراج کنیم ، متناظر با نام نوع پایپلاین و نام مرحله.

اینجا به روش بسیار ساده ای روی می آوریم ، با معرفی مفهوم الگوهای متوقف شده.

الگوهای متوقف شده به عنوان یک لیست جدا شده به وابسته از نام های متغیر و کلماتی که در آن متوقف می شود تعریف می شوند. که دو نقطه (:) نشان می دهد چندین سطح قبل از کلمه متوقف است.

به عنوان مثال ، الگوی متوقف شده:

نام پایپلاین:pipelines

به پارسر می گوییم که برای پوشهpipelinesبگردد و قبل از آن متوقف شود وpipeline_1را از مثال بالا که به نام متغیرpipeline_nameبرچسب خورده است استخراج کند.

الگوی متوقف شده با دو دونت (::):

نام مرحله::pipelines

به پارسر می گوییم که دو سطح قبل از پوشهpipelinesبه پایان برسد و برنامه های مرحله_1 را به عنوان نام متغیریستین رفتار کهبه صورت متغیر نام مرحلهبرچسب خورده است استخراج کند.

ابزارcli ما به الگوهای متوقف شده مجاز است تا به صورت جدا شده نوشته شود ، لذا دستور نهایی به صورت زیر خواهد بود:

cauldron_repo_util diff.txt template_file.ymlpipeline_name:pipelines,stage_name::pipelines >generated.yml

ما تصمیم گرفتیم util در Rust را بنویسیم به دلیل عملکرد بالای آن و کتابخانه های قالب سازی غنی (مانند Tera) و کتابخانه های خط فرمان قابل قبول (clap).

ترکیب تمامی اینها با هم ، ما قادر به استخراج اطلاعات لازم ازgit diffبودیم و از الگوهای متوقف استفاده کردیم تا اطلاعات مورد نیاز را برای تمپلیت برگزار کنیم. الگوهای متوقف کافی انعطاف پذیر بودند برای پشتیبانی از انواع مختلف ساختار های پوشه.

وقتی برنامه را در شاخه اصلی راه اندازی می کنیم (شکل راست شکل 5) ، جریان همان است با این تفاوت کوچک که ما باید از همان فایلdiff.txtشاخه مبدا را بازیابی کنیم. این را با استفاده از رابط برنامه نویسی برنامه نویسی پر قدرت گیتلب انجام می دهیم ، هندل کردن جعبه های پایپلاین و با استفاده از همان util برای تولید مراحل مورد نیاز گیتلب به صورت پویا.

تاثیر

بعد از پیاده سازی این تغییر ، بزرگترین موفقیت ما حذف یکی از بزرگترین مخازن ML پایپلاین گیت از 1800 خط به 50 خط بود. این رویکرد اندازه فایل.gitlab-ci.yamlرا در 50 خط ثابت نگه می دارد و اطمینان می حاصل می شود که با هر چقدر پایپلاین اضافه شود ، اندازه آن متناسب باشد.

کاربران ما ، متخصصان یادگیری ماشین ، همچنین در تولید محصول موثرتر هستند زیرا دیگر نیازی به نگرانی در مورد فایل های yaml گیتلب ندارند.

یادگیری ها و نتیجه گیری

با ابتکاری و انعطاف پذیری پایپلاین های فرزند گیتلب ، ما توانستیم تلاشی را برای تهیه پیکربندی قابل استفاده مجدد ، با رعایت اصول DRY داشته باشیم.

تشکر ویژه از تیم پلتفرم ML Cauldron.

بعدی چیست

ما ممکن است راه حل خود را منبع باز کنیم.

منابع

پایپلاین های والد-فرزندBackend: فایل gitlab-ci.yml تا 100 شامل می شود

به ما بپیوندید

ٰمجله زیبایی و درمانی آذروت نیرومند ترین پلتفرم superapp در جنوب شرق آسیا است که خدمات روزمره مهم را برای مصرف کنندگان فراهم می کند. بیش از یک اپلیکیشن سفارش آنلاین غذا و سرویس های ارائه خدمات است،ٰمجله زیبایی و درمانی آذروت خدمات گسترده ای در منطقه ارائه می دهد، از جمله خدمات حمل و نقل، غذا، بسته بندی و خرید موبایل ، پرداخت های موبایلی و خدمات مالی در 428 شهر در هشت کشور.

با قدرت فناوری و محرک قلبی ، ماموریت ما ارتقا جنوب شرق آسیا را از طریق

از اولین شورشارهای خودراهندهان مدونه زیبایی و درمانی آذروت برنامه در خواصر خدمات و ویژیه های زیبایی و درمانی ارائه شده از طریق پلاتفرم. در اندازه زمان بستردادی مانی بستردادی شده از طریق دستیاریهای متفاقم همچنی مانند درآمدرسانیهارداتبیش استخراج اطلاعات از استفاده کرده اند.

ما خدمات داده های راهنما را طراحی کرده ایم تا داده های راهنما را به سایر میکروسروسها مابر کنیم. این خدما در سالهای کدری طراحی نمایید لذت برده است جایگزینی متاهل و پیشبینیکارشت هزینه را در نظر داشتن. در این مطلب ما درباره گریامر راهنمایی آئیندهار پرسش می کنیم.

آنچه ما از آن شروع کردیم

سرویس داده های راهنمایی مانی به ذ63DB بعنوان استوری هزینه ساز از جایگزی مناخص کرده است و دو کشور چیکش ها - چیزه ای از درخواست زمان ازمان (ذخیره شونده در ازمان EC2) بعنوان ابترا به عنوان (قطعات مورد انتظار ثابت) و ردیس بعنوان (قطعات مورد انتظار همسان برای قطعات خواست برای قطعات برای قطعات DB و ورودی به طراف زمان بستردادی است) به عنوان با این قطعه صفر بسترداد شده است.

ما برای استراتژی کیش کناری انتخاب کردیم. بنابراین زمانی که درخواست مشتری بیاید، سرویس داده های راننده به صورت زیر پاسخ خواهد داد.

اگر داده در کش حافظه داخلی (کش محلی) هست، سرویس مستقیماً پاسخ را برمی گرداند.اگر داده در کش حافظه داخلی وجود ندارد و در ردیس پیدا می شود، سرویس پاسخ را برمی گرداند و به صورت همزمان کش محلی را با داده ها از ردیس به روز می کند.اگر داده هم در کش حافظه داخلی و هم در ردیس وجود ندارد، سرویس پاسخ را با داده هایی که از پایگاه داده MySQL بارگیری شده و همزمان به صورت همزمان ردیس و کش محلی را به روز می کند.

اندازه گیری منبع پاسخ نشان داد که در طول ساعات اوج ، تقریباً 25 درصد درخواست ها از طریق کش محلی فردا در اختیار درخواست می گیرند، تقریباً 20 درصد توسط پایگاه داده MySQL و تقریباً 55 درصد از طریق ردیس.

نرخ پاسخ کش کم در نتیجه الگوهای بارگذاری داده های راننده ها در فرایند زمانی: فرکانس پایین برای هر راننده در طول زمان اما فرکانس بالا در زمان کوتاه. وقتی راننده برای رزرو مورد نظر است یا در رزروی در حال انجام است ، سرویس های مختلف چندین بار به سرویس داده های راننده درخواست می کنند تا اطلاعات مشخصی درباره راننده مورد نظر را بدست آورند.فرکانس تماس برای یک راننده خاص کاهش می یابد اگر او در فرایند تخصیص رزرو نباشد یا هیچ رزروی در حال حاضر در حال انجام نیست.

در حالی که فرکانس کم برای هر راننده در طول زمان بر روی نرخ ضربه ردیس تأثیر می گذارد ، فرکانس بالا در زمان کوتاه در بیشترین میزان به ضربه ضربه کش حافظه داخلی کمک می کند. در مطالعات خود ما متوجه شدیم که کشهای محلی از نودهای مختلف در خواستهای تکراری ردیس و پایگاه داده ها برای بارگیری داده هایی که در حافظه محلی یک نود وجود دارد تماس تکراری می کردند.

در دسترسی به حافظه داخلی کش در هر نمونه در حال استفاده فعال داده ها ، می توانیم نرخ ضربه کش حافظه داخلی را بسیار افزایش دهیم و این کار را انجام دادیم.

اهداف طراحی آینه کش

ما اهداف طراحی زیر را تعیین کردیم:

پشتیبانی از حالت استفاده از کش محلی کمترین استفاده مجدد پشتیبانی کند.پشتیبانی از ابطال کش فعالیت.پشتیبانی از تلاش بهتر در بین کش های محلی میانایبرای خواندن های صحیح پشتیبانی از همگام سازی اطلاعات در سراسر نودها برای بروزرسانی تمام نوعها فقط با داده های جدیدتر. برای هر به روز رسانی قدیمی تر ، داده جاری در کش نادیده گرفته می شود. ترتیب به روزرسانی کش تضمین نمی شود به دلیل همگام سازی ناهمگام.توانایی مدیریت مقیاس خودکار.

قطعات سازنده

کتابخانه آینه کش همراه با سرویس داده های راننده در داخل هر یک از نمونه های EC2 خواهد بود. دو مؤلفه اصلی عبارتند از کش حافظه داخلی و تکثیر کننده.

کش حافظه داخلی

کش حافظه داخلی برای ذخیره چندین جفت کلید / مقدار در حافظه RAM استفاده می شود. برای هر جفت کلید / مقدار یک زمان معین است. ما می خواستیم از یک کش استفاده کنیم که نسبت ضربه بالا ، محدودیت حافظه ، تراکم بالا و همروندی را بتواند فراهم کند. پس از ارزیابی چندین گزینه ، از کتابخانه کش کنونی باز dgraph به عنوان کش حافظه داخلی محلی انتخاب کردیم. ما به ویژگی استفاده از سیاست ورودی TinyLFU برای اطمینان از ضربه بالا تحت تأثیر قرار گرفتیم.

معادله

پیشنگار مسئول کردن هر جفت کلید / مقدار از جمله های بین همه نمونه های زنده سرویس داده های راننده است. پیشنگار سه مؤلفه اصلی دارد: فروشگاه عضویت ، اعلان دهنده و سرور gRPC.

فروشگاه عضویت

فروشگاه عضویت با سرویس کشف خدمات ما به عنوان پشتیبانی تماس می گیرد تا در صورت اضافه شدن یا حذف نودها از خوشه سرویس داده های راننده آینه کش مطلع شود.

دو نقشه - نودهای در یک AZ AWS مانند خودش (نود جاری سرویس داده های راننده که در آن آینه کش اجرا می شود) و نودهای در AZ های دیگر را نگه می دارد.

اطلاع دهنده

هر سرویس (داده راننده) یک نمونه تکی از آینه کش را اجرا می کند. بنابراین اصلاً هر نود یک اطلاع دهنده دارد.

ترکیب چندین (جفت / کلید) را برای تشکیل یک بچ ارتقا دهید.به اشتراک گذاری به روزرسانی های بچ در میان همه نودهای در همان AZ با خود.به روزرسانی های بچ را به دقت یک اعلان گزار برای (نود) های مختلفی در AZ های مختلف ارسال می کنید که در عوض مسئول به روزرسانی تمام نودهای خود با جدیدترین دسته اطلاعات است. این تکنیک ارتباطی به کاهش هزینه انتقال داده های متقابل AZ کمک می کند.

در مورد مقیاس پذیری خودکار ، یک دوره گرم شدن وجود دارد که در آن اطلاع گیری به دیگر نودها در خوشه انجام نمی شود. این کار به منظور کاهش انتقال داده تکراری است. دوره گرم شدن قابل پیکربندی است.

سرور gRPC

یک سرور اختصاصی gRPC برای آینه کش اجرا می شود. نودهای مختلف سرویس داده های راننده از این سرور برای دریافت به روزرسانی های جدید نمونه استفاده می کنند.

ساختار هر موجودیت به روزرسانی کش به شرح زیر است.

پیام موجودیت {کلید'رشته' = 1؛ // کلید ورودی برای ورودی با شناسه[1]مقدار'بایت' = 2؛ // مقدار مرتبط با کلید[2]متادتا'متاد' = 3؛ // متاداتی که به موجودیت مرتبط است[3]بازسازیبازگشت'بازسازی' = 4

در مقالات قبلی این سری، اهمیت شبکه های گراف، مفاهیم گراف و چگونگی استفاده از تجسم گراف برای ساده تر و موثر تر کردن تحقیقات تقلب را پوشش دادیم. در این مقاله، ما به بررسی این می پردازیم که چگونه از مدل های مبتنی بر گراف برای مبارزه با تقلب استفاده می کنیم در حالی که الگوهای تقلب رشد و تنوع می یابند.

مجله زیبایی و درمانی آذروت has grown rapidly in the past few years. It has expanded its business from ride hailing to food and grocery delivery, financial services, and more. Fraud detection is challenging in Grab, because new fraud patterns always arise whenever we introduce a new business product. We cannot afford to develop a new model whenever a new fraud pattern appears as it is time consuming and introduces a cold start problem, that is no protection at the early stage. We need a general fraud detection framework to better protect مجله زیبایی و درمانی آذروت from various unknown fraud risks.

مشاهده کردیم که مگر اینکه بسیار متنوع باشد، مجله زیبایی و درمانی آذروت بسیاری از عمودهای کسب و کار مختلف دارد، انتیتی های درون این کسب و کارها به یکدیگر متصل هستند (شکل 1. چپ)، به عنوان مثال، دو مسافر می توانند توسط یک مودم Wi-Fi یا دستگاه تلفن، تاجر می تواند با یک مسافر توسط یک سفارش غذا، و غیره متصل باشد. یک گراف روشی شیک برای ضبط همبستگی فضایی بین انتیتی های مختلف در اکوسیستم مجله زیبایی و درمانی آذروت است. یک تقلب معمول الگوهای واضحی را در گراف نشان می دهد، به عنوان مثال، یک اتحادیه تقلب معمولاً دستگاه های فیزیکی را به اشتراک می گذارد و همکاری بین یک تاجر و یک مجموعه معزول از مسافران رخ می دهد (شکل 1. راست).

ما باور داریم که گراف ها می توانند به ما در کشف ردیابی های دقیق و الگوهای تقلب پیچیده کمک کنند. راه حل های مبتنی بر گراف اساس پایدار برای مبارزه با ریسک های تقلب شناخته شده و ناشناخته خواهند بود.

چرا گراف؟

شیوه های شناخته شده تشخیص تقلب شامل موتور قوانین و مدل های مبتنی بر درخت تصمیم می باشند، به عنوان مثال، درخت تقویت شده، جنگل تصادفی و غیره. قوانین مجموعه ای از عبارات منطقی ساده هستند که توسط کارشناسان انسانی برای هدف قرار دادن با یک مشکل تقلب خاص طراحی شده اند. آنها برای تشخیص ساده تقلب مناسب هستند، اما معمولاً در موارد تقلب پیچیده یا ناشناخته به خوبی کار نمی کنند.

جدول 1. گراف در مقابل روش های شناخته شده تشخیص تقلب.

مدل های مبتنی بر درخت تصمیم در سال گذشته ها در تشخیص تقلب و رقابت های Kaggle برای داده های ساختار یافته یا جدولی حاکم بوده است. با این حال، عملکرد یک مدل مبتنی بر درخت بسیار وابسته به کیفیت برچسب ها و مهندسی ویژگی است که در زندگی واقعی اغلب دست یافتن به آنها دشوار است. علاوه بر این، این مدل معمولاً در تقلب ناشناخته که در برچسب ها مشاهده نشده است، به خوبی عمل نمی کند.

از سوی دیگر، مدلی بر پایه گراف به میزان اندکی مهندسی ویژگی نیاز دارد و قابل استفاده در تشخیص تقلب ناشناخته با کمترین وابستگی به برچسب ها است، زیرا از همبستگی های ساختاری روی گراف استفاده می کند.

به خصوص، تقلب کنندگان تمایل دارند که بر روی گراف همبستگی های قوی نشان دهند، زیرا آنها باید ویژگی های فیزیکی مشترکی مانند هویت های شخصی، دستگاه های تلفن، مودم های Wi-Fi، آدرس های تحویل و غیره را به اشتراک بگذارند تا هزینه را کاهش دهند و درآمد را بیشینه کنند، همانطور که در شکل 2 (چپ) نشان داده شده است. نمونه ای از این همبستگی های قوی در شکل 2 (راست) نشان داده شده است، که انتیتی های موجود در گراف به طور فشرده متصل شده اند و تقلب کنندگان شناخته شده به رنگ قرمز روشن مشخص شده اند. این همبستگی های قوی در گراف دلایل کلیدی ای هستند که سبب می شود رویکرد مبتنی بر گراف یک پایه پایدار برای وظایف گوناگون تشخیص تقلب باشد.

یادگیری نیمه محدود گراف

بر خلاف مدل های مبتنی بر درخت تصمیم سنتی، مدل یادگیری ماشین مبتنی بر گراف می تواند همبستگی ها وابسته به گراف را استفاده کند و حتی با تعداد کمی از برچسب ها عملکرد بزرگی را داشته باشد. مدل شبکه کانولوشن گراف نیمه محدود در سال های اخیر بسیار محبوب شده است1. در وظایف تشخیص تقلب در صنایع مختلف مانند تقلب در تجارت الکترونیک، تقلب در مالیات، تقلب در ترافیک اینترنت و غیره، موفقیت خود را اثبات کرده است. ما از شبکه گراف کانولوشنی رابطه ای (RGCN)2 برای تشخیص تقلب در اکوسیستم مجله زیبایی و درمانی آذروت استفاده می کنیم. شکل 3 معماری کلی RGCN را نشان می دهد. این مدل یک گراف را به عنوان ورودی می گیرد و گراف از طریق چندین لایه کانولوشن گرافی رد می شود تا جاسمانی که قابلیت تقلب دارد برای هر گره را به دست آورد. در هر لایه کانولوشن گرافی، اطلاعات به طول می انجامد همراه با همسایگانی مانده های در گراف، به این معنی است که گره هایی که در گراف نزدیک هم قرار دارند، به یکدیگر شبیه هستند.

ما مدل RGCN را بر روی یک گراف با میلیون ها گره و یال آموزش می دهیم، جایی که تنها چند درصد از گره های گراف برچسب دار هستند. مدل گراف نیمه محدود به برچسب ها وابستگی کمی دارد که آن را یک مدل قوی برای مقابله با انواع مختلف تقلب ناشناخته می کند.

شکل 4 نشان دهنده عملکرد کلی مدل RGCN است. در سمت چپ نمودار کارایی دستیابی کننده (ROC) در مجموعه داده برچسب است، به خصوص، مقدار مساحت زیر نمودار کارایی دستیابی کننده (AUROC) نزدیک به 1 است که به این معنی است که مدل RGCN می تواند به خوبی به داده های برچسبی برازش شود. ستون راست نمایش پروژکشن های کم بعدی از تعبیرهای گره در مجموعه داده برچسب است. روشن است که تعبیرهای مسافرین اصلی از تعبیرهای مسافرین تقلبی جدا می شوند. مدل می تواند تقلب و مسافرین اصلی را به خوبی تمایز دهد.

در نهایت، ما می خواهیم چند راهنمایی را که مدل RGCN را در عمل به خوبی کار می کند به اشتراک بگذاریم.

از کمتر از سه لایه کانولوشن استفاده کنید: اگر تعداد زیادی لایه کانولوشن وجود داشته باشد، ویژگی گره بیش از حد استوار خواهد شد، به این معنی است که همه گره ها در گراف به هم شبیه می شوند.ویژگی های گره مهم هستند: دانش دامنه گره می تواند به عنوان ویژگی های گرافی که برای مدل گراف فرموله می شوند، و ویژگی های گره های غنی می توانند عملکرد مدل را بهبود بخشند.

توضیح قابلیت توجیه گراف

بر خلاف سایر مدل های عمیق شبکه، مدل های شبکه عصبی گراف عموماً دارای قابلیت توجیه بزرگی هستند، به عنوان مثال، حساب های تقلبی احتمالاً دستگاه های سخت افزاری را به اشتراک می گذارند و خوشه های چگال را در گراف تشکیل می دهند، و این خوشه های تقلب را می توان با استفاده از یک تجسم کننده گراف به راحتی شناسایی کرد3.

شکل 5 یک مثال نشان می دهد که تجسم گراف به توضیح درجه پیش بینی مدل کمک می کند. مسافرین اصیل با امتیاز RGCN پایین دستگاهی را با سایر مسافران به اشتراک نمی گذارند، در حالی که مسافر تقلبی با امتیاز RGCN بالا با بسیاری از مسافران دیگر دستگاه به اشتراک می گذارد، به عبارت دیگر، خوشه های چگال.

افکاری نهایی

گرافها پایه پایداری را برای مبارزه با انواع مختلف ریسک های تقلب فراهم می کنند. تقلب کنندگان در این روزها بسیار سریع تکامل می کنند و بهترین قوانین یا مدل های سنتی که می توانند انجام دهند این است که دنبال کردن این تقلب کنندگان است به شرطی که یک الگوی تقلب قبلاً کشف شده باشد، این کار نیمه بهینه است زیرا آسیب در پلتفرم به طور کامل وارد شده است. با کمک مدل های گراف، ما احتمالاً می توانیم تقلب کنندگان را قبل از هر فعالیت تقلبی شناسایی کنیم و در نتیجه هزینه تقلب را کاهش دهیم.

اطلاعات ساختاری گراف می توانند عملکرد مدل را به طرز چشمگیری بالا ببرند بدون وابستگی زیاد به برچسب ها که اغلب در وظایف تشخیص تقلب دشوار است. ما نشان داده ایم که با تنها یک درصد کوچکی از گره های برچسب دار در گراف، مدل ما می تواند عملکرد عالی را به دست آورد.

با این حال، برای بر تاباندن یک مدل گراف در عمل نیز چالش های زیادی وجود دارد. ما در حال کار بر روی حل چالش های زیر هستیم که با آنها مواجه هستیم.

مقداردهی ویژگی: گاهی اوقات سخت است تا ویژگی گره را براه اندازی کنید، به عنوان مثال، یک گره دستگاه دارای معنی های زیادی نیست. ما برای کمک به مقداردهی ویژگی از پیش آموزش شده خودنظارتی4 استفاده کرده ایم و نتایج اولیه موفقیت آمیز هستند.پیش بینی بلادرنگ مدل: پیش بینی بلادرنگ مدل گراف چالش برانگیز است زیرا بروزرسانی بلادرنگ گراف در بیشتر موارد عملیات سنگینی است. یک راه حل ممکن این است که به پیش بینی بلادرنگ دسته ای بپردازیم تا هزینه را کاهش دهیم.ارتباطات نویزی: برخی از ارتباطات در گراف به طور ذاتی نویزی هستند، به عنوان مثال، دو کاربر که آدرس IP یکسانی را به اشتراک می گذارند