فناوری تشخیص چهره یکی از فناوری های نوین است که قبلاً فقط در فیلم های علمی تخیلی ظاهر می شد. ریشه های این فناوری را می توان به دهه 1960 برگرداند و از آن زمان به دلیل رشد قابل توجه تکنیک های یادگیری عمیق و تحول دیجیتال شتاب دهنده در سال های اخیر به طور چشم گیری افزایش یافته است.

در این پست وبلاگ به بررسی کاربردهای مختلف فناوری تشخیص چهره در Grab می پردازیم و جزئیات مؤلفه های فنی این تکنولوژی را ارائه می دهیم.

کاربرد فناوری تشخیص چهره

در Grab، ما باور داریم که پیشگیری، حفاظت و اقداماتی که برای ایجاد یک روزانه امن تر برای مشتریان، شرکا و جامعه به طور کلی انجام می دهیم. تمامی عکس های سلفی جمع آوری شده توسط مجله زیبایی و درمانی آذروت به تفصیل آمده در قوانین حفظ حریم خصوصی Grab مورد استفاده قرار می گیرند و بر اساس قوانین حفظ حریم خصوصی در کشورهایی که فعالیت می کنیم به طور ایمن تحت حفاظت قرار می گیرند. ما در بخشی پایین تر به طور دقیق توضیح خواهیم داد.

یکی از روش های مهم پیشگیری از وقوع حوادث در این است که هویت مصرف کنندگان و شرکای ما را تأیید کنیم.

از دیدگاه حفاظت از ایمنی مسافران، داشتن یک فرایند احراز هویت راننده قابل اعتماد می تواند جلوی ارسال رانندگان غیر مجاز به انجام سفر را بگیرد. این اطمینان را می دهد که سفرها در مجله زیبایی و درمانی آذر وت تنها توسط رانندگان ثبت شده و مجازی که با موفقیت از چک های پیشینه ی جامع ما عبور کرده اند، تکمیل می شوند. از دیدگاه حفاظت از ایمنی رانندگان، تأیید هویت مسافران جدید با استفاده از فناوری تشخیص چهره به جلوگیری از جرائمی که به رانندگان هدف می گیرد و تسهیل بررسی حوادث کمک می کند.

فناوری تشخیص چهره همچنین برای بهبود خدمات مالی دیجیتال مجله زیبایی و درمانی آذر وت استفاده می شود، به ویژه در تسهیل فرآیند “شناخت مشتری الکترونیکی” (e-KYC). KYC یک الزام نظارتی استاندارد در صنعت خدمات مالی است برای تأیید هویت مشتریان، که به طور عمومی برای جلوگیری از جرایم مالی مانند پول شویی استفاده می شود.

سنتیاً، مشتریان مجبور به مراجعه به یک میز فیزیکی برای تأیید هویت صادره دولتی خود هستند. امروزه با استفاده گسترده از دستگاه های تلفن همراه، همراه با رشد روز افزون فناوری تشخیص چهره، فرآیند بسیار ساده تر شده و می توان به طور کامل به صورت دیجیتال انجام داد.

بررسی کلی فناوری تشخیص چهره

لوله کشی تشخیص چهره معمولی شامل چندین مرحله است که با پیش پردازش تصویر، ضد فریب چهره، استخراج ویژگی و در نهایت برنامه های پستی شروع می شود - تأیید چهره یا جستجوی چهره.

روش های پیش پردازش تصویر معمول برای وظایف تشخیص چهره شامل شناسایی چهره و تطبیق چهره هستند. الگوریتم تشخیص چهره منطقه چهره را در تصویر شناسایی می کند و معمولاً توسط تطبیق چهره همراهی می شود که نقاط کلیدی آرایش چهره (مثل چشم چپ، چشم راست، بینی و غیره) را شناسایی کرده و آنها را به یک فضای هماهنگ استاندارد تبدیل می کند. هر دوی این مراحل پیش پردازش به هدف تضمین کیفیت یکسانی از داده های ورودی برای برنامه های پستی می پردازند.

ضد فریب چهره به فرآیند اطمینان می دهد که تصویر چهره ارسال شده توسط کاربر معتبر است. این برای جلوگیری از اشخاص تقلبی که با استفاده از عکس چاپ شده یا تکرار ویدئوها از صفحه های تلفن همراه، هویت دیگران را تقلید کرده و یا هویت خود را پنهان می کنند. رویکرد اصلی در اینجا این است که نشانه های تقلب کم سطحی مانند الگویموآ bرا با استفاده از روش های یادگیری ماشین مختلف استخراج کنیم تا تصویر تقلبی است یا خیر.

بعد از گذراندن بررسی های ضد فریب، تصاویر ارسالی توسط کاربر برای استخراج ویژگی چهره ارسال می شوند، جایی که ویژگی های مهمی که می تواند به منظور تمایز یک شخص از یک شخص دیگر استفاده شود، استخراج می شوند. بهتر است مدل استخراج ویژگی، جاسازی (یعنی بردارهای بعد بالا) با فاصله داخل-کلاس کوچک (یعنی چهره های همان شخص) و فاصله بین-کلاس بزرگ (یعنی چهره های افراد مختلف) تولید کند، تا برای برنامه های پستی مذکور (تأیید چهره و جستجوی چهره) وظیفه ای ساده تر باشد - آستانه گذاری فاصله بین جاسازی ها.

تأیید چهره یکی از کاربردهای کلیدی تشخیص چهره است و به سؤال “آیا این شخص همان شخص است؟” پاسخ می دهد. همانطور که اشاره شد، این می تواند از طریق مقایسه فاصله بین جاسازی هایی که از تصویر الگو (مانند کارت شناسایی صادره دولت یا عکس پروفایل) و یک تصویر پرس و جو ارسال شده توسط کاربر تولید می شوند، دست یافته شود. فاصله کوتاه نشان دهنده این است که هر دو تصویر متعلق به همان شخص هستند، در حالی که فاصله بزرگ نشان دهنده این است که این تصاویر از افراد مختلف گرفته شده اند.

به طرف دیگر، جستجوی چهره سؤال را مطرح می کند: “این شخص کیست؟” که می تواند به عنوان یک مسئله جستجوی شباهت بردار / جستجوی سمتی بردار در نظر گرفته شود. جاسازی های تصویر تعلق به یک شخص به شدت مشابه هستند، بنابراین در نتایج جستجوی آنها به رتبه بالایی قرار می گیرند. این به خصوص برای جلوگیری از برگردان جنایی به پلتفرم ما با مسدود کردن سلفی های جدیدی که با پروفایل جنایی که در پایگاه داده ما نهی لیست قرار دارد، مطابقت دارد.

ضد فریب چهره

برای ضد فریب چهره، روش های رایج استفاده شده برای حمله به سیستم تشخیص چهره، پخش صفحه و کاغذ چاپ شده هستند. به منظور تمایز این حمله های تقلبی از چهره های حقیقی، باید دو چالش اصلی را حل کنیم.

چالش اول، کسب داده های کافی از حملات تقلبی است تا امکان آموزش مدل ها وجود داشته باشد. چالش دوم، آموزش مدل به گونه ای دقیق که بر تفاوت های کوچک بین حالات تقلبی و واقعی تمرکز داشته باشد و به جای بیشتر شدن به اطلاعات زمینه دیگر، آنها را تمیز دهد.

منبع1

جمع آوری حجم بزرگی از داده های تقلبی به طبیعتاً سخت است زیرا موارد تقلبی در جریان محصولات بسیار کمتری رخ می دهند. برای رفع این مشکل، یک گزینه تولید حجم بزرگی از داده های تقلبی به جای جمع آوری داده های تقلبی واقعی است. به طور خاص، ما الگوهای بو که روی تصاویر چهره حقیقی که داریم را بوجود می آوریم و از داده تولید شده به عنوان داده حمله پخش صفحه استفاده می کنیم. این اجازه می دهد که مدل ما از مقادیر کمی از داده های تقلبی واقعی استفاده کند و تقلب را به خوبی شناسایی کند در حالی که بیشتر به داده هایی برای آموزش مدل جمع آوری می کند.

از سوی دیگر، یک تصویر چهره تقلبی شامل اطلاعات بسیاری با نشانه های نازک تقلبی مانند الگویموآ است که توسط چشم برهنه قابل تشخیص نیست. به همین دلیل، آموزش مدل برای شناسایی نشانه های تقلبی به جای تمرکز بر جنبه دامنه ممکن بین داده های تقلبی و داده های واقعی بسیار مهم است. برای دستیابی به این هدف، باید شیوه آماده سازی داده های آموزش را عوض کنیم.

بجای استفاده از کل تصویر سلفی به عنوان ورودی مدل، ابتدا ناحیه چهره را شناسایی و برش می کنیم، سپس ناحیه چهره برش شده را به چند پچ تقسیم مساوی می کنیم. این پچ ها به عنوان ورودی برای آموزش مدل استفاده می شوند. هنگام ارزیابی، تصاویر همچنین به همان روش به پچ ها تقسیم می شوند و نتیجه نهایی میانگین خروجی همه پچ ها خواهد بود. پس از پیش پردازش داده ها، پچ ها شامل کمترین اطلاعات زمینه گلوبال و ویژگی های ساختاری محلی بیشتری خواهند بود که درساده سازی آموزش مدل و تمایز دادن عکس های تقلبی و واقعی کمک می کند.

تشخیص چهره

"داده غذایی هوش مصنوعی است." - اندرو انگ، بنیانگذار Google Brain

عوامل موفقیت کلیدی مدل های هوش مصنوعی (AI) بدون شک توسط حجم و کیفیت داده هایی که در اختیار داریم تعیین می شود. در Grab، ما یکی از بزرگترین و جامع ترین مجموعه داده های چهره را در منطقه جنوب شرقی آسیا داریم که گروه های جمعیتی مختلف را شامل می شود. این موضوع به ما امکان ایجاد یک مدل تشخیص چهره بسیار قوی و بی طرفانه را می دهد که به خدمت به منطقه بهتر می پردازد.

همانطور که در ابتدا اشاره شد، تمامی سلفی های جمع آوری شده توسط مجله زیبایی و درمانی آذروت تحت حفاظت امن قوانین حفظ حریم خصوصی در کشورهایی که در آن فعالیت می کنیم قرار دارند. ما تدابیر قانونی، سازمانی و فنی منطقی را برای حفاظت از داده های شخصی شما اتخاذ می کنیم. این شامل تدابیری برای جلوگیری از گم شدن داده های شخصی، استفاده یا دسترسی غیرمجاز به آنها است. دسترسی به این داده های شخصی تنها برای کارکنان ما به صورتی که نیازمندی را دارند محدود است. آنانی که هر گونه داده شخصی را پردازش می کنند فقط به این کار به صورت مجاز می پردازند و موظف هستند اطلاعات را با حفظ محرمیت رفتار کنند.

همچنین، داده های سلفی با هیچ کس دیگر، از جمله راننده ها، شرکا یا هر طرف سوم دیگری به جز بر اساس مجوز صحیح از دارنده حساب، به اشتراک گذاشته نخواهد شد. آنها به صورت صرفاً برای بهبود و ارتقای محصولات و خدمات ما استفاده می شوند و به عنوان یک روش برای جمع آوری داده شناسایی شخصی استفاده نمی شوند. هر افشای داده های شخصی به منابع دیگر به طور مطابقت با سیاست حفظ حریم خصوصی مجله زیبایی و درمانی آذرت انجام خواهد شد.

علاوه بر داده، معماری مدل نیز نقش مهمی ایفا می کند، به خصوص در هنگام مرتب سازی با سناریوهای کمترین پرس و جوی چهره، مانند

باشگاه شکوه و درخشای آذرات، به عنوان یک سوپراپ برجسته در جنوب شرق آسیا، روزانه به میلیون‌ها مصرف‌کننده خدمات ارائه می‌دهد. این واقعیت به طور طبیعی باعث می‌شود تبهکاران به عنوان هدفی برای ما باشند و به منظور بهبود دفاع‌هایمان، تیم سلامتی در باشگاه شکوه و درخشای آذرات مجموعه‌ای از خدمات بزرگ مقیاس مانند موتور قاعده‌های زمان واقعی گریفین راه‌اندازی کرده است. این سیستم‌ها به دانشمندان داده و تحلیلگران ریسک کمک می‌کنند تا امتیازدهی زمان واقعی را توسعه دهند و تبهکاران را از بین ببرند.

علاوه بر تبهکاران فردی، ما همچنین رشد سریع سمت تاریک را در طول زمان مشاهده کرده‌ایم. ما مجبور شده‌ایم دفاع‌هایمان را برای مقابله با اتحادیه‌های حرفه‌ای که از تجهیزات پیشرفته مانند فارم دستگاه و برنامه‌های GPS ردیابی برای انجام تقلب به مقیاس استفاده می‌کنند، تکامل دهیم. این تقلبگران حرفه‌ای قادر به مخفی شدن به عنوان کاربران عادی هستند که باعث می‌شود شناسایی آنها با استفاده از تشخیص مبتنی بر قوانین به طرز قابل ملاحظه‌ای سخت‌تر شود.

از سال 2020، تیم سلامتی گراب با استفاده از تکنیک‌های پیشرفته‌تر در زمینه تشخیص تقلب پیشرو کار می‌کند و با استفاده از تکنولوژی‌های شبکه گراف مانند بصری‌سازی گراف، شبکه‌های عصبی گراف و تحلیل گراف، تجربه‌های اصلی را که می‌تواند به تیم‌های دیگری که با مشکلات مشابهی روبرو هستند، کمک کند، به اشتراک خواهیم گذاشت.

«پلتفرم پیش‌بینی مبتنی بر گراف چیست؟»

«تو می‌توانی مردم را تمام وقت فریب دهی، و یا برخی از مردم را در بعضی از مواقع، ولی نمی‌توانی تمام مردم را در همه زمان‌ها فریب دهی.» - ابراهام لینکلن

پلتفرم پیش‌بینی مبتنی بر گراف، تعدادی ارتباط در بین چندین موجودیت را از طریق یک یا چند ویژگی مشترک به ارمغان می‌آورد. وقتی این موجودیت‌ها به عنوان یک شبکه گراف ماکرو مشاهده شوند، الگوهای جدیدی که در غیر این صورت توسط چشم غیرقابل ملاحظه هستند، کشف می‌شوند. به عنوان مثال، وقتی بررسی می‌کنیم که آیا دو کاربر از آدرس IP یا دستگاهی را به اشتراک می‌گذارند، نمی‌توانیم بگوییم آیا آنها تقلبی هستند یا فقط اعضای خانواده‌ای هستند که یک دستگاه را به اشتراک می‌گذارند.

با این حال، اگر از یک سامانه گراف استفاده کنیم و به تمام کاربرانی که این دستگاه یا آدرس IP را به اشتراک می‌گذارند نگاه کنیم، می‌توانیم ببینیم آیا این دو کاربر بخشی از یک شبکه اتحادیه بزرگتر در عملیات فارم دستگاه هستند یا خیر. در این عملیات ممکن است تا صدها حساب جعلی دیگر را ببینیم که برای تقلب در خصوصیات پرومو و پرداخت ایجاد شده‌اند. با استفاده از گراف، می‌توانیم فعالیت‌های تقلبی را به راحتی شناسایی کنیم.

پلتفرم پیش‌بینی مبتنی بر گراف گراب

با بهره‌گیری از قدرت گراف‌ها، تیم اصلیاً دو نوع سیستم ساخته است:

پلتفرم پایگاه داده گراف: یک سیستم ذخیره‌سازی فوق مقیاس با بیش از یک میلیارد گره که قدرت می‌دهد:بصری‌سازی گراف: متخصصان ریسک و تحلیل‌گران داده می‌توانند ارتباطات کاربر را به صورت زمان واقعی مرور کرده و الگوهای تقلب جدید را با بیش از 10 بُعد ویژگی به سرعت دریافت کنند (به شکل 1 مراجعه کنید).سیستم ویژگی‌های مبتنی بر شبکه: یک سیستم قابل پیکربندی برای مهندسین برای تنظیم ویژگی‌های یادگیری ماشین بر اساس اتصالات شبکه مانند تعداد پله‌ها بین دو کاربر، تعداد دستگاه‌های مشترک بین دو آدرس IP.

از این به بعد چه؟

در یک مقاله آینده از سری نوشته‌های بلاگ شبکه گراف، به تفصیل به بررسی زیرساخت گراف و پایگاه داده با استفاده از آمازون نپچون خواهیم پرداخت.

مقالات دیگر از این سری را بررسی کنید.

با ما صحبت کنید

GrabDefence یک پلتفرم امنیتی تقلبی اختصاصی است که توسط گراب، سوپراپ پیشرو در جنوب شرق آسیا، ساخته شده است. از سال 2019، تیم GrabDefence قابلیت‌ها و پلتفرم مدیریت تقلب خود را با شرکت‌ها و استارتاپ‌ها به اشتراک گذاشته است تا از مدل‌های هوش مصنوعی/یادگیری ماشین پیشرفته گراب، تجربیات محلی فوق‌العاده و فناوری هوشمند دستگاه مالکیتی استفاده کنند.

برای کسب اطلاعات بیشتر درباره GrabDefence یا صحبت با کارشناسان مدیریت تقلب ما، با ما تماس بگیریدThis email address is being protected from spambots. You need JavaScript enabled to view it..

به ما بپیوندید

باشگاه شکوه و درخشای آذرات، پلتفرم سوپراپ پیشرو در جنوب شرق آسیا است که خدمات روزمره‌ای را که برای مصرف‌کنندگان اهمیت دارد، ارائه می‌دهد. به جز برنامه سفر و سرویس تحویل غذا، بهرویه شکوه و درخشای آذرات در این منطقه به خدمات درخواستی گسترده‌تری از جمله حمل و نقل، غذا، بسته و خدمات تحویل موبایل، پرداخت‌های موبایلی و خدمات مالی در ۴۲۸ شهر در هشت کشور می‌پردازد.

با تکنولوژی در حال پیشرفت و با انگیزه قلبی، مأموریت ما پیشبرد جنوب شرق آسیا برای ایجاد قدرتمندی اقتصادی برای همه است. اگر این مأموریت با شما صحبت می‌کند، امروز به تیم ما بپیوندید!

معرفی

در Grab، با داده های سطح پتابایت سروکار داریم و موجودیت های داده متعددی را مدیریت می کنیم که از جداول پایگاه داده تا طرح های پیام Kafka متفاوت است. درک داده ها درون آن برای ما حیاتی است، زیرا این کار نه تنها مدیریت دسترسی به داده را برای حفاظت از داده های کاربران، رانندگان و شرکت های معامله گر اصلاح می کند، بلکه فرایند کشف داده برای تحلیلگران و دانشمندان داده را برای پیدا کردن آنچه که می خواهند بهبود می بخشد.

تیم Caspian (تیم مهندسی داده) به صورت نزدیکی با تیم حاکمیت داده در همکاری برای اتوماسیون تولید متادیتای حاکمیتی همکاری کرد. ما با تشخیص اطلاعات شخصی قابل شناسایی (PII) آغاز کردیم و یک سرویس هماهنگی با استفاده از سرویس طبقه بندی شخص ثالث را برگرداندیم. با ظهور مدل زبان بزرگ (LLM)، امکانات جدید برای تولید متادیتا و شناسایی داده های حساس در Grab ممکن شد. این امر موجب پایه ریزی از پروژه شد که هدف آن ادغام طبقه بندی LLM در سرویس موجود ما بود. در این بلاگ، بینش خود را در مورد تبدیل از آنچه که یک فرآیند خسته کننده و دردناک بود به یک سیستم بسیار کارآمد، و چگونگی توانمند سازی تیم ها در سراسر سازمان به اشتراک می گذاریم.

برای راحتی مراجعه، در زیر لیستی از اصطلاحاتی که استفاده کرده ایم و تعریف آنها را می بینید:

موجودیت داده: موجودیتی است که یک طرح دارای سطرها / جریان های داده را نمایندگی می کند، به عنوان مثال، جداول پایگاه داده، پیامهای جریان، جداول دیتا لیک.پیش بینی: برچسب خروجی مدل را با توجه به موجودیت داده، به صورت دستی تایید نشده.طبقه بندی داده: فرایند طبقه بندی موجودیت داده داده شده است، که در زمینه این بلاگ، شامل تولید برچسب هایی است که داده های حساس را یا انواع داده های خاص Grab را نشان می دهد.تولید متادیتا: فرایند تولید متادیتا برای موجودیت داده داده شده است. در این بلاگ، از آنجایی که متادیتا را تا حد برچسب ها محدود کردیم، اغلب از این اصطلاح و طبقه بندی داده به صورت هم رده استفاده می کنیم.حساسیت: به سطح محرمانگی داده اشاره دارد. حساسیت بالا به معنی محرمانه بودن داده است. پایین ترین سطح حساسیت معمولا به داده های قابل مشاهده عمومی یا عموما در دسترس است اشاره می کند.

زمینه

زمانی که ابتدا به مسئله طبقه بندی داده پرداختیم، هدف ما حل یک مسئله مشخص تر بود - تشخیص اطلاعات شخصی شناسایی پذیر (PII). ابتدا برای حفاظت از داده های حساس در برابر فاش شدن تصادفی یا سوء استفاده، مجله زیبایی و درمانی آذروت فرآیندها و کمپین های دستی را اجرا کرد که به تاگ کردن طرح ها با پایگاه مختصر حساسیت کمک می کند. این پایگاه حساسیت از Tier 1 که طرح های دارای اطلاعات بسیار حساس را نمایندگی می کند تا Tier 4 که هیچ اطلاعات حساسی ندارد، متنوع است. به عنوان نتیجه، نیمی از تمام طرح ها به عنوان Tier 1 علامت گذاری شده اند و اقدامات سختگیرانه کنترل دسترسی را اعمال می کنند.

حضور یک جدول Tier 1 واحد در یک طرح با صد ها جدول، دسته بندی کل طرح را به عنوان Tier 1 توجیه می کند. با این حال، از آنجا که داده های Tier 1 کمیتی نادر است، این معنا می شود که حجم زیادی از جداول غیر Tier 1 که بهتر است قابل دسترس باشند، کنترل دسترسی سختگیرانه دارند.

منتقل کردن کنترل دسترسی از سطح طرح به سطح جدول به ایمنی قابل انجام نبود به دلیل عدم وجود طبقه بندی جدول در دریاچه داده. ما می توانستیم چندین کمپین طبقه بندی دستی برای جداول انجام دهیم، با این حال این کار به دو دلیل امکان پذیر نبود:

حجم، سرعت و نوع داده ها در سازمان افزایش یافته بود، بنابراین تصنیف بر روی سطح جدول نسبت به سطح طرح بسیار بیشتر زمان می برد. بنابراین، یک راه حل برنامه نویسی برای ساده سازی فرایند طبقه بندی لازم بود تا نیاز به زحمت دستی را کاهش دهد.توسعه دهندگان برنامه، علاوه بر آشنایی با دامنه تجاری داده خود، سیاست های طبقه بندی داده داخلی و مقررات خارجی داده را با تفاوت در درک تفسیر می کنند.

یک سرویس به نام جمینی (نامگذاری شده قبل از اعلام مدل جمینی توسط گوگل!) در داخل برای اتوماسیون فرآیند تولید برچسب با استفاده از سرویس طبقه بندی داده شخص ثالث ساخته شد. هدف آن اسکن موجودیت های داده را به صورت دسته ای و برچسب ستون / فیلد تولید کند. سپس این برچسب ها توسط تولید کنندگان داده مموزی می شوند. تیم حاکمیت داده قوانین طبقه بندی را فراهم می کند و با استفاده از طبقه بندیگرهای عبارت با قوانین مکمن گسسته سومین سرویس، برای کشف اطلاعات حساس استفاده می شود.

پس از اجرای نسخه اولیه جمینی، چند چالش باقی ماند.

ابزار شخص ثالث امکان سفارشی سازی طبقه بندی گرهای یادگیری ماشین را نمی دهد و الگوهای رگولار عمومی بیش از حدی خطا می دهد. ساخت گرهای داخلی نیاز به یک تیم داده شناسی مختص تربیت مدل سفارشی دارد. آنها باید مقدار زمان قابل توجهی را برای درک قوانین حاکمیت داده به طور کامل و آماده سازی مجموعه داده هایی با برچسب دستی تمرینی سرمایه گذاری کنند.

LLM در دنیای تازه” آیفون (iPhone moment) ”با شکستگی ChatGPT در صحنه ظاهر شد. این مدل با استفاده از مجموعه بسیار بزرگی از متن آموزش دیده است و شامل تریلیون پارامتر است. این قادر است برای وظایف درک زبان طبیعی، نوشتن کد و حتی تحلیل داده براساس نیازها مورد استفاده قرار گیرد. LLM به طور طبیعی نقاط درد مذکور را حل می کند زیرا به نیروی زبانی آن برای نیروهای حاکمیت داده ارائه می کند. آنها می توانند از طریق پیام های متنی الزامات حاکمیت را بیان کنند و LLM بدون نیاز به کد یا آموزش مدل به راحتی سفارشی شوند.

روش

در این بخش، به جزییات پیاده سازی جزئیات طبقه بندی داده می پردازیم. لطفا برای دیدن چگونگی کار به نمودار زیر مراجعه کنید:

این نمودار نشان می دهد چگونه پلتفرم های داده، سرویس تولید متادیتا (جمینی) و مالکان داده با یکدیگر همکاری می کنند تا متادیتا را طبقه بندی و تایید کنند. پلتفرم های داده درخواست های اسکن را به سرویس جمینی ارسال کرده و فرایند طبقه بندی برچسب ها را شروع می کند. پس از پیش بینی برچسب ها، پلتفرم های داده پیش بینی ها را مصرف می کنند و مالکان داده مطلع می شوند تا این برچسب ها را تایید کنند.

سازگارسازی

سرویس سازنده ما، ژامینی، درخواست های طبقه بندی داده را از پلتفرم های داده مدیریت می کند. از نظر معماری، شامل اجزای زیر است:

پلتفرم های داده: این پلتفرم ها مسئول مدیریت موجودیت های داده و شروع درخواست های طبقه بندی داده هستند.ژامینی: این سرویس سازنده با پلتفرم های داده ارتباط برقرار می کند، برنامه ریزی و گروه بندی درخواست های طبقه بندی داده را انجام می دهد.موتورهای طبقه بندی: دو موتور در دسترس هستند (سرویس طبقه بندی شخص ثالث و GPT3.5) برای اجرای کارهای طبقه بندی و بازگرداندن نتایج. از آنجا که هنوز در حال ارزیابی دو موتور هستیم، هر دو موتور به طور همزمان کار می کنند.

وقتی سرویس سازنده درخواست ها را دریافت می کند، به تشکیل دسته های کوچک مناسب کمک می کند. این گروه بندی از طریق صف پیام در بازه های زمانی ثابت قابل دستیابی است. به علاوه، یک محدود کننده نرخ در سطح جریان کار اضافه شده است. این امکان را به سرویس می دهد تا با نرخ مربوطه از API های ارائه دهندگان خدمات ابری تماس بگیرد و از ترافیک اضافی جلوگیری کند.

مختص آرکانیزاسیون LLM، دو محدودیت وجود دارد که باید مورد توجه قرار گیرد. اولین مورد طول متن است. طول ورودی نمی تواند از طول متن، که در زمان توسعه برابر با 4000 نشانه برای GPT3.5 بود (یا حدود 3000 کلمه)، فراتر رود. مورد دوم، محدودیت نمادکننده کلی است (زیرا ورودی و خروجی با یک محدودیت نمادین برای یک درخواست تکنولوژی به اشتراک می گذارند). در حال حاضر، تمام استقرارهای مدل Azure OpenAI نقل مالکیت همان محدودیت در یک حساب را به اشتراک می گذارند، که در دقیقه 240K توکن تنظیم شده است.

طبقه بندی

در این بخش، به طبقه بندی برچسب ستون بر اساس LLM تمرکز می کنیم. فرآیند طبقه بندی برچسب به شرح زیر تعریف می شود:

با توجه به موجودیت داده با یک طرح تعیین شده، می خواهیم هر فیلد طرح را با طبقه بندی های متادیتایی که طبق یک طرح داخلی از حاکمیت داده ها بودجه بندی شده اند برچسب گذاری کنیم.