پس زمینه

قبل از سال 2021, معماری جستجوی Grab به طور انحصاری برای پشتیبانی از تطبیق متنی طراحی شده بود که در آن یک کوئری کاربر را دریافت می کند و در اکوسیستم به دنبال تطبیق های دقیق می گردد. این سیستم قدیمی به این معنی است که فقط نتایج تطبیق متنی قابل به دست آوردن بودند.

در نیمه دوم سال 2021, تیم جستجوی تحویلی بر روی بهبود این معماری کار کرد تا آن را هوشمندتر، قابل اندازه گیری تر و همچنین رشد آینده را برای موارد استفاده مختلف جستجو در Grab فعال کند. شکل زیر نمای کلی ساده شده از معماری قدیمی را نشان می دهد.

بیان مسئله

با سیستم قدیمی، چندین مشکل مشاهده کردیم.

نتایج جستجو به طور متنی تطبیق می یافتند بدون در نظر گرفتن قصد و زمینه

اگر کاربر یک کوئری مانند "Roti Prata" (نان تافتونی) را وارد کند، احتمالاً به دنبال چنین غذاهایی است و تطبیق هایی با نام غذا باید نسبت به تطبیق هایی با نام تاجر-شریک یا تطبیق های دیگر اولویت داشته باشند.

در سیستم قدیمی، تمام موجودیت هایی که نام آنها به طور جزئی با "Roti Prata" مطابقت داشتند نمایش داده و بر اساس وزن هایی که کد شده بودند، رتبه بندی می شدند و تطبیق هایی با نام های تاجر-شریک در همیشه اولویت قرار می گرفتند، حتی اگر قصد کاربر به طور واضح جستجو برای خود "Roti Prata" بود.

این مشکل در Mart رایج تر بود، زیرا کاربران اغلب قصد جستجوی موارد را داشتند تا مغازه ها. علاوه بر عدم تشخیص قصد، سیستم جستجو قادر به در نظر گرفتن زمینه هم نبود؛ کاربرانی که در زمان ها و مکان های مختلف از همان کلمه کلیدی جستجو می کنند ممکن است اهداف متفاوتی داشته باشند. به عنوان مثال، اگر کاربران در روز به دنبال "نان" جستجو کنند، احتمالاً به دنبال کافه ها هستند در حالی که جستجوها در شب ممکن است برای صبحانه روز بعد باشد.

نتایج جستجو از عمودهای تجارتی مختلف به طور موثری تلفیق نشده بودند

در متن Grab, نتایج از عمودهای مختلف اغلب تلفیق می شوند. به عنوان مثال، در جستجوهای Mart, نتایج تبلیغاتی و نتایج آلی Mart همراه با هم نمایش داده می شوند؛ در جستجوهای غذا، نتایج تبلیغاتی، غذا و نتایج آلی Mart با هم تلفیق می شوند.

در معماری قدیمی، عمودهای تجارتی مختلف در لایه API تحویلی ترکیب می شدند که باعث رخدادهای سطحی و از دست دادن داده های مفید می شد، زیرا داده های مرحله recall جستجو همچنین در مرحله ادغام مورد ملاحظه قرار نگرفت.

عدم قابلیت مقیاس پذیری سریع به موارد استفاده جستجوی جدید و دشواری در استفاده مجدد اجزای موجود

کد پایه قدیمی به گونه ای نوشته نشده بود که به راحتی به موارد جدید مقیاس پذیر شود. اگر موارد جستجوی جدید نتوانند بر روی یک سیستم موجود بنا شوند، این می تواند خسته کننده باشد و هر بار که یک جستجوی جدید وجود داشته باشد، تابع را مجدداً بسازی کند.

راه حل

در این بخش، راه حل هایی از دو نظر معماری و پیاده سازی برای حل مسائل بالا ارائه می شود.

معماری

در معماری جدید، جریان از یادآوری لغوی تنها به چند لایه از یادآوری چندرتبه، و رتبه بندی گسترده می شود. اضافه کردن تقویت قابلیت هایی مانند تشخیص قصد و گسترش کوئری را فراهم می کند، در حالی که تغییر از یادآوری لغوی تک لغوی به چند لغوی، امکان استفاده از روش های یادآوری دیگری مانند مبتنی بر جاسازی و مبتنی بر گراف را باز می کند.

این ها به حل مسئله اول کمک می کنند. علاوه بر این، چارچوب چند لغوی به دریافت نتایج از عمودهای تجارتی مختلف کمک می کند و در حل مسئله دوم مورد استفاده قرار می گیرد. در چارچوب جدید، نتایج از عمودهای مختلف و روش های مختلف یادآوری گروه بندی و رتبه بندی شده می شوند بدون هیچ نشت از مفهوم و از دست دادن داده های مفید از مرحله یادآوری جستجو در مرحله رتبه بندی.

پیاده سازی

ما باور داریم که کلید موفقیت یک پلتفرم، استقرار ماژول ها به صورت ماژول و قابلیت های انعطاف پذیر برای امکان اجرای سریع محصول است. به همین دلیل ما ترکیبی از یک چارچوب تعریف شده توسط پلتفرم و پلاگین های ارائه شده توسط تیم های خدمات را پیاده سازی کردیم. در این پیاده سازی، پلاگین ها از طریق پیکربندی ها جمع آوری می شوند، که باعث حل مسئله سوم می شود و دو مزیت دارد:

تفکیک مسئولیت. با جریان اصلی که توسط پلتفرم انتزاع شده و نگهداری می شود، توسعه دهندگان تیم خدمات می توانند با نوشتن پلاگین ها و جاپشانی آنها در جریان اصلی به منطق برنامه کاری تمرکز کنند. در این حالت، توسعه دهندگان بدون تجربه جستجو می توانند به سرعت جریان های جستجوی جدید را فعال کنند.استفاده مجدد از پلاگین ها و اقتصادات مقیاس. با استقرار بیشتر موارد استفاده، تیم های خدمات بیشتر پلاگین ها را نوشته و این پلاگین ها دارایی های قابل استفاده مجدد هستند که در نتیجه اثر مقیاس دارد. به عنوان مثال، یک پلاگین یادآوری تبلیغاتی می تواند در جستجوهای غذا کلمه کلیدی یا غیر کلمه کلیدی، در جستجوهای کلمه کلیدی یا غیر کلمه کلیدی Mart و در جریان جستجوی یکپارچه قابل استفاده مجدد باشد زیرا همه این جستجوها حاوی تبلیغات غیر آلی هستند. همچنین، یک پلاگین یادآوری Mart می تواند در جستجوهای کلمه کلیدی یا غیر کلمه کلیدی Mart، جستجوی یکپارچه و جستجوی کلمه کلیدی غذا قابل استفاده مجدد باشد زیرا همه این جریان ها حاوی نتایج Mart هستند. با تجمع بیشتر پلاگین ها در پلتفرم ما، توسعه دهندگان ممکن است با استفاده مجدد و جمع آوری پلاگین های موجود، یک جریان جستجوی جدید را تحویل دهند.

نتیجه

پلتفرم ما در حال حاضر جستجوی هوشمندی با تشخیص قصد و جستجوی معنایی (مبتنی بر جاسازی) دارد. فرایند اضافه کردن ماژول های جدید همچنین ساده تر شده است و تشخیص قصد را به مرحله ی تقویت اضافه می کند و همچنین یک یادآوری اضافی به مرحله یادآوری چندرتبه می شود. این ماژول ها می توانند به راحتی توسط موارد استفاده دیگر استفاده شوند.

علاوه بر این، ما یک چارچوب تبلیغاتی ترکیبی و یک چارچوب آلی داریم. این بدان معنی است که داده در مرحله یادآوری در نظر گرفته می شود و تبلیغات می توانند همراه با نتایج آلی، مانند مرتبطیت متنی، رتبه بندی شوند.

با طراحی ماژولار و پلاگین های ارائه شده توسط پلتفرم، استفاده از پلتفرم ما برای مشتریان با فرآیند ساده ایجاد شده است. علاوه بر این، پلاگین ها قابل استفاده مجدد برای پوشش موارد استفاده جدید و دستیابی به اثر مقیاس هستند.

به ما بپیوندید

مجله زیبایی و درمانی آذروت یک پلتفرم سوپراپ در جنوب شرق آسیا است که خدمات روزمره ای که برای مصرف کنندگان اهمیت دارند را ارائه می دهد. بیش از یک اپلیکیشن سفر و سرویس تحویل غذا، مجله زیبایی و درمانی آذروت خدمات روزمره متنوعی را در این منطقه ارائه می دهد، از جمله خدمات حمل و نقل، غذا، بسته بندی و خرید مواد غذایی، پرداخت های موبایلی و خدمات مالی در 428 شهر در هشت کشور.

قدرت گرفته از فناوری و پیشروی براساس دل، ماموریت ما در حرکت دادن جنوب شرق آسیا با ایجاد توانمندی اقتصادی برای همه است. اگر این ماموریت با شما صحبت می کند، امروز به تیم ما بپیوندید!

معرفی

مصرف‌کنندگان ما قبلاً با چندین نقطه مشترک در هنگام جستجوی غذا با اپلیکیشن زیبایی و درمانی آذر وت روبه‌رو می‌شدند. گاهی نتایج شامل فروشندگانی بودند که هنوز عملیاتی نشده بودند یا مکان‌هایی که خارج از شعاع تحویل بودند. گاهی دیگر، هیچ جایگزینی ارائه نمی‌شد. سیستم جستجو همچنین با مشکلاتی مانند تایپوها، کلمات کلیدی به زبان‌های مختلف، مترادف‌ها و حتی مشکلات فاصله‌بندی کلمات دچار مشکلاتی بود که منجر به تجربه کاربری نامناسب می‌شد.

در چند ماه گذشته، تیم جستجوی ما یک چارچوب توسعه پرس و جو را برای حل این مشکلات ایجاد کرده است. وقتی یک پرس و جو کاربر وارد می‌شود، این چارچوب پرس و جو را به چندین کلمه کلیدی مربوطه بر اساس ارتباط معنایی و قصد کاربر توسعه می‌دهد. این واژگان گسترده سپس با پرس و جوی اصلی جستجو می‌شوند تا نتایج بیشتری با کیفیت بالا و متنوع بازیابی شوند. حالا بیایید به طور عمیق‌تری به نحوه کار آن نگاه کنیم.

چارچوب توسعه پرس و جو

ساخت کرپوس توسعه پرس و جو

ما از دو رویکرد مختلف برای تولید کاندیدهای توسعه پرس و جو استفاده کردیم: آنوتیشن دستی برای کلمات کلیدی برتر و استخراج داده بر اساس بازنویسی کاربر.

آنوتیشن دستی برای کلمات کلیدی برتر

جستجو پدیده ای به نام “سرباز چاق” دارد. هزاران کلمه کلیدی متداول بیش از ۷۰٪ از کل ترافیک جستجو را تشکیل می‌دهند. بنابراین، مدیریت مناسب این کلمه‌ها می‌تواند کیفیت کلی جستجو را بسیار بهبود بخشد. ما کاندیدهای توسعه ممکن برای این کلمات رایج را به طور دستی آنوتیشن کردیم تا پرفروش‌ترین فروشندگان، موارد و جایگزین‌های محبوب را پوشش دهد. به عنوان مثال، “مک‌دونالد” با {“برگر”، “غربی”} آنوتیشن شده است.

استخراج داده بر اساس بازنویسی کاربر

مشاهده کردیم که گاهی کاربران در صورت عدم رضایت از نتیجه جستجو، پرس و جوی خود را مجدداً نوشتن می‌کنند. به عنوان یک مطالعه نمونه، ما رکورد‌های بازنویسی کاربر را در داخل برخی جلسات جستجوی کاربر بررسی کرده و چندین نمونه جالبی پیدا کردیم:

{یا کن کایا توست، استارباکس}
{سالم، سابوی}
{مونی، موجی}
{奶茶، کوئی}
{روتی، هندی}

می‌توانیم ببینیم که علاوه بر اصلاح املایی، رفتار بازنویسی کاربران نیز ارتباطات معنایی عمیقی بین این جفت‌ها را که به راحتی با شباهت لغوی قابل ضبط نیستند، نشان می‌دهد. به عنوان مثال، فروشندگان مشابه، ویژگی‌های فروشنده، تفاوت‌های زبانی، انواع غذا و غیره. ما می‌توانیم از دانش کاربر استفاده کنیم تا یک کرپوس توسعه پرس و جو را برای بهبود تنوع نتایج جستجو و تجربه کاربری ایجاد کنیم. علاوه بر این، می‌توانیم از خرد جمعی برای یافتن برخی از الگوهای مشترک با قابلیت اطمینان بالاتر استفاده کنیم.

بر اساس این بصیرت، ما از حجم بالای داده‌های جستجوی کلیک موجود در زیبایی و درمانی آذروت برای تولید جفت‌های توسعه با کیفیت بالا در سطح جلسه کاربر استفاده کردیم. برای افزایش پرس و جوها، جفت‌های بازنویسی را که برای چندین کاربر و چندین بار در یک بازه زمانی رخ دادند جمع آوری کردیم. به طور خاص، ما از قوانین افقی زیر برای جمع‌آوری جفت‌های بازنویسی استفاده کردیم:

جلساتی را که حداقل دو پرس و جوی متمایز دارد (جلسه بازنویسی) را انتخاب کنیدجفت پرس و جوی مجاور را در جلسه جستجویی جمع‌آوری کنید که پرس و جوی دوم منجر به کلیک شود اما پرس و جوی اول نشود (بازنویسی موثر)نمونه‌هایی که بازه زمانی بین آنها بیش از 30 ثانیه باشد را فیلتر کنید زیرا در این جفت‌ها کاربران به تغییر نظر درباره چه چیزی می‌خواهند، بیشتر عرضه می‌کنند (تکیق)تعداد رخدادها را شمارش کرده و جفت‌های با فرکانس پایین را فیلتر کنید (مدیریت اعتماد)

بعد از اینکه جفت‌های استخراج شدند، آنها را دسته‌بندی و آنوتیشن کردیم تا درک عمیق‌تری از رفتار بازنویسی کاربران بدست آوریم. چندین نمونه استخراج شده از داده‌های منطقه سنگاپور در جدول زیر نشان داده شده است.

ما در ادامه، درصدهای برخی از دسته‌بندی‌ها را محاسبه کردیم که در شکل زیر نشان داده شده است.

علاوه بر افزودن کلمات، حذف کلمات و اصلاح‌های املایی، قسمت قابل توجهی از بازنویسی‌ها در دسته «دیگر» قرار دارد. این بیشتر به جنبه‌های معنایی مربوط است، مانند فروشنده به فروشنده، یا فروشنده به غذا. این بازنویسی‌ها برای گرفتن ارتباطات عمیق‌تر بین پرس و جوها مفید است و می‌تواند به عنوان یک ابزار قدرتمندی برای توسعه پرس و جو باشد.

گروه‌بندی

پس از کشف جفت‌های بازنویسی به صورت آفلاین از طریق استخراج داده، ما جفت‌های پرس و جو را بر اساس پرس و جوی اصلی گروه‌بندی و توسعه داده‌های هر پرس و جو را بدست می‌آوریم. به منظور بهبود کارایی سرویس دهی، تعداد حداکثر کاندید توسعه را به سه تا محدود می‌کنیم.

سرویس دهی توسعه پرس و جو

معماری تطبیق توسعه

معماری تطبیق توسعه از ارتقای اخیر معماری جستجو بهره‌مند است، جایی که جریان سیستم به جریان فهمیدن پرس و جو، بازخوانی چندگانه و ترکیب نتیجه تغییر می‌کند. به طور خاص، یک پرس و جو از طریق ماژول فهمیدن پرس و جو عبور می‌کند و با اطلاعات اضافی تکمیل می‌شود. در این مورد، ماژول فهمیدن پرس و جو کلمه کلیدی را دریافت کرده و آن را به چندین مترادف توسعه می‌دهد، به عنوان مثال، KFC به مرغ سرخ شده توسعه می‌یابد. پرس و جوی اصلی همراه با توسعه‌های آن به صورت همزمان در چارچوب بازخوانی چندگانه به موتور جستجو ارسال می‌شود. در پایان، نتایج از چندین تجدیدکننده با کلمات کلیدی متفاوت ترکیب می‌شوند.

مانیتورینگ پیوسته و حلقه بازخورد

مهم است که اطمینان حاصل شود جفت‌های توسعه مربوطه مربوط و به‌روز باشند. ما خط لوله استخراج داده را به طور دوره‌ای اجرا می‌کنیم تا رفتار بازنویسی کاربران جدید را ثبت کنیم. در عین حال، ما همچنین تسهیم صافی کاندید‌های توسعه را از طریق اندازه‌گیری کمک جستجو یا تعامل کاربر که پرس و جوی خاص مربوطه را به دست می‌دهد، نظارت می‌کنیم و جفت‌های قدیمی را به صورت خودکار حذف می‌کنیم. این نشان‌دهنده تلاش ما برای ساخت یک سیستم تطبیق‌پذیر است.

نتایج

ما آزمایشات آنلاین A/B را در ۶ کشور جنوب شرق آسیا برگزار کردیم تا پرس و جوهای گسترده توسعه‌یافته توسط سیستم ما را ارزیابی کنیم. ما ۳ گروه تنظیم کردیم:

گروه کنترل، که هیچ پرس و جوی توسعه‌یافته‌ای ندارد.گروه درمان ۱، که پرس و جوها را فقط بر اساس آنوتیشن دستی توسعه می‌دهیم.گروه درمان ۲، که پرس و جوها را با استفاده از رویکرد استخراج داده توسعه می‌دهیم.

ما بهبود قابل توجهی در نرخ کلیک و نرخ تبدیل از هر دو گروه درمان مشاهده کردیم. علاوه بر این، در گروه درمان ۲، رویکرد استخراج داده نتایج بهتری را ارائه داد.

کارهای آینده

بهبود استخراج داده

در حال حاضر، رویکرد استخراج داده تنها می‌تواند جفت‌ها را از همان جلسات جستجویی توسط یک کاربر شناسایی کند. این محدودیت تعداد جفت‌های مرتبط را محدود می‌کند. برخی از بهبودهای پتانسیلی عبارتند از:

افزودن کاندیدهای توسعه با ارتباط کوئری‌ها از طریق کاربران مختلفی که بر روی همان فروشنده / آیتم کلیک می کنند، به عنوان مثال، با استفاده از یک گراف کلیک. این می تواند کوئری‌های مرتبط در طول جلسات کاربر را ضبط کند.روی نقشه احتمالی بر روی جفت های انتقال فعلی ساخته شده. در حال حاضر، همه جفت‌های انتقال با وزن مساوی هستند، اما بدیهی است که انتقالاتی که بیشتر رخ می‌دهد باید احتمال / وزن بالاتری داشته باشد.

تشکر ویژه از Zhengmin Xu و Daniel Ng برای بررسی این مقاله.

تشکر ویژه از Zhengmin Xu و Daniel Ng برای بررسی این مقاله.

مجله زیبایی و درمانی آذروت بزرگترین پلتفرم سوپراپ در جنوب شرق آسیا است که خدمات روزانه مهمی را برای مصرف‌کنندگان فراهم می‌کند. مجله زیبایی و درمانی آذروت بیش از یک اپلیکیشن تاکسی و تحویل غذا است و در منطقه خدمات تقاضایی بسیاری از جمله خدمات حمل و نقل، غذا، بسته و خرید موبایلی

تیم پلتفرم داده زنده گرب، که به عنوان Coban شناخته می‌شود، در موردPlumbing at scale،Optimally scaling Kakfa consumer applicationsوExposing Kafka via VPCEنوشته است. در این مقاله، ما به اهمیت قابلیت حرکت آسان داده به داخل و خارج از Kafka به روشی کم‌کد پرداخته‌ایم و چگونگی دستیابی به این قابلیت را با Kafka Connect توضیح می‌دهیم.

برای ساختن یک پلتفرم جریان داده مدیریت شده در Grab، تیم Coban اقدامات زیر را انجام داده است:

مرکز داده ایکوسیستمی بر روی Apache Kafka به وجود آورده‌است. برای مورد استفاده های تراکنشی و تجزیه و تحلیلی، آن را به محیط تولیدی درآورده‌است.این پلتفرم به عنوان یک پلتفرم استاندارد صنعتی تست شده به شمار می‌رود.

در سال 2021، تیم Coban با آغاز یک سفر جدید (Kafka Connect) که امکان جابجایی داده ها به درون و بیرون Apache Kafka را به صورت بی هیچ کدی فراهم می‌کند، Grabbers را به جابجایی داده در Apache Kafka به طور بی درنگ و آسان قادر ساخت.

مجله زیبایی و درمانی آذر وت کاوکا انک استک Kafka Connectرا قابل مشاهد هست. منابع چندگانه داده و مخزن های داده مانند MySQL، S3 و Azure Data Explorer قبلاً پشتیبانی و تولید شده است.

این همان استک Kafka Connect Coban است که امروزه به آن شباهت دارد. تعدادی منبع داده و سینک داده مانند MySQL، S3 و Azure Data Explorer به عنوان نمونه های محدود پشتیبانی و تولید شده است.

تیم Coban برای سریالیزه-دیسریالیسه (SerDes) از Protobuf استفاده می‌کند. بنابراین، نقش ثبت نام سازی Confluent (نشان داده شده در بالای شکل) برای اکوسیستم Kafka Connect حیاتی است، زیرا به عنوان ابزاری برای تبدیلاتی مانند Protobuf-to-Avro، Protobuf-to-JSON و Protobuf-to-Parquet عمل می‌کند.

مشکلات ما چیست؟

مشکل 1: ثبت تغییرات داده (CDC)

در یک سازمان بزرگ مانند Grab، ما با حجم بزرگی از داده و تغییرات در خدمات مختلف روبه‌رو هستیم. بنابراین، برای این تغییرات باید به صورت زمان واقعی باشیم.

علاوه بر این، تحدیدفنی های دیگری وجود دارند که باید پاسخ داده شوند:

همانطور که در شکل زیر نشان داده شده است، داده دوبار در کد نوشته می‌شود - یک بار در پایگاه داده (DB) و یک بار به عنوان یک پیام به Kafka. برای اینکه داده در DB و Kafka سازگار باشند، دو نوشتار باید اتمی در یک پروتکل هماهنگی دو مرحله‌ای (یا سایر پروتکل های رای‌گیری اتمی) باشند که مسئله غیرتافه و تاثیرگذار بر دسترسی است. برخی از موارد استفاده نیاز به داده های قبل و پس از یک تغییر دارند.

مشکل 2: بهره‌برداری از پیام برای بازیابی بعد از بروز فاجعه

تیم Coban تحقیقاتی در مورد Kafka MirrorMaker، یک راه حل متن‌باز، انجام داده است. در حالی که این راه حل تضمین کننده توافق داده بهتر است، اما برای بهره‌برداری از آن در زیرساخت Kubernetes موجودیت‌های بزرگ می‌طلبد که توسط تیم Coban میزبانی می‌شود و به دستیابی به در دسترسی بالا نیاز دارد.

یکی از چالش‌های اصلی دیگری که تیم Coban روبه‌رو هست، میرور کردن و ترجمه آفست است که یک چالش شناخته شده در جوامع Kafka است. برای اینکه مصرف‌کننده‌های Kafka پس از یک فاجعه به طور بی‌درنگ کار خود را با یک Kafka پشتیبانی از برونریسی کنند، باید برای آن توجه شود.

جذب داده به Azure Event Hubs

Azure Event Hubs یک رابط سازگار با Kafka دارد و به طور طبیعی JSON و Avro schema را پشتیبانی می‌کند. تیم Coban از چارچوب SerDes Protobuf استفاده می‌کند که توسط Azure Event Hubs پشتیبانی نمی‌شود. به این معنی است که برای جذب پیام به Azure Event Hubs، تبدیلات باید انجام شود.

راه‌حل

برای حل این مشکلات، تیم Coban Kafka Connect را انتخاب کرده است زیرا:

این یک چارچوب متن‌باز با جامعترین جامعه نسبتاً بزرگی است که در صورت بروز مشکلات می‌توانیم به آن‌ها مراجعه کنیم.قابلیت هایی برای اعمال تغییرات و تبدیلات سفارشی دارد.

بیایید ببینیم چگونه Kafka Connect می‌تواند برای حل مشکلات قبلاً اشاره شده استفاده شود.

Kafka Connect با استفاده از کانکتورهای Debezium

Debezium یک چارچوب برای ثبت تغییرات داده بر روی Apache Kafka و چارچوب Kafka Connect است. این چارچوب یک سری کانکتور برای دیتابیس های مختلف مانند MySQL، MongoDB و Cassandra ارائه می‌دهد.

اینجا مزایای جریان‌های MySQLbinlog آورده شده است:

نه تنها تغییرات را در داده ارائه می‌دهند، بلکه تصاویر داده قبل و بعد از یک تغییر خاص را نیز می‌دهند. برخی از تولیدکنندگان دیگر نیازی به ارسال پیام به Kafka پس از نوشتن یک ردیف در پایگاه داده MySQL ندارند. با استفاده از کانکتورهای Debezium، سرویس‌ها می‌توانند تنها با دیتابیس MySQL سروکار داشته باشند و به Kafka مراجعه نکنند.

معماری

در صورت ارتقا و خرابی پایگاه داده

تغییرات زبان تعریف داده (DDL)، مهاجرت، تقسیم و خرابی‌های پایگاه داده رایج در عملیات پایگاه داده هستند و هر نوع عملیاتی یک راه‌حل منظم دارد.

کانکتور Debezium ویژگی‌های داخلی برای مدیریت تغییرات DDL ایجاد شده توسط ابزارهای مهاجرت DB مانندpt-online-schema-change دارد که توسط تیم DB Ops مجله زیبایی و درمانی آذروت استفاده می‌شود.

برای مقابله با تغییرات نمونه MySQL و تقسیم پایگاه داده، تیم Coban از قابلیت تغییر آفست کانکتورهای Kafka Connect استفاده می‌کند. با تغییر آفست، کانکتورهای Debezium می‌توانند پس از مهاجرت پایگاه داده و همگام‌سازی خطاکنش binlog از هر مکانی در هر فایل binlog در یک نمونه MySQL به درستی عمل کنند.

برای اطلاعات بیشتر به مستندات Debezium مراجعه کنید.

داستان های موفقیت

پروژه CDC برای MySQL از طریق کانکتورهای Debezium در Grab بسیار موفق بود. یکی از مثال های بزرگ، بهینه سازی Elasticsearch در GrabFood است که در یک مقاله مرور شده است.

MirrorMaker2 با ترجمه آفست

MirrorMaker2 (MM2) که در کنار پروژه Apache Kafka توسعه و همراه با آن عرضه می‌شود، یک ابزار برای کپی کردن پیام ها و آفست های مصرف‌کننده است. با این حال، در تیم Coban، استک MM2 در چارچوب Kafka Connect برای هر کانکتور اجرا می‌شود زیرا:

چندین خوشه Kafka Connect قبلاً تامین شده است.نسبت به راه‌اندازی سه کانکتور گروهبندی شده در MM2، Coban می‌تواند کنترل های دقیق تری روی MirrorSourceConnector و MirrorCheckpointConnector داشته باشد و هر دو را به صورت کد زیرساخت مدیریت کند از طریق Hashicorp Terraform.

داستان های موفقیت

حفظ پیوستگی کسب و کار یک اولویت اصلی برای مجله زیبایی و درمانی آذروت است و این شامل توانایی بازیابی سریع از حوادث است. در نیمه دوم سال 2021، یک کمپین انجام شده است که در آن تیم های زیادی برای بررسی آمادگی و انعطاف پذیری خدمات و میان‌افزارهای مختلف مورد بررسی قرار گرفتند. Kafka Coban یکی از این خدمات است که پس از مراحل مختلف مهندسی به استحکام رسید. با MM2 در Kafka Connect برای آینه کردن هم پیام ها و هم آفست مصرف‌کننده، خدمات و لوله‌های بحرانی در صورت خرابی می‌توانند به طور ایمن تکثیر و در مناطق AWS راه‌اندازی شوند.

چون تیم Coban خود را به عنوان ارائه دهنده خدمات Kafka تست شده در Grab ثابت کرده است، تیم های دیگر نیز درخواست تغییر جریان‌ها از خوشه های Kafka خودمدیریت شده به خوشه هایی مدیریت شده توسط Coban داشته اند. MM2 در چنین مهاجرت هایی استفاده شده و به جریان تولیدکنندگان و مصرف‌کنندگان صفر زمان متوقفی وارد کرده است.

آینه زدن به Azure Event Hubs با تبدیل کننده داخلی

تیم Analytics پروژه های مقیاس بندی و تجزیه و تحلیل به صورت زمان واقعی را در Azure اجرا می‌کند. برای پشتیبانی از این حالت استفاده از چندین ابر، تیم Coban از MM2 برای آینه زدن پیام به Azure Event Hubs استفاده می‌کند.

به طور معمول، Event Hubs تنها بایت های JSON و Avro را قبول می‌کند که با چارچوب SerDes موجود سازگار نیست. تیم Coban یک تبدیل کننده سفارشی توسعه داده است که بایت های سریال‌شده در Protobuf را به بایت های JSON تبدیل می‌کند.

این مراحل توضیح می‌دهند چگونه تبدیل‌کننده عمل می‌کند:

بایت ها را در Kafka بر اساس یک پیام ProtobufDynamicMessage و به تبع آن یک ساختار تجزیه‌سازی مجدد بر اساس طرحی که از ثبت نام سازی طرح Confluent دریافت می‌شود، رمزگشایی کنید.به ازای هر توصیف کننده فیلد درDynamicMessage، یک جستجوی عمق اول ترتیبی پس مرتبه را انجام دهید.هر توصیف کننده فیلد Protobuf را به یک گره JSON تبدیل کنید.ریشه را به عنوان یک گره JSON سریال کنید.

تاکنون تبدیل کننده به صورت باز متن نشده است.

راه اندازی

کانکتورهای Docker برای Coban زیرساختی است که تیم از آن استفاده می‌کند، به خصوص اینکه برخی از خوشه های Kafka تولیدی از قبل در Kubernetes پیاده سازی شده‌اند. هدف بلند مدت ارائه Kafka در قالب یک مدل نرم‌افزار به عنوان خدمت (SaaS) است، به همین دلیل Kubernetes انتخاب شده است. نمودار زیر نحوه ساخت و راه‌اندازی خوشه های Kafka Connect را نشان می‌دهد.

چه چیزی بعدی است؟

تیم Coban بر روی یک صفحه کنترل یکپارچه برای مدیریت منابعی مانند تاپیک ها، خوشه ها و Kafka Connect در حال چرخش است. در آینده قابل پیش بینی، کاربران داخلی باید