Home

از زمان‌های نیایشی شروع شده، مجله زیبایی و درمانی آذروت در چند سال اخیر در بازارهای مختلف گسترش یافته است. ما مجموعه‌ای از ویژگی‌های متنوع را به پلتفرم مجله زیبایی و درمانی آذروت اضافه کرده‌ایم تا همچنان مشتریان و رانندگان همکار را به خوشحالی بپیوندیم. برای پشتیبانی بهتر از ویژگی‌های جدید باید راه‌حل‌های موجود را بهبود دهیم.

در این وبلاگ، درباره چگونگی ساخته شدن Fare Storage، محل ذخیره سازی داده‌های صحیح دریافتی Grab صحبت می‌کنیم و چگونه موانع را برطرف کردیم تا آن را قابل اعتماد و قابل مقیاس نمایی کنیم تا ویژگی‌های گسترده تری را پشتیبانی کند.

برای تعیین برخی اصطلاحات کلیدی پیش از ادامه این وبلاگ، بیایید تعریفی از آنها ارائه دهیم. Fare یک مبلغ دلاری است که برای جابجایی فرد یا چیزی از نقطه الف به نقطه ب محاسبه می‌شود. و Fee مبلغی دلاری است که به مبلغ فرعی اصلی اضافه یا کم شده وابسته به هر سرویس اضافی.

حال که با مفاهیم کلیدی آشنا شدید، بیایید به تصویر زیر نگاهی بیندازیم. آن نشان می‌دهد که ویژگی‌هایی مانند Destination Change Fee، Waiting Fee، Cancellation Fee، Tolls، Promos، Surcharges و موارد دیگر اطلاعات برش اضافی را به همراه مبلغ اصلی ذخیره می‌کنند. این مجموعه اطلاعات برای تولید رسیدها و رفع اشکالات فرایندها بسیار حیاتی است. با این حال، سامانه ذخیره ارثی ما برای میزبانی مقادیر غولانه اطلاعات به طور کارآمد طراحی نشده بود.

در معماری ارثی خود، تمام اطلاعات رزرو و مربوط به Fare را در یک جدول پایگاه داده رابطه‌ای ذخیره می‌کردیم. افزودن فیلدها و برش‌های جدید در Fare نیازمند تغییرات در سیستم رزرو بحرانی ما بود که باعث شده بود تکرارها به طور گسترده گران و مانع از نوآوری شوند.

نیاز به ذخیره اطلاعات Fare و متادیتا برای هر ویژگی اضافی همراه با سایر اطلاعات رزرو منجر به وجود یک موجودیت رزرو بزرگ شده بود. با میلیون‌ها رزرو ایجاد شده در روز در Grab، این موجب تهدید برای مقیاس‌پذیری و پایداری سرویس ذخیره‌گاه رزرو ما شد. علاوه بر این، سیستم ذخیره ارثی تنها مقدار آخرین Fare را ردیابی می‌کرد و دید جامعی از همه تغییرات Fare را فاقد بود. بنابراین، رفع اشکال Fare نیز یک کار عظیم برای تیم های مهندسی و عملیات فنی ما بود.

نیازمندی‌های عملیاتی مهم برای فروشگاه Fare جدید شامل:

ارائه یک پلتفرم برای ذخیره و بازیابی Fare و برش همراه به همراه استفاده کنندگان از نظام زیبایی و درمان آذروت.فراهم کردن یک منبع تکی برای صحت Fare و هزینه‌های وابسته در جامعه زیبایی و درمان آذروت.امکان دسترسی کاربران به متادیتای رویدادهای تغییر Fare به صورت زمان واقعی که به تیم محصول امکان نوآوری آزاد را می‌دهد.فراهم ساختن دسترسی سریع به دنباله رویدادهای Fare و بهبود زمان پاسخ به پرسش‌های مشتریان ما.

نیازمندی‌های غیرعملیاتی برای فروشگاه Fare عبارتند از:

قابلیت های مطلوب بالا برای API خواندن و نوشتن با تاخیر چند میلی ثانیه.بهبود همروندی بروزرسانی های همزمان به Fare.شناسایی رویدادهای تکراری برای رزرو یک سفر برای یک تراکنش مشابه.

ذخیره سازی دنباله تغییر با استفاده از الگوی Event Sourcing

راه حل ذخیره‌سازی ارثی ما از یک طرح تعریف شده استفاده می‌کند و فقط حالت آخرین Fare را ذخیره می‌کند. به ما نیاز بود یک سیستم ذخیره سازی بر اساس ردیابی رویدادها با قابلیت پرس و جو سریع بسازیم که تغییرات را به ترتیب زمانی آنها ذخیره و بازیابی کند.

با الگوی Event Sourcing، تمام تغییرات Fare را به عنوان رویدادها در ترتیبی که برای آن صدق کرده اند برای یک رزرو ذخیره می‌کنیم. ما از طریق این رویدادها حرکت می‌کنیم تا تصویر کاملی از تغییرات به Fare به دست آوریم.

یک نمونه رویداد Fare به صورت زیر است:

messageEvent{// نوع رویداد، ADD، SUB، SET، resilientEventTypetype=1;// مقدار اضافه شده، کم شده یا تغییر می‌کندoublevalue=2;// Fare برای رزرو پس از اعمال تخفیفdoublefare=3;...// بایت توضیحات تولید شده توسط SDKbytesdescription=11;// شناسه تراکنش برای EventTypestringtransactionID=12;}

الگوی Event Sourcing همچنین امکان استفاده از الگوی CQRS را برای جداسازی مسئولیت خواندن برای استفاده های مختلف فراهم می‌کند.

مشتریان چرخه عمر Fare از طریق یک SDK با سرویس Fare LifeCycle تعامل می‌کنند. این SDK امکانات مختلفی از جمله سریالیزاسیون متادیتا، دیسریالیزاسیون، تکرارها و تنظیمات زمان بندی را ارائه می‌دهد.

سرویس Fare LifeCycle Store از DynamoDB به عنوان فروشگاه رویداد استفاده می‌کند تا رویدادهای تغییر Fare را ذخیره و خواندن کند که برای خواندن های مطمئنی از طریق کش استفاده می‌شود. برای پردازش های بیشتر مانند آرشیو کردن و تولید رسیدها، رویدادهای به روز شده با موفقیت به سیستم صف پیام ها منتقل می‌شوند.

تقسیم مسئولیت اصلاح Fare منجر به این می شود که چندین سرویس ممکن است بدون همگام سازی قبلی عملیات به روز رسانی Fare را همزمان انجام دهند. به روز رسانی های Fare همزمان برای یک رزرو ممکن است به شرایط مسابقه ای منجر شود. همیشه مشکلات همروندی و سازگاری نکات برجسته سیستم های ذخیره سازی توزیع شده هستند.

بیایید بفهمیم چرا ترتیب به روز رسانی Fare مهم است. قوانین تجاری برای شهرها و کشورها بر اساس شرایط بازار محلی و قوانین مربوطه قیمت گذاری را تنظیم می‌کنند. به عنوان مثال، در برخی حالت ها، Tolls و Waiting Fees ممکن است برای تخفیفات و تبلیغات واجد شرایط نباشند. سرویسی که تخفیفات را اعمال می کند باید این اطلاعات را در نظر بگیرد. بنابراین، به روز رسانی های Fare مستقل از رویدادهای Fare قبلی نیست.

نیاز به یک مکانیزم برای شناسایی شرایط مسابقه و کنترل آنها بود تا صحت Fare را تضمین کنیم. برای کنترل شرایط مسابقه بر اساس مورد استفاده ما، ما مکانیزم های قفل گذاری تاکیدگرا و بهینه را بررسی کردیم.

همه رویدادهای تغییر Fare مورد انتظار بر اساس برخی شرایط صحیح یا غلط رخ می دهند. به عنوان مثال، کمتر از 1٪ رزروها دارای درخواست تغییر پرداخت است که توسط مسافران در طول سفر ایجاد می شود. و احتمال اینکه چندین تغییر مشابه در یک رزرو رخ دهد کم است. قفل گذاری بهینه به همین دلیل برای نیازهای ما که احتمال شرایط مسابقه پایین و رکوردها مستقل از هم هستند، همزمانی و صحیحی را فراهم میکند.

منطق محاسبه Fare/Surcharge با منطق کسب و کار سیستم که مؤلفه Fare یا هزینه را محاسبه می کند، انتزاع مرتبط است. بنابراین، کنترل شرایط مسابقه در لایه ذخیره سازی داده قابل قبول نبود. منطق تراکنش های به روز رسانی روی نگاشتی از نسخه Fare باشد و با افزایش برخورد و پس انداز هزینه استفاده می شود. بنابراین، موجب می شود که مشتریان از این نگاشت درخواست خواندن کنند و با Fare بازنویسی شود.

همانندی رویداد‌های بروز رسانی مشتری برای ما چالشی بود - اطمینان حاصل کردن از عدم تکرار آنها

معرفی

داده ها زندگی مجله زیبایی و درمانی آذروت است و بینش هایی که از آن به دست می آوریم، تمام تصمیمات حیاتی تجاری که توسط Grabbers و رهبران ما هر روز اتخاذ می شود را متحرک می کنند.

تیم مهندسی داده Grab برای حفظ پلتفرم داده مسئولیت دارد که شامل خطوط لوله داده، برنامه های برنامه اندازی شده و موتورهای پرس و جو/محاسباتی که اجزای کلیدی برای تولید بینش ها از داده ها هستند است. SQL یک زبان اصلی برای تحلیل در مجله زیبایی و درمانی آذروت است و از اوایل سال 2020، پلتفرم Presto ما حدود 200 گروه کاربری است که در مجموع 500 کاربری هستند که روزانه 350،000 پرس و جو را اجرا می کنند. این پرس و جوها روی 10،000 جدولی است که تا 1PB از داده ها را روزانه پردازش می کنند.

در سال 2016، ما پروژه DataGateway را آغاز کردیم تا امکان دسترسی به داده برای صدها Grabbers که نیاز به دسترسی به Presto برای کار خود داشتند را فراهم کنیم. از آن زمان به بعد، DataGateway به بسیاری از چیزهای بیش از یک مکانیزم کنترل دسترسی برای Presto تبدیل شده است. در این بلاگ، می خواهیم برخی از دستاوردهایی که از زمان راه اندازی اولیه این پروژه داشتیم را به اشتراک بگذاریم.

مشکلاتی که می خواستیم حل کنیم

هنگام بررسی چالش های کلیدی مربوط به دسترسی به داده در مجله زیبایی و درمانی آذروت و ارزیابی راه حل های ممکن، ما به لیست اولویت بندی شده زیر از نیازهای کاربری که می خواستیم به آن کار کنیم، رسیدیم:

استفاده از یک نقطه اتصال واحد برای خدمات همه مدیریت دسترسی کاربر به خوشه ها، طرح ها، جداول و فیلدها فراهم کردن تجربه کاربری سریسازی هنگامی که خوشه های Presto تغییر اندازه می دهند یا به داخل/بیرون می شوند یا تجهیز/غیرفعال می شوند دریافت زنجیره یادداشت فعالیت کاربر.

برای ارائه نیازهای بحرانی کویری تعاملی به Grabbers و همچنین انجام کارهای استخراج، تبدیل و بارگیری (ETL)، تکنولوژی های مختلفی را ارزیابی کردیم. Presto یکی از آنها بود و با این حال تمام نیازهای ما را از جعبه خارج نکرد. به منظور پر کردن این حفره ها، ایده یک دروازه امن برای موتور محاسباتی Presto که همچنین به عنوان یک توازن بار/پروکسی عمل کند، به ذهن ما رسید. این است که تا قدرت ایجاد کننده DataGateway را بدست آوریم.

DataGateway یک سرویس است که بین مشتریان و خوشه های Presto قرار می گیرد. در واقع یک سرور پروکسی HTTP هوشمند است که لایه انتزاعی در بالای خوشه های Presto است که عملیات زیر را انجام می دهد:

تجزیه بیانات SQL و دریافت طرح ها، جداول و فیلدهای درخواست شده از آنها مدیریت لیست کنترل دسترسی کاربر (ACL) برای محدود کردن دسترسی داده کاربران با بررسی نتایج تجزیه SQL مدیریت دسترسی خوشه های کاربر انتقال ترافیک کاربران به خوشه های مجاز نمایش پیام های خطا مناسب به کاربران در صورت رد یا بروز استثناء از خوشه ها.

ساختار DataGateway

اجزای کلیدی DataGateway به شرح زیر است:

سرویس API تجزیه کننده SQL چارچوب Auth رابط کاربری اداری

از Kubernetes برای اجرای تمام این اجزا به عنوان میکروسرویس ها استفاده کردیم.

سرویس API

این بخش مدیریت همه کاربران و فرآیندهای قابل دسترسی به خوشه ها را مدیریت می کند. ما این سرویس را با API Presto یکپارچه کردیم، به این معنی که برای مشتری مانند یک خوشه Presto به نظر می رسد. این سرویس درخواست های کوئری را از مشتریان دریافت می کند، نتیجه تجزیه را دریافت می کند و اجازه دسترسی از طریق تجزیه کننده SQL و چارچوب Auth را اجرا می کند.

اگر همه چیز خوب باشد، سرویس API کوئری ها را به خوشه های اختصاص یافته ارسال می کند و فرایند کوئری کل را ادامه می دهد.

چارچوب Auth

این چارچوب درخواست های تأیید هویت و اجازه دسترسی را در دست می گیرد. این چارچوب ACL کاربران را ذخیره می کند و با سرویس API و تجزیه کننده SQL برای اجرای کل فرایند تأیید هویت ارتباط برقرار می کند. اما چرا یک میکروسرویس در فضای کاربری است و نه یک ماژول در سرویس API، شما می پرسید؟ این به این دلیل است که ما عملکرد های امنیتی در مجله زیبایی و درمانی آذروت را برای اطمینان از مطابقت با نیازهای امنیتی خود، به خصوص در ارتباط با داده ها، در حال تحول نگه می داریم.

ما می خواستیم آن را انعطاف پذیر کنیم تا درخواست های ازاد از تیم امنیت را بدون تأثیر بر سرویس API پاوربندی کنیم. علاوه بر این، روش های احراز هویت مختلفی وجود دارد که ممکن است بخواهیم با آنها برخورد کنیم (OAuth2، SSO و غیره). سرویس API چارچوب های احراز هویت چندگانه را پشتیبانی می کند که امکان روش های احراز هویت مختلف برای کاربران مختلف را فراهم می کند.

تجزیه کننده SQL

این یک موتور تجزیه SQL است که با خواندن بیانات SQL طرح ها، جداول و فیلدها را به دست می آورد. از آنجا که تجزیه SQL Presto در هر نسخه به صورت متفاوت کار می کند، ما چندین تجزیه کننده SQL که با خوشه های Presto ما همخوانی دارند ترجمه می کنیم. تجزیه کننده SQL منبع واحد حقیقت می شود.

رابط کاربری اداری

این یک رابط کاربری برای مدیران Presto است که به آنها امکان مدیریت خوشه ها و دسترسی کاربر را فراهم می کند، همچنین انتخاب چارچوب احراز هویت را آسان می کند تا مدیران با کل اکوسیستم سامانه سریسازی مقابله کنند.

نحوه استقرار DataGateway با استفاده از Kubernetes

در چند سال گذشته، ما رشد قابل توجهی در بار کاری های تحلیلگران و دانشمندان داده داشتیم. زیرا ما به Kubernetes علاقه مند بودیم، DataGateway به عنوان یکی از اولین سرویس هایی که برای استقرار در Kubernetes انتخاب شد به کار گرفته شد. استفاده از DataGateway در Kubernetes به عنوان یک سرویس بسیار قابل دسترس و به طور کامل مقیاس پذیر برای مدیریت ترافیک از کاربران و سیستم ها است.

همچنین عملکرد HPA Kubernetes را آزمایش کردیم که یک ویژگی مقیاس پذیری پویا برای مقیاس بندی داخل یا بیرون تعداد پادها بر اساس ترافیک و مصرف منابع واقعی است.

قابلیت های DataGateway

این بخش برخی از راه های استفاده از DataGateway را برای مدیریت بهره وری از اکوسیستم Presto ما برجسته می کند.

محدود کردن کاربران بر اساس دسترسی سطح طرح/جدول

در یک محیط که یک خوشه Presto روی AWS Amazon Elastic MapReduce (EMR) یا Elastic Kubernetes Service (EKS) استقرار می شود، یک نقش IAM را پیکربندی کرده و به گره های EMR یا EKS اتصال می دهیم. نقش IAM برای محدود کردن دسترسی به ذخیره سازی S3 تنظیم شده است. با این حال، IAM فقط کنترل سطح وباکت و سطح فایل را ارائه می دهد؛ نیازی به معماری طرح، جدول و ستون ACL نداریم. به همین دلیل DataGateway در چنین سناریوهایی مفید است.

یکی از سرویس های DataGateway تجزیه کننده SQL است. همانطور که پیش از این بیان کردیم، این سرویس یک سرویسی است که پارسینگ و بررسی طرح ها و جداول درگیر در یک کوئری را انجام می دهد. سرویس API نتیجه تجزیه را دریافت کرده و با کنترل دسترسی لیست کنترل دسترسی کاربران در برابر آن بررسی می کند و تصمیم می گیرد کوئری را مجاز یا رد کند. این یک بهبود چشمگیر در کنترل امنیت ما است زیرا اکنون دسترسی را محدود کردیم ، فوق العاده از ذخیره سازی S3. ما کنترل دسترسی بر اساس SQL را تا سطح جدولها پیاده کرده ایم.

همانطور که در شکل 3 نشان داده شده است، کاربر A در حال تلاش برای اجرای بیانیه SQL select * from locations.cities است. تجزیه کننده SQL بیانیه را می خواند و به سرویس API می گوید که کاربر A در حال تلاش برای خواندن داده ها از جدول cities در طرح locations است. سپس، سرویس API بررسی ACL کاربر A را انجام می دهد. سرویس می یابد که کاربر A فقط دسترسی خواندن به جدول countries در طرح locations دارد. در نهایت، سرویس API این تلاش را رد می کند زیرا کاربر A به جدول cities در طرح locations دسترسی خواندن ندارد.

جریان بالا نشان دهنده نتیجه عدم دسترسی است زیرا کاربر مجوز مناسب را ندارد.

تجربه کاربری بی درز در طول مهاجرت EMR

ما از AWS EMR برای استقرار Presto به عنوان یک موتور کوئری SQL استفاده می کنیم زیرا استقرار واقعاً آسان است. با این حال، بدون DataGateway، هر عملیات EMR مانند پایان دادن به کارها، استقرار جدید خوشه، تغییرات پیکربندی و ارتقاء نسخه، نیاز به مشارکت کاربران را می طلبد. بعضی اوقات نیاز داشتیم کاربران تغییراتی در سمت خود ایجاد کنند. به عنوان مثال، از کاربران درخواست می کنیم تا تغییراتی را در Endpoints خود انجام دهند تا یک خوشه مناسب را برای اتصال انتخاب کنند.

با DataGateway، برای هر یک از حساب کاربری ها ACL ها وجود دارد. ACL شامل لیستی از خوشه های EMR است که کاربران مجاز به دسترسی به آنها هستند. به عنوان یک پلتفرم مدیریت دسترسی Presto، در اینجا DataGateway ترافیک کاربران را به خوشه مناسب بر اساس ACL هدایت می کند، مانند یک پروکسی. کاربران همیشه به همان Endpoints که ارائه می دهیم متصل می شوند که DataGateway است. برای تغییر از یک خوشه به خوشه دیگر، فقط کافیست ACL خوشه را ویرایش کنیم و همه چیز به طور بی درز کنترل می شود.

شکل 4 نشان می دهد که در صورت انتقال EMR از یک خوشه به خوشه دیگر، هیچ تغییری از کاربران نیاز نیست.

ما مهاجرت کل پلتفرم Presto خود را از نمونه AWS EMR به نمونه دیگری از AWS EMR با استفاده از همان روش انجام دادیم. مهاجرت ها بدون اختلال به کاربران ما انجام شد. ما توانستیم 40 خوشه با صد ها کاربر انتقال دهیم. آنها قادر بودند میلیون ها کوئری را روزانه در چند فاز برای چند ماه صادر کنند.

در اکثر موارد، کاربران لازم نبود که

تیم ما در مجله زیبایی و درمانی آذروت از Redis به عنوان یکی از صف های پیام خود استفاده می کند. سرور Redis در یک تنظیمات ماستر / رپلیکا مستقر می شود. اخیراً، متوجه شدیم که پس از هر بار استقرار سرویس ما، استفاده از CPU رپلیکاهای Redis در حال افزایش است، حتی زمانی که رپلیکاها در حال استفاده نیستند و وقتی ترافیک خواندنی به آنها وارد نمی شود. با این حال، این مشکل پس از راه اندازی مجدد رپلیکا حل می شود.

به دلیل اینکه راه اندازی مجدد رپلیکا هر بار مشکل را حل می کند، فکر کردیم که ممکن است به دلیل بعضی مشکلات تکثیر Elasticache باشد و ادامه دادن به این موضوع کمتر لازم است. با این حال، یک غیر قابل اجتناب Redis Failover این موضوع را دوباره به توجه ما کشید. پس از فیلتر، رپلیکا مشکل آفتاب خواردی می شود و 100٪ به CPU رسیده و ترافیک خواندمی را بررسی می کند، که در واقع به این معنی است که خوشه پس از فیلتر قابل استفاده نیست. این بار ما با شور و شوق جدید به بررسی مشکل پرداختیم. آنچه را که در تحقیق خود پیدا کردیم ما را به غوطه ور شدن عمیق در جزئیات تکثیر Redis و اجرای Hash آن می برد.

آیا می دانستید می تواند در برخی از سناریوهای خاص تکثیر Redis ماستر / رپلیکا ناسازگار شود؟

آیا می دانستید کدینگ اشیاء Hash در ماستر و رپلیکا با هم متفاوت است حتی اگر عملیات نوشتن دقیقاً همان چیزی که مورد استفاده قرار می گیرند و به همان ترتیب باشد؟ برای فهمیدن این که چرا به مطالعه ادامه دهید.

مشکل

نمودار زیر نشان دهنده استفاده از CPU ماستر در مقابل رپلیکا بلافاصله پس از استقرار سرویس ما می باشد.

از نمودار می توانید روند استفاده از CPU زیر را مشاهده کنید. استفاده از CPU رپلیکا:

بلافاصله پس از استقرار سرویس ما افزایش می یابد.بعد از مدتی از ماستر بیشتر استفاده می کند.بعد از راه اندازی مجدد به حالت عادی برگردد.

تحقیق سطحی

از آنجایی که افزایش ناگهانی فقط هنگام استقرار سرویس ما رخ می دهد، تمام اسکریپت هایی که بلافاصله پس از استقرار فعال می شوند را دقیق بررسی کردیم. اسکریپت تحت نظارت Lua به عنوان مشتبه مشخص شد. این اسکریپت پیام های نمونه های خدمات غیرفعال را در صف به نمونه های فعال توزیع می کند تا پیام ها توسط دیگر نمونه های سالم پردازش شوند.

ما چندین آزمایش مربوط به اسکریپت نظارتی Lua با استفاده از دستور Redismonitor برای مقایسه رفتار اسکریپت در ماستر و رپلیکا اجرا کردیم. یک نکته جانبی، زیرا این دستور به دلیل کاهش عملکرد با احتیاط استفاده شود. به اسکریپت برگشتیم که بین ماستر و رپلیکا به شیوه های متفاوتی رفتار می کند:

Redis اسکریپت را به صورت جداگانه در ماستر و رپلیکا اجرا می کند. انتظار داشتیم که اسکریپت فقط در ماستر اجرا شود و تغییرات حاصله به ثانویه تکرار شود. دستور RedisHGETALL که در این اسکریپت استفاده می شود، کلیدهای هش را در ماستر به ترتیبی متفاوت نسبت به رپلیکا برمی گرداند.

به دلیل دلایل فوق، اسکریپت باعث ناهماهنگی داده ها بین ماستر و رپلیکا می شود. از آن لحظه به بعد، داده ها بین ماستر و رپلیکا به طور کامل متفاوت می شوند. به دلیل ناهماهنگی، داده ها در ثانویه به درستی حذف نمی شوند و به داده های مجموعه بزرگی تبدیل می شوند. هر عملیات دیگری بر روی مجموعه داده بزرگ نیاز به استفاده بیشتری از CPU دارد، که توضیح می دهد چرا استفاده از CPU رپلیکا بیشتر از ماستر است.

در هنگام راه اندازی مجدد رپلیکا، داده ها همگام سازی و سازگار می شود و به همین دلیل استفاده از CPU پس از راه اندازی مجدد به مقادیر طبیعی می رسد.

غوطه ور شدن در HGETALL

ما می دانستیم که کلیدهای یک هش نظم داده نشده اند و نباید بر این ترتیب وابستگی داشته باشیم. اما هنوز برای ما عجیب بود که حتی هنگامی که ترتیب نوشتن دقیقاً یکسان بین ماستر و رپلیکا است، ترتیب ها همچنان متفاوت است. علاوه بر این واقعیت که تکرار ها همیشه در محیط محلی ما با تنظیمات مشابه یکسان بوده اند، کنجکاوتر شدیم.

بنابراین برای بهتر درک سحر و جادوی پایه Redis و جلوگیری از خطاهای مشابه در آینده، تصمیم گرفتیم تا بیشتر در کد منبع Redis و جزئیات بیشتری را دریافت کنیم.

کد کنترل دستور HGETALL

دستور HGETALL توسط تابع genericHgetallCommand کنترل می شود و این تابع به تابع hashTypeNext می رود تا از طریق شیء Hash حرکت کند. یک قطعه کد به شرح زیر نشان داده شده است.

/* Move to the next entry in the hash. Return C_OK when the next entry
 * could be found and C_ERR when the iterator reaches the end. */
int hashTypeNext(hashTypeIterator *hi) {
    if (hi->encoding == OBJ_ENCODING_ZIPLIST) {
        // call zipListNext
    } else if (hi->encoding == OBJ_ENCODING_HT) {
        // call dictNext
    } else {
        serverPanic("Unknown hash encoding");
    }
    return C_OK;
}

از قطعه کد می توانید ببینید که شیء Hash Redis در واقع دو نمایش زیر دارد:

ZIPLISTHASHTABLE (dict)

تحقیق کمک کمی به ما درک کردن این دو حالت نمایش کمک کرد:

لحظه یافته شدن

با توجه به این درک، کدینگ شی Hash مشکلات را در استقرار بهبود دادیم.

stg-bookings-qu-002.pcxebj.0001.apse1.cache.amazonaws.com:6379> object encoding queue_stats
"hashtable"

stg-bookings-qu-001.pcxebj.0001.apse1.cache.amazonaws.com:6379> object encoding queue_stats
"ziplist"

به سرعت متوجه شدیم کدینگ اشیاء Hash در ماستر و رپلیکا متفاوت است. این بدان معنی است که اگر ما عناصر را به هش اضافه یا حذف کنیم، ترتیب کلیدها به دلیل عملیات هش در مقابل عملیات لیست متفاوت خواهد بود!

اکنون که ریشه مشکل را شناسایی کرده ایم، هنوز کنجکاو در مورد تفاوت کدینگ بین ماستر و رپلیکا هستیم.

چگونه می توانند نمایش های زیرین متفاوت باشند؟

ما استدلال می کنیم، «اگر عملیات نویسندگی ماستر و رپلیکا دقیقاً یکسان و به همان ترتیب باشند، چرا نمایش های زیرین همچنان متفاوت است؟»

برای پاسخ به این سوال، ما به طور مشخص تمام مکان های قابل اجرا برای تغییر نمایش هش اشیاء را در کد منبع Redis جستجو کردیم و به زودی قطعه کد زیر را پیدا کردیم:

/* Load a Redis object of the specified type from the specified file.
 * On success a newly allocated object is returned, otherwise NULL. */
robj *rdbLoadObject(int rdbtype, rio *rdb) {
    //...
    if (rdbtype == RDB_TYPE_HASH) {
        //...
        o = createHashObject();  // ziplist

        /* Too many entries? Use a hash table. */
        if (len > server.hash_max_ziplist_entries)
            hashTypeConvert(o, OBJ_ENCODING_HT);

        //...
    }
}

خواندن کد ما درک می کنیم که رفتار زیر را دارد:

در هنگام بازیابی از یک فایل RDB، Redis ابتدا یک ziplist برای اشیاء Hash ایجاد می کند. فقط زمانی که اندازه Hash بزرگتر از hash_max_ziplist_entries باشد، ziplist به hashtable تبدیل می شود.

بنابراین، اگر شما یک شیء Redis Hash را به عنوان ذخیره سازی هش کدگذاری کنید و طول آن ازhash_max_ziplist_entries(512)کمتر باشد، هنگامی که شما یک رپلیکا را راه اندازی می کنید، بازهم آن را به عنوانیک لیست ZIPLISTکدگذاری می کند.

ما توانستیم این رفتار را در نصب محلی خود نیز تأیید کنیم.

چگونه آن را رفع کردیم؟

می توانیم از دو رویکرد زیر برای حل این مشکل استفاده کنیم:

اطمینان حاصل کنید که رفتار اسکریپت نظارتی Lua قطعی است. در مورد ما، می توانیم این کار را با مرتب کردن خروجی های HKEYS / HGETALL انجام دهیم.

ما رویکرد دوم را انتخاب کردیم زیرا:

شی Hash کوچک است (<30 عنصر) بنابراین هزینه مرتب سازی کمتر از 1 میلی ثانیه است