Kinect به عنوان ابزاری برای تجزیه و تحلیل راه رفتن: اعتبارسنجی یک الگوریتم استخراج مشترک در زمان واقعی که در نمای جانبی کار می کند

: سنسور مایکروسافت Kinect برای چندین سال به عنوان ابزاری برای تجزیه و تحلیل راه رفتن توجه کرده است. با وجود مزایای بسیاری که سنسور ارائه می دهد ، با این حال ، عدم توانایی بومی برای استخراج اتصالات از نمای جانبی بدن انسان هنوز پذیرش دستگاه را به تعدادی از برنامه های مربوطه محدود می کند. در این مقاله یک الگوریتم برای یافتن و تخمین مسیرهای حداکثر شش اتصالات استخراج شده از نمای عمق جانبی بدن انسان اسیر شده توسط دستگاه Kinect ارائه شده است. سپس این الگوریتم برای استخراج داده هایی که می توان مورد سوء استفاده قرار گرفت ، برای ارائه نمره عینی برای "آزمون بلند و رفتن" استفاده می شود ، که به طور معمول برای تجزیه و تحلیل راه رفتن در زمینه های توانبخشی اتخاذ می شود. با شروع از جریان داده های عمق ارائه شده توسط سنسور Microsoft Kinect ، الگوریتم پیشنهادی فقط به مدل های آنتروپومتریک متکی است ، تا موقعیت های اتصالات را پیدا و شناسایی کند. متفاوت از رویکردهای یادگیری ماشین ، این راه حل از محاسبات پیچیده جلوگیری می کند ، که معمولاً به منابع قابل توجهی نیاز دارند. قابلیت اطمینان اطلاعات در مورد خروجی موقعیت مشترک توسط الگوریتم با مقایسه با یک سیستم مبتنی بر نشانگر ارزیابی می شود. آزمایشات نشان می دهد که مسیرهای استخراج شده توسط الگوریتم پیشنهادی به منحنی های مرجع بهتر از موارد بدست آمده از اسکلت تولید شده توسط برنامه های بومی ارائه شده در Microsoft Kinect (Microsoft Corporation ، Redmond ، WA ، USA ، 2013) و OpenNI (OpenNi سازمان) پایبند است.، تل آویو ، اسرائیل ، 2013) کیت های توسعه نرم افزار.

1. معرفی

"تست بلند و برو" (GUGT) ، که همچنین "تست Tinetti" نامیده می شود [1] ، به عنوان ابزاری برای ارزیابی برای ارزیابی قابلیت های یک موضوع در راه رفتن و تعادل استفاده می شود. این آزمایش به طور معمول در محیط های بیمارستان انجام می شود و شامل ایستادن از یک صندلی بی بند و باری و شروع به پیاده روی است. امروزه ، اجرای آزمون توسط کادر پزشکی واجد شرایط ارزیابی می شود ، که جدول را با نمرات پر می کنند. بدیهی است که این نمرات تا حدودی ذهنی هستند ، زیرا به سطح متفاوتی از تخصص اپراتور که ارزیابی را انجام می دهند بستگی دارد. علاوه بر این ، برای به دست آوردن نتیجه بی طرفانه در زمان های مختلف ، آزمایش باید همیشه توسط همان اپراتور ارزیابی شود. با هدف ارائه یک روش ارزیابی عینی تر ، که می تواند در زمان های مختلف تکرار شود ، ممکن است طراحی یک سیستم اتوماتیک مفید باشد که بر اساس استفاده از Microsoft Kinect ، یک نمره بی طرفانه (یعنی قابل تکرار) از آزمون را تولید کند. سنسور ، که دوربین های عمق و رنگی را ادغام می کند. در حال حاضر ، Kinect ارزانترین سنسور عمق موجود در بازار است ، در مقایسه با ، به عنوان مثال ، دوربین زمان پرواز (TOF). در عین حال ، قادر است عملکردهای قابل مقایسه ای را در محیط های با برد کوتاه ارائه دهد [2،3]. یکی از جالب ترین ویژگی های سنسور ، امکان استخراج اتصالات اسکلت از داده های عمق ضبط شده است. الگوریتم تخمین مشترک که توسط تیم تحقیقاتی مایکروسافت ساخته شده است [4] به طور طبیعی با ابزار توسعه نرم افزار سنسور (SDK) ارائه می شود. علاوه بر نرم افزار Microsoft SDK (شرکت مایکروسافت) ، اطلاعات عمق ضبط شده توسط سنسور Kinect می تواند توسط ابزارهای جایگزین مانند OpenNI (تعامل طبیعی باز) SDK [5] پردازش شود. این محیط نرم افزاری ، که توسط PrimeSense تهیه شده است ، از NITE Middleware برای اجرای فرآیند تخمین و ردیابی خودکار استفاده می کند.

ساخت یک قاب عمق پس زمینه (BF): BF محیط آزمایش را بدون موضوع ضبط می کند.

تجزیه و تحلیل مطالب جلوی هواپیما: شخص با توجه به سنسور در جلوی صفحه قرار دارد. با جزئیات ، موضوع به سمت سنسور ایستاده در فاصله ثابت از آن ، با بازوهای کشیده و دست های باز حرکت می کند. این پیکربندی برای تشخیص اتصالات و محاسبه فاصله بین موارد مجاور ، بر اساس مدلهای آنتروپومتریک مفید است [11]. اطلاعات جمع آوری شده در این مرحله در مرحله تخمین مسیر زیر استفاده می شود.

مرحله تخمین مسیر: موضوع GUGT را انجام می دهد ، و سیستم پیشنهادی اتصالات را در هر قاب ضبط شده شناسایی و ردیابی می کند. درون یابی مختصات گسسته هر مفصل مسیر مداوم مرتبط با حرکت را فراهم می کند.

کل روش در شکل 1 ترسیم شده است ، که در هر مرحله که در بالا توضیح داده شد در جعبه ها برجسته می شود. با توجه به کار اولیه ارائه شده در [10] ، این مقاله ابتدا توضیحات مفصلی از کلیه مراحل موجود در سیستم پیشنهادی را ارائه می دهد ، و به دنبال آن بحث کاملی در مورد نتایج به دست آمده از طریق آزمایشات تجربی و اعتبار سنجی ارائه می شود. برای وضوح بهتر ، شکل 2 نقشه های عمق و تصاویر مربوطه را در دامنه RGB نشان می دهد ، مربوط به سه مرحله اصلی انجام شده توسط الگوریتم. با شروع از فریم های سمت چپ ، عمق و RGB مربوط به ساخت و ساز پس زمینه ، تجزیه و تحلیل هواپیمای جلویی و مراحل ردیابی GUGT به ترتیب ارائه شده است.

این سیستم مختصات را در دامنه قاب عمق ، حداکثر شش اتصالات ضبط شده از نمای جانبی تخمین می زند: سر ، شانه ، آرنج ، لگن ، زانو و مچ پا. قابلیت اطمینان راه حل پیشنهادی با مقایسه مسیر هر مفصل در فریم های عمق بعدی ، با یک سیستم حقیقت زمینی که مسیرهای مرجع را ارائه می دهد ، ارزیابی می شود. مسیرهای مرجع مرتبط با هر مفصل از یک سیستم مبتنی بر نشانگر گرفته شده است ، که روی داده های کانال مادون قرمز Kinect (IR) کار می کند ، که نشانگرهای مربع چسبنده سمت 2 سانتی متر را که بر روی بدن موضوع اعمال می شود ، پیدا و ردیابی می کند. در حوزه IR فعال هستند. از مقایسه مشابهی نیز برای اعتبارسنجی الگوریتم تخمین اتصالات تعبیه شده در Kinect SDK و مورد ارائه شده توسط OpenNI استفاده می شود.

بقیه مقاله به شرح زیر سازماندهی شده است: بخش 2 آثار و رویکردهای مربوط به طراحی روشهای خودکار برای ارزیابی GUGT را بررسی می کند ، در حالی که روش پیشنهادی در بخش 3 به تفصیل شرح داده شده است.؛نتایج مربوطه و یک بحث مرتبط در بخش 5 ارائه شده است. سرانجام ، بخش 6 مقاله را نتیجه می گیرد.

2. آثار مرتبط

از تجزیه و تحلیل وضعیت هنر در طراحی روشهای خودکار برای ارزیابی GUGT ، تعدادی از تکنیک های ناهمگن و الگوریتم های تخمین مشترک بدون مارک پدیدار می شوند. در [12] ، نویسندگان استفاده از شتاب سنج و ژیروسکوپ ها را برای اندازه گیری زاویه بین لگن ، زانو و مچ پا و به دست آوردن منحنی های زمانی مربوطه پیشنهاد می کنند. اشکال اصلی این روش استفاده از سنسورهای پوشیدنی (با مسائل مربوط به پذیرش مرتبط با موضوع) و نیاز به کالیبراسیون اولیه است. علاوه بر این ، رویکرد پیشنهادی هیچ اطلاعاتی در مورد اندام فوقانی ارائه نمی دهد. در [13] ، مکان و تجزیه و تحلیل اتصالات با ردیابی نشانگرهای چسبنده در نقاط خاص بدن سوژه در یک دنباله ویدیویی ضبط شده به دست می آید. مزیت این راه حل شامل تجزیه و تحلیل داده های ساده تر از تکنیک قبلی و شکل کمتری برای نشانگرها است ، اما باز هم ، موضوع باید اشیاء خارجی (یعنی نشانگرها) را برای تغذیه داده ها به سیستم خرید بپوشد. در چند سال گذشته ، در دسترس بودن دوربین های عمق ارزان قیمت ، استفاده از آنها را برای تهیه راه حل های ردیابی بدون مارک تشویق کرده است. بسیاری از آثار ، مانند [14-17] ، فقط بر برآورد مفصل بالای بدن متمرکز شده اند. شما و همکاران.[18] یک الگوریتم دقیق برای تخمین موقعیت 19 اتصالات واقع در بدن ارائه می دهد ، اما به دلیل پیچیدگی مدل اتخاذ شده برای نشان دادن شخص ، سیستم باید آفلاین اجرا شود. در [19،20] ، نویسندگان از مختصات به طور خودکار توسط سنسور SDK محاسبه می شوند ، که با این حال ، نیازهای سخت افزاری/نرم افزاری خاص را دیکته می کند. برعکس ، راه حل ارائه شده در اینجا می تواند بر روی سیستم عامل های مختلف و سیستم عامل ها اجرا شود ، که از کتابخانه های مختلف Kinect پشتیبانی می کنند [5،21]. با توجه به کار مرتبط که در این بخش مورد بحث قرار گرفته است ، الگوریتم پیشنهادی نه از رویکرد یادگیری ماشین و نه داده های اسکلت SDK Microsoft و نه سیستم های موتور گرافیکی معادل استفاده می کند. راه حل پیشنهادی از داده های عمق خام و روابط آنتروپومتریک استفاده می کند تا موقعیت های مشترک را بر اساس زمانی قاب به قاب استنباط کند.

3. روش پیشنهادی

در این بخش کل معماری الگوریتم پیشنهادی برای تخمین موقعیت مشترک از نمای عمق جانبی موضوع شرح داده شده است.

3. 1ساخت قاب عمق پس زمینه

تنظیم سیستم برای استخراج مفصل در نمای جانبی توسط یک سنسور مایکروسافت Kinect که در ارتفاع 92 سانتی متر از زمین و در فاصله 330 سانتی متر از یک دیوار قرار دارد ، تشکیل شده است. این مقادیر نشان دهنده معامله بین تراکم پیکسل و منطقه پوشش سنسور با توجه به توصیه های استفاده ارائه شده توسط سازنده سنسور است. قرار گرفتن سنسور نزدیک به دیوار ممکن است عملکرد مرحله تخمین مفصل را بهبود بخشد ، زیرا چگالی پیکسل افزایش می یابد. اشکال این گزینه کاهش منطقه پوشش سنسور است ، بنابراین ارتفاع افراد پذیرفته شده در آزمون باید به یک مقدار معین محدود شود. افزایش فاصله بین سنسور و دیوار می تواند منطقه پوشش را بزرگ کند ، اما این منجر به کاهش تراکم پیکسل و در نتیجه ، خطای فزاینده ای در تخمین مشترک می شود. پیکربندی انتخاب شده در این کار اجازه می دهد تا کامل موضوع در داخل صحنه ، همچنین در هنگام ایستادن ، در نزدیکی سنسور قرار بگیرد. از فرش برای پوشاندن کف و کاهش اختلالات در تخمین عمق استفاده می شود ، به دلیل بازتاب های نور از کف. با هدف کاهش تنوع داده های عمق ، 100 فریم عمق متوالی با سرعت 30 فریم در ثانیه (وضوح قاب: 240 × 320 پیکسل) ضبط می شوند تا با میانگین هر مقدار پیکسل در یک قاب پس زمینه مرجع واحد (BF) ایجاد شود. زمان. صندلی Armless برای انجام GUGT ، واقع در فاصله 30 سانتی متر از دیوار ، مورد نیاز است ، تنها شیء موجود در صحنه در هنگام دستیابی به قاب پس زمینه است. صندلی باید ترجیحاً در هنگام اجرای آزمون در همان موقعیت ثابت بماند. اگر صندلی کمی جابجا شود ، به عنوان مثال در مرحله دریافت ، برخی از سر و صدا ها می توانند پس از مرحله تفریق پس زمینه که توسط الگوریتم انجام شده است ، به دلیل عدم تطابق قاب باقی بماند.

3. 2تجزیه و تحلیل نمایشگاه جلوی هواپیما

برای کسب مطالب جلوی هواپیما ، موضوع تقریباً در فاصله 3 متر از سنسور قرار می گیرد ، همانطور که در قاب عمق "صفحه جلوی صفحه" در شکل 1 نشان داده شده است. فقط یک قاب عمق واحد (DF) استدر این شرایط با هدف تخمین روابط آنتروپومتریک در بین مهمترین قسمتهای بدن سوژه (بازوی فوقانی/تحتانی ، استخوان ران ، استخوان درشت ، و غیره) اسیر شد. بگذارید DF (x ، y) اطلاعات عمق در ستون X و ردیف Y در DF باشد (یعنی "پیکسل" در DF واقع در موقعیت (x ، y) ، که در آن 0 ≤ x ≤ 320 و 0 ≤ y ≤240) و BF (x ، y) معادل Bf. معادله (1) رابطه ریاضی مورد استفاده برای تولید مقدار قاب پیش زمینه (FF) در (x ، y) را توصیف می کند:

مقدار TH نشان دهنده آستانه عمق (تعیین شده با مقدار 150 میلی متر) برای تمایز پیکسل های پیش زمینه از پس زمینه است. این مقدار مستقل از فاصله سنسور دیوار است و با فرض فاصله 30 سانتی متر از موضوع از دیوار به صورت تجربی مشتق شده است. چنین آستانه ای برای بازیابی صحیح قسمت پایین موضوع انسان در نقشه عمق انتخاب شده است. در حقیقت ، پیکسل های مربوط به پای موضوع دارای مقدار عمق نزدیک به عمق پیکسل های کف هستند ، بنابراین باید یک آستانه کاملاً کم تنظیم شود تا این پیکسل ها را از پس زمینه تشخیص دهد.

قاب "شکل انسانی در صفحه جلوی صفحه" (HF) که در شکل 1 به شرح زیر است ، پیکسل های واقع در امتداد شبح انسانی را نشان می دهد ، که بزرگترین شیء آشکار شده توسط الگوریتم است که اجزای متصل را در قاب پیدا می کند.

پارامتر ارتفاع انسان با کم کردن شاخص های ردیف های پایین و بالای پیکسل های متعلق به شبح انسانی ارزیابی می شود.

اولین موقعیتی که از آن جستجوی مفصل سر باید شروع شود (به نام Start Row) با کم کردن 100 میلی متر از منطقه مربوط به ردیف اول شبح در HF قرار دارد. رابطه بین سیستم مختصات دنیای واقعی [x_d Y_d Z_d] T (به عنوان MM) و سیستم مختصات قاب عمق [x_d y_d1] T (به عنوان پیکسل) با استفاده از پارامترهای کالیبراسیون دوربین عمق Kinect از طریق معادله (2) [22] محاسبه می شود.

جایی که k_dماتریسی است که حاوی پارامترهای ذاتی دوربین عمق است. معادله (2) اجازه می دهد تا ترجمه روابط آنتروپومتریک ، که در دامنه سه بعدی داده شده است ، به قوانینی معتبر در دامنه قاب عمق ، که در آن مقادیر در پیکسل ها داده می شود.

تعداد ستون های متعلق به شکل انسان ، در ردیف مورد بررسی ، محاسبه می شود. این روند ادامه می یابد و شاخص ردیف را با مراحل 40 میلی متر افزایش می دهد. بزرگی مراحل بهینه شده است تا بتواند عرض مختلف گردن و شانه ها را تشخیص دهد. این فرایند زمانی متوقف می شود که تفاوت شاخص بین Startrow و ردیف آخر مورد تجزیه و تحلیل برابر با یک سوم Humanheight (تعریف شده به عنوان Lastrow). چنین محدودیتی پایین (lastrow) برای محدود کردن محاسبات لازم برای شناسایی شانه ها انتخاب شده است ، بر اساس این فرض که لزوماً در اولین (فوقانی) سوم شبح انسانی قرار دارند. این مرحله در شکل 3 نشان داده شده است.

تفاوت بین مقدار ستون های متعلق به نزدیکترین ردیف های پردازش شده محاسبه می شود.

ردیف دارای حداکثر اختلاف ، rowmaxdim نامیده می شود و بالای شانه ها را مشخص می کند (شکل 3).

کمیت shiftrow به عنوان تفاوت بین rowmaxdim و ردیف اول که متعلق به شکل انسان است ، تعریف می شود ، که توسط سه تقسیم می شود.

shiftrow باید به ردیف اول شکل انسان اضافه شود ، تا سر را پیدا کند ، که نشان دهنده y- هماهنگی مفصل سر است.

X- هماهنگ مربوطه با میانگین اولین و آخرین شاخص های ستون هایی که متعلق به شکل انسان هستند ، در قسمت اصلی بدست می آید.

تغییر 40 میلی متر در زیر RowMaxdim ردیفی را که شانه ها در آن قرار دارند مشخص می کند. هنگامی که ستون اول اشغال شده توسط شبح انسانی مشخص شود ، یک تغییر افقی دیگر 40 میلی متر در ردیف مربوط به شانه ها اعمال می شود ، تا X- هماهنگ شانه سمت چپ را در شکل انسان قرار دهد. پیدا کردن مفصل مفصل y-comordinate نیاز به ارزیابی ارتفاع سر دارد. این مقدار به عنوان تفاوت بین ردیف اول حاوی شکل انسان و rowmaxdim به دست می آید ، که 100 میلی متر کاهش می یابد ، که ارتفاع گردن را مدل می کند. ارتفاع سر باید با ضریب c ضرب شود تا یک تغییر ردیف پیدا کند که y- همبستگی باسن را مشخص کند ، از ردیف اول حاوی شکل انسان. این ضریب به نسبت بین ارتفاع سر و ارتفاع کل موضوع انسانی (Humanheight) بستگی دارد. بگذارید R نسبت بین انسان و ارتفاع سر انسان باشد. ضریب C با استفاده از داده ها در [11] تخمین زده می شود. ما برخی از مجموعه داده ها را از [11] استخراج کردیم که به موجب آن همه اندازه گیری های لازم در دسترس هستند.

مجموعه داده ها توسط تعدادی ، یعنی 7 برای مجموعه "زنان نیروی هوایی- 1968" ، 51 برای مجموعه "ارتش ایتالی ا-1961" و غیره مشخص شده است. ستون اول در جدول 1 مجموعه داده های در نظر گرفته شده است. برای هر مجموعه ، نسبت r با توجه به قامت (شماره 805 در [11]) و ارتفاع سر (شماره 595) ارزیابی می شود. نتایج در ستون چهارم جدول 1 است. ارتفاع باسن کمیت (شماره 188) نشانگر فاصله مفصل لگن از کف است. بنابراین ، ستون ششم ، با کم کردن ارتفاع باسن به مقدار قد ، مقادیر فاصله بین بالای سر و مفصل لگن را جمع می کند. ضریب C با نسبت بین مقدار در ستون ششم و ارتفاع سر داده می شود. با ارتباط کمیت R و مقدار C در جدول 1 ، شرایط زیر به دست می آید:

تخمین قسمت پایین بدن از ردیف مفصل مچ پا شروع می شود. چنین سطحی با کاهش شاخص آخرین ردیف شکل انسان به 40 میلی متر یافت می شود ، به منظور قرار گرفتن مچ پا در بدن.

ارزیابی فاصله بین مچ پا و زانو بر اساس یک نسبت آنتروپومتریک است ، یعنی ارتفاع انسان با ضریب 0. 2 ضرب می شود. این ضریب همچنین از [11] با استفاده از اندازه گیری های زیر به دست می آید: نشستن ارتفاع زانو (529) ، ارتفاع مالولولوس میانی (579) و ارتفاع پوپلیت (678).

این الگوریتم قسمت سمت چپ قاب HF را استخراج می کند و به دنبال شکاف در شاخص های ستون بین بازوی چپ و بدن ، در امتداد ردیف که در آن باسن قرار دارد ، می شود.

در این زیر فریم ، آخرین شاخص ردیف که انتهای بازو را مشخص می کند می توان یافت.

یک تغییر ردیف به سمت بالا به نیمی از ارتفاع سر ، ردیفی را که مچ سمت چپ در آن قرار دارد مشخص می کند.

میانگین شاخص های ستون زیر فریم متعلق به ردیف که مفصل مچ دست در آن قرار دارد ، X- هماهنگی مفصل مچ دست را می دهد.

پس از محاسبه فاصله بین مچ و شانه ، آرنج را می توان در وسط این محدوده قرار داد.

اطلاعات مسافت زیر ، سر شانه (HS _ Dist) ، شانه آلمانی (SE _ Dist) ، آرنج-نوشتن (EW _ DIST) ، مچ پا (AK _ DIST) و باسن زانو (KH _ Dist) ،در مراحل بعدی الگوریتم ذخیره و استفاده می شود.

3. 3مرحله تخمین مسیر

برای هر قاب عمق ورودی ، الگوریتم از طریق تکنیک شرح داده شده در بخش قبلی شکل انسان را پیدا می کند.

مفصل سر با استفاده از اطلاعات Shift مشتق شده از قاب نشان می دهد که نمایشگاه جلوی صفحه ، از اولین ردیف غیر تهی شروع می شود. ستون مربوطه میانگین شاخص های ستون پیکسل است که متعلق به شبح انسانی است ، در همان ردیف.

اتصالات باقیمانده با تجزیه و تحلیل تنها سمت شبح انسان در قاب عمق نزدیک به سنسور قرار دارند. انتخاب جانبی را می توان از طریق مراحل زیر بدست آورد. با شروع از پایین ترین ردیف پیکسل های مرتبط با شکل سوژه ، الگوریتم تغییر چند ردیف برابر با نیمی از مقدار AK _ Dist را اعمال می کند و شاخص ستون را نشان می دهد که دارای کمترین مقدار عمق است. در اطراف این پیکسل ، یک زیر ماتریس مربع از قسمت AK _ Dist انتخاب شده است ، با هدف کاهش نوسانات ناشی از سر و صدا. در این منطقه ، تمام پیکسل ها ، که اختلاف ارزش عمق آنها از مقدار عمق پیکسل مرکزی بر روی Sidemanthreshold (80 میلی متر) غلبه می کند ، از بین می رود. با در نظر گرفتن پیکسل های باقیمانده ، مقدار عمق متوسط محاسبه می شود. بر اساس این فاصله ، قسمت جانبی شکل انسان تخمین زده می شود ، به عنوان مجموعه ای از تمام پیکسل ها که در یک منطقه شکاف 80 میلی متری واقع شده اند.

مفصل شانه را می توان در ابتدا با فرض یک تراز عمودی با سر و یک ردیف ردیف HS _ Dist یافت. پس از تشخیص ردیف ، ستون مربوطه به عنوان میانگین اولین و آخرین شاخص های ستون های متعلق به شکل انسان ، در قسمت مورد نیاز محاسبه می شود. تخمین سپس بهبود می یابد: زاویه شانه سر مشتق شده است ، و بخش اتصال اتصالات باید برابر با HS _ Dist باشد. این مصلحت برای حفظ مفصل شانه همیشه در نزدیکی موقعیت "واقعی" خود مفید است ، به ویژه هنگامی که موضوع در حین اجرای GUGT ایستاد.

برای یافتن مفصل آرنج ، لازم است فقط پیکسل های اطراف بازو را انتخاب کنید. ما همان رویکردی را که برای استخراج سمت شکل انسان استفاده می شود ، دنبال می کنیم ، با زیر ماتریس با محوریت ردیف های SE _ Dist /2 در زیر باید ، همان شاخص ستون شانه. با شروع از مفصل شانه ، یک بردار از طول SE _ Dist از θ = 2 ° به θ = 178 ° چرخانده می شود ، همانطور که در شکل 4 نشان داده شده است. در هر مرحله ، الگوریتم تعداد پیکسل های همپوشانی بین بردار و بازو را محاسبه می کندمنطقه استخراج شده است. موقعیت صحیح آرنج با حداکثر تعداد پیکسل های تطبیق مطابقت دارد.

تخمین قسمت پایین بدن از قسمت فوقانی مستقل است و می تواند به طور جداگانه محاسبه شود. فرایند اتخاذ شده برای یافتن مفصل مچ پا ، همان استدلال مورد استفاده برای مفصل سر را دنبال می کند ، اما در این حالت ، الگوریتم از آخرین شاخص ردیف مورد علاقه شروع می شود. موقعیت یابی مفصل زانو از همان ایده اعمال شده بر روی مفصل شانه استفاده می کند ، که شامل اولین شناسایی عمودی زانو توسط AK_DIST و یک تنظیم متعاقب آن با در نظر گرفتن زاویه بین زانو و مچ پا است. تخمین مفصل ران شامل یک بردار است که در مفصل زانو لنگر انداخته است. بردار طول KH_DIST شروع به چرخش از γ = 4 درجه به بهترین زاویه تطبیق با 2 درجه می کند ، همانطور که در شکل 4 نشان داده شده است.

شکل 5 نمای جانبی شکل انسان را در نقشه عمق نشان می دهد ، که در آن هر صلیب یک مفصل متفاوت را نشان می دهد. با شروع از بالا ، می توانیم اتصالات سر ، شانه ، آرنج ، لگن ، زانو و مچ پا را شناسایی کنیم.

4- اعتبار سنجی الگوریتم

اعتبار سنجی الگوریتم پیشنهادی برای مکان مشترک و ردیابی در طول GUGT با ارزیابی پایبندی مسیرهای مشترک تخمین زده شده به مسیرهای واقعی ، که از طریق یک سیستم مبتنی بر نشانگر در دامنه مختصات پیکسل در یک قاب به دست می آید ، انجام شده است. با جزئیات بیشتر ، از آنجا که سنسور Microsoft Kinect اجازه می دهد تا داده های IR را ضبط کند ، از نشانگرهای چسبنده فعال IR برای شناسایی اتصالات واقعی در بدن انسان استفاده شده است. شکل 6 یک قاب IR را نشان می دهد که هنگام نشستن موضوع روی صندلی و آماده انجام آزمون اسیر می شود. شناسایی موقعیت های شش مفاصل در نظر گرفته شده آسان است: سر ، شانه ، آرنج ، لگن ، زانو و مچ پا. عملکرد الگوریتم پیشنهادی در دامنه فریم ، از طریق عدم تطابق هماهنگ پیکسل بین موقعیت هر مفصل به دست آمده توسط الگوریتم مبتنی بر نشانگر و موقعیت مفصل مربوطه ، ارزیابی شده توسط محلول پیشنهادی ارزیابی می شود. مسیرهای همان اتصالات به دست آمده با ردیابی مجموعه ای از نشانگرها در یک سیستم مبتنی بر فیلم به عنوان یک مرجع در نظر گرفته می شوند. الگوریتم های ارائه شده توسط Microsoft Kinect برای ویندوز (الگوریتم 1) و OpenNI SDK (الگوریتم 2) به ترتیب ، یک سیستم دوم و سوم را نشان می دهند که در برابر آن الگوریتم ما ایجاد شده (پیشنهاد) را می توان مقایسه کرد.

فریم های عمق ، به عنوان ورودی به الگوریتم پیشنهادی و الگوریتم 2 استفاده می شود.

فریم های IR ، برای بازیابی موقعیت های مشترک واقعی مشخص شده توسط نشانگرها استفاده می شود.

فریم های اسکلت ، محاسبه شده توسط الگوریتم 1.

الگوریتم پیشنهادی در 18 اعدام GUGT توسط موضوعات مختلف ارتفاعات از 1. 6 تا 1. 85 متر و با اندازه بدن مختلف ارزیابی شده است. یک مجموعه نمونه در شکل 7 ارائه شده است.

5. نتایج و بحث

یک روش عینی برای مقایسه مسیرهای چهار سیستم ردیابی متکی به ارزیابی فاصله اقلیدسی در بین مختصات مشترک در دامنه قاب ابعاد 320 × 240 پیکسل است. تعریف توسط (x_i , _k , _m , y_i , _{k , m}) مختصات پیکسل از مفصل I-th در قاب K-th که با روش نشانگر مبتنی بر نشانگر (M) و توسط (x) مشخص شده است_{i,k , p}, y_{من ، K ، P}) همان مختصات به دست آمده توسط الگوریتم پیشنهادی (P) ، می توان مقدار بردار اختلاف را محاسبه کرد ، D_{i , k} :

با تکرار محاسبات برای کل مجموعه فریم های عمق (k) ، یک بردار d را تعریف می کنیم_iمراجعه به هر مفصل i:

همان مجموعه مقادیر اختلاف بین مختصات پیکسل ارائه شده توسط روش مبتنی بر نشانگر (نشانگر) ، الگوریتم 1 و الگوریتم 2 محاسبه می شود. هر DI مقادیر تفاوتهای مختصات پیکسل از محل مشترک I-th را در هر فریم ، ارائه شده توسط الگوریتم های مختلف ارائه می دهد. میانگین آن (μ) و انحراف استاندارد (σ) ممکن است به عنوان پارامترهای عملکرد جهانی الگوریتم فرض شود. به منظور افزایش ارتباط شاخص های آماری ، جبران بین هر مسیر بدون علامت و مختصات مبتنی بر نشانگر قبل از محاسبه D جبران شده است_iبردارها

در مقایسه با الگوریتم 1 و الگوریتم 2 ، رویکرد پیشنهادی تخمین مسیر بهتری را نشان می دهد. این نتیجه در شکل 8 قابل مشاهده است ، جایی که مسیرهای آشکار شده برای مفصل سر یک اجرای GUGT منفرد و قاب های عمق K = 120 ضبط شده نشان داده شده است. منحنی به نام پیشنهادی ، ارائه شده توسط محلول پیشنهادی ، در مقایسه با الگوریتم 1 و الگوریتم 2 ، حرکات ضبط شده توسط سیستم مبتنی بر نشانگر را تقریب می دهد (شکل 6 را ببینید) ، به نام Marker. برای بهبود درک بصری ، تمام مسیرهای موجود در شکل 8 با از بین بردن افست ثابت حاصل از کمترین محاسبات مربع بی طرف بوده اند. شکل 9 تفاوت های D را نشان می دهد_iارائه شده توسط سیستم های بدون مارک ، با توجه به مرجع One (مبتنی بر نشانگر) ، برای کلیه اتصالات تخمین زده شده در همان اجرای GUGT بیش از K = 120 فریم. برآورد بهتر مفصل سر داده شده توسط محلول پیشنهادی در شکل 9a تأیید شده است ، که توسط مقادیر کوچکتر مشخص شده و کاهش تنوع بردار D را کاهش می دهد₁(منحنی پیش بینی شده نشانگر).

الگوریتم پیشنهادی به یک حقیقت زمینی نزدیکتر است ، زیرا از نوسانات تأثیرگذار بر دو سیستم تخمین اتصالات دیگر رنج نمی برد. به طور خاص ، شکل 9b برخی از قله های اطراف قاب 35 از منحنی های نشانگر الگوریتم 2 را نشان می دهد. در اطراف این قاب ، موضوع شروع به بلند شدن از صندلی می کند و او به جلو کج می شود. شکل 9D-F همان مشکل تنوع را در منحنی نشانگر الگوریتم 1 نشان می دهد. یک رفتار مشابه برای اتصالات مچ پا و زانو اتفاق می افتد (شکل 9D ، E) در آخرین فریم های منحنی نشانگر الگوریتم 2.

ممکن است اتفاق بیفتد که یک نشانگر IR که برای اعتبار سنجی استفاده می شود ، به دلیل انسداد جزئی ناشی از حرکت موضوع ، از سنسور در یک قاب K-TH معین پنهان می شود. اگر این شرایط اتفاق بیفتد ، بردار D_i,kقابل ارزیابی نیست ، و مقدار تهی می گیرد. این پدیده را می توان در شکل 9 D-F مشاهده کرد. بدیهی است ، فریم هایی که یک بردار اختلاف تهی را نشان می دهند ، از محاسبه مقادیر آماری μ و σ حذف می شوند.

در جدول 2 آمار الگوریتم های مختلف ارزیابی شده در برابر یک نشانگر مبتنی بر نشانگر ، برای همان تحقق GUGT نشان داده شده است. سیستم پیشنهادی از الگوریتم 1 و الگوریتم 2 در میانگین و انحراف استاندارد ، برای همه اتصالات ضبط شده در نمای جانبی بهتر است. رویکرد پیشنهادی بهترین عملکرد را برای انحراف استاندارد از مفصل سر (1. 1426) نشان می دهد ، در حالی که مفصل ران دارای بالاترین مقدار و تنوع متوسط در مجموعه اتصالات مورد تجزیه و تحلیل است.

شکل 10 پارامترهای عملکرد جهانی μ و σ را برای هر مفصل نشان می دهد ، به طور متوسط بیش از 18 اعدام GUGT.

به عنوان یک اظهارات نهایی ، با ارزیابی زمان اجرای اجرای یک MATLAB که بیش از 2800 فریم عمق دارد ، نیازهای محاسباتی الگوریتم کار شده با وضوح کامل فریم تخمین زده شده است. در رایانه رومیزی Intel i7 Windows 8. 1 و 8 گیگابایتی RAM ، میانگین زمان پردازش درخواست شده برای یک قاب عمق واحد 0. 051 ثانیه است. نیاز زمان محاسباتی کم به نمایش گذاشته شده توسط اجرای MATLAB بهینه شده ، در رابطه با این واقعیت که یک نسخه اولیه از همان الگوریتم ، اگرچه روی فریم های عمق زیر نمونه (120 × 120 پیکسل) کار می کند ، در حال حاضر به طور مؤثر در زمان واقعی اجرا شده استبه عنوان یک کد C ++ ، این امکان را می دهد تا به طور منطقی فرض کنیم که اجرای زمان واقعی الگوریتم وضوح کامل به زودی در دسترس خواهد بود.

6. نتیجه گیری و آثار آینده

یک رویکرد نوآورانه برای استخراج مهمترین اتصالات اسکلت از اطلاعات عمق ضبط شده توسط سنسور Kinect متمرکز بر یک موضوع انسانی در نمای جانبی ارائه شده است ، که می تواند به طور موثری در ابزاری برای ارزیابی خودکار تست UP و GO مورد سوء استفاده قرار گیرداعدام هااین الگوریتم بر روی یک نقشه عمق واحد کار می کند و هیچ تکنیک یادگیری ماشین را اعمال نمی کند. دستیابی به عمق اولیه محیط آزمایش برای انجام تفریق پس زمینه مورد نیاز است. با مقایسه نتایج به دست آمده با نتایج در [10] ، با پردازش قاب در 240 × 320 پیکسل و با تراز کردن مسیرهای مختصات قبل از محاسبه خطا ، دقت بهتری بدست آمده است. آثار آینده مربوط به بهبود استراتژی تخمین برای بهینه سازی تشخیص مسیرهای لگن و آرنج ، با در نظر گرفتن همبستگی زمانی بین فریم های عمق و با اجرای تعداد بیشتری از تست های اعتبار سنجی است. در آینده ، ما همچنین مناسب بودن سنسور نسل دوم Kinect را بررسی خواهیم کرد ، که از زمان فناوری پرواز برای ارائه اطلاعات عمیق بهره برداری می کند. چنین تکنیکی اجازه می دهد تا از نظر پایداری و وضوح قاب عمق عملکرد بهتری داشته باشد. یک قاب عمق با کاهش سطح نویز می تواند عملکرد الگوریتم پیشنهادی را بهبود بخشد.

هدف نهایی استفاده از تمام این داده های موقعیت های مشترک برای به دست آوردن اطلاعات سرعت و شتاب و ارائه ارزیابی های عینی و قابل تکرار از آزمون دریافت و GO است. این مرحله لزوماً باید توسط پرسنل مراقبت های بهداشتی پشتیبانی شود ، که می تواند پارامترهای مهمی را که ما باید از منحنی ها استخراج کنیم ، برای به دست آوردن برآورد وضعیت مربوطه نشان دهد.

تصدیق

نویسندگان دوست دارند سهم هزینه عمل IC1303 ، AAPELE ، معماری ، الگوریتم ها و سیستم عامل ها را برای محیط های زندگی پیشرفته تصدیق کنند. نویسندگان به تنهایی مسئول محتوا هستند.

کمک های نویسنده

E. C. و S. G. سهم قابل توجهی در مفهوم و طراحی الگوریتم پیشنهادی و ویرایش نسخه خطی ارائه دادند. S. S. و به عنوان مثالدر طراحی الگوریتم و ارزیابی آن و در تجدید نظر در نسخه خطی نقش داشته اند. تمام نویسندگان دست نویس نهایی را خواندند و تصویب کردند.