• Home
  • Investigating the Effect of Hardware Parameters Adjustments on Energy Consumption in Thin Matrix Multiplication Algorithm on GPUs

Share To

Article Url


Manuscript ID : 202007118205 Visit : 14314 Page: 77 - 88

20.1001.1.27170411.1396.9.31.7.8

Article Type: Original Research

Investigating the Effect of Hardware Parameters Adjustments on Energy Consumption in Thin Matrix Multiplication Algorithm on GPUs

Subject Areas : General

mina ashouri 1 , Farshad Khunjush 2 *

1 -
2 -

Received: 2018-06-28 Accepted : 2018-06-28 Published : 2019-10-30

Keywords: Multiplication of thin matrices, energy consumption, efficiency, thin storage molds, GPU,

Abstract :

Multiplication of thin algorithmic matrices is a simple but very important part of linear and scientific algebra programs in mathematics and physics, and due to its parallel nature, GPUs are one of the most suitable and important options. To select its executive platform. In recent years, due to the emphasis of researchers to consider energy consumption as one of the main design goals along with efficiency, very little effort has been made to improve the energy consumption of this algorithm on the GPU. In this article, this issue is addressed from the perspective of energy efficiency in efficiency obtained. Utilizing the configuration capability introduced in modern GPUs, by statistically examining the behavior of this algorithm when using different thin matrix storage formats and different hardware settings for more than 200 matrices Slim example, the best configuration settings for the thin matrix multiplication algorithm with different storage formats on the GPU are obtained. This configuration for each storage format is selected to give the best configuration in all samples tested.

References:

1. J. Im and K. Yelick, “Optimization of Sparse Matrix Kernels for Data Mining,” in Proc. of the Workshop on Text Mining, 2001.
2. L. N. Trefethen and D. Bau, III, Numerical Linear Algebra. Society for Industrial and Applied Mathematics,1997.
3. R. Gilbert, S. Reinhardt, and V. B. Shah, “Highperformance Graph Algorithms from Parallel Sparse Matrices,” in Proc. of the Int’l Workshop on Applied Parallel Computing, 2006.
4. Owens JD, Luebke D, Govindaraju N, Harris M, Krüger J, Lefohn AE, Purcell TJ (2007) “A survey of general-purpose computation on graphics hardware,” In: Computer graphics forum, vol 26. Wiley Online Library, pp 80–113.
5.Bell and M. Garland, “Efficient sparse matrix-vector multiplication on CUDA,” Nvidia Technical Report NVR-2008-004, Nvidia Corporation2008.
6. S. Yan, C. Li, Y. Zhang, and H. Zhou, “yaspmv: Yet another spmv framework on gpus,” in ACM SIGPLAN Notices, 2014, pp. 107-118.
7. J. W. Choi, A. Singh, and R. W. Vuduc, “Model-driven autotuning of sparse matrix-vector multiply on GPUs,” in ACM Sigplan Notices, 2010, pp. 115-126.
8. Bolz, Ian Farmer, Eitan Grinspun, and Peter Schrooder, “Sparse matrix solvers on the GPU: Conjugate gradients and multigrid,” ACM Trans. Graph., 22(3):917-924, 2003.
9. R. Gilbert, S. Reinhardt, and V. B. Shah, “Highperformance Graph Algorithms from Parallel Sparse Matrices,” in Proc. of the Int’l Workshop on Applied Parallel Computing, 2006.
10. NVIDIA, “NVIDIA Corporation. CUDA Toolkit Reference Manual, 8.0 edition. Available on line at: http://developer.nvidia.com/cuda-toolkit-80.
11. Benatia, W Ji, Y Wang, F Shi, “Energy evaluation of Sparse Matrix-Vector Multiplication on GPU “ in Green and Sustainable Computing Conference ,2016, p. 1-6. N.
12. Bell and M. Garland, “Implementing sparse matrix-vector multiplication throughput-oriented processors,” In Proc. of Int'l Conf. on High Performance Computing Networking, Storage and Analysis, SC '09, pages 18:1-18:11. ACM, 2009.
13. S. Mullen, M. M. Wolf, and A. Klein, “Pakck: Performance and power analysis of key computational kernels on cpus and gpus,” in High Performance Extreme Computing Conference (HPEC), 2013 IEEE, 2013, pp. 1-6.
14. H. Anzt, S. Tomov, and J. Dongarra, “Energy efficiency and performance frontiers for sparse computations on GPU supercomputers,” in Proceedings of the sixth international workshop on programming models and applications for multicores and manycores, 2015, pp. 1-10.
15. Burtscher, I. Zecena, and Z. Zong, “Measuring GPU power with the K20 built-in sensor,” in Proceedings of Workshop on General Purpose Processing Using GPUs, 2014, p. 28.
16. S. Song, C. Su, B. Rountree, and K. W. Cameron, “A simplified and accurate model of power-performance efficiency on emergent gpu architectures,” in Parallel & Distributed Processing (IPDPS), 2013 IEEE 27th International Symposium on, 2013, pp. 673-686.
17. Zardoshti, P., Khunjush, F. & Sarbazi-Azad, H, “Adaptive sparse matrix representation for efficient matrix–vector multiplication,” Journal of Supercomputing (2016) 72: 3366. https://doi.org/10.1007/s11227-015-1571-0.
18. NVIDIA, “NVIDIA Corporation (2014) Tuning CUDA applications for Kepler,” Technical report, August 2014. http://docs.nvidia.com/cuda/pdf/Kepler_Tuning_Guide.pdf
Full-Text:


 

فصلنامه علمي- پژوهشي   

فناوري اطلاعات و ارتباطات ایران

سال نهم، شماره‌هاي 31 و 32، بهار و تابستان 1396

صص: 88- 77

E:\E Drive\logo\iicta Logo0.JPG 

 

بررسی تاثیر تنظیمات پارامترهای سخت­افزاری بر انرژی مصرفی در الگوریتم ضرب برداری ماتریس­های تنک بر روی پردازنده­های گرافیکی

 

 

* مینا عاشوری          ** فرشاد خون­جوش          

* کارشناسی ارشد، مهندسی معماری کامپیوتر، دانشگاه شیراز، شیراز

** استادیار، دانشکده مهندسی برق و کامپیوتر، دانشگاه شیراز، شیراز 

تاریخ دریافت: 07/04/1397         تاریخ پذیرش: 20/09/1397

 

چكيده

ضرب برداری ماتریس­های تنک الگوریتمی ساده اما بخش بسیار مهمی از برنامه­های جبر خطی و علمی در حوزه­ی ریاضی و فیزیک است و به دلیل طبیعت قابل موازی سازی آن، پردازنده­های گرافیکی یکی از گزینه­های بسیار مناسب و مهم برای انتخاب بستر اجرایی آن است. در طی سال­های اخیر با توجه به تاکید محققان برای در نظر گرفتن انرژی مصرفی به عنوان یکی از اهداف اصلی طراحی در کنار کارآیی، تلاش­های بسیار کمی جهت بهبود انرژی مصرفی این الگوریتم بر روی پردازنده­ی گرافیکی انجام شده است. در این مقاله از منظر بهینگی مصرف انرژی در کارآیی به دست آمده، به این مسئله پرداخته شده است.

با بهره وری از قابلیت تنظیم پیکربندی که در پردازنده­های گرافیکی مدرن معرفی شده است، با بررسی آماری رفتار این الگوریتم هنگام استفاده از قالب­های مختلف ذخیره سازی ماتریس تنک و تنظیمات مختلف سخت افزاری برای بیش از 200 ماتریس
نمونه­ی تنک، بهترین تنظیمات پیکربندی برای الگوریتم ضرب برداری ماتریس تنک با قالب­های مختلف ذخیره سازی بر روی پردازنده­ی گرافیکی به دست آمده است. این پیکربندی برای هر قالب ذخیره سازی، به گونه­ای انتخاب شده است که در تمام نمونه­های بررسی شده به عنوان بهترین پیکربندی نتیجه داده باشد.

واژه‌های کلیدی: ضرب برداری ماتریس­های تنک، انرژی مصرفی، کارآیی، قالب­های ذخیره سازی تنک، پردازنده­ی گرافیکی.

 

 

مقدمه

امروزه مسائل علمی و مهندسی مدرن، در طیف گسترده­ای از بـرنامه­های کاربـردی روزانـه و علمـی با دقت بالا استفاده

 

نویسندة عهده‌دار مکاتبات: فرشاد خون­جوش khunjush@shirazu.ac.ir

 

می­شوند که شامل مقیاس بسیار بزرگی از برنامه­های
شبیه­سازی مثل فیزیک انرژی بالا1، شبیه­سازی­های علمی، داده کاوی2 [1]، جبرخطی [2]، تجزیه و تحلیل گراف­ها [3]، پیش بینی آب و هوا و زلزله و ... می­شوند که در همه­ی آن­ها، ماتریس­های تنک کاربرد دارند.

از دهه­ی گذشته تا به امروز از روش محاسبات موازی استفاده می­شود تا بتوان مسائل پیچیده را به روشی مقرون به صرفه حل کرد به طوری­که بار کار3 بتواند بین
پردازند­های مختلف تقسیم شود.

در سال­های اخیر، پردازنده­های گرافیکی4، به دلیل هزینه­ی پایین کارآیی در واحد5 و میزان بالای کارآیی در واحد توان6، به یکی از دستگاه­های اصلی برای محاسبات با کارآیی7 بالا تبدیل شده­اند [4]. قدرت محاسباتی بالا و پهنای باند این پردازنده­ها موجب شده تا بتوان به عنوان جای­گزینی برای سیستم­های توزیع­شده سنتی و یا 
پردازنده­های چند­ هسته ای، در طیف وسیعی از شاخه­های علوم مختلف از آن­ها بهره جست. پردازنده­های گرافیکی با استفاده از هزاران هسته8 و نخ 9حجم بسیاری از موازات را فراهم می آورند که سبب افزایش کارایی خواهند شد و برای برنامه­های علمی موازی، سود کارآیی با اجرا روی
پردازنده­های گرافیکی، به صورت مستقیم قابل دستیابی است. به همین دلیل، اخیرا محاسبات علمی، توسط جامعه­ی پژوهش، برای اجرا به وسیله­ی پردازنده­های گرافیکی انطباق داده شده­اند.

معماری یکپارچه­ی دستگاه محاسبه10 (CUDA) به
وسیله­ی NVIDIA در سال 2006 به منظور بهره­برداری از قدرت محاسباتی پردازنده­های گرافیکی مطرح شد که یک زبان برنامه­نویسی سطح بالا بر اساس پردازنده­ی گرافیکی همه منظوره11 است و از آن زمان تاکنون برای برنامه نویسی پردازنده­های گرافیکی مورد استفاده­ی همگانی قرار می­گیرد.

ضرب برداری ماتریس­های تنک بخشی کوچک اما با اهمیت بسیـار زیـاد در زیربـرنامه­های اسـاسی تنـک جبـر خطی12  
می­باشد. بیشترین هزینه محاسباتی در بسیاری از روش­های تکراری13 برای حل کردن سیستم­های خطی در مقیاس بالا و مسائل با پاسخ خاص، مربوط به ضرب برداری ماتریس­های تنک می­باشد که در بسیاری از برنامه­های کاربردی با اهمیت بالا مثل سیستم­های شبیه سازی، تصویربرداری پزشکی، بازیابی اطلاعات، مدل­سازی تغییرات اقلیمی و اقتصادی و بسیاری دیگر از طیف­های برنامه­های کاربردی وجود دارد.

ماتریس­های تنک متفاوتی که از برنامه­های کاربردی متفاوت استخراج شده­اند هرکدام دارای الگوی تنک بودن خاصی هستند و الگوی یکسانی ندارند. پس نمی­توان از یک قالب یکسان برای ذخیره کردن ­همه استفاده کرد.

ماتریس­های متفاوت برای داشتن بهترین کارآیی در عملیات ضرب برداری­ نیاز به قالب نمایش مناسب برای الگوی تنک بودن خود دارند. با توجه به جنبه­ی بی قاعده­ی این عملیات، هم در دستیابی به حافظه و هم در جریان کنترل14، کارآیی ضرب برداری ماتریس­های تنک به هردو پارامتر الگوی تنک بودن ماتریس ورودی و ویژگی­های سخت­افزاری بستگی دارد. برای حل این مشکل تکنیک­های بسیاری جهت بهینه سازی کارآیی ضرب برداری ماتریس­های تنک انجام گرفته است که شامل استفاده از قالب­15های متفاوت [5][6] و روش­های متفاوت تنظیم خودکار16 با تنظیم کردن
پارامتر­های مختلف مطابق ساختار ماتریس است [7].

البته اکثر تلاش­ها برای بهبود ضرب برداری ماتریس­های تنک در زمینه­ی کارآیی آن­ها بوده و در حالی­که این عملیات برروی پردازنده­های گرافیکی، با استفاده از قالب­های ذخیره­سازی مختلف، کارآیی نسبتا مناسبی دارد اما تلاش چندانی برای بهبود مصرف انرژی آن انجام نشده است. برای مثال در [8] برای تخمین کارآیی و انتخاب بهترین قالب از مدل کردن کارآیی استفاده شده است.

بهینگی در مصرف انرژی، در حالی­که صنعت نیمه هادی از پردازنده­های چند هسته ای17 به سمت پردازنده­های با هسته­های زیاد18 سوق پیدا می­کند، به یک نیاز حیاتی در طراحی تبدیل شده است. طراحان در حال ترکیب
ویژگی­های سخت­افزاری و نرم­­افزاری در این
شتاب­دهنده­های بازده­گرا19 هستند تا بتوان برنامه­های کاربردی بدون ساختار با الگوهای متفاوت و بی­قاعده­ی دستیابی به حافظه را بر روی این پردازنده­ها به خوبی اجرا کرد.

در حالی­که مطالعات اخیر پیشنهاد می­کند که بهینگی در مصرف انرژی به عنوان یک هدف اصلی در کنار کارآیی در طراحی سخت­افزار و نرم­افزار قرار بگیرد، اغلب کارهایی که برای بهبود ضرب برداری ماتریس­های تنک انجام گرفته در جهت بهبود کارآیی به تنهایی بوده است و مصرف انرژی را شامل نشده است. مطالعات بسیار کمی جهت بررسی مصرف انرژی اجرای این هسته20 روی پردازنده گرافیکی انجام شده است [9][10]. هیچکدام از این مطالعات، ارتباط بهینگی مصرف انرژی در این هسته را با الگوی تنک بودن ماتریس ورودی و ویژگی­های سخت افزاری بررسی مطالعه نکرده­اند.

در [11] به بررسی ارتباط ساختار ماتریس ورودی با انتخاب قالب­های ذخیره­سازی و تاثیر آن­ برروی توان مصرفی پرداخته شده است ولی در نهایت تابه­حال هیچ تلاشی انجام نشده­ است که دو هدف کارآیی وبهینگی انرژی مصرفی را در طراحی یک سیستم بهینه برای ضرب برداری ماتریس­های تنک بر روی پردازنده­های گرافیکی دنبال کند و بین این دو هدف متضاد مصالحه21­ای ایجاد کند. در حالی­که امروزه محققان تاکید می­کنند بهینگی انرژی باید به عنوان یکی از اهداف اصلی در طراحی، در کنار کارآیی قرار بگیرد،
تلاش­های بسیار کمی در جهت مطالعه­ی مصرف انرژی در عملیات ضرب برداری ماتریس­های تنک و بهبود آن انجام گرفته است.

هدف از انجام این تحقیق، بررسی تاثیر تنظیمات سخت افزاری برروی انرژی مصرفی در واحد کارآیی برای مسئله ی انتخاب قالب ذخیره سازی برای ضرب برداری ماتریس­های تنک برروی پردازنده­های گرافیکی کپلر22 است. معیار بهینگی در این تحقیق مقدار کارآیی در واحد توان مصرفی23 است که عبارت است از نسبت کارآیی عملیات24 ضرب برداری ماتریس تنک به توان مصرف شده­ در این عملیات. به عبارتی دیگر علملیاتی با کارآیی بالاتر و توان مصرفی کمتر مطلوب تر است. در این تحقیق مقدار کارآیی معادل زمان خالص اجرای هسته­ی ضرب برداری ماتریس تنک برروی پردازنده­ی گرافیکی تعریف شده و توان مصرفی هم بر حسب میلی وات25 توسط حسگر­26های پردازنده­ی گرافیکی کپلر اندازه گیری شده و بر حسب وات27 گزارش شده است.

در فصل 2 به صورت خلاصه به پژوهش­های پیشینی که در این زمینه انجام شده پرداخته می­شود و در فصل 3
پیش­زمینه­ای درباره­ی پردازنده­های گرافیکی، قالب­های ذخیره­سازی ماتریس تنک و زبان برنامه نویسی CUDA ارائه می­شود. در فصل 4 روش انجام این پژوهش توضیح داده شده و در فصل 5 نتایج آزمایشات این پژوهش ذکر شده است. در فصل 6 نیز نتیجه گیری و کارهایی که درآینده می­توان با الهام از این پژوهش انجام شود بیان شده است.

 

 

 

2-پژوهش­های پیشین

یکی از اولین پیاده­سازی­های عملیات ضرب برداری
ماتریس­های تنک برروی پردازنده­های گرافیکی توسط بلتز و همکاران [8] انجام گرفت. اما کار منحصر بفردی که در رابطه با سرعت بخشیدن به این هسته برای اجرا برروی پردازنده­های گرافیکی با قابلیت اجرای CUDA انجام گرفت توسط بل و گارلند در [5][12] انجام گرفت که در این پژوهش، آن­ها یک مطالعه­ی دقیق از قالب­های ماتریس­های تنک، الگوی دسترسی28 آن­ها در پردازنده­های گرافیکی و هسته­ی عملیات­های با قالب­های کلاسیک و پیاده سازی شده با CUDA برای اجرا برروی پردازنده­های گرافیکی ارائه دادند. این قالب­های کلاسیک عبارت بودند از COO,DIA,ELL,CSR و HYB .

تعدادی از پژوهش­هایی که اخیرا انجام شده است با استفاده از قالب­های زیادی که برای ماتریس تنک تعریف شده است سعی در بهبود کارآیی عملیات ضرب برداری ماتریس­های تنک بر روی پردازنده­ی گرافیکی داشته­اند. اغلب آن­ها به دنبال بهبود کارآیی بوسیله­ی انتخاب قالب مناسب در زمان اجرای عملیات بوده­اند. اما تلاش­های بسیار کمی برای بهینگی مصرف انرژی هسته­ی ضرب برداری ماتریس­های تنک برروی پردازنده­های گرافیکی انجام شده است.

در [13] نویسندگان میزان کارآیی در واحد وات را برای سه هسته از جمله هسته­ی ضرب برداری ماتریس­های تنک برروی دو سکوی پردازنده­یIntel Sandy Bridge 29 و پردازنده­ی گرافیکی فرمی NVIDIA مطالعه کرده­اند. آن­ها نشان داده­اند که با معیار کارآیی در واحد وات GFLOPs/watt این هسته برروی پردازنده­ی
 Intel Sandy Bridge بهتر عمل می­کند ولی آن­ها فقط از یک نوع ماتریس R-MAT استفاده کرده و برای ذخیره­ سازی آن­ها فقط از قالب CSR استفاده کرده­اند. در [14] انزت و همکاران مرزهای جدیدی را برای بهینگی انرژی و کارآیی برای محاسبات تنک بر روی ابرکامپیوتر­های مبتنی بر پردازنده­ی گرافیکی ارائه داده­اند. LOBPCG به عنوان محک30 انتخاب شده است چون شامل عملیات ضرب برداری ماتریس­های تنک نیز بوده است.

در باب اندازه­گیری توان مصرفی در پردازنده­های گرافیکی، نویسندگان [15] مطالعه­ای درباره­ی چگونگی اندازه گیری توان لحظه­ای و انرژی مصرفی با استفاده از حسگرهای روی بورد پردازنده­های گرافیکی جدید ارائه داده­اند. برای پردازنده­های گرافیکی بدون سنسور تعبیه شده می­توان از مد­لسازی­هایی که برای توان صورت گرفته بهره برد یا از دستگاه­های خارجی جهت اتصال به پردازنده­ی گرافیکی و اندازه گیری توان مصرفی آن استفاده کرد [16].

3-مبانی نظری پژوهش

در این فصل به معرفی معماری پردازنده­های گرافیکی و نحوه­ی اجرای یک مدل برنامه­نویسی رایج که همان CUDA است و همچنین عملیات ضرب برداری ماتریس­های تنک یا به اختصار SpMV31 و قالب­های آن خواهیم پرداخت.

3-1- پردازنده­های گرافیکی همه منظوره یا GPGPUS و مدل برنامه نویسی CUDA

مدل معماری GPGPU ارائه شده توسط شرکت NVIDIA مبتنی بر یک آرایه­ای مقیاس پذیر از چندپردازنده­هی جریانی32 و چند نخی33 که هرکدام شامل تعدادی ثابت از پردازنده­های عددی، یک یا چند واحد واکشی، سخت افزار ویژه­ی توابع خاص و حافظه­ی سریع روی تراشه است که در نسل­های کپلر و نسل­های قبلی فرمی به حافظه­ی نهان سطح یک34 و حافظه­ی مشترک تقسیم می­شود و در
نسل­های جدیدتر ماکسول و پاسکال به صورت فیزیکی جدا شده­اند.

یک برنامه­ی CUDA شامل یک برنامه­ی میزبان و هسته است که برنامه­ی میزبان روی CPU میزبان اجرا می­شود و برنامه هسته روی دستگاه GPU اجرا می­شود.

محاسبات توسط نخ­ها انجام می­شود که در بلوک­ها
گروه­بندی می­شوند. بیشتر از یک بلوک می­تواند برروی یک چند‍‍ پردازنده­ی یکسان اجرا شوند و بلوک­های نخی به صورت هم­روند اجرا می­شوند.

طی فراخوانی هسته (شبکه35 نیز نامیده می­شود)، برنامه­ی میزبان تنظیمات اجرایی را که شامل موارد زیر است تعریف می­کند:

·       تعداد بلوک­های نخی برای اجرا

·       تعداد نخ­ها در هر بلوک

3-2-قالب­های ذخیره­سازی تنک

در ضرب برداری ماتریس­های تنک، هر المان ماتریس فقط یک بار مورد دسترسی قرار می­گیرد. قالب­های عمومی برای نگهداری و دخیره کردن اطلاعات المان­های غیر صفر ماتریس تنک محتمل سرباری زیادی می­شوند. یکی از دلایل استفاده از قالب­های تنک کاهش این سربار و کاهش دسترسی­های غیر منظم، غیر تلفقی و کاهش واگرایی در نخ­های یک ریسمان است. در پیاده­سازی ­هایی که در این پژوهش انجام شده است برای ذخیره­ی بردار ضرب شونده­ی x از حافظه­ی Texture بهره وری شده است.

قالب CSR: قالب CSR محبوب ترین قالب برای ذخیره کردن ماتریس تنک است. این قالب مقادر غیر صفر و شاخص ستونی آن­ها را به صورت غیر ضمنی در دو آرایه­ ذخیره می­کند و از یک آرایه­­ی سوم برای ذخیره­ی مرز­های هر سطر استفاده می­کند. پیاده سازی این قالب را به دو صورت عددی و برداری می­توان انجام داد که در نوع برداری مشهور به VCSR از روش parallel reduction استفاده می­شود.

قالب ELL : ایده­ی قالب ELL دسته بندی کردن همه­ی اعداد غیر صفر ماتریس از سمت چپ آن و دخیره­ی ماتریس متراکم نتیجه است. این قالب از دو آرایه­ برای ذخیره­ی المان­های ماتریس متراکم و ذخیره­ی شاخص ستونی این المان­ها استفاده می­کند.

قالب SELL: ایده­ی آن بریدن ماتریس در تکه­های هم طول ولی با عرض متفاوت است. این قالب از 3 آرایه استفاده می­کند. آرایه­ی اول اشاره­گرهای شروع هر Slice را ذخیره می­کند. آرایه­ی دیگر نیز مشابه قالب ELL است.

قالب HYB: برای ماتریسی که طول سطرهایشان متغیر است می­توان از ترکیب دو قالب ELL و CSR برای
ذخیره­ی ماتریس استفاده کرد. زیرا برای سطرهایی با طول کمتر از طول ریسمان استفاده از قالب ELL باعث افزایش کارآیی و برای سطرهایی با طول بزرگتر از ریسمان استفاده از قالب CSR باعث بهبود کارآیی می­شود. الگوریتم استفاده شده در این قالب تقسیم ماتریس به دو قسمت و ذخیره­ی هر قسمت در هرکدام از این قالب­ها است.

قالب BCSR: این قالب از سه آرایه تشکیل شده است. آرایه­ی اول حاوی اشاره­گرهایی به ابتدای هر ابر سطر است. با تقسیم ماتریس به بلوک­های 2×2 هر 2 سطر در یک ابر سطر قرار می­گیرند. آرایه­ی دوم نیز مشابه CSR است اما در این قالب به جای ذخیره­ی پشت سرهم المان­ها در این آرایه، المان­های هر بلوک به ترتیب بلوک­ها بصورت پشت سرهم ذخیره می­شوند. آرایه­ی سوم نیز شاخص هر بلوک را در هر ابر سطر ذخیره می­کند.

قالب BELL: این قالب یکی از نسخه­های ELL است و در آن به جای ذخیره­ی المان­ها به صورت پشت سرهم، ماتریس به بلوک­های هم اندازه تقسیم شده وبلوک­های حاوی اعداد غیر صفر به صورت پشت سرهم مشابه قالب ELL ذخیره می­شوند. هر بلوک و المان­های درونش فقط به یک شاخص نیاز دارند پس دسترسی به حافظه کاهش می­یابد. دسترسی به بردار ورودی برای همه­ی المان­های ابر سطرکاهش یافته و در بهترین حالت فقط یک بار اتفاق می­افتد. این قالب از دو آرایه تشکیل شده است. آرایه­ی اول شاخص ستونی هر بلوک را در ماتریس تقسیم شده به بلوک­ها ذخیره می­کند. آرایه­ی دوم المان­های بلوک­ها را پشت سرهم و مشابه قالب ELL ذخیره می­کند.

قالب DIA: همان طور که از نام قالب DIA که مخفف قطری است مشخص است، این قالب مناسب ماتریس­هایی با ساختار قطری است زیرا قطرهای ماتریس را به صورت ستونی در یک ماتریس فشرده ذخیره می­کند.

قالب CDS: این قالب جهت بهره­وری از ساختار بلوکی در ماتریس­های محاسبات شبکه­ای طراحی گردیده است. با تقسیم ماتریس به بلوک­های هم اندازه، در این قالب به جای ذخیره­ی هر قطر غیر صفر ماتریس، هر ابر قطر ذخیره
می­شود.

4-روش­شناسی

در [17] نشان داده شده است که انتخاب قالب مناسب برای ذخیره­سازی ماتریس تنک تاثیر بسیار زیادی برروی کارآیی خواهد داشت. از طرفی مصرف انرژی در پردازنده­ی گرافیکی در رابطه­ی مستقیم با کارآیی است پس می­توان گفت که انتخاب قالب متناسب با ساختار ماتریس ورودی، می­تواند با بهبود دسترسی به حافظه، کاهش سربار محاسباتی و استفاده از پهنای باند حافظه، استفاده­ی بهینه مناسب از حافظه­ی نهان و ... باعث بهبود در مصرف انرژی شود. علاوه بر انتخاب قالب مناسب، پارامترهای قابل تنظیمی در پردازنده­ی گرافیکی وجود دارند که نتایج این پژوهش و پژوهش­های دیگر نشان داده­اند که با تنظیم صحیح آن­ها می­توان تاثیر مثبتی در بهبود کارآیی و توان مصرفی ایجاد کرد. این پارامترهای سخت افزاری عبارتند از :

1.       اندازه­ی بلوک نخی که تعداد نخ­های هر بلوک را مشخص می­کند

2.       تعداد ثبات­های اختصاص داده شده به هر نخ

3.       سلسله مراتب حافظه

اندازه­ی بلوک نخی پارامتری است که به شدت برروی کارآیی و توان مصرفی پردازنده­ی گرافیکی تاثیر می­گذارد.

تعریف دقیق تعداد نخ­ها در یک بلوک نقش اساسی در رسیدن به معیار کارآیی در وات و اشغال36 پردازنده­ی گرافیکی دارد. درصد اشغال که نرخ بهره­وری از هرSM37 را نشان می­دهد بسیار وابسته به تعداد نخ­ها در بلوک نخی است زیرا برای تعداد بلوک فعال در هر SM محدودیتی وجود دارد و با تعریف مقدار صحیح اندازه­ی این بلوک­ها میتوان تعداد نخ­های فعال در هر SM را به مقدار حداکثر آن نزدیک کرده و درصد اشغال SM و در نتیجه بهره­وری از آن را افزایش داد. البته درصد اشغال به محدودیت منابعی دیگر نظیر تعداد ثبات­ها برای هر نخ و حافظه­ی مشترک موجود نیز بستگی دارد.

تعداد بلوک­های فعال در هر SM به محدودیت منابعی مثل تعداد ثبات­ها نیز بستگی دارد. در پردازنده­های گرافیکی با قابلیت محاسباتی38 3 به بالا می­توان به وسیله­ی کامپایلر تعداد ثبات­ها را از حداقل 16 تا حداقل 255 تعریف کرد. کاهش تعداد ثبات­ها برای هر نخ تا تعداد مورد نیازشان
می­تواند باعث شود که محدودیت ثبات­های موجود کمتر شود و نخ­های فعال بیشتری برای اجرا روی پردازنده­ی گرافیکی وجود داشته باشد و موازی بودن در سطح نخ39 بیشتری ایجاد کرد. مقدار ثبات­ها برای هر نخ را می­توان با پرچم40 maxrregcount در زمان کامپایل تعریف کرد.

قابلیت تنظیم سلسله مراتب حافظه در پردازنده­های گرافیکی باعث شده است که برنامه­های کاربردی محدود به حافظه بتوانند کارآیی و توان مصرفی بهتری بر روی پردازنده­ی گرافیکی داشته باشند. پردازنده­های گرافیکی نسل­های قبل فقط دارای حافظه­های ثابت41 و بافته بودند اما پردازنده­های گرافیکی نسل­های جدید دارای قابلیت­های نهان سازی سطح اول و دوم یا همان L1 cache و L2 chache نیز هستند. اندازه­ی حافظه­ی نهان سطح اول یا L1 cache و حافظه­ی اشتراکی توسط برنامه نویس قابل تنظیم است. عملیات ضرب برداری ماتریس تنک نیز یک برنامه­ی محدود به حافظه است و معمولا به دلیل دسترسی­هایس به حافظه­ی سراسری، تاخیر اجرایی و متوسط توان مصرفی نیز به تبع آن افزایش پیدا می­کند. با معرفی پردازنده­های گرافیکی مبتنی بر حافظه­ی نهان و قابلیت تنظیم پیکربندی حافظه­ی اشتراکی و نهان، می­توان این نوع دسترسی را مدیریت کرد. برای برنامه­های با الگوی دسترسی منظم به حافظه بهتر است اندازه­ی حافظه­ی اشتراکی را افزایش داد و برای برنامه­های با الگوی دسترسی نامظم بهتر است اندازه­ی حافظه­ی نهان را بیشتر کرد تا بهره­وری از این حافظه با توجه به الگوی دسترسی نامظم افزایش یابد [18].

هدف این پژوهش یافتن تنظیمات سخت افزاری مناسب برای قالب­های ذخیره سازی تنک در الگوریتم ضرب برداری ماتریس تنک، با انرژی مصرفی بهینه در واحد کارآیی است. معیار بهینگی در این سیستم برای یک عملیات ضرب برداری معیار کارآیی در واحد توان یا کارآیی در وات است.

 

img0 

 

شکل 1. زمان اجرای الگوریتم ضرب برداری ماتریس تنک CurlCurl_1 برحسب میکروثانیه در قالب­های DIA, CDS, ELL, SELL, BELL, CSR, VCSR, BCSR, HYB 

 

به این معنی که تنظیماتی مطلوب­تر است که کمترین میزان مصرف انرژی را به ازای کارآیی بیشتر نتیجه دهد. برای دستیابی به بالاترین میزان این معیار برای هر ماتریس تنک ورودی، می­توان متناسب با الگوی ساختاری ماتریس و قالب منطبق بر این ساختار برای فشرده سازی تنظیمات مناسب سخت افزاری مناسب را برای پردازنده­ی گرافیکی انتخاب کرد. این ایده بر اساس آزمایشاتی شکل گرفته است که نشان داده­اند برای هر ماتریس تنک ورودی با هر الگوی ساختاری تنظیمات سخت افزاری و قالب خاصی برای ذخیره­سازی وجود دارد که بهترین میزان کارآیی در وات را نتیجه می­دهد.

پس در ابتدا نیاز به انجام آزمایشاتی است که نحوه­ی تاثیر تنظیم این پارامترها پس از انتخاب قالب مناسب را بر کارآیی و توان مصرفی نشان دهد. برای انجام این آزمایشات تعدادی ماتریس تنک از مجموعه­ی 200 ماتریس تنک ورودی که از کتابخانه­ی تنک دانشگاه فلوریدا جمع آوری شده و به صورت تصادفی انتخاب شده به طوری­که اندازه­ی ماتریس متراکم شده­ی آن­ها در قالب­های این پژوهش، در حافظه­ی RAM سیستم قابل تعریف باشد. محور افقی نمودارها نشان­دهنده­ی مقدار کارآیی در وات با تنظیمات سخت افزاری است و t/p و perf/pow مخفف Performance(time)/power می­باشد و اعداد بعد به ترتیب اندازه­ی بلوک، تعداد ثبات در نخ و اولویت سلسله مراتب حافظه را نشان می­دهد.

 

img0 

 

شکل 2. توان مصرفی الگوریتم ضرب برداری ماتریس تنک CurlCurl_1 برحسب وات در قالب­های DIA, CDS, ELL, SELL, BELL, CSR, VCSR, BCSR, HYB

4-1-معیار کارآیی در واحد توان مصرفی(وات)

در این آزمایشات 9 قالب ماتریس تنک مورد بررسی قرار گرفته­اند. نتیجه­ی آزمایشات در نمودارهای زیر نشان
می­دهند که متناسب با ساختار ماتریس ورودی، انتخاب یک قالب صحیح برای فشرده سازی و ذخیره­ی ماتریس، تاثیر بسزایی بر روی کارآیی و توان مصرفی و متناظر با آن معیار کارآیی در واحد توان یا کارآیی در وات خواهد داشت. با انتخاب قالب مناسب می­توان با کاهش صفرهای افزوده متناظر با الگوی ساختاری ماتریس و کاهش فضای مورد نیاز در حافظه برای ذخیره­ی ماتریس از پهنای باند حافظه
بهره­وری بهتری داشت. با انتخاب صحیح روش فشرده سازی همچنین می­توان از محلیت حافظه­ی نهان بهتر استفاده کرد و با ایجاد تعادل بار در نخ­ها، از قدرت محاسباتی پردازنده­ی گرافیکی استفاده­ی بهینه­تری داشت.

شکل 1 نشان دهنده­ی زمان اجرای هسته­ی این الگوریتم با ماتریس تنک CurlCurl_1 بر حسب میکرو ثانیه در این 9 قالب است. شکل 2 میزان توان مصرفی را برای این ماتریس در قالب­های مختلف نشان می­دهد. بهترین میزان کارآیی برای این ماتریس در قالب­های BELL، SELL و HYB به دست می­آید ولی بهترین میزان توان مصرفی برای این ماتریس در قالب SELL است. اما شکل 3 نشان می­دهد که بهترین میزان کارآیی در واحد توان مصرفی برای این ماتریس در قالب HYB است. لذا معیار کارآیی یا انرژی مصرفی به تنهایی نمی­تواند مناسب بودن یک قالب را نشان دهد و معیار مناسب میزان انرژی مصرف شده برای رسیدن به کارآیی به دست آمده است.

 

img0 

شکل 3. مقدار کارآیی در واحد توان مصرفی الگوریتم ضرب برداری برای ماتریس تنک CurlCurl_1 در
قالب­های DIA, CDS, ELL, SELL, BELL, CSR, VCSR, BCSR

 

برای اندازه­گیری کارآیی از تعریف معکوس زمان اجرای الگوریتم بر روی پردازنده­ی گرافیکی استفاده شده است و برای اندازه گیری زمان اجرای الگوریتم از روش چند نخی استفاده شده است. در نخ والد و اصلی، یک حلقه از شروع ارسال هسته برروی پردازنده­ی گرافیکی تا اتمام انجام عملیات هسته مشغول نمونه گیری از توان مصرفی لحظه­ای پردازنده­ی گرافیکی و محاسبه­ی مدت زمان اجرا است. برای نمونه گیری از حسگرهای پردازنده­ی گرافیکی برای اندازه گیری توان مصرفی لحظه­ای، از رابط کتابخانه­یNVML42  استفاده شده است. به دلیل محدودیت حسگرهای اندازه گیری توان مصرفی که روی پردازنده­ی گرافیکی قرار دارند هر الگوریتم 500 بار اجرا شده است و زمان اجرا و توان مصرفی در این پنجره اندازه گیری شده است. در این پنجره هرگاه توان مصرفی پایدار و به صورت دوره­ای تکرار شد، متوسط توان لحظه­ای هایی که در این دوره وجود دارند به عنوان متوسط توان مصرفی لحظه­ای الگوریتم در نظر گرفته می­شود.

4-2-تنظیمات سیستم انجام آزمایشات

این پژوهش بر روی سیستمی انجام شده است که دو پردازنده­ی K40m داشته است. تعداد نخ­ها در هر SMX 2048 عدد بوده و دارای 64 کیلوبایت حافظه­ی روی تراشه است که به به 3 صورت 16 و48 ، 32 و 32 یا 48 و 16 کیلوبایت برای حافظه­ی نهان و اشتراکی قابل تعریف است. پهنای باند این پردازنده­ی گرافیکی به حافظه­ی سراسری 288 گیگابایت در ثانیه می­باشد.

5-آزمایشات و نتایج

سه پارامتر سخت افزاری قابل تنظیم منتخب در این پژوهش، اندازه­ی بلوک نخی، تعداد ثبات­های اختصاص داده شده به هر نخ و سلسله مراتب حافظه است. تنظیمات قابل اعمال برای اندازه­ی بلوک نخی از 128 تا 1024 است و برای تعداد ثبات­های اختصاص داده شده برای هر نخ مقادیر 16، 32، 64 و 256 در نظر گرفته شده و سلسله مراتب حافظه مطابق قابلیت تنظیم پیکربندی حافظه­ی روی تراشه اعمال شده است. اندازه­های 16-48 یا 32-32 کیلوبایت برای حافظه­ی اشتراکی و حافظه­ی نهان قابل تخصیص است.

شکل­های 4 تا 6 نشان­دهنده­ی تاثیر تنظیمات مختلف اندازه­ی بلوک نخی برروی کارآیی در واحد توان برای چند ماتریس نمونه­ی تنک در قالب­های VCSR، DIA و BCSR است.

شکل­های 7 تا 9 نشان­دهنده­ی تاثیر تنظیمات مختلف تعداد ثبات در نخ بر روی کارآیی در واحد توان برای
قالب­های BELL، CDS و ELL می­باشد. در محور افقی عـدد اول، انـدازه­ی بلوک نخـی و عدد دوم، تعداد ثبات­های

 

 

 

 

 

 

 

 

 

 

 

 

شکل 4. مقدار کارآیی در واحد توان مصرفی الگوریتم ضرب برداری برای ماتریس تنک نمونه در قالب VCSR در اندازه­های بلوک نخی 128، 256، 512 و 1024

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

اختصاص داده شده به هر نخ را نشان می­دهد.

شکل 10 نیز نشان­­دهنده­ی تاثیر تنظیمات مختلف سلسله مراتب حافظه بر روی کارآیی در واحد توان برای قالب VCSR است. نموداری که با حروف l1 پایان میابد مقدار کارآیی در وات را برای تنظیماتی با اندازه­ی حافظه نهان 48 کیلوبایت نشان می­دهد و نمودارهای دارای حروف eq و smem نیز نشان­دهنده­ی کارآیی در وات برای تنظیمات اندازه­ی حافظه­ی نهان 32 و 16 است.

 

 

 

 

 

 

 

 

 

 

 

 

 

شکل 5. مقدار کارآیی در واحد توان مصرفی الگوریتم ضرب برداری برای ماتریس تنک نمونه در قالب DIA در اندازه­های بلوک نخی 128، 256، 512 و 1024

 

 

 

 

 

C:\Users\Administrator\Desktop\2.jpg 

 

 

 

 

 

 

شکل 6. مقدار کارآیی در واحد توان مصرفی الگوریتم ضرب برداری برای ماتریس تنک نمونه در قالب BCSR در اندازه­های بلوک نخی 128، 256، 512 و 1024

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

شکل 7. مقدار کارآیی در واحد توان مصرفی الگوریتم ضرب برداری برای ماتریس­ تنک نمونه 2cubes_sphere در قالب BELL با تعداد ثبات­های 16، 32، 64 و 255

 

 

 

 

 

 

 

 

 

 

 

 

 

 

شکل 8. مقدار کارآیی در واحد توان مصرفی الگوریتم ضرب برداری برای ماتریس­ تنک نمونه crashbasis در قالب CDS با تعداد ثبات­های 16، 32، 64 و 255

 

 

 

 

 

 

 

 

 

 

 

 

 

شکل 9. مقدار کارآیی در واحد توان مصرفی الگوریتم ضرب برداری برای ماتریس تنک نمونه av41092 در قالب ELL با تعداد ثبات­های 16، 32، 64 و 255

 

 

 

 

 

 

 

 

 

 

 

 

 

نتایج آزمایشات با تنظیمات مختلف 3 پارامتر ذکر شده برای 200 ماتریس نمونه نشان می­دهند که رفتار الگوریتم با استفاده از هر قالب در تمام آزمایشات یکسان است چرا که در همه­ی موارد همیشه یکی از ترکیبات این تنظیمات بهترین کارآیی در وات را نتیجه می­دهد. جدول 1 تنظیمات مناسب برای هر قالب را که از آزمایشات برروی 200 ماتریس نمونه­ی تنک به دست آمده، نشان می­دهد.

جدول 1. تنظیمات به دست آمده­ی متناسب با رفتار هر قالب

اندازه­ی حافظه­ی نهان(KB)

تعداد ثبات در نخ

اندازه­ی بلوک نخی

نام قالب

48

16

256

BCSR

48

16

256

CSR

48

32

256

SELL

48

16

128

ELL

48

32

128

BELL

48

32

128

VCSR

48

16

128

HYB

48

16

128

CDS

48

32

128

DIA

با این­که قالب VCSR از حافظه­ی اشتراکی برای ذخیره­ی داده­های متناظر با هر بلوک نخی استفاده می­کند اما در شکل 3-28 مشاهده می­شود که برای ماتریس­های مختلف در این قالـب کارآیـی در وات با پیکربندی حافظه با بیشترین اندازه­ی حافظه­ی نهان به حداکثر خود رسیده است. در این نمودارها مشخص

م

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

شکل 10. مقدار کارآیی در واحد توان مصرفی الگوریتم ضرب برداری برای ماتریس­های تنک نمونه در قالب VCSR با تنظیمات مختلف سلسله مراتب حافظه

 

مشخص است که با کاهش اندازه­ی حافظه­ی نهان، نمودار کارآیی در وات افت پیدا می­کند.

6-نتیجه گیری

همانگونه که پیشتر ذکر شد، مطالعات برروی محاسبات تنک در غالب موارد بر روی کارآیی
هسته­ی ضرب برداری ماتریس­هاس تنک بر روی پردازنده­ی گرافیکی تمرکز کرده­اند و مطالعات انگشت شماری بر روی انرژی مصرفی این هسته صورت گرفته است. همچنین هیچ پژوهشی جهت طراحی سیستمی بهینه در مصرف انرژی با در نظر گرفتن کارآیی این هسته بر روی پردازنده­ی گرافیکی انجام نشده است و امروزه که محققان بر روی لزوم در نظر گرفتن انرژی مصرفی در کنار کارآیی تاکید زیادی می­کنند، برای عملیات ضرب برداری
ماتریس­های تنک که در اکثر برنامه­های علمی ریاضی و فیزیک در مقیاس گسترده کاربرد دارند، نیاز به چنین مطالعه­ای حس می­شود. در این پژوهش مشاهده شد که رفتار الگوریتم ضرب برداری با توجه به قالبی که برای ذخیره سازی ماتریس تنک استفاده می­کند متفاوت است و نمی­توان یک پیکربندی را برای الگوریتم­هایی با رفتارهای متفاوت در نظر گرفت. در این پژوهش تنظیمات مناسب برای سه پارامتر اندازه­ی بلوک نخی، تعداد ثبات در نخ و سلسله مراتب حافظه برای مشهورترین و بهینه ترین قالب­های ذخیره سازی تنک به دست آمده است.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

منابع

1. J. Im and K. Yelick, “Optimization of Sparse Matrix Kernels for Data Mining,” in Proc. of the Workshop on Text Mining, 2001.

2. L. N. Trefethen and D. Bau, III, Numerical Linear Algebra. Society for Industrial and Applied Mathematics,1997.

3. R. Gilbert, S. Reinhardt, and V. B. Shah, “Highperformance Graph Algorithms from Parallel Sparse Matrices,” in Proc. of the Int’l Workshop on Applied Parallel Computing, 2006. 

4. Owens JD, Luebke D, Govindaraju N, Harris M, Krüger J, Lefohn AE, Purcell TJ (2007) “A survey of general-purpose computation on graphics hardware,” In: Computer graphics forum, vol 26. Wiley Online Library, pp 80–113.

5.Bell and M. Garland, “Efficient sparse matrix-vector multiplication on CUDA,” Nvidia Technical Report NVR-2008-004, Nvidia Corporation2008.

6. S. Yan, C. Li, Y. Zhang, and H. Zhou, “yaspmv: Yet another spmv framework on gpus,” in ACM SIGPLAN Notices, 2014, pp. 107-118.

7. J. W. Choi, A. Singh, and R. W. Vuduc, “Model-driven autotuning of sparse matrix-vector multiply on GPUs,” in ACM Sigplan Notices, 2010, pp. 115-126.

8. Bolz, Ian Farmer, Eitan Grinspun, and Peter Schrooder, “Sparse matrix solvers on the GPU: Conjugate gradients and multigrid,” ACM Trans. Graph., 22(3):917-924, 2003.

9. R. Gilbert, S. Reinhardt, and V. B. Shah, “Highperformance Graph Algorithms from Parallel Sparse Matrices,” in Proc. of the Int’l Workshop on Applied Parallel Computing, 2006.

10. NVIDIA, “NVIDIA Corporation. CUDA Toolkit Reference Manual, 8.0 edition. Available on line at: http://developer.nvidia.com/cuda-toolkit-80.

11. Benatia, W Ji, Y Wang, F Shi, “Energy evaluation of Sparse Matrix-Vector Multiplication on GPU “ in Green and Sustainable Computing Conference ,2016, p. 1-6. N.

12. Bell and M. Garland, “Implementing sparse matrix-vector multiplication throughput-oriented processors,” In Proc. of Int'l Conf. on High Performance Computing Networking, Storage and Analysis, SC '09, pages 18:1-18:11. ACM, 2009.

13. S. Mullen, M. M. Wolf, and A. Klein, “Pakck: Performance and power analysis of key computational kernels on cpus and gpus,” in High Performance Extreme Computing Conference (HPEC), 2013 IEEE, 2013, pp. 1-6.

14. H. Anzt, S. Tomov, and J. Dongarra, “Energy efficiency and performance frontiers for sparse computations on GPU supercomputers,” in Proceedings of the sixth international workshop on programming models and applications for multicores and manycores, 2015, pp. 1-10.

15. Burtscher, I. Zecena, and Z. Zong, “Measuring GPU power with the K20 built-in sensor,” in Proceedings of Workshop on General Purpose Processing Using GPUs, 2014, p. 28. 

16. S. Song, C. Su, B. Rountree, and K. W. Cameron, “A simplified and accurate model of power-performance efficiency on emergent gpu architectures,” in Parallel & Distributed Processing (IPDPS), 2013 IEEE 27th International Symposium on, 2013, pp. 673-686.      

17. Zardoshti, P., Khunjush, F. & Sarbazi-Azad, H, “Adaptive sparse matrix representation for efficient matrix–vector multiplication,” Journal of Supercomputing (2016) 72: 3366. https://doi.org/10.1007/s11227-015-1571-0.

18. NVIDIA, “NVIDIA Corporation (2014) Tuning CUDA applications for Kepler,” Technical report, August 2014. http://docs.nvidia.com/cuda/pdf/Kepler_Tuning_Guide.pdf

 

 

 

 

 

 

 

 

[1]  High Energy physics

[2]  Data mining

[3]  Work-load

[4]  Graphic processing units

[5] 5 Performance per unit

[6]  Performance per watt

[7]  High-performance computing

[8]  Core

[9]  Thread

[10]  Compute unified device architecture

[11]  General-purpose GPU

[12]  Basic sparse linear algebra(BLAS)

[13]  Iterative methods

[14]  Control flow

[15]  Format

[16]  Auto-tuning

[17]  Multi-core processors

[18]  Many-core processors

[19]  Throughput-oriented accelerators

[20]  Kernel

[21]  Trade-off

[22]  Kepler

[23]  Performance per watt

[24]  Operation

[25]  Milli-watt

[26]  Sensor

[27]  Watt

[28]  Access pattern

[29]  CPU

[30]  Benchmark

[31]  Sparse matrix-vector multiplication

[32]  Streamed multi-processor

[33]  Multi-threaded

[34]  L1 cache

[35]  Grid

[36]  Occupancy

[37]  Streaming multiprocessor

[38]  Compute capability

[39]  Thread-level parallelism

[40]  Flag

[41]  Constant

[42]  Nvidia management library

 

77

 


Related articles

The rights to this website are owned by the Raimag Press Management System.
Copyright © 2017-2024

Home| Login| About Rimag| Contact Us|
[فارسی] [العربية] [fa] [ar]