ÇѾç´ë ÄÄÇ»ÅͼÒÇÁÆ®¿þ¾îÇкΠ¼Áö¿ø ±³¼öÆÀÀÌ ÃÖ±Ù BERT, GPT-3 µîÀÇ ´ë±Ô¸ð µö·¯´× ¸ðµ¨ ÇнÀÀ» °¡¼ÓÇÏ´Â ÃÖÀûÈ ±â¼úÀ» °³¹ßÇß´Ù. ÇØ´ç ±â¼úÀº µö·¯´× ¸ðµ¨À» ÇнÀÇÏ´Â ±×·¡ÇÈÄ«µå(GPU) µîÀÇ Çϵå¿þ¾î °¡¼Ó±â »ç¿ë·üÀ» ³ô¿© ÇнÀÀ» °¡¼Ó½ÃŲ´Ù. À̸¦ ÅëÇØ ¼ ±³¼öÆÀÀº »ó´ëÀûÀ¸·Î ÀûÀº ¼öÀÇ Çϵå¿þ¾î °¡¼Ó±â·Î ´ë±Ô¸ð ¸ðµ¨ ÇнÀÀ» °¡´ÉÇÏ°Ô ¸¸µé¾ú´Ù.
À̹ø ¿¬±¸´Â ÄÄÇ»ÅͽýºÅÛ ºÐ¾ß ¼¼°èÃÖ°í Çмú´ëȸ ¡®EuroSys(The European Conference on Computer Systems)¡¯¿¡ ¹ßÇ¥µÆÀ¸¸ç, ´ë±Ô¸ð ½Å°æ¸Á ¸ðµ¨ ÇнÀÀ» °¡¼ÓÈÇÒ »Ó ¾Æ´Ï¶ó ÇâÈÄ ´Ù¾çÇÑ ¹æ½ÄÀ¸·Î È°¿ëµÉ ¼ö ÀÖ´Ù´Â Á¡¿¡¼ Çаè¿Í ¾÷°èÀÇ ÁÖ¸ñÀ» ¹Þ°í ÀÖ´Ù.
±âÁ¸ÀÇ µö·¯´× ¸ðµ¨ ÇнÀ¹æ½ÄÀº ¿ªÀüÆÄ(BackProp) ¾Ë°í¸®Áò ¼öÇà ½Ã µö·¯´× ¸ðµ¨ ·¹À̾îÀÇ ¿ª¼øÀ¸·Î¸¸ °è»êÀ» ½ºÄÉÁÙ¸µÇϱ⠶§¹®¿¡ Çϵå¿þ¾î °¡¼Ó±â¸¦ È¿À²ÀûÀ¸·Î »ç¿ëÇÒ ¼ö ÀÖ´Â ½ºÄÉÁÙ¸µÀÌ ºÒ°¡´ÉÇß´Ù. ¼ ±³¼öÆÀÀº ÀÌ·± ´ÜÁ¡À» °³¼±ÇÏ°íÀÚ ¿ªÀüÆÄ ¾Ë°í¸®Áò °úÁ¤ÀÇ °è»ê ÀÇÁ¸¼ºÀ» ºÐ¼®, Çϵå¿þ¾îÀÇ °¡¿ë¼ºÀ» ÃÖÀûÈÇÏ´Â ¼ø¼·Î ¿ªÀüÆÄ ¾Ë°í¸®Áò °è»êÀ» ÇÏ´Â ¡®½ºÄÉÁÙ¸µ ¾Ë°í¸®Áò¡¯À» °í¾ÈÇß´Ù.
¼ ±³¼öÆÀÀº ºÐ¼® °úÁ¤¿¡¼ ÆĶó¹ÌÅÍ ±â¿ï±â °è»ê(Weight Gradient Computation)ÀÇ °æ¿ì µö·¯´× ¸ðµ¨ÀÇ ·¹ÀÌ¾î ¿ª¼øÀ¸·Î °è»êÇÏÁö ¾Ê°í ´Ù¸¥ ¼ø¼·Î ½ºÄÉÁÙ¸µ ÇÏ´Â °ÍÀÌ °¡´ÉÇÏ´Ù´Â °ÍÀ» ÆľÇÇß°í, À̸¦ È°¿ëÇØ ½ºÄÉÁÙ¸µÀ» ÇÏ´Â ¡®ºñ¼øÂ÷Àû ¿ªÀüÆÄ(Out-Of-Order BackProp)¡¯ ±â¹ýÀ» °³¹ßÇß´Ù.
ÇØ´ç ±â¹ýÀº µö·¯´× ¸ðµ¨ ÇнÀ ½Ã ÀϹÝÀûÀ¸·Î ±¤¹üÀ§ÇÏ°Ô Àû¿ëµÉ ¼ö ÀÖ´Â ±â¹ýÀ¸·Î, ƯÈ÷ ´ë±Ô¸ð µö·¯´× ¸ðµ¨ÀÇ ºÐ»ê ÇнÀ¿¡ Àû¿ëÇØ È¿À²ÀûÀÎ ½ºÄÉÁÙ¸µ ¾Ë°í¸®ÁòÀ» ¸¸µé ¼ö ÀÖ¾ú´Ù.
À̸¦ ÅëÇØ ¼ ±³¼öÆÀÀº ºÐ»ê ÇнÀÀÇ ´ëÇ¥¹æ½ÄÀÎ µ¥ÀÌÅÍ º´·ÄÇнÀ(Data Parallel Training)°ú ÆÄÀÌÇÁ¶óÀÎ º´·ÄÇнÀ(Pipeline Parallel Training)¿¡¼ ÀÓ°è°æ·Î(Critical Path)¿¡ ÀÖ´Â ÆĶó¹ÌÅÍ ±â¿ï±â °è»êÀÇ ¿ì¼±¼øÀ§¸¦ ³ôÀÌ´Â ½ºÄÉÁÙ¸µ ±â¹ýÀ» Àû¿ëÇØ ÃÖÀûÈÇß´Ù.
±× °á°ú ¼ ±³¼öÆÀÀÌ Á¦¾ÈÇÑ ½ºÄÉÁÙ¸µ ¾Ë°í¸®ÁòÀº DenseNet, MobileNet µîÀ» Æ÷ÇÔÇÑ ÄÄÇ»ÅÍ ºñÀü ¸ðµ¨ÀÇ ÇнÀ¼Óµµ¸¦ ÃÖ´ë 1.5¹è ÀÌ»ó Çâ»ó½Ã°í, BERT¡¤GPT-3 µîÀÇ °Å´ë ÀÚ¿¬¾îó¸® ¸ðµ¨ÀÇ ÇнÀ ¼Óµµ¸¦ ÃÖ´ë 2¹è Çâ»ó½ÃÄ×´Ù.
¼ ±³¼öÀÇ ¿¬±¸ °á°ú´Â EuroSys Çмú´ëȸ ¹ßÇ¥ ÈÄ ¿ì¼ö¼ºÀ» ÀÎÁ¤¹Þ¾Æ ¿µ±¹ ÀÓÆ丮¾ó Ä®¸®Áö ·±´ø, ¹Ì±¹ ½ºÅÄÆ÷µå ´ëÇп¡¼ ÃÊû¹ßÇ¥°¡ ÁøÇàµÆ´Ù. ¶Ç »ê¾÷°èÀÇ ÁÖ¸ñµµ ¹Þ¾Æ ¹Ì±¹ ±¸±Û º»»ç, ³×À̹ö Ŭ·Î¹Ù, LG AI¿¬±¸¿ø, KT, SKT, ¸ô·ÎÄÚ, ¸¶Å°³ª¶ô½º µîÀÇ ÃÊûÀ» ¹Þ°í ¼¼¹Ì³ª°¡ ¿·È´Ù.
Á¤º¸Åë½Å±âȹÆò°¡¿ø(IITP)°ú ÁÖ½Äȸ»ç KTÀÇ Áö¿øÀ» ¹ÞÀº À̹ø ¿¬±¸´Â ¿ÀÇüÁØ, ÀÌÁØ¿, ±èÇüÁÖ ÇѾç´ë ¼®¡¤¹Ú»ç°úÁ¤ Çлýµé°ú ÇÔ²² ÁøÇàµÆ´Ù. ÇÑÆí ¼Áö¿ø ±³¼ö´Â KT AI¿øÆÀ¿¡ Âü¿©ÇØ À̹ø ¿¬±¸¿¡¼ °³¹ßµÈ ±â¼úÀ» Àû¿ëÇÏ´Â ¿¬±¸¸¦ ÁøÇàÇÏ°í ÀÖ´Ù.
|