¹«½ÉÇÑ Ä¿¼¸¸ ¿Ü·ÎÀÌ ±ôºýÀδÙ. ¸Ó¸´¼ÓÀÌ ÇϾé´Ù. ÇÑÂüÀ», ¸Ó¸®¸¦ Áã¾î¶â´Â´Ù. ³ª¿À¶ó´Â ±ÛÀº ³ª¿ÀÁö ¾Ê°í, ¾Ö²âÀº ¸Ó¸®Ä®¸¸ ºüÁø´Ù. ¿ì¸® ¸ðµÎ°¡ °Þ´Â ±Û¾²±âÀÇ ¾î·Á¿òÀÌ´Ù.
±×·±µ¥ À¢°É, êGPT(ÀΰøÁö´É ¾ð¾î »ý¼º ¼ºñ½º)´Â °ÅħÀÌ ¾ø´Ù. Áú¹®À» ´øÁö¸é À̳» ´ä±ÛÀ» ¹ñ¾î³½´Ù. ¼öÁرÞÀÇ ±ÛÀÌ´Ù. ºñ°áÀÌ ¹»±î? êGPTÀÇ ±Û¾²±â ¿ø¸®¸¦ »ç¶÷ÀÇ ±Û¾²±â¿¡ Á¢¸ñÇÒ ¼ø ¾øÀ»±î?
êGPT´Â »ç¶÷ÀÇ Áú¹®¿¡ ´äÇϱâ À§ÇØ ¡®µö·¯´×(deep learning)¡¯À̶ó´Â ¸ÞÄ¿´ÏÁòÀ» »ç¿ëÇÑ´Ù. Àΰ£ÀÇ µÎ³ú°¡ ÀÛµ¿ÇÏ´Â ¹æ½ÄÀ» ¸ð¹æÇؼ ÆÐÅÏÀ» ÀνÄÇϰí, ¿¹ÃøÇÏ´Â ±â¼úÀÌ´Ù. ÃæºÐÇÑ µ¥ÀÌÅ͸¦ ÅëÇÑ ¡®»çÀü ÇнÀ(pre-trained)¡¯ÀÌ ÀüÁ¦Á¶°ÇÀÌ´Ù. êGPT ¿ª½Ã ¹æ´ëÇÑ ¾çÀÇ ´Ù¾çÇÑ ÅØ½ºÆ® µ¥ÀÌÅ͸¦ ÇнÀÇß´Ù. ÁÁÀº ¿ä¸®¸¦ ¸¸µé±â À§ÇÑ ÁÁÀº Àç·á È®º¸ Â÷¿øÀÌ´Ù.
º¸°í µè°í ´À³¢°í »ý°¢ÇÑ °É ¡®¾²¸é¡¯ ±ÛÀÌ µÈ´Ù. º¸°í µè°í ´À³¢°í »ý°¢ÇÑ °Ô ¸¹´Ù¸é ±Û¾²±âÀÇ Àý¹ÝÀº ÀÌ¹Ì ³¡³µ´Ù. ±Û°¨ÀÌ Ç³ºÎÇØ¼´Ù. µ¶¼¿Í ¿©Çà µî Á÷°£Á¢Àû Áö½Ä°ú ÁöÇý, °æÇèÀ» ¾Æ¿ì¸£´Â °øºÎ°¡ Áß¿äÇÑ ÀÌÀ¯´Ù.
ÁÁÀº ±ÛÀ» ¾²°í ½Í´Ù°í? ´õ Å©°í, ´õ ±í°í, ´õ ³ÐÀº ¼¼»óÀ», ´õ ¸¹ÀÌ º¸°í, ´õ ¸¹ÀÌ µè°í, ´õ ¸¹ÀÌ Àоî¾ß ÇÑ´Ù. ³» Àϰú ³» »î¿¡ ´ëÇÑ Ç³ºÎÇÑ »çÀü ÇнÀ! ±Û¾²±â¸¦ µÎ·Á¿öÇÏÁö ¾Ê´Â êGPT¿¡°Ô ¹è¿ì´Â ù ¹øÂ° ±Û¾²±â ÆÁÀÌ´Ù.
êGPTÀÇ ¶Ç ´Ù¸¥ ÀÛµ¿ ¿ø¸®·Î ¡®Word2vec(¿öµåÅõº¤)¡¯ÀÌ ÀÖ´Ù. ´Ü¾î¸¦ °íÂ÷¿ø °ø°£ ¼Ó º¤ÅͷΠǥÇöÇÏ´Â ±â¼úÀÌ´Ù. ´Ü¾î »çÀÌÀÇ Àǹ̷ÐÀû °ü°è¸¦ ÇнÀÇÏ¿© ´Ü¾î °£ À¯»ç¼ºÀ» °è»êÇÑ´Ù. êGPT´Â À̸¦ Ȱ¿ëÇÏ¿© ÀÔ·ÂµÈ ¹®¸Æ°ú °ü·ÃµÈ ´Ü¾îµéÀ» Ãâ·ÂÇÔÀ¸·Î½á ¸¶Ä¡ »ç¶÷ÀÌ ¾´ °Í °°Àº ÀÚ¿¬½º·¯¿î ±ÛÀ» ½á³½´Ù.
À̶§ ÇÔ²² »ç¿ëµÇ´Â °Ô ¡®Attention(ÁÖÀÇ)¡¯ ¸ÞÄ¿´ÏÁòÀÌ´Ù. êGPT´Â ÀûÀýÇÑ ÀÀ´ä »ý¼ºÀ» À§ÇØ »ç¿ëÀÚ°¡ ÀÔ·ÂÇÑ Áú¹® Á¤º¸¸¦ ºÐ¼®ÇÑ´Ù. ±×Áß Ãâ·ÂÇÒ ´Ü¾î¿Í °ü·ÃÀÌ ³ôÀº ƯÁ¤ ´Ü¾î¿¡ ÃÊÁ¡À» ¸ÂÃß¾î °¡ÁßÄ¡¸¦ ºÎ¿©ÇÑ´Ù. ÀÌ °¡ÁßÄ¡¸¦ ¹Ý¿µÇÏ¿© Ãâ·ÂÇÒ ´ÙÀ½ ´Ü¾î¸¦ ¼±ÅÃÇÏ´Â °Å´Ù. ÀÔ·ÂµÈ ¹®ÀåÀÇ Àǵµ¿¡ ÁýÁßÇÏ¿© °Å±â¿¡ ¸ÂÃãÇÏ´Â ´äÀ» ³»±â À§Çؼ´Ù. º¸´Ù À¯¿ëÇϰí ÀûÈ®ÇÑ ´ä±ÛÀÌ ³ª¿Ã ¼ö ÀÖ´Â ¹è°æÀÌ´Ù.
¿äÄÁ´ë, êGPT´Â ´Ü¾îµé °£ÀÇ °ü°è¸¦ ÆÄ¾ÇÇÏ¿© ¸Æ¶ô»ó ¡®°Å¸®¡¯¸¦ ÃøÁ¤ÇÑ´Ù(Word2vec). ¹®Àå ³» °¢ ´Ü¾îµéÀÇ Á߿䵵¸¦ ÆÄ¾ÇÇÏ¿© ÁýÁßÇØ¾ß ÇÒ ºÎºÐ°ú ±×·¸Áö ¾ÊÀº ºÎºÐÀ» ±¸ºÐÇÑ´Ù(Attention). ±×·¡¼ êGPT¿¡°Ô ¹è¿ì´Â ±Û¾²±âÀÇ µÎ ¹øÂ° ÆÁ? ÀüÈÄÁ¿츦 µÎ·ç »ìÆì ±ÛÀÇ ±¸¼º¿¡ Â¥ÀÓ»õ¸¦ ´õÇ϶ó´Â °Å´Ù. ¸Æ¶ô°ú È帧 ¾ê±â´Ù.
ÁÁÀº ±ÛÀº ¹° È帣µí ¸Å²ô·´´Ù. ¾Õ¿¡¼ ÀÌ ¾ê±â ÇÏ´Ù°¡ µÚ¿¡¼ Àú ¾ê±âÇϸç, õ¹æÁöÃà ÁÂÃæ¿ìµ¹Çؼ± Á¦´ë·Î µÈ ±ÛÀÌ µÉ ¸® ¾ø´Ù. ±×·¸Áö ¾Ê¾Æµµ ÀÐÀ»°Å¸®°¡ ³ÑÃijª´Â ¿äÁòÀÌ´Ù. µÚÁ×¹ÚÁ× ¾ÕµÚ ¾ø´Â ±ÛÀ» ³¡±îÁö ÀоîÁÙ °ü´ëÇÑ µ¶ÀÚ´Â ¼¼»ó¿¡ ¾ø´Ù. ±ÛÀÇ ¸ñÀû°ú ¿ëµµ ¶ÇÇÑ ¸íÈ®ÇØ¾ß ÇÑ´Ù. ¾î¶² ¼ÒÀ縦 °¡Áö°í, ¾î¶² ÁÖÁ¦¿¡ ¸ÂÃß¾î, ¾î¶² »ç¶÷À» ´ë»óÀ¸·Î, ¾î¶² Çü½ÄÀÇ ±ÛÀ», ¾î¶² ¾îÁ¶·Î ¾µ °ÍÀΰ¡? ³» ±ÛÀÇ Àǵµ¿¡ ÁýÁßÇØ¾ß ÇÑ´Ù.
¸¶Áö¸·Àº ¡®»ç¶÷ÀÇ Çǵå¹é¿¡ ÀÇÇÑ °ÈÇнÀ(RLHF¡¤Reinforcement Learning from Human Feedback)¡¯ÀÌ´Ù. »ç¶÷ÀÇ Çǵå¹éÀ» ±â¹ÝÀ¸·Î ÇÑ ÃªGPT ¸ðµ¨ ÃÖÀûÈ ¸ÞÄ¿´ÏÁòÀÌ´Ù. êGPTÀÇ ´äº¯ ¿Ï¼ºµµ ¶ÇÇÑ °á±¹ »ç¶÷ÀÇ ¼ÕÀ» ź´Ù´Â °Å´Ù.
¿ì¸®ÀÇ ±Û¾²±â¿¡µµ À¯»çÇÑ °úÁ¤ÀÌ ÀÖ´Ù. ¸Â´Ù, Åð°í´Ù! ÀÌ·¸°Ôµµ °íÃÆ´Ù°¡ Àú·¸°Ôµµ ¼öÁ¤ÇÑ´Ù. ´Ü¾îµéµµ ¹Ù²ãº¸°í, ¹®Àåµéµµ °íÃ帰í, ¹®´Ü ¼ø¼µµ ¹Ù²ãº»´Ù. ½Å±âÇÑ °Ô ÀÖ´Ù. °íÄ¡¸é °íÄ¥¼ö·Ï ³ª¾ÆÁø´Ù. ¹Ì¼¼Çϳª¸¶ ÀÌÀü ¹öÀüº¸´Ù´Â ´õ ³ª¾ÆÁø´Ù. Åð°íÀÇ ÈûÀÌ´Ù. ¾²´Â °Íµµ Áß¿äÇÏÁö¸¸ ¾²°í ³ µÚ°¡ ´õ Áß¿äÇÏ´Ù. ÇÑ ¹ø ½è´Ù°í ³¡ÀÌ ¾Æ´Ï´Ù. ¾²°í ³ª¼ Åð°íÇϰí, ¶Ç Åð°íÇϰí, ¶Ç ¶Ç Åð°íÇϰí, ¶Ç ¶Ç ¶Ç Åð°íÇϰí! ±ÛÀÇ ¿Ï¼ºµµ´Â ±×·¸°Ô ¿Ã¶ó°£´Ù.
µö·¯´×, »çÀüÇнÀ, Word2vec, Attention, RLHF. Á¤¸®Çغ¸´Ï êGPTÀÇ ÀÛµ¿¿ø¸®¿Í °³³äµéÀÌ ±Û¾²±â ÆÁÀ¸·Îµµ Á¦°ÝÀÌ´Ù.
±Û¾²±â¿¡ ¿Õµµ´Â ¾ø´ÙÁö¸¸ ÀÌ Á¤µµ¸¸ ÇØµµ µçµçÇÏ´Ù. ±×·³ µÆ´Ù. ¹éÁöÀÇ °øÆ÷¸¦ À̰ܳ»°í ÀÏ´Ü ¾²ÀÚ. Áö±Ý ´çÀå ¾²ÀÚ. ¸ðµç ±ÛÀÇ Ãâ¹ßÀº °Å±â¼ºÎÅÍ´Ù.