Picture from Flickr by VoIPman


다음의 새로운 전략인 "다음 뷰"에 대한 글을 쓰면서, 다시 한번 시맨틱 웹과 웹 3.0과 관련한 비즈니스 이슈에 대해서 생각을 해 보았습니다.  다음의 새로운 웹 플랫폼이 될 "다음 뷰"에 대한 포스팅은 아래 링크를 참고하시 바랍니다.

연관글:  2009/03/20 - '다음 뷰', 블로거뉴스가 차세대 웹 플랫폼으로 변신

결국 현재의 웹 환경의 다음 단계, 흔히들 웹 3.0 으로 이야기하는 차세대 웹 환경의 핵심에 서 있는 것이 바로 시맨틱 웹(semantic web)컨텍스트 웹(contextual web) 입니다.  사실 이 용어가 등장한 것이 10년이 넘었기 때문에 어찌보면 이제는 다소 식상한 느낌마저 들지만, 방향이 이쪽으로 가고 있다는 것만은 부정할 수 없는 사실 같습니다. 


시맨틱 웹이 뭐길래?

아마도 시맨틱 웹이라는 용어 만큼 기술을 설명할 때 꽤나 많이 이용되면서도 그 실체가 제대로 나타나지 않고, 또한 일반인들이 이해하기 어려운 개념도 별로 없을 것 같습니다.  좀 쉽게 표현을 한다면 웹 사이트에 있는 정보들을 보다 효과적이면서도 자신들이 원래 생각한 의도와 의미에 맞도록 제공을 하고, 동시에 정보를 찾거나 이용하는 사람들도 이러한 의미의 전달이 효과적으로 이루어지는 것이라고 할 수 있겠습니다

현재의 웹 환경은 대부분 HTML 문서들로 이루어져 있습니다.  그런데, 실제로 이렇게 수 많은 데이터들이 존재하지만 이들 사이의 연계성은 거의 존재하지 않습니다.  대부분의 웹 페이지들은 사람들이 만들기 때문에, 기계들이 이해할 수 있는 "메타 데이터(meta-data)"를 별로 고려하고 있지 않은 것이 하나의 원인입니다.  예를 들어, 웹 페이지를 표현하는 HTML 코드에 그 페이지가 담고 있는 정보(information)나 지식(knowledge)에 대한 내용이 들어가 있다면 좋겠지만, 실제로 HTML이 나타내는 것은 단지 텍스트와 이미지, 그리고 비디오 등의 멀티미디어 데이터 들이 어떻게 표현될 것인지에 대한 것입니다.  그러므로, 검색엔진들이 보내는 로봇들이 아무리 문서를 긁어오고 분석해도 실제 핵심적인 정보를 뽑아내는 것이 그리 만만하지가 않습니다. 

이런 문제를 해결하려고 시도되었던 기술들이 RDF, OWL, 지능형 수집(intelligently collecting) 등입니다만, 실제로 현재 존재하는 엄청난 수의 웹 페이지들을 처리할 수 있는 방법은 사실상 없다고 봐도 과언이 아닐 것입니다.  그런데, 최근에는 블로그나 SNS 등을 통해 새롭게 만들어지는 컨텐츠의 양이 훨씬 빠르게 늘어나고 있기에 효과적인 검색이 그 어느 때보다 절실해지고 있는 상황입니다.  결국 차세대 웹의 향배는 효과적인 검색이 쥐고 있다고 해도 과언은 아닐 것입니다.  이를 위한 가장 중요한 기술은 결국 시맨틱 웹일 수 밖에 없습니다.


자연어 처리와 컨텐츠 질의 향상

과거와 달리 블로그나 SNS 등과 같이 소비자가 만들어내는 컨텐츠가 늘어나면서, 기업의 입장에서는 고객들의 관심이 무엇인지 역으로 알아내는 것이 중요해 졌습니다.  이를 파악하기 위해서 수 많은 고객들의 웹 페이지나 블로그, SNS 컨텐츠 등을 직원들이 둘러보면서 알아보는 것도 도움이 되지만 기술적으로 보았을 때에는 자연어 처리를 통해 자동으로 컨텐츠를 요약하고 분석하는 것이 중요합니다.

자연어 처리를 통해 소비자들이 제품의 브랜드를 어떻게 느끼는지 객관적으로 알아보고, 어떤 이슈가 현재 가장 중요하며, 새로운 이슈의 성장속도와 같은 패턴을 알아낼 수 있다면 회사의 경영과 마케팅, 광고 등에 대단히 큰 도움이 됩니다.  또한, 주어진 이슈에 어떤 사람들이 영향력이 강한지 등에 대해서도 파악할 수 있을 것이며, 이런 사람들이 중요한 마케팅 대상이 됩니다.

이런 측면에서, 자연어 처리를 포함한 시맨틱 웹 기술회사들이 최근 워크플로우(workflow) 프로세스를 통해 CRM 도구로 이용할 수 있도록 하면서 시맨틱 기술들을 단순히 검색이나 모니터링 도구로 이용하는 것이 아니라 기업의 마케팅 및 관리에 있어 세련된 응답관리 도구로서의 역할까지 수행하는데 큰 관심을 가지고 있는 것을 이해할 수 있습니다.

고객들의 관심사를 파악하고 그들의 반응을 알아보는 것도 중요하지만, 현재 회사가 가지고 있는 컨텐츠들을 보다 가치있게 만드는 작업을 하는 것 역시 중요합니다.  최근 소셜 마케팅(social marketing)이 중요해지고 있는데, 이는 컨텐츠와 소셜 도구 등을 이용해서 보다 소비자들에게 깊숙하게 접근하는 것으로 앞으로 새로운 마케팅 및 광고에 있어 가장 중요한 트렌드를 형성하게 될 것입니다.


시맨틱 웹, 무엇에 쓰는 물건인고?

시맨틱 웹에 대해서 이야기 할 때, 기술에 대한 이야기는 많은데 실제로 사용자들에게 어떤 이득을 줄 수 있으며 산업에는 어떤 변화를 가져올 것인가에 대한 논의는 별로되고 있지 않은 것 같습니다.  결국에는 최종사용자가 얻게될 이득이 명확하지 않으면 한낱 신기루에 불과하다는 것은, 과거 닷컴 기업 열풍에서 구글이 키워드 광고를 만들어낼 때까지 사실상 검색엔진이 아무런 산업적 가치를 찾아내지 못했던 역사에서도 알 수 있습니다.

일반적인 소비자의 경우 시맨틱 웹에서 얻을 수 있는 이득이 무엇일까요?  사실 사용자들은 시맨틱 웹 기술이 이용되든, 이용되지 않든 아무 상관하지 않지요 ...  다만 유용하면 그만입니다.  솔직히 말해서 현재까지의 시맨틱 웹의 구호는 다분히 학술적이었습니다.  기계나 컴퓨터가 정보를 이해하게 만든다는 그럴싸한 ... 멋지잖아요?  이런 측면에서는 웹 전체가 거대한 RDF 데이터베이스가 되면서 사용자들이 누구나 원하는 정보를 얻게 만들겠다는 것인데, 실제 사용될 수 있는 유용한 사례가 없다면 결국에는 묻히고 말겠지요?

현재 시맨틱 웹에 기반을 둔 애플리케이션 또는 웹 서비스로는 수직적인 검색이나 개인정보 관리 시스템, 의미를 바탕으로 한 브라우징 등이 있습니다.  이러한 애플리케이션들이 사실 아직까지는 일반적인 사용자들이 사용하기에는 어렵고 전문적입니다.  아마도 지능적인 쇼핑, 영상 스토리보드나 그림과 영상 그리고 글을 적절하게 매칭하는 서비스 등과 같은 눈에 보이고 흥미를 이끌어낼 수 있는 킬러 애플리케이션 또는 서비스가 등장해야 체감을 할 수 있을 것 같습니다.

시맨틱 기술은 소비자와 회사들이 과거 전통적인 검색 기술에서는 찾아낼 수 없었던 정보를 찾아주는 기술입니다.  회사들은 이러한 기술의 결과로 알아낸 정보를 이용하여 자신들의 마케팅 활동을 보다 강화할 수 있으며, 소비자들에게 보다 적합한 정보를 제공할 수 있습니다.  요즘처럼 정보가 홍수처럼 넘치는 시기에는, 적절한 정보를 적기에 소비자들에게 제공할 수 있다는 것만큼 강력한 마케팅 도구는 없을 것입니다.

그런 측면에서, 시맨틱 웹과 컨텍스트 웹으로 대별되는 웹 3.0 기술의 의미는 매우 큽니다.  다음이 새로운 웹 플랫폼 기술개발에 매진하고 있는 것도 이러한 기업과 소비자들을 보다 효과적으로 연계할 수 있는 기술의 개발이 이루어질 경우 훨씬 월등한 광고수익을 얻을 수 있다는 것을 알기 때문입니다.  구글이 현재의 검색 수준으로 안주할 경우 앞으로 10년 뒤를 장담할 수 없는 이유가 여기에 있습니다.

연관글:
2008/11/19 - 웹 3.0 시대를 여는 웹서비스 API 들은?
2008/12/30 - 웹 3.0을 이끈다는 시맨틱 웹 기술의 정체 (1)
2008/12/31 - 웹 3.0을 이끈다는 시맨틱 웹 기술의 정체 (2)
2009/01/13 - 웹3.0의 핵심기술: 컨텍스트 웹을 아시나요?
2009/01/17 - 도대체 웹 3.0은 또 뭡니까?


저작자 표시
신고

WRITTEN BY
하이컨셉
미래는 하이컨셉, 하이터치의 세계라고 합니다. 너무 메마르고 딱딱한 이야기보다는 글로벌 시대에 어울리는 세계 각국의 이야기, 그리고 의학과 과학을 포함한 미래에 대한 이야기의 세계로 여러분을 초대합니다.

트랙백  2 ,

사진은 카앤드라이빙님 블로그에서 긁어왔습니다 (제가 카메라를 안 가져가서 ...)


여러 분들이 글을 올리실 줄 알았는데, 아직 조용하네요?  칫솔님께서 발표내용 자체에 대해서는 실시간으로(이것이 그 유명한 라이브 블로깅?) 올리신 글이 베스트에 올라왔고, 카앤드라이빙님도 사진들과 함께 현장감 넘치는 포스팅을 쓰셨기에 저는 다음에서 발표한 내용 자체보다는 이 개편이 가지고 있는 함의와 다음이 보고 있는 커다란 그림에 대해서 글을 써볼까 합니다.  (다음 측에서 생각하는 것이 이것이 아니라면 대략 난감이지만 ...)


다음 뷰는 블로고스피어를 넘어선 시도

제가 Q&A 시간에 다소 어려운 기술적인 질문을 하는 바람에 참석하신 여러 블로거님들이 쬐금 불편하셨을 것 같습니다.  저는 발표를 보면서 이번 개편이 단순히 블로거뉴스의 개편을 넘어서는 커다란 의도가 숨어있다는 느낌을 받았기에 이를 보다 명확하게 알고 싶었습니다.

블로거뉴스의 이름이 "다음 뷰"로 바뀐 것 역시 이와 무관하지 않습니다.  단순히 블로고스피어에 한정되지 않고 전체 웹 환경에 있어 구글의 컴퓨터 알고리즘을 이용한 검색과 수 많은 사람들의 행위를 동시에 결합한 차세대 개방형 검색엔진으로 다음 전체를 개혁하겠다는 의지가 숨어 있습니다.  "다음 뷰"는 결국 이러한 차세대 웹환경의 입구로서의 역할을 하게 될 것 같습니다.


다음, 컨텍스트 웹의 구현을 시작하다.

다음이 다음 뷰를 통해 시작하는 것은 "웹 3.0 (뭐 마케팅 용어라고들 합니다만)"의 핵심 기술로 통하는 컨텍스트 웹(Contextual Web)의 구현입니다.  사실 얼마 전까지만 해도, 웹이라는 것은 단지 밋밋한 HTML 페이지의 집합과도 같은 느낌이었습니다.  이런 페이지를 보는데 필요한 소프트웨어는 단지 웹 브라우저였고 말이지요 ...  문제는 브라우저라는 녀석은 사용자가 무슨 의도를 가지고 있는지, 그리고 무엇을 생각하는지에 대해 관심이 별로 없는 소프트웨어라는 것입니다. 

"컨텍스트(Context)"라는 것은 우리말로 번역하기가 참 어려운 용어인데, 굳이 번역을 한다면 "의도"나 "문맥, 맥" 정도가 적절할 것 같습니다.  한마디로 웹 브라우저는 컨텍스트를 이해하지 못하는 소프트웨어 입니다.  그렇기 때문에, 컨텍스트 웹이 되려면 사용자의 행위를 이해할 수 있는 어떤 장치와 디자인이 필요합니다.  기본적으로 웹 페이지가 제공하는 정보와 사용자의 행위가 결합되어 컨텍스트가 만들어질텐데, 일단 사용자의 컨텍스트를 알 수 있고 그에 대해 적절히 대응하는 웹 페이지가 만들어진다면 훨씬 유용할 것입니다.  이러한 요구사항을 만족시키는 웹 페이지나 웹 기술을 컨텍스트 웹이라고 부릅니다.  컨텍스트 웹은 시맨틱 웹과 함께 웹 3.0 시대를 여는 대표적인 기술로 주목받고 있습니다.

컨텍스트 웹이 만들어지려면 웹 사이트 구축 기술이 진보를 해야 합니다.  선택해야 할 내용은 적어지고, 의미는 더 풍부하면서 자연스럽게 흘러가야 되는 것이죠 ...  검색이 전혀 필요없는 것은 아니겠지만, 필요로 하는 정보를 얻거나 서비스를 받기 위해서 사용자가 직접 많은 것을 찾기 보다는 자연스럽게 웹 사이트와 상호작용을 하다보면 원하는 정보나 서비스에 접근할 수 있는 것 ...  그것이 컨텍스트 웹 입니다.

컨텍스트 웹에 대해 보다 자세한 내용은 제가 과거에 쓴 포스팅을 참고하시기 바랍니다.  아래에 링크합니다.

2009/01/13 - 웹3.0의 핵심기술: 컨텍스트 웹을 아시나요?


다음 뷰 기술부분 비젼을 바라보면 ...

이번 발표에서 기술적인 부분의 핵심은 다음의 3가지로 요약할 수 있습니다.

  1. 열린편집 엔진의 개방형 검색엔진화
  2. 스마트한 개인화
  3. API & 위젯 기술의 활성화

열린편집 엔진은 달리 말하면 추천엔진이라고 말할 수 있습니다.  사용자들의 추천패턴이나 글을 읽는 패턴 등을 분석하는 알고리즘이 이미 개발되어 있고, 이에 대한 충분한 실험을 블로거뉴스를 통해서 수행하였기 때문에 이를 미국의 Digg.com과 같은 형태로 완전히 개방을 할 경우, 단순히 블로거뉴스에 송고된 글 뿐만 아니라 자신들의 정보나 웹 사이트에 있는 페이지 등이 읽히기를 원하는 어떤 컨텐츠 생산자도 이를 도입할 수 있게 됩니다.  이 부분을 구체적으로 어떻게 나타날지는 조금 지켜보아야 겠습니다만, 블로고스피어를 넘어서서 일반 웹 사이트에까지도 페이지를 만든 사람의 의도에 따라 추천엔진에 노출이 된다고 이해하면 됩니다.

두번 째 스마트한 개인화 역시 열린편집과 맥이 닿아 있습니다.  여기에 추가적으로 개인에게 RSS 뷰어를 넘어서는 유니버설 뷰어 또는 통합 뷰어를 제공하면서, 독자가 자주 읽는 글의 패턴을 분석하고 추천 내용을 분석해서 넘쳐나는 정보를 맞춤형으로 제공하겠다는 것입니다.  컨텍스트 웹의 철학을 그대로 실천하겠다는 것입니다. 

API와 위젯을 보다 활성화한다면, 이러한 기술을 바탕으로한 다양한 매쉬 업이 등장할 여지를 만들 수 있을 것입니다.  이에 대해서는 아직 명확한 입장이 정해지지 않은 것 같은데, 로이터의 Calais API 등과 같은 시맨틱 웹 API를 참고하는 것이 어떨까 합니다.


다음은 이번 개편을 통해 무엇을 노리는가?

다음이 이번 개편을 통해 노리는 것은 현재 네이버가 차지하고 있는 검색 1위의 지위를 가져오겠다는 것입니다.  네이버가 검색 부분의 수위를 지키고 있는 것은 지식인의 영향이 큽니다.  그렇지만, 네이버의 검색엔진 기술이 그리 뛰어나다고는 볼 수 없습니다.  다음이 원하는 것은 이 검색 부분의 1위 자리를 차지하는 것입니다.  다음도 비즈니스를 하는 회사이기 때문에, 앞으로 대부분의 수익을 창출해낼 수 밖에 없는 검색광고 시장을 장악하기 위해서는 무엇인가 혁신적인 것을 내놓지 않고는 불가능할 수 밖에 없습니다. 

일단 개인적인 느낌으로는 방향성은 좋은 것 같습니다.  다음은 블로거뉴스를 개방형으로 운영하면서 컨텐츠 확보라는 측면에서 상당한 성과를 거두었습니다.  그러나, 최근 네이버의 오픈캐스트로 인해 컨텐츠 자체는 네이버 검색엔진 쪽으로도 넘어갈 수 있는 바, 이제는 보다 근본적인 승부를 걸어보는 것 같습니다. 

시맨틱 웹과 컨텍스트 웹으로 대별되는 소위 "웹 3.0" 기술은 지나치게 컴퓨터 기술위주로 진행이 되었기에 실제로 어려움을 많이 겪었습니다.  그렇지만, 기본적인 기술의 바탕 위에 수 많은 사용자들의 경험과 행동을 파악해서 적용할 수 있다면 성공 가능성은 충분합니다.  다음은 열린편집을 통해 일정정도 가능성을 찾은 듯하고, 이를 전면적으로 적용하려는 것이 이번 개편의 핵심입니다.


다음이 웹 3.0 기업으로 변신하는가?

웹 2.0이 분산, 참여, 공유로 대별되며, 기존의 커다란 섬으로 상징되던 포탈 기술을 작은 섬들의 집단과 이들 간의 다리를 건설하는 방식의 기술이었다면, 웹 3.0은 정보의 양이 너무 많아지기 때문에 보다 개인화되고 최적화할 수 있는 기술이 초점이 되고 있습니다. 

웹 2.0 기술과는 달리, 이러한 컨텍스트 웹과 관련한 기술에는 언어의 차이에 의한 기술적 차별성이 커질 가능성이 많습니다.  다시 말해 한국시장의 경우, 한국어 자연어처리 기술과 웹 기술의 연계성을 확보한다면 그리 외국의 기술이 쉽사리 치고들어올 수 없는 형태의 장벽을 칠 수 있는 것이지요.  그렇지만, 완전히 따로 놀게하기 보다는 영어권의 개방형 기술과의 다리를 놓을 수 있는 가능성을 항상 열어놓고 기술개발이 되어야 할 것 입니다.  그렇게 하는 것만이, 글로벌화를 하는 동시에 국내에서의 차별화된 서비스를 할 수 있는 바탕이 될 테니까요 ...


신고

WRITTEN BY
하이컨셉
미래는 하이컨셉, 하이터치의 세계라고 합니다. 너무 메마르고 딱딱한 이야기보다는 글로벌 시대에 어울리는 세계 각국의 이야기, 그리고 의학과 과학을 포함한 미래에 대한 이야기의 세계로 여러분을 초대합니다.

트랙백  5 ,

Home


세계적인 통신회사 로이터의 개방형 웹서비스인 칼레이(Calais)의 새로운 4.0 버젼 API가 1월 15일 발표되었습니다.  현재 개방형 환경의 언론과 미디어 분야에서 가장 선도를 하고 있는 서비스이자 기업이기 때문에 언제나 관심을 가지고 지켜보고 있는데요 ...  칼레이는 웹 3.0 기술과 관련해서도 가장 중요한 핵심기술로 간주되고 있는 시맨틱 웹과 관련해서도 많은 대안을 제시하고 있습니다.  기본적으로 정보와 지식을 발행하는 사람들에게 내용에 들어있는 사람이나 장소, 회사, 사실, 이벤트 등의 주요한 의미요소들을 카테고리화 할 수 있도록 합니다. 

Calais 4.0에서 달라진 점으로 눈에 띄는 것은 시맨틱 웹 커뮤니티의 팀 버너스리(Sir Tim-Berners Lee) 등이 지는 수년 간 지지를 해온 링크데이터(Linked Data) 웹 표준에 연결이 가능해진 점입니다.  사실 현재까지 표준이라는 이름이 무색하게 링크데이터(Linked Data)는 대학이나 과학연구 수준에서만 채택이 되었고, 실질적인 상업적 이용에 사용된 사례가 거의 없었다는 점을 감안하면, 이번 칼라이스의 지원은 큰 힘이 될 전망입니다. 

조금 더 세부적인 내용을 들여다 보면, 칼레이 4.0은 기초적인 메타태그 수준을 넘어서서 정보의 발행자가 자신의 컨텐츠를 위키피디아(Wikipedia), 지오네임즈(GeoNames), 인터넷무비 데이터베이스(Internet Movie Database, IMDB), Shopping.com과 같은 링크데이터(Linked Data) 자산을 제공하는 곳과 쉽게 연결할 수 있게 합니다.  또한 발행자가 시맨틱 메타데이터를 자신의 컨텐츠를 소비하는 주체인 검색엔진, 뉴스 전달자 등과도 공유할 수 있게 되어 있습니다.


칼레이 4.0 에서 새롭게 달라진 것들을 정리하면 다음과 같습니다.  그동안 칼레이가 주로 텍스트에서 시맨틱 데이터를 얻는데 촛점을 맞추었는데, 4.0 부터는 앞에서도 언급한 링크데이터(Linked Data)와의 연결이 가능해진 것과, 메타데이터를 공유하고 이를 결합하는 것과 같은 다양한 방법이 주어졌습니다.

칼레이 4.0은 약 25개 정도의 링크데이터(Linked Data) 엔티티 유형을 지원합니다.  로이터 통신 역시 자신들의 온톨로지(ontology)를 RDFS에 발행합니다.  로이터가 링크데이터(Linked Data)에 발행하는 데이터에는 여러 기업들에 대한 설명, 주식 정보, 기업들의 주요 경영진과 직원들 등의 정보가 포함됩니다.  이러한 데이터들을 외부의 개발자들이 얼마든지 이용할 수 있고, 프로그래밍할 수 있습니다.

이러한 측면에서 바라보면, 칼레이 4.0이 가지는 가장 큰 의미는 과거 아마존이 자신들의 고객정보와 상품정보를 공개하면서 AWS를 활성화시킨 것과 같이, 로이터의 막대한 데이터 자산을 개방하면서 아직까지 잘 활성화되지 않고 있는 링크데이터(Linked Data) 표준을 강력하게 지원하면서 시맨틱 웹으로의 전환을 강력하게 밀어붙이는 계기를 마련했다는 점을 꼽고 싶습니다.  현재까지 링크데이터(Linked Data)를 지원하는 주요 데이터 클라우드를 Richard Cyganiak 이 정리한 그림이 있습니다.   여기에 로이터의 데이터들이 추가가 되고, 동시에 이들을 활용할 수 있는 API 로서의 역할을 수행함으로써, 시맨틱 웹으로의 전환을 강력하게 추동할 수 있게 되기를 기대하는 것입니다.



또한, 각각의 문서들이 유일한 ID를 얻게 되며, 동시에 컨텐츠를 결합할 수 있으며, 뉴스나 정보의 발행자들은 단지 ID만을 이용해서 쉽게 외부의 집단 또는 파트너들과의 연결이 가능합니다. 

칼레이 4.0이 주는 의미는 지금까지의 변화에 비해 훨씬 큰 것으로 판단됩니다.  이 API를 활용한 다양한 혁신적인 서비스나 애플리케이션들이 2009년에는 많이 나올 것으로 기대하고 싶습니다.  특히, 이미 칼레이를 열성적으로 활용해서 차세대 웹 브라우저 플랫폼인 블루 스프루스(Blue Spruce)를 개발하고 있는 IBM의 움직임이 주목됩니다 (블루 스프루스에 대해서는 차후 따로 리뷰를 할 예정입니다). 



신고

WRITTEN BY
하이컨셉
미래는 하이컨셉, 하이터치의 세계라고 합니다. 너무 메마르고 딱딱한 이야기보다는 글로벌 시대에 어울리는 세계 각국의 이야기, 그리고 의학과 과학을 포함한 미래에 대한 이야기의 세계로 여러분을 초대합니다.

트랙백이 하나이고 ,

시맨틱 웹(Semantic Web)이라는 용어가 있습니다.  해석하기 조차 난감한 이 용어에 대해 제대로 알고 계시는 분 계시면 손들어 보세요?  흠 ...  별로 안계시네요 ^^;

그렇다면 들어는 보셨나요?  네 ... 많이들 들어보셨죠?  제가 2000년도에 '웹 서비스'라는 책을 쓸 때에도 차세대 웹기술로 언급되던 용어였으니까 용어 자체는 익숙할 겁니다.  많은 사람들이 또한 시맨틱 웹이라는 것이 웹 3.0의 기반기술이 될 것이라고 말하고 있기도 합니다.  그렇지만, 진정한 시맨틱 웹의 정체에 대해 제대로 쓰여진 글을 본 적이 별로 없습니다.  기껏해야 RDF나 OWL 같은 기술적인 방안에 대한 글만 몇 개 눈에 띄는 정도네요. 

며칠 전 알렉스 이스콜드(Alex Iskold)가 RWW에 기고한 글을 읽었습니다.  저 자신도 많은 것을 생각나게 하는 글이더군요.  그래서, 그의 글을 바탕으로 한번 정도 시맨틱 웹이라는 녀석을 까발리는 글을 써보아야 겠다는 마음을 먹게 되었습니다.  알렉스의 글은 아래 링크에서 읽으실 수 있습니다.  전체적으로 시맨틱 웹으로 진화해 나가기 위한 핵심기술 전반에 대해서 잘 조망하고 있는 글 입니다.

Semantic Web Patterns: A Guide to Semantic Technologies by Alex Iskold


이전 포스팅에서는 전체적인 시맨틱 웹의 개념과 가장 대표적인 일부 기술에 대한 설명을 했습니다.  이 글을 읽으시는 분들 중에서 이전 글을 읽지 않으신 분들은 아래 링크를 따라가셔서 이전 글을 일고 오시면 훨씬 이해가 빠르실 것입니다.

2008/12/30 - [Health 2.0 vs. Web 2.0] - 웹 3.0을 이끈다는 시맨틱 웹 기술의 정체 (1)



시맨틱 API의 등장

시맨틱 웹 애플리케이션이 어느 정도 인지도를 쌓아나가고 있고, 야후의 본격적인 검색 서비스가 시작된 올해, 이에 발을 맞추어 시맨틱 API도 활성화 되기 시작합니다.  시맨틱 API의 역할은 비구조화된 일반적인 문서나 웹 페이지를 입력으로 넣으면, 그 속에 있는 엔티티와 엔티티 사이의 관계(relationship)를 자동으로 찾아내는 것이 가장 중요하겠지요?  그러므로, 작은 자연어 처리도구 같은 형태의 서비스를 생각할 수 있습니다.

시맨틱 API로 가장 먼저 등장한 것이, 세계적인 통신사 로이터(Reuter)Open Calais API 입니다.   이 API는 텍스트 문장을 받아들으면, 그 속에 등장하는 사람과 장소, 그리고 회사 등의 이름을 찾아냅니다.  그리고, 찾아낸 이름 들의 목록과 함께 문서의 어느 위치에서 이들을 발견했는지를 알려줍니다.  기본적으로 Calais는 강력한 자연어 처리 기술을 개발한 Clear Forest라는 회사의 기술을 이용하는데, 로이터가 이 회사를 합병하면서 Open Calais를 내놓았습니다.  Calais는 확장성이 좋기 때문에, 새로운 기능과 API 등이 계속 추가될 것으로 기대됩니다.  우리나라에서도 네이버나 다음, 네이트 아니면 조중동(바랄 것을 바래야 되나?)에서 이런 기술 개발을 해 주어야 하지 않나 싶습니다.  한글은 상당히 다르기 때문에 진입장벽을 칠 수 있거든요 ...  아무래도 첫눈을 인수한 네이버나 지식발전소 엠파스를 먹어버린 네이트에서 해 줘야 될 것 같은데 과연 어떨지요? 

그 다음으로 등장한 것이 텍스트와이즈(TextWise)SemanticHacker API 입니다.  이 API는 문서 내에 있는 정보를 시맨틱 서명(semantic signature)이라고 불리는 카테고리로 분류합니다.  Calais와 비슷하지만, 카테고리 분류를 통해 계층적 구조를 전달해 준다는 측면에서 차이가 있습니다.

또한, 현재 시맨틱 웹 서비스와 관련하여 가장 앞선 기업으로 평가받는 Dapper 역시 시맨틱 API를 공개하고 있습니다.  웹 페이지를 입력하면 웹 페이지 HTML 문서를 분석해서 구조화 정보를 추출하는 것인데, Dapper는 사용자들이 페이지에 객체의 속성을 정의할 수 있도록 했습니다.  예를 들어, 책을 발행하는 사람이 책과 관련된 페이지의 정보를 구조화 한다고 하면 ISBN, 저자(author), 페이지 수 등과 같은 전형적인 정보를 미리 줄 수가 있고, 이 정보를 활용해서 구조화를 합니다.

Dapper API의 가장 큰 장점은 웹 사이트에서 공개하는 서비스를 마치 API 처럼 활용할 수 있다는 점입니다.  웹 사이트를 이용하는 방식으로 이런 서비스를 즐길 수도 있습니다.  Dapper의 성장세가 가파른 것도 이러한 쉬운 접근방식에도 있지 않나 생각해 봅니다.



시맨틱 웹을 지원하는 차세대 검색 서비스

이런저런 기술적인 부분에 대한 논의들도 많지만, 결국 시맨틱 웹이 활성화되는 것은 검색엔진의 업그레이드를 통해서 일 것입니다.  현재 시맨틱 웹 기술을 최대한 활용하여 검색 사용자가 원하는 정보를 찾아주는 차세대 검색엔진 기술의 개발이 큰 이슈인데요, 이 분야에 있어서 가장 앞서 있는 두 회사는 Hakia와 PowerSet 입니다.   Hakia의 경우 올바른 건강의료정보의 검색을 위한 Health Hakia라는 서비스도 런칭하고 있는데, 개인적으로 관심을 많이 가지고 보고 있습니다.  API도 오픈되어 있어서 어느 정도 성공할 수 있지 않을까? 기대는 하고 있습니다.

이들의 기술은 상당히 높게 평가받고 있지만, 시장에서의 반응은 아직 ... 입니다.  특히, 구글의 통계적 분석을 이용한 빠른 검색이 왠만한 질문에 대해서는 그런데로 높은 적중률을 보여주고 있기에, 이들이 시장에서 커가는 것이 그리 녹녹치는 않아 보입니다.  결국에는 구글이나 야후와 같은 메이저들에 의한 사냥감이 되어 버리지 않을까 싶기도 하구요 ...

또 한가지 방법은, 일단 걸러낸 검색 결과를 가지고서 검색결과를 2차적인 카테고리화를 한다거나, 구조화를 시켜서 보다 쉽게 원하는 정보를 서비스하는 애프터서비스 형식의 적용을 생각해 볼 수 있습니다.  이 부분은 구글 내부에서도 상당히 높은 관심을 가지고 연구를 하고 있는 것으로 알려지고 있습니다.



시맨틱 데이터베이스

시맨틱 웹 기술이 활성화 되기 위해서는, 웹 기반의 시맨틱 데이터베이스도 중요한 역할을 할 것으로 예측됩니다.  몇 가지 형태의 시맨틱 데이터베이스가 이미 선을 보이기 시작했습니다.  레이터 네트웍스(Radar networks)는 트와인(Twine)이라는 인명 지식베이스(Personal Knowledge Base) 서비스를 현재 베타 서비스 중에 있습니다.  다양한 형태의 컨텐트를 이용해서 사람의 이름과 회사, 위치나 관련정보를 자동적으로 분류하고 이를 지식베이스에 업데이트를 하는데, 특정 웹 페이지의 북마크나 이메일, 그리고 수동으로 업데이트하는 자료 등을 바탕으로 지속적인 업데이트가 이루어 집니다.  이렇게 특화된 지식베이스는 향후 다양한 형태의 응용서비스에 이용될 수 있을 것입니다.  예를 들어, 사람을 찾거나 CRM, 그리고 마케팅 등과 같은 영역에서 널리 이용될 수 있겠지요?  다소간의 프라이버시 문제가 있을 수 있겠습니다만, 이미 오픈된 정보를 중심으로 한다면 그렇게 큰 문제의 소지는 없으리라 생각됩니다.

메타웹(Metaweb)에서 제공하는 서비스인 프리베이스(Freebase)도 눈여겨 보아야 할 것 같습니다.  RDF 기술을 이용해서 여러 정보를 구조화시킨 것이 인상적입니다.  어찌보면 위키피디아의 업그레이드 버젼과 같은 인상이라고할까요?  앞으로의 발전이 기대되는 서비스입니다.



앞으로의 발전이 기대되는 시맨틱 데이터베이스 - 프리베이스(Freebase)

프리베이스의 가장 큰 문제는 아마도 서버를 어떻게 관리할 것인가?의 문제입니다.  엄청난 속도로 커지고 있는 웹 페이지를 구조화해서 저장하려면, 구글과 마찬가지로 거대한 클라우딩 서버군이 필요할텐데, 규모의 싸움에서 이기기가 힘들다는 것이 문제입니다.  현재는 주로 위키피디아와 참여하는 개인의 정보를 위주로 진행하기 때문에, 정보의 절대량의 측면에서 따라가고 있습니다만, 결국 전체 웹을 대상으로 데이터베이스화 해야 한다고 볼 때 결국 구글이나 마이크로소프트, 야후 등과의 빅딜이 필요할 것으로 보입니다.



웹 3.0 시대는 언제?

이상으로 웹 3.0의 핵심기술로 지목되고 있는 시맨틱 웹에 대해서 간략하게 둘러보았습니다.  웹 2.0이 분산, 참여, 공유로 대별되며, 기존의 커다란 섬으로 상징되던 포탈 기술을 작은 섬들의 집단과 이들 간의 다리를 건설하는 방식의 기술이었다면, 웹 3.0은 정보의 양이 너무 많아지기 때문에 보다 개인화되고 최적화할 수 있는 기술이 초점이 되고 있습니다.  그런 측면에서 시맨틱 웹과 관련된 기술들이 속속 등장하고 있는 것이지요 ...  

웹 2.0 기술과는 달리, 시맨틱 웹과 관련한 기술에는 언어의 차이에 의한 기술적 차별성이 커질 가능성이 많습니다.  다시 말해 한국시장의 경우, 한국어 자연어처리 기술과 웹 기술의 연계성을 확보한다면 그리 외국의 기술이 쉽사리 치고들어올 수 없는 형태의 장벽을 칠 수 있는 것이지요.  그렇지만, 완전히 따로 놀게하기 보다는 영어권의 개방형 기술과의 다리를 놓을 수 있는 가능성을 항상 열어놓고 기술개발이 되어야 할 것 입니다.  그렇게 하는 것만이, 글로벌화를 하는 동시에 국내에서의 차별화된 서비스를 할 수 있는 바탕이 될 테니까요 ...


신고

WRITTEN BY
하이컨셉
미래는 하이컨셉, 하이터치의 세계라고 합니다. 너무 메마르고 딱딱한 이야기보다는 글로벌 시대에 어울리는 세계 각국의 이야기, 그리고 의학과 과학을 포함한 미래에 대한 이야기의 세계로 여러분을 초대합니다.

받은 트랙백이 없고 ,