[출처] NAVER를 성장하게 한 지식in 서비스에 대해.Araboza
를 읽다가 일게이들도 알았으면 하는 정보가 있어서 한번 써본다. 이런거 관심없으면 읽지 않아도 상관은 없음
다른 이야긴 아니고 댓글 읽으면서 왜 한국 구글이나 네이버 검색엔진이 영어 구글에 비해서 ㅆㅎㅌㅊ인지
인터넷 역사부터 시작해서 웹 생태계까지 훑어가면서 가능한 쉽게 설명하도록 할게
1. 인터넷 시작부터 축적된 정보부터 시작된 차이
일게이들도 한번쯤은 인터넷 망이 처음 연결된건 미국 국방부에 의해서 만들어진건 들어봤을거라고 생각해.
당시에는 전쟁이나 핵전쟁같은 비상상황에도 장거리 연락이 가능한 연결망을 연구하다가 군용 네트워크는 밀네트로 발전하고
국방부와 함께 프로젝트를 진행하던 연구원들이 스탠퍼드 대학 연구소, UCLA, UCSB 그리고 유타대학, 이 4 대학이 보유한 컴퓨터를 잇는 네트워크를 만든게
인터넷의 시초라고 불려지는 아파넷이야.
초창기에는 4개의 대학으로 시작했지만, 이후 1986년 국가과학재단이 NSFNET라는 프로젝트를 발족하면서
기존의 4대학만이 아닌 미국의 다른 대학들이 보유한 슈퍼컴퓨터를 잇는 네트워크를 구상하고 연결 시키는 단계까지 도달해.
시작은 미국 국방부에서 시작되었지만, 인터넷 초창기에는 정보의 교환이 미국 대학 사이를 중심으로 일어났고
이는 이메일, 메신져, 이커머스 같은 인터넷을 기반으로 하면서 일반인들을 목적으로 하는 서비스가 80년대 말 혹은 90년대에 등장하고 발전한것에 비하면
인터넷은 엄청 오랜기간동안 대학들만의 전유물이었다는거야
그리고 다른곳도 아닌 인류 지성의 보고인 대학과 도서관을 중심으로 정보 교환이 일어나고 축적되면서
미국 인터넷은 일반인들이 접근하기 전부터 양질의 정보로 가득찬 정보의 바다였던 데다가 올바른 방식으로 체워졌다는거지.
다른 나라보다 10, 20여년을 앞서나간 미국 네트워크 망은 미국 대학에서 쏟아져 나오는 수많은 정보들이 체계적으로 정리되어 있었고
이 정보와 네트워크를 기반으로 영국, 캐나다, 호주, 뉴질랜드 같은 영미권 국가의 대학들이 가세하게 되면서 영어로 이루어진 양질의 정보가 인터넷에 범람하게되지.
지금도 계속 축적되는 정보량은 영미권이 압도적이야 그 뒤를 잇는게 인터넷 사용자 인구가 늘어나고 영어 사용자랑 인구가 비슷한 중국 정도지.
당연하지만 미국 영국 캐나다 호주 뉴질랜드..같은 영미권은 물론이요 영어쓸줄아는 인도, 중궈, 한국인 등등 만해도 억단위를 훌쩍 넘어가서
이들이 싸는 똥들도 만만치 않지만 반대로 전세계에서 매년 수만? 편씩 영어로 작성되는 논문은 물론이거니와
세계 전지역에서 생산되는, 적어도 사실관계를 믿을만한 , 분석, 뉴스만 해도 매일 수천개씩 쏟아져 나온다.
올바르게 기술됬다고 불를만한 정보가 축적되는 속도 자체가 다름.
영미권을 제외한 다른 국가의 이야기는 3번에서 해줄께
2. "올바르게 기술된" 고급정보로 체워진 영미권 인터넷
세르게이 브린과 레리 페이지가 고안한 구글 검색엔진의 기반인 "페이지 랭크"가 올바르게 작동될수 있었던 이유는 바로
영미권 국가의 인터넷은 올바르게 정리된 고급 논문, 자료, 연구결과들을 위주로 인터넷이 발전되었기 때문이야.
그리고 이 페이지 랭크의 개념을 알면 구글의 검색엔진이 미국에서는 넘사벽급 정확성을 갖추고 있는데
왜 한국에서는 제대로 작동하지 않는지에 대해 한가지 이유를 댈수 있어
(물론 구글이 네이버 다음보다는 낫지만, 영어를 기반으로두고 구글을 쓰면 검색의 신세계가 보일정도로 구글의 한글 검색과 영어검색 결과는 아주 달라)
지금은 한화로 몇백조의 가치를 지니고 있는 구글의 검색엔진은 개발된지 20여년이 지난 지금 시점에서는 구글의 검색엔진은 수많은 코딩으로 범벅된,
적어도 수백만줄 이상의 코딩이 들어간 거대한 검색엔진이지만
구글 창업자들의 대학시절 연구 논문을 보면 초창기 구글 검색엔진은 생각보다 간단하게 작동 했던걸 알 수가 있어.
그리고 페이지 랭크에서 가장 중요한 개념은 바로 '인용', '참고문헌'이야. 구글의 검색엔진을 정말 쉽게 이해하고자 한다면
실제 구글 창업자의 논문에 등장하는 다음 두 문장만 이해하면 대강 어떻게 작동하는지 알수가 있지
앞뒤 잘라서 이해하기 힘들수도 있지만 볼드한 문장만 한글로 설명하면
...In particular, link structure and link text provide a lot of information for making relevance judgments and quality filtering...
"특히 (웹 페이지에 있는)링크 구조와 링크는 검색 결과를 향상시켜 줄수 있는 아주 많은 유용한 정보를 제공합니다."
...Academic citation literature has been applied to the web, largely by counting citations or backlinks to a given page. This gives some approximation of a page’s importance or quality. PageRank extends this idea...
"논문이 다른곳에서 얼마나 많이 인용되었는지를 세는 방식은 웹에 적용되어져 왔으며 이 정보로 그 논문이 얼마나 중요한지를 측정하는데 도움이 됬다.
페이지 랭크는 이러한 방식을 확장한것"
참고로 해석이랑 원문이랑 안맞을수도 있지만 앞뒤문장 없는 상태에서 많이 의역했다는걸 감안해주고,
저 바로 끝나는 시점에 저 논문 인용방식과 페이지랭크의 다른점, 알고리즘 같은 중요한 설명들이 나오지만 안타깝게 여기서 설명하면 너무 길어지니까 넘어가도록 하자.
내가 설명하고자하는건 구글이 검색엔진이 성공할수 있었던 이유는 바로 이 인용구를 이용한 검색 엔진이었다는거야.
네이쳐나 사이언스 혹은 수백개의 저널들 중에서 어느 논문이 중요하고 누가 가장 훌륭한 학자인지 찾는 방식이 바로
그 논문 혹은 그 인물의 논문이 다른 논문에서 얼마나 많이 언급되어 있는가를 찾는것이었는데, 구글의 창업자들은 이 아이디어를 웹에 적용/확장시킨거지.
그리고 실제로 이 아이디어로 구글 창업자들은 이 검색 엔진을 스탠포드에 도입했고 스탠퍼드 대학생들이 이 방식으로 정보를 수집하는걸 보고 성공의 가능성을 본 뒤에야
이후에 투자를 받고 페이지 랭크 위에 갖가지 알고리즘들을 더해서 지금의 복잡한 검색엔진이 된거야.
위의 설명을 돌려말하면 누군가가 웹을 작성할때 링크, 참고문헌, 인용구를 확실히 밝히지 않으면 구글의 페이지랭크는 작동하질 않아
올바른 정보를 효율적으로 찾기 위해서는, 당연한 말이지만 올바르게 정리할줄 아는 것부터 시작 되어야하는거야
3. 똥으로 체워진 정보의 바다, 한국의 인터넷
많은 국가들은 미국의 인터넷이 발전되는것을 보고 투자를 시작했지만
미국처럼 올바른 정보로 체워진 데이터 베이스를 구축하는데는 시간이 부족했고 시간이 있어도 그 언어로 작성된 올바른 데이터가 없어서
정보를 체워넣는데 고생을 했어
이러한 문제는 중국의 인터넷 시장을 보면 알수있는데 중국의 검색 엔진인 바이두 창업자이자 CEO이기도 한 로빈 리
(참고로 이 사람은 의외로 최초로 검색엔진 관련 특허를 따냈음)는
바이두 초창기에 검색을 해도 검색이 가능한 자료가 없어서 중국 검색엔진의 발전이 미국보다 10-20년은 더 늦을꺼라고 예상했던적도 있었어.
때문에 로빈리가 말하길 바이두는 2 가지의 기능을 수행해왔다고 밝혔는데
하나는 검색엔진 본연의 기능이었고 두번째가 바로 미국의 대학들이 구축한 데이터베이스를 중국 인터넷에 구축하는 것
적어도 10-20여년 동안 대학 논문이나 수많은 언론사의 데이터베이스를 구축한 영미권 국가들과는 다르게,
당시 중국 인터넷에 돌아다니는 정보량이 너무 적었고 대학에서 생산되는 논문과 공유되는 정보량이 ㅎㅌㅊ라서 검색을 해도 보여줄 결과가 없기때문이었어
그래서 내놓은 해결책이 유저들이 자발적으로 서로 질문하거나 대답할수있게 만들고, 이후 다른 유저가 그 결과물을 보게하는 시스템을 만드는 방법으로
데이터 베이스를 구축하고자 했어. 어디서 들어본것 같지 않노?
바로 비슷한 발상에서 시작한것이 한국의 네이버 지식in, 블로그같은 서비스야. 유저들이 내놓는 정보를 기반을 검색결과에 띄우는거지
중국에서 말한 인터넷 생태계가 한국도 마찬가지여서 초창기 한국은 검색 엔진은 물론이고 많은 양의 데이터베이스도 없던 상태였어
애초에 옳은 검색결과를 보여주기 전에 보여줄 정보가 없는데... 검섹엔진 알고리즘이 왜 필요하노?
그리고 그걸 만들기 위해 발버둥 거리다가 만든게 지식in같은 똥 지식 제조기야.
네이버 지식인이라던가 블로그 같이 정보를 생산해내는 이런 서비스들이 어느정도의 데이터 베이스를 구축하는데에는 확실하게 도움이 되었지만
대학에서 축적된 정보가 돌아다니는 영미권 웹과는 다르게 이상한 방향으로 발전해왔지
올바른 정보가 돌아다니기 보다는 ,
너도 나도 다 생산해낼수있는,
고딩은 물론이요 초딩이 생산해내는 ㅎㅌㅊ 출처불명의 정보가 돌아다니는 웹 생태계
그리고 사실인지도 적어도 사실확인도 안된 정보가 정보랍시고 돌아다니는 인터넷
검색하면 검증된 논문, 적어도 일정 수준의 학식을 가진자가 쓴 분석, 기사가 나오기 보다는
ㅋㅋㅋㅋ 같은 비속어로 체워진 지식in 혹은 블로그 글 부터가 뜨는 네이버, 다음같은 ㅆㅎㅌㅊ 검색엔진
그게 바로 많은 한국 외 많은 국가들의 네티즌들이 겪고있는 현실이야
물론 영미권에서도 지식in같은 서비스와 블로그 서비스가 존재해. 하지만 중요한건 영미권에서는 저 블로그 똥들을 제외하고서라도
좋은 정보들이 돌아다니지만 한국은 블로그 똥들을 제외하면 인터넷에 돌아다니는 좋은 정보는 영어의 그것에 비하면 턱없이 부족한게 가장 큰 문제지.
그리고 대학에서 시작된 문화랑은 다르게 무분별하게 시작된 인터넷 보급은
어떻게 정보를 관리해야 되는지 모르는 유저들이 정보를 생산해내기 시작하면서 더 큰 문제로 다가와
표절로 범벅이 된 한국에서는 대학생은 물론 대학원생조차 논문을 쓸때 참고문헌과 인용을 어떻게 하는지몰라서
혹은 일부러 자신의 허영심을 위해서 일부러 참고문헌을 숨기거나 표절됨을 숨기기 위해 인용구를 숨기는 병크를 저지르는데
미국에서는 고등학생때부터 교사들이 인용, 표절에 대해서 계속해서 강조하고
대학에서도 매 수업 첫수업마다 언급할 만큼 표절을 주의하고 올바른 방법으로 인용을 한다느것에상당히 큰 시간을 들여가며 설명하지.
그리고 이 대학을 중심으로 영미권 인터넷 문화가 발전하면서
사실관계를 명확히 기술 하고있던 정보들을 관계를 분석해낸 구글이 강력한 검색엔진을 만들수 있었던거지
이 인터넷 문화가 바로 구글의 강력한 검색엔진이 힘을 보인 이유야.
그리고 이런 문화를 갖고있는 미국대학에서 인터넷이 시작되었다는게 어찌보면 다행이지.
아직까지 네이버로 검색해서 숙제 제출하며 쪽팔려서 네이버에서 인용했다는것조차 숨기는 한국 대학생들은.. 전고무통 말대로 부끄러운줄 알아야지
그리고 다시 페이지 랭크에 대한 설명을 더 한다면, 저런 참고문헌 문화를 갖고 있지 않은 언어에서는 무용지물이 되어버려
왜냐고?
페이지 랭크 특성상 인용이나 참고문헌을 개제하지 않는 게시물은 어떤 링크도 갖고 있지 않기 때문에
구글이 만든 수식화된 알고리즘에 때려박을 수치가 없는거지..
부담없이 읽기엔 좋을지는 몰라도 아무 첨고문헌없이 막 싸재낀 똥으로 가득찬 블로그나,
적어도 한줄의 인용구없이 이뤄진 엔하위키 같은 사이트나 (미국 위키피디아가 똥이라고 욕먹지만 적어도 적어도 출처와 링크는 꼬박꼬박 달고 정리하고 링크없으면 칼삭)
혹은 지식in같이 아무나 똥싸질러도, 그 출처를알수없는 기괴한 방식의 정보라던지..
저런 정보는 당연히 올바른 정보와 묶여져 있지 않기때문에 페이지랭크같은 ㅅㅌㅊ 알고리즘이 작동하질 않아.
그리고 위의 무분별한 정보로 데이터가 이뤄졌는데 이걸또 출처없이 사실로 받아들이고 그걸 인터넷 또 펌질하며 싸재끼는 네티즌들 때문에
페이지랭크는 한국 웹에서는 무용지물이나 다름없지.
이건 구글 코리아도 마찬가지여서 영미권에서 작동하는 알고리즘을 쓰더라도
한국 구글에서 검색하면 ㅎㅌㅊ 결과가 많이떠(영미권 구글과 비교해서).
쉽게 설명하면 영어 구글로 검색하면 관련 대학논문>신문기사>전문성있는 블로그> 게시물>똥 이런식으로 검색이 나온다면
한국 구글은 웹에 돌아다니는 논문이 없어서 전문성있는 블로그부터 검색 상위에 뜬다던지.. 어쩔땐 엔하위키같은게 뜰때도 있고
그나마 구글 코리아가 양반이라고 볼수있는 사실은 어느정도 필터링 기능이 있어서
정말 쓰레기같은 정보는 보여주지도 않는다는 정도?
같은 검색어를 네이버에서 돌리면 네이버는
어느 돌대가리가 쓴지 모르는 지식in이 뜨거나
씨발 보지인지 자지인지를 찢어버리고 싶을정도로 문장하나 구사하지 못해서 ~ ㅋㅋㅋ 남발하는 병신 블로거가 싸갈긴 블로그 게시물이 정보랍시고 나오기도 하지
에휴 말을 말자
3줄 요약
1. 여러 이유로 한국 인터넷 정보는 똥으로 가득차 있고, 좋은 정보를 찾아보기란 어려움.
2. 일베 팩트주의와 "개새끼야 선동하지 말고출처갖고와" 정신은 일베가 똥이라도 올바른 웹생태계를 이끌어나가는 조은 정신
3. 그래도 영미권도 트위터, 페이스북같은 서비스가 강세를 보이면서 똥글들이 난무하고 검증되지 않은 똥들이 돌아다니지만 아직도 ㅆㅅㅌㅊ 정보가 체계적으로 생산중.