내 마음을 알아주는 검색

언론과 자본권력 그 중에서도 삼성

심보준 — Sat, 06 Feb 2010 02:27:47 +0900

노무현 대통령의 업적 중 하나는 대한민국에서 대통령이 최고 권력자가 아니라는 사실을 새삼 알려주었다는 것이다.
아이러니컬하게도 노무현은 대통령이 되어서도 권력에 맞서 싸워야 했다.
좌파나 진보는 아니지만 개혁 진영이 10년이나 정치 권력을 잡았는데도 별로 변하지 않는 세상을 보면서, 그러면 대체 이 나라의 권력 구조는 어떻게 된건지 헷갈렸었었는데, 미디어 오늘 이정환 기자의 블로그에서 아래 글들을 읽어본 결과 나의 결론은

정치권력 < 언론권력 <<< 자본권력. 그 중에서도 삼성

첫번째 글 : 정치권력은 비판하면서 자본권력은 비판하지 못하는 이유

언론과 기업의 유착은 우리나라에만 있는 출입처 시스템의 영향이 크다. 경제부나 산업부 기자들은 아예 출입처 기자실로 출퇴근을 한다. 기업 기자실은 대부분 홍보실과 맞닿아 있는데 이곳에서 취재 지원과 통제가 동시에 이뤄진다. 기업 출입기자들은 기업이 제공해준 시설을 이용하면서 홍보 담당자들과 점심도 같이 먹고 저녁이면 술자리도 같이 하고 주말이면 함께 골프를 치면서 이를 취재의 연장으로 생각한다.

기자들은 스스로 부끄럽고, 갈등하고 그래서 언젠가는 바로 잡고야 말꺼야... 그런 생각을 할까? 글쎄 어디 그렇게 되겠나. 사회 생활이라는게 내 윗사람이 그러면 나도 그러고, 내 주위 사람들 다 그러면 그게 당연한 거지, 어찌 부끄럽겠나. 취재원이 기자들을 모아놓고 함께한 술자리에서 어쩌구하는 얘기가 기사에 떳떳하게 인용된 것도 한두번 본게 아니다. 게다가 기업과의 관계는 언론사이기 이전에 수익을 내서 직원들 월급을 줘야 하는 기업으로서 수익 모델이기도 하다.

"산업부는 경제지의 꽃이면서도 매출에 가장 크게 기여하는 부서이기도 하다"고 털어놓았다. 이 기자는 "연차가 좀 되면 출입처에서 나오는 광고에 신경을 쓰지 않을 수 없는데 기자들끼리는 기획회의를 영업전략회의라고 부르며 자조적인 농담을 하기도 한다"...(전체 매출에서 구독료, 광고료를 제외한)사업매출은 기업들 협찬과 후원이 포함된다. 일부 언론사는 이 비율이 40%에 육박한다는 이야기도 나온다.

산업부 기자는 광고를 따오는 영업맨이라는 얘기다. 그 영업맨이 고객의 이야기를 기사로 쓴다. 또, 기업의 협찬과 후원 이야기도 나오는데, 불법적인 촌지가 아니라, 합법적인 것이다. 기사의 편집 방향에 결정적인 영향을 미칠 것이라는 것을 쉽게 예측해 볼 수 있다. 삼성의 LED TV와 현대의 소나타에 대한 찬사 가득찬 리뷰나, 불법 파업으로 인한 손실액이 자그마치 얼마 하는 기사가, 몇년 동안 알고 지낸 홍보실 형님이 기자실 아우한테 브리핑 한 내용일 수도 있으니 좀 달리 생각해 봐야 하지 않을까?

두번째 글 : 언론이 삼성에게 쩔쩔맬 수밖에 없는 이유

이 포스트에서는 기업이 특정 신문사에 광고를 밀어 주는 행태가 특히 눈에 띈다

삼성전자는 조중동에 각각 81건과 82건, 88건의 광고를 집행했는데 한겨레에는 단 1건도 집행하지 않았다. 매경과 한경, 한국일보에는 66건과 62건, 59건이 집행됐다. 삼성의 한겨레 '왕따'는 계열사 전반에서 발견된다. 한겨레는 삼성 계열사를 통틀어 지난해 그룹 광고와 삼성물산 광고 각각 1건씩을 게재하는데 그쳤다.

이쯤되면 삼성은 신문에 광고를 이용해 홍보를 하는 게 아니라, 광고 개재에 당근과 채찍 전략을 적용해 신문사를 포섭하고 있는게 아닌가 하는 생각이 들 정도다.

난 언론에 뭘 기대하기는 힘들다고 본다. 언론이 우리 고정 관념에 아직도 남아있는 것처럼 뭘 바로잡고, 용기있게 알리고 (물론 극소수 일부는 그럴수도 있다. 그 극소수는 참 심신이 힘들겠지) 그런 시절은 갔다. 분명히 갔다. 그 보다는 뉴스 생산, 배급 통로의 일부를 점유하고, 뉴스 콘텐츠를 이렇게 저렇게 이용해서 수익을 올리는 기업으로 생각하는게 맞다고 본다.(결정적 증거는 네이버 뉴스 캐스트!)
우리 대중의 시각이 바뀌는 것이 현실적인 대안이 아닐까.

아 빼먹을 뻔했다. 신문사들이 자발적으로 광고를 거부한다는 김용철 변호사의 책

windows C 프로그래밍에서 fopen, fwrite, fread 사용할 때 주의할 점

심보준 — Wed, 30 Dec 2009 00:15:24 +0900

리눅스에서 윈도우로 옮겼더니 돌지 않는 코드를 보고 알게 된 것이다.

아래와 같은 코드가 있다.

#include <stdio.h>

int main() {

//1바이트 짜리 변수

char c;

FILE *fp;

// 하필. 이런 값을 한번 넣어본다.

c = 0x0a;

fp = fopen("test.bin", "w");

// 1 바이트를 쓴다.

fwrite(&c, 1, sizeof(char), fp);

fclose(fp);

return 0;

}

위 코드를 windows에서 컴파일하고 실행하면 생성되는 test.bin 파일의 크기는?

놀랍게도 2바이트 짜리 파일이 생긴다. 왜그럴까...

해결은 fopen을 다음과 같이 수정하면 된다.

fp = fopen("test.bin", "wb");

즉, 원래 코드는 ascii 모드로 open 한 거고, 수정된 코드는 binary 모드로 open 한 것이다. ascii 모드로 열고 위 코드를 실행하면 0x0a 뒤에 0x0d 즉, carriage return이 붙고, 파일 크기가 2 byte가 된다. 이건 windows에서만 그런 거다. 파일을 읽기 위해 open 하고, fread를 사용할 때도 마찬가지로 주의를 해야 한다.

위 코드는 설명을 위해 간단히 만든 시나리오고, 실제로는 몇 메가짜리 바이너리 파일을 쓰는 코드였는데, 알고 나니 재밌지만 과정은 기억에 오래 남을 삽질이었다.

파이썬만 하다가 갑자기 자바를 했더니

심보준 — Sat, 05 Dec 2009 16:47:07 +0900

요새 회사에서 하는 일은 주로 파이썬으로 데이터 주무르는 노가다.

오늘 오랜만에 자바로 알고리즘 퀴즈를 풀었는데, 몇 줄 되지도 않는 코드가 컴파일 에러가 주루룩난다.

public class RSABreaker {
    // x < y
    public isSharePrime(int x, int y) {   ----> return 타입을 빼먹었다.
        for (int i = 2; i <= x; i++) {
            if (x % i == 0 && y % i == 0)
                return true         ----> 세미콜론을 빼먹었다.
        }
        return false;
    }

    public int decrypt(int e, int n, int b) {
        int m = 1;
        for (int i = 2; i < n; i++) {
            if !isSharePrime(i, n)    ----> if 문에 괄호를 빼먹었다.
                m++;
        }
        d = 1                ----> 자료형을 빼먹었다. 세미콜론을 또 안썼다.
        while ((d*e) % m != 1)
            d++             ---> 세미콜론을 자꾸 자꾸 빼먹는다.
        int res = 1;
        for (int i = 0; i < d; i++) {
            res = (res * b) % n;
        }
        return res;
    }
}

남조선식 블랙코미디 하나

심보준 — Sun, 01 Nov 2009 22:50:15 +0900

아래는 한 대학강사가 모카페에 올린글이다.

오랜만에 글을 보냄니다.

이곳 델리는 낯 기온이 40도 입니다. 15년 전에 내가 어떻게 이곳에서 공부했을까? 스스로 대견했구나 생각을 해 봅니다.

우선 반가운 소식은 이곳 국책급 연구소(CRRID)와 우리 **대학교 정치학과 사이에 양해각서(MOU)를 채결하였습니다.

인도에서의 지역연구를 위한 좋은 발판을 마련하게 되었습니다.

개인적으로 양해각서 체결을 근거로 이곳 연구소의 도움으로 10월 부터 12월까지 현지조사 연구를 할 수 있게 되었습니다.

조사 지역은 인도의 서북쪽에 위치한 펀잡 주(state)입니다.

모두 28개 지역의 마을들을 30일간 다니면서 직접 대면 조사 방식으로

주민자치제도에 대한 심층적인 연구입니다.

한국국적의 연구자가 인도의 현지 조사를 하는 것은 처음 있는 일 입니다.

개인적으로 기대가 큼니다...

이곳 델리에서 머무는 동안 잠시 한국의 정치 상황을 객관적으로 보면서 참 많은 생각을 갖게 됩니다.

인도의 정치 상황을 보면서 우리 체제가 갖고 있는 장점과 극복해야 할 점에 대해서 생각해 보았습니다.

"성찰과 모색" 이 번 여행을 통해서 얻게 된 화두였습니다.

앞만 보고 맹목적으로 달려가는 것 보나는 큰 일이든 작은 일이든

기초부터 튼튼히 쌓으면서 진지하고 성실하게 좀 느리더라도 함께 나아갈 수 있는 방법을 찾을 때라고 생각합니다.

포스코가 인도에서 13조를 쏫아 부으면서 돈으로 인도를 자신의 통제권으로 둘려고 했지만

결국 실패하는 상황을 보면서

돈으로 머든 하면 된다는 그 생각은 매우 잘못된 것이지요.

겸손하게 주변을 살피면서, 성찰과 모색의 시간이 필요한 것 같습니다.

그럼 우리 건강한 모습으로 수업시간에 만나요.

여러분들이 얼굴이 궁금해 지고 보고 싶어 짐니다.

그럼 잘 지내요.

인도 뉴델리,,

'글을 보냄니다', '낯 기온 40도', '보고 싶어 짐니다' 등등 맞춤법이 쩌는데, copy-paste 한 것이다.

자~ 그럼 이 글에 대한 조선일보의 보도를 한번 볼까?

링크 제목(anchor text) : 간첩 대학강사 과거글 인터넷 일파만파

링크 클릭하면 나오는 기사 제목 : 17년간 간첩활동 벌인 대학강사.. "돈보다 겸손하게 주변 살펴야"

기사 원문

"간첩... 주변 살펴야." 정말 액기스만 잘 뽑았네.

17년간 공작금 6천만원 받은 대학강사 간첩이라. 비밀 아지트 전세값도 안되겠다. 간첩도 헝그리 정신이 필요한건가.

심심한데 짤방이나 하나 올려본다. 출처는 간첩 미니홈피 보다 위험한 국방부 홈페이지 :

http://www.mnd.go.kr/mndIntro_2009/map/index.jsp?topMenuNo=6&leftNum=15

이것이 야구다!

심보준 — Mon, 26 Oct 2009 11:17:18 +0900

내가 공식적으로 응원하는 팀은 두산이지만, 이번 한국시리즈 승부에서는 기아를 응원했었다. 12년동안 약팀으로 살아온 서러움이 보상받기를 바라는 마음 같은 것.

한국시리즈 7차전 9회말 끝내기 홈런이라니. 내가 이 장면을 TV로나마 본 사실이 정말 행운으로 느껴진다.
100번도 넘게 치뤄진 메이저리그 월드시리즈에도 7차전 끝내기 홈런은 딱 한번! 있었던 일이라고 한다.

SK 구원투수들은 많이 지쳐있었지만, 그래도 무너지지 않고 리드를 지켜 나갔지만, 결국 추격과 역전까지 허용하고 말았다. 기아는 뒤지고 있었고, 될듯 될듯하면서도 결정을 짓지 못하고, 경기에 뒤진채 초조하게 종반을 맞이했지만, 끈질기게 따라붙어 100년에 한번 나올까 말까한 드라마 같은 명승부를 만들어냈다.

기아 선수들 좋아서 울고 불고, SK 선수들도 축늘어진 어깨로 퇴장하며 울고, 나도 눈물이 찔끔 나와버렸네.

나 왜 이렇게 서툰거야

심보준 — Fri, 18 Sep 2009 09:48:30 +0900

내 블로그 rss feed에서 몇 달전부터 올린 글이 포함 안되고 있다는 사실을 그저께서야 발견 하고서는
이건 무슨 버그야! 를 외치며 티스토리 고객 센터에 메일을 보냈는데. 오늘 답변이 왔다.

...환경 설정에서 발행 글만 rss로 공개하신다고 설정되어있습니다...

헉스!

조건부 확률과 Naive Bayes Classifier

심보준 — Sun, 13 Sep 2009 00:16:40 +0900

예를 들어,
설문 조사 결과 모든 소비자를 놓고 봤을 때 냉면을 좋아할 확률이 70%라고 하는데, 전체가 아니라 남자가 냉면을 좋아할 확률이 궁금해 졌다.
"남자의 경우 냉면을 좋아할 확률은?"

비슷한 예로,
"한국인의 경우 키가 180 이상일 확률은?"
"두산 베어스가 9회에 지고 있는 상황에서 경기에 이길 확률은?"
이렇게, 그냥 확률이 아니라, 어떤 조건하에서, 어떤 경우, 어떤 상황이 주어진(given이라고 읽는다) 상태에서의 확률이 조건부 확률(Conditional Probability)이다. 그리고, 식으로는

P(냉면이좋아 | 남자)

이렇게 쓴다.

통계 기반 언어처리에서 이 조건부 확률은 무수히 많이 쓰인다.
예를 들어, 문서 분류기(Document Classifier)에서는 다음과 같은 조건부 확률이 쓰인다.
문서에 구글, 야후라는 단어가 나타난 경우 그 문서의 카테고리가 IT일 확률은? 식으로는

P(Category=IT | 구글, 야후)

자, 그럼 본격적으로 저 확률을 계산을 해보겠다.
조건부 확률의 정의에 의해서,

P(Category=IT | 구글, 야후) = P(Category=IT, 구글, 야후) / P(구글, 야후)

이다.
식에서 분자 부분을 읽어보면, Category=IT이고, 구글, 야후 라는 단어가 나올 확률이다. 용어로는 Joint Probability라고 한다. 우리말로는 잘 모르겠다. -.-;;
난 사실 이 부분을 맨 처음 들었을 때, 조건부 확률과 Joint 확률의 의미 차이가 정말 마음에 와 닿지 않았다.

A가 주어진 경우, B이고 C일 확률(조건부 확률) 이랑,

A이고 B이고 C일 확률(Joint 확률) 이랑

뭐가 달라?

그런데, 저 위의 조건부 확률의 정의, 즉, 계산 방법을 곱씹어 보면 의미 차이가 조금씩 와 닿는다.
만일 전체 샘플이 1000개라고 하면, 1000개중에서 카테고리가 IT이고, 구글이랑 야후라는 단어가 나타나는 문서가 5개가 있다면 P(Category=IT, 구글, 야후) = 5/1000 = 0.005 이다.
만일 전체 샘플이 1000개 인데 그중에 야후, 구글이라는 단어가 나타나는 문서가 10개이고, 10개중에 카테고리가 IT인 문서가 5개 라면, P(Category=IT | 구글, 야후) = 5 / 10 = 0.5 이다.
구글, 야후가 나온 문서로 한정 지으면 카테고리가 IT일 확률은 0.5라는 얘기다. 참 쉽다. 정말?

자자, 이제 진짜 문서 분류 얘기를 해보자. 진짜 문서에 구글, 야후 처럼 달랑 두 단어 있는 문서를 만나는 행운이 과연얼마나 있을까? 실상은 이렇다.

P(Category=IT | 구글, 야후, 네이버, 다음, ... 그외 수백 단어)

조건부 확률의 정의에 의해

P(Category=IT | 구글, 야후, 네이버, 다음, ... 그외 수백 단어)
= P(Category=IT, 구글, 야후, 네이버, 다음... 그외 수백 단어) / P(구글, 야후, 네이버, 다음, ... 그외 수백 단어)

말로 풀자면 이렇다. 우린 지금, 문서에 구글, 야후, 네이버, 다음, ... 그외 수백 단어가 나타난 상황하에서 문서의 카테고리가 IT인 확률을 알고 싶다. 정의에 의해서 샘플 중에서 구글, 야후, 네이버, 다음, ... 그외 수백단어가 똑같이 나온 문서들 중에서, 카테고리가 IT인 문서를 세보면 조건부 확률을 구할 수 있다.
그런데 과연, 샘플에 구글, 야후, 네이버, 다음, ... 그외 수백단어가 똑같이 나온 문서가 1개는 있을까? 있는게 이상하다. 결론! 조건부 확률 정의 식은 무용지물이다.

이 시점에서 어디서 주워들은 독립가정을 들이 미는 사람이 있을 법하다. 그러니까, 정의식의 분자에 독립가정을 적용하면, 즉, '각 단어의 출현은 서로 아무 인과 관계가 없어' 라고 가정하면, 각 단어 출현 확률의 곱으로 바꿀 수 있다 뭐 이런거 말이다. 그렇게 해볼까?

P(Category=IT | 구글, 야후, 네이버, 다음, ... 그외 수백 단어)

= P(Category=IT, 구글, 야후, 네이버, 다음... 그외 수백 단어) / P(구글, 야후, 네이버, 다음, ... 그외 수백 단어)
= P(Category = IT) x P(구글) x P(야후) x P(네이버) x P(다음) x P(... 그외 수백 단어) / P(구글) x P(야후) x P(네이버) x P(다음) x P(... 그외 수백 단어)
= 약분하면 --> P(Category = IT)

결론 : P(Category=IT | 구글, 야후, 네이버, 다음, ... 그외 수백 단어) = P(Category = IT) --> 조건이 있으나 없으나 확률은 똑같다는 모순에 도달!

응? 결국 저 독립가정의 결론은 수백 단어가 나오든 수천 단어가 나오든 '카테고리가 IT일 확률은 그냥 카테고리가 IT일 확률이다.' 라는 가정을 해버렸다는 뜻이다. 이 가정은 옳지 않다. 문맥을 보고 카테고리를 결정하려고 하는게 애초의 목적이니까.

그래서, 필요한게 Bayesian Rule이다. Bayesian Rule에 의하면

P(Category=IT | 구글, 야후, 네이버, 다음, ... 그외 수백 단어)
= P(Category=IT) x P(구글, 야후, 네이버, 다음, ..., 그외 수백 단어 | Category=IT) / P(구글) x P(야후) x P(네이버) x P(다음) x P(... 그외 수백 단어)

로 쓸 수 있다. 여기서 두번째 확률
P(구글, 야후, 네이버, 다음, ..., 그외 수백 단어 | Category=IT) 은 구할 수 있나? 즉, 샘플에서 Category=IT인 문서들 중에서 구글, 야후, 네이버, 다음, ..., 그외 수백 단어가 똑같이 나오는 문서는 몇개? 역시나 샘플에는 수백개의 단어가 똑같이 나오는 문서는 없을 것이니 이거 역시 불가!
하지만, 여기서 저 위에서 처럼 어설프지 않은 제대로 된 독립가정을 할 수 있는데 이름하여 '조건부 독립(Conditional Independence)' 가정이다. 말로 풀어 쓰자면 이렇다.
Category가 IT인 조건 아래에서는 구글, 야후, 네이버, 다음, 그외 수백 단어의 출현은 독립적인 사건이라고 가정한다. 이걸 식으로 쓰면

이다. P(구글|Category=IT) 는 샘플에서 (구글이란 단어가 있는 문서 수 / 카테고리가 IT인 문서 수)로 확률을 구하면 된다.

최종적으로 Naive Bayes Classifier는 이런 확률 계산을 모든 카테고리에 대해서 해본 다음 확률이 제일 높은 카테고리를 선택하게 된다. 마지막 정리는 뽀대나게 수식 편집기로.
세번째 줄에서 네번째 줄로 넘어 갈때 분모가 사라진 이유는 여기서는 argmax 카테고리 c를 구하는게 목적이므로, 모든 카테고리에서 같은 값인 분모는 생략해 버린 것이다.

10할타자 인증샷

심보준 — Mon, 07 Sep 2009 21:19:31 +0900

사회인 야구 리그에 참가중인데, 1주일간 10할에 수위 타자 자리에 오르게 되었다. 다시 볼 수 없는 장면이라 캡쳐.

지율스님, 조선일보 상대 재판에서 승소

심보준 — Thu, 03 Sep 2009 22:56:48 +0900

지율스님이 조선일보가 왜곡 보도를 했다며 낸 소송에서 일부 승소 판결을 얻어냈다. 위자료를 지급하라는 판결이 나왔는데 지율스님이 청구한 위자료가 10원이라고 한다.

... 재판부는 “당시 터널공사는 계획을 상회하는 공정률을 보였지만 <조선일보>는 공정률이 5%에 불과하다고 보도했으며, 공사 지연에 따른 직접 손해가 145억원 수준인데도 ‘2조5000억원의 피해가 예상된다’고 보도했다”며 “이는 관계기관을 통해 쉽게 확인할 수 있는 정보였다”고 밝혔다. 재판부는 지율 스님이 ‘생태와 환경을 무시한 경제 중심의 관념에 경종을 울린다’는 취지로 청구한 위자료 10원도 지급하라고 판결했다. ... 기사 원문

이 기사를 보니 조선일보의 왜곡 현장을 더 생생하게 보고 싶어졌다. 조선일보에 들어가 검색을 해보니 다음 기사들이 나왔다.

[시론] ‘빚만 남긴 정부’ 4년 (2007. 3. 11)
... ‘도룡뇽 소송’으로도 유명한 경부고속철도 ‘천성산 구간 터널공사’ 중단도 기억할 만한 사건이다. 아무런 법적 근거도 없는 청와대의 세 차례 공사 중단 지시로 발생한 손실이 무려 2조5000억원이다. ... 기사 원문

[사설] 세금 함부로 써서 세금 내기 싫다는 국민 (2007.3.4)
... 대통령 한마디에 천성산 터널 같은 國策국책사업이 1~2년씩 늦어지면서 수천억원을 허공에 날린 게 이 정부다. ... 기사 원문

[시론] 핵 재앙에는 침묵하는 환경단체들 (2006.10.25)
... 특히 진행 중인 국책사업을 표류시켜 수조원의 국가 손실을 야기하였다. 천성산 터널공사 지연으로 2조5000억, 새만금 사업 7500억, 사패산 터널 5500억 등 각종 개발사업 논란으로 참여정부가 들어선 이후에만 4조1793억원의 손실을 본 것으로 나타나고 있다. ... 기사 원문

제목들을 보면 알 수 있겠지만, 왜곡된 숫자는 단순히 지율스님의 명예만 훼손한 것이 아니라 적극적으로 자신의 정치적 견해를 독자들에게 설파하는데 이용되고 있다. 기사 원문을 보면 2조 5000억 말고도 수많은 숫자들이 근거로 제시되고 있는데, 얼마나 신뢰할 수 있는 숫자들일지.
한마디만 더. 기사들은 2, 3년 전에 쓰여진 기사들이다. 그 때, 참여정부와 환경단체들을 공격하고 상처 입혔던 글들이고 이제 와서 상처를 되돌릴 수도 없는 노릇이다. 다만, 교훈 하나는 남겨야 할 터, 지금 생산되고 있는 기사들도 다를 거 하나 없다는 거.
결론은 언론을 불신하자! 그것도 아주 적극적으로!

UTF-16 vs UCS-2

심보준 — Tue, 25 Aug 2009 00:22:05 +0900

In computing, UTF-16 (16-bit Unicode Transformation Format) is a variable-length character encoding for Unicode, capable of encoding the entire Unicode repertoire. The encoding form maps each character to a sequence of 16-bit words. Characters are known as code points and the 16-bit words are known as code units. For characters in the Basic Multilingual Plane (BMP) the resulting encoding is a single 16-bit word. For characters in the other planes, the encoding will result in a pair of 16-bit words, together called a surrogate pair.
UTF-16은 모든 영역의 유니코드를 표현할 수 있는 가변길이 유니코드 인코딩이다. (블라블라...) 기본언어판(BMP, U+0000~U+ffff) 영역은 한개의 16-bit 워드로 인코딩되고, 다른 언어판(U+10000 이상) 영역의 문자는 두개의 16-bit 대행 코드 쌍(surrogate pair)로 인코딩된다.

UCS-2 (2-byte Universal Character Set) is an obsolete character encoding which is a predecessor to UTF-16. The UCS-2 encoding form is identical to that of UTF-16, except that it does not support surrogate pairs and therefore can only encode characters in the BMP range U+0000 through U+FFFF. As a consequence it is a fixed-length encoding that always encodes characters into a single 16-bit value.
UCS-2는 UTF-16의 선배격인 인코딩 방식이다. UCS-2는 대행 코드쌍을 지원하지 않는 걸 빼고는 UTF-16과 똑같다. 따라서, 기본언어판(BMP, U+0000~U+ffff)만 인코딩 할 수 있다. 결론적으로 16-bit single word 고정길이 인코딩 방식이다.

code point	문자	UTF-16	UCS-2	심볼
U+007A	z (BMP 영역)	0X007A	0X007A	z
U+6C34	물수(BMP 영역)	0x6C34	0x6C34	水
U+1D11E	높은음자리표 (SMP 영역)	0XD834 0xDD1E (대행코드 쌍)	N/A

http://ko.wikipedia.org/wiki/UTF-16
http://en.wikipedia.org/wiki/UTF-16/UCS-2
에서 발췌 / 정리

Latent Semantic Analysis(LSA)

심보준 — Wed, 05 Aug 2009 19:20:11 +0900

1. 단어 매칭만으로는 뭔가 부족한 정보검색

예부터 들이 밀고 이야기를 시작해보겠다.

이 예에서, 키워드 검색이라면 주어진 쿼리에 문서1만 매칭에 성공한다. 그런데, 문서의 의미를 가만히 살펴 보면, 문서2 역시 쿼리에 적당한 문서이다. Latent Semantic Analysis(이하 LSA)는 예에서 보듯이 키워드 매칭으로 찾을 수 없는, 의미가 가까운 단어-문서, 단어-단어, 문서-문서를 찾을 수 있게 해준다.

어떻게 '중국집 메뉴' 와 '짜장면 짬뽕'이 가깝다는 것을 찾아준다는 것일까? 이 때 이용하는 정보가 co-occurrence (공기, 共起)정보다. 문서1을 보면 '중국집 메뉴'와 '짜장면 짬뽕'은 같이 쓰였다. 바꿔 말해, co-occur한다.(共起한다.) 이 사실을 힌트 삼아 쿼리와 문서2 또한 가깝다고 유추할 수 있다.

LSA는 개념적으로 co-occurrence 정보를 이용한다. co-occurrence 정보를 이용한다는 것은 단어의 '형태(morphology)가 아닌 의미(semantic)'를 이용한다는 뜻이다. 예를 들어 '배'라는 단어는 같은 문장에 co-occur 하는 동사가 '타다' 인지 '먹다' 인지에 따라 의미가 갈라지게 된다. 또한, '식당', '맛있게', '배부르게' 라는 단어와 같은 문장에 co-occur하는 처음 보는 단어는 아마 '음식'일 것이다. LSA는 이론적으로는 선형대수학의 SVD(Sigular Value Decomposition)을 이용한다. SVD를 계산하는 방법에 대해서는 얘기하지 않을 것이다. 시간은 없고, 라이브러리는 많다.

2. LSA는 SVD를 이용한다.

이제 부터가 진짜다. 다음과 같은 단어-by-문서 행렬 A가 있다.(Reference:이 예는 Foundations of Statistical Natural Language Processing에서 베꼈다.)

예제 : 단어-by-문서 원래 행렬

SVD는 원래의 단어-by-문서 행렬 A를 3개의 행렬로 분해(Decomposite, SVD의 D)한다.

A_t×d = T_t×nS_n×n(D_d×n)^T

여기서 아래첨자 txd는 t행 d열의 행렬이라는 뜻이고. 위첨자 T는 전치행렬(transposed matrix)인데, 원래 행렬의 행과 열을 뒤바꿔 놓은 행렬이다. t 는 단어 개수, d는 문서 개수 n은 min(t,d)이다. 행렬 A의 SVD를 (각자 구한 라이브러리를 이용하여)구하면 다음과 같이 3개의 행렬이 얻어진다.

원래 행렬 A 의 SVD

T는 단어에, D는 문서에 대응되는 행렬이다. 각 단어와 문서는 5차원 공간의 한 점으로 표현되고 있다. 대각행렬 S는 오른쪽 아래로 갈 수록 작은 값을 가지는데 5개의 값은 1~5번째 차원의 Scale로 생각할 수 있다. 더 뒤쪽 차원으로 갈 수록 그 Scale이 낮아진다는 뜻이다. 위에서 얘기했듯이 n의 값 5는 t와 d중 작은 값이다. 그런데, SVD는 여기서 n보다 훨씬 작은 k 값을 설정해서 그 이상의 차원은 날려버리는 방법으로 차원 축소를 해버린다.

3. LSA는 co-occurrence + 차원 축소

SVD에 대한 자세한 얘기는 대부분 생략했지만, 개념적인 이야기로 한번만 더 정리하고 넘어가겠다. 위 예 처럼 조그만 예가 아니라 실제 상황에서는 t(단어 개수), d(문서 개수)의 값은 수*만에 이를 것이다. min(t, d)인 n 역시 수*만에 이를 것이다. 만일 t = 100만, d= 500만 이었다면, 원래 행렬 A는 100만 차원 공간에 있는 500만개의 점을 표현하는 행렬이다. SVD를 구하는데 k = 100으로 정한다면, 행렬 A는 다음과 같은 3개의 행렬로 분해된다.

T : 100차원 공간에 100만개의 단어에 대응되는 점으로 표현
D : 100차원 공간에 500만개의 문서에 대응되는 점으로 표현
S : 1 ~ 100번째 차원의 중요도를 나타내는 대각행렬

위 표현에서 '대응되는 점'이라는 간접적인 표현을 쓴 것은 직접적으로 값을 사용하는 게 아니기 때문에 그렇게 쓴 것이다. 용도에 맞게 행렬을 사용하는 방법은 잠시 후에 얘기하겠다.

일단, 여기서 D 행렬만 놓고 생각을 해보자. 원래의 공간에서는 500만개의 문서는 100만 차원 공간의 한 점으로 표현되었다. 그런데, 행렬 D에서는 500만개의 문서가 100차원으로 차원 축소된 공간의 한 점으로 '투영된다(projection)'. 축소된 공간으로 투영되는 와중에 비슷한 co-occurrence 패턴을 가지는 문서나 단어는 가까운 위치로 접근을 하게 된다. (무슨 마술 처럼 이야기를 하네-.-;;;) 그래서 LSA의 핵심 개념을 두 가지로 요약하면,

1. co-occurrence 정보 이용
2. 차원 축소

가 되겠다.

4. 활용 - 분해된 행렬의 사용방법

그럼, 잠시 미뤄 놓았던 3개의 행렬을 사용하는 방법을 말할 차례이다. 위의 예(5 x 6짜리 A행렬)에서 구했던 3개의 행렬을 k = 2로 차원 축소를 하면 3 ~ 5차원은 버려지고, 아래와 같은 차원 축소된 조합이 된다.

2차원으로 차원 축소한 SVD

3가지 시나리오에서의 이용방법은 다음과 같다.

1. 단어 - 단어간의 유사도 T X S 행렬의 row 간의 유사도로 계산한다.
2. 문서 - 문서 S X D^T 행렬의 colum 간의 유사도로 계산한다.
3. 단어 - 문서 TSD^T의 각 요소가 단어와 문서간의 유사도이다.

제일 만만한 2번 시나리오, 문서-문서간의 유사도를 어떻게 계산하는지만 예를 들어 보겠다. 위 그림에서 S X D^T 행렬을 구해보면 다음과 같다.

S X DT 행렬

결과적으로 D^T 행렬을 S행렬에 의해 re-scaling한 행렬이다. 암튼 문서1과 문서2의 유사도는 위 행렬의 1번째 컬럼과 2번째 컬럼의 cosine 유사도를 구하면 된다. 그렇다면, 모든 문서 쌍에 대해서 문서-by-문서간의 coine 유사도를 계산할 수 있다. 그 결과를 표로 그리면 다음과 같다.

문서-문서 간의 유사도

1.00은 자기 자신과 비교한 것이니까 빼고, 문서4-문서5가 가장 가까운 문서로, 문서3-문서6이 가장 먼 문서로 판명되었다. 맨위에 나온 행렬 A 그림에서 원래 문서를 찾아보면 이해가 될 것이다. 그런데, 여기서 문서2-문서3의 비교 결과가 흥미롭다. 원래 행렬 A에서 보면 두 문서는 공유하는 단어가 하나도 없다. 하지만 이 표에서는 유사도가 0.88로 매우 높게 나온다. 이게 다 co-occurrence와 차원 축소를 이용한 LSA의 결과이다.

휴~ 여기까지. 누군가는 처음부터 끝까지 읽었으면 하는 마음에 내용을 줄이다 줄이다 보니 너무 많은 부분이 빠졌다. 특히, SVD에 의한 차원 축소에 대한 부분은 거의 한강을 건너 뛰는 수준이다. 이 부분에 대한 설명은 위 예제를 베껴온 Foundataions of Statistical Natural Language Processing 책에 정말 잘 나와있다. 아... 이런 말로 마무리를 하게 되다니. 아뭏든 여기까지 읽어준 분이 있다면, 감사합니다.

c++로 라이브러리를 개발할 때 전방선언(forward declaration) 사용하기

심보준 — Mon, 11 May 2009 00:37:29 +0900

c++로 라이브러리를 개발하다가 다음과 같은 소스가 나오게 되었다.

//apis.h
#include "A.h"
#include "B.h"

class Apis {
public:
    void publicMethod1();
    void publicMethod2();

private:
    void privateMethod1(A a);
    void privateMethod2(B b);
};
//apis.h 끝

//라이브러리 사용하는 코드
#include "apis.h"

Apis apis;
apis.publicMethod1();
apis.publicMethod2();

라이브러리는 개발이 다 끝나고 사용자에게는 컴파일된 라이브러리 파일 하나와 API 정의를 담고 있는 헤더파일만 전달되는 것이 정상이다. 위 소스에서 말하고 있듯이 라이브러리 내부적으로 무슨 로직을 지지고 볶든지 간에 라이브러리를 사용자가 선언하는 클래스는 Apis라는 클래스 한개이고, 호출하는 메소드는 publicMethod1, publicMethod2 딱 두개 뿐이다.
그런데, apis.h를 include하기 위해서는 반갑지 않은 떨거지들이 따라오게 되는데, A.h와 B.h가 그것들이다.

결국 헤더 파일 두개가 추가로 라이브러리에 포함되어야만 하는 사태다. 근데, 어디 그뿐인가. 만약 A.h와 B.h가 다른 헤더파일을 include하고 있다면? 그것도 같이 들어가야 하네? 그러다가 결국 모든 헤더파일을 다같이 실어 올려야 하는 볼썽 사나운 일이 생기게 된다.

이럴 때는 전방선언(forward declaration)을 사용해야 한다.

//apis.h
//이제 A.h와 B.h를 include할 필요없다.

//전방 선언(forward declaration)
class A;
class B;

class Apis {
public:
    void publicMethod1();
    void publicMethod2();

private:
    void privateMethod1(A a);
    void privateMethod2(B b);
};
//apis.h 끝

//apis.cpp
//대신 cpp에서 include해야 한다.
#include "A.h"
#include "B.h"
...

A.h와 B.h를 apis.h가 아닌 apis.cpp에 include함으로써, 공개되는 라이브러리에는 빠져도 상관이 없게 된다.

k-means++ : k-means에서 초기 center를 잘 선정하는 방법

심보준 — Sun, 26 Apr 2009 01:26:47 +0900

k-means알고리즘은 맨 처음 k개의 center를 잘못 정하면 엉뚱한 결과가 생길 수 있다.
예를 들면, 다음 그림과 같은 경우이다.

k=3 일때, 파란색 세개의 클러스터로 묶이는 것이 올바른 결과다. 하지만, 잘못 해서(또는 재수가 없어서) 두번째 열의 인스턴스 세개를 초기 center로 잡고 k-means 알고리즘을 돌리면 엉뚱하게도 빨간색 묶음으로 클러스터링되는 난감한 결과가 생기고 만다. 이게 2차원으로 시각화 되어서 그렇지, 실제 상황에서는 눈에도 잘 안뜨일 듯.

그래서, 이제 갖가지 초기 center 정하는 방법들이 등장하게 된다. 창시자들이 저렇게 빈틈을 남겨주어야 후배 연구자들이 먹구 살 거리가 생기게 된다. 암튼, 개선안 중에 하나가 그럼 되도록 center간의 간격을 멀게 멀게 만들자는 것이다. 위의 예를 계속 이용하면 아마 이렇게 될 것이다.

1 ~ 3이 초기 center로 선정된 instance들이다. 1번은 랜덤으로 선정된 것이고, 2번은 1번으로 부터 제일 먼 것, 3번은 1번, 2번으로 부터 가장 먼 것으로 선정된다. 이렇게 선정한 세개의 center를 가지고 클러스터링을 하면 창시자의 부족함을 매꾸며 성공적인 클러스터링을 달성함과 동시에 후배들에게 또다시 TODO list를 남겨준다. 즉, 이 방법 또한 큰 약점을 가지고 있는데, Outlier라는 넘을 만나면 여지 없이 무너지는 수가 있다.

이 번에는 k=2인 경우인데 되도록 먼 인스턴스를 선택 하다보니 맨 오른쪽 독도 같은 outlier가 초기 center로 선정되었다. 이러고 k-means를 돌리면, 7:1의 클러스터링이 탄생할 것이다. outlier말고, 가운데 3개 중에 하나가 선택되면 좋을 텐데 말이다.

이래서 등장한 것이 k-means++. k-means++는 다음 순서대로 하나씩 하나씩 1번 부터 k번째 center까지 정한다. 이게 개념은 참 간단한데, 글로 표현하는 것이 쉽지가 않다.

1. 1 번째 center는 랜덤으로 정한다.
2. for i = 2 ~ k
    모든 인스턴스 x마다 아래의 확률을 부여한다.
    p(x) = D(x)²/Σ_x^'D(x^')²     [x^'는 인스턴스집합 X의 원소들]
    여기서 D(x)는 x에서 지금까지의 center중 제일 가까운 center와의 거리를 뜻한다.
    그러면, 모든 인스턴스에 확률이 부여된 이 상태에서 i 번째 center를 'random으로 찍는다'.
    높은 확률이 부여되어 있다는 것은 i번째 center로 선정될 가능성이 높다는 뜻이다.

D(x)의 뜻이 핵심이다. center를 한개 한개 만들어 가는데, 지금까지 만들어진 center중에 제일 가까운 center와의 거리.
위 식의 분모는 모든 인스턴스 x의 D(x)²의 합이니까. 모든 x에 대해서 같고, 결국 분자인 D(x)²이 큰 게 확률이 높다. 그러면 결국 D(x)가 클수록 확률이 높다. 이 얘기는 지금까지 만들어진 center들과 멀 수록 확률이 높다는 건데, 그럼 결국 먼거를 찍는다는 얘기?? 그럼, 저 위에 거랑 똑같다? 그럴리가.
중요한 건, 확률을 저렇게 정해놓고, 랜덤으로 찍는다는 것이다. 그러니까, 거리가 먼 outlier는 물론 확률은 높다. 하지만, 거리가 가장 먼 놈을 무조건 선정하지는 않는다는 것이다. 무조건 먼거로 결정할 거면 그냥 D(x)만 구하지, 굳이 D(x)² 나누기 D(x^')²의 합을 굳이 구하지는 않았겠지. 그림을 보면,

파란색이 1번째 center이고, 이제 2번째 center를 선정하려고 한다. 숫자는 인스턴스 마다 지금까지 center 중(지금은 파란 인스턴스 하나뿐) 제일 가까운 것과의 거리인 D(x)이다.
이제 인스턴스마다 확률을 부여해야 하는데, 분모 먼저 구하면 모든 D(x)²의 합이니까 1²+5²+5²+5²+8²=140 이다. 그러면, 제일 가까운 인스턴스의 확률은 1/140, 빨간색 애들은 각각 25/140, 제일 먼 애는 64/140 의 확률을 받는다. 이런 확률를 놓고 랜덤으로 찍는다. 제일 먼 인스턴스의 확률(64/140)이 가장 높지만, 세개의 빨간 인스턴스 중의 하나가 될 확률(3 * 25/140)이 더 높다. 먼 것도 유리하지만, 몰려있는 것중 하나가 될 확률도 높다. 2제곱이라는 숫자는 거리를 확률에 반영하는 정도를 결정하는 factor라고 생각하면 되겠다.

요약 정리 : k-means++는 확률 기반으로,
1. center가 밀집되지 않게
2. outlier는 되도록 피하면서
k개의 초기 center를 선정하는 방법이다.

참고 :
k-means++: The Advantages of Careful Seeding(David Arthur et al. 2007)
slides

한자어가 우리말을 얼마나 애매 모호하게 만드는지 알아봤습니다.

심보준 — Fri, 03 Apr 2009 16:54:27 +0900

한국어 언어 처리나 검색 엔진 튜닝을 하다 보면 '한자어' 때문에 발생하는 중의성이 정말 많습니다.

문제의 시작은 이렇습니다.

家 : 집 가

價 : 값 가

可 : 옳을 가

加 : 더할 가

假 : 거짓 가

... (이하 24개 생략)

-----> 한글로 쓰면 모두 '가'

'가'가 너무 극단적인가 하면 그렇지도 않습니다. '사'는 60개 입니다. 키보드로 '사' 치고 한자키 눌러 보면 알 수 있습니다.

상황이 이러하니, 어떤 단어가 '***가***' 이렇게 생겼다면 '가' 부분에서 29개의 의미적 중의성이 발생합니다.

좀더 자세히 알아보려고 간단한 프로그램을 만들어 돌려봤습니다. 얘기 더 나가기 전에 용어 정리 한번 하는게 좋을 듯 합니다.

한자 : '家', '羅' 이런 것들

한자 독음 : 한자를 한글로 읽은 것. '가', '나'

한자어 : '한국', '남자', '여자' 처럼 한자 단어를 한글로 쓴것

이게 표준 용어 인지는 잘 모르고 제가 이렇게 쓰겠다는 겁니다.

먼저, 우리가 자주 쓰이는 한자를 어떻게 모을까... 궁리하다가 '천자문'을 긁었습니다. 그리고, 1000개의 한자에 대해서 한자 독음으로 치환해 보아봤습니다. 한자 독음 변환은 여기를 참고하면 됩니다.

천자문 한자를 독음한 결과는

사 : 20개 한자

조 : 16개 한자

상 : 15개 한자

수 : 15개 한자

기 : 14개 한자

이 : 12개 한자

경 : 12개 한자

...(생략)

체 : 1개 한자

첨 : 1개 한자

농 : 1개 한자

이렇게 321개의 한글 음절로 읽히고 있었습니다. 그러니까, 321개의 한글 음절은 평균적으로 3.12개(=1000/321)의 중의성을 가지고 있습니다.

그런데, 더욱 난감한 것은 이런 한자어 음절이 차지하는 비율입니다.

약 85,000개의 블로그 포스트에 대해서 프로그램을 돌려봤더니 한글 음절이 38,137,237번 출현했고 글자 개수는 3,019개 였고, 이 중에 천자문 한글 독음 321글자는 25,513,041번 출현으로 전체의 67%에 이르렀습니다.

그러니까, 11%(321/3019)의 한자 독음 음절이 전체 음절의 67%를 차지하고 있다는 말입니다. 헉스!

한글로 된 문장을 읽으면서 3분의 2의 글자 글자 마다 3~4개의 한자중 어떤 의미에 해당하는지, 우리는 갈등하고 있다 이것이죠.

3~4개 뿐만이 아닙니다. '가', '이', '을' 이런 글자는 한자어 외에 순우리말 조사로도 쓰이니까, 중의성은 더 늘어납니다. 게다가, '사', '조', '상' 이렇게 뜻이 여러개인 글자는 문장에 더 많이 나오겠죠.

한글자 짜리 한자 독음이 그렇다는 것이고, 단어로 가면 좀더 중의성을 체감할 수가 있습니다. 우리나라의 지역 이름은 거의 대부분 두글자짜리 한자어인데요. 중의성을 띄는 지역 이름이 부지기수입니다.
서울, 대전, 대구, 부산 부터 봐도, 서울 빼고는 모두 다른 뜻이 있는 단어들입니다. 수도권을 둘러 보면, 양주, 구리, 오산, 이천(숫자 이천말입니다.) 등등이 있구요. 강남역에 가면 택시 기사 아저씨들이 이렇게 외칩니다.
"분당 만원!"
10분만 가도 10만원입니다.

이렇게 된 이유는, 한자를 한글로 표기하는 과정에서 발음이 특정 음절로 수렴되는 현상이 일어난 것입니다.

중국어에는 한국어에는 없는 발음들이 존재합니다. 그 반대의 경우도 물론 있겠지요. 없는 발음도 한글로 표기를 해야 하니 수렴이 현상이 일어나게 됩니다. 영어 'r'발음과 'l'발음이 모두 'ㄹ'로 표기되는 것과 마찬가집니다. 그리고, 중국어에는 성조도 있습니다.

또, 훈민정음 이래로, 아니 그 이전부터 한자 1개에 독음 1음절이 지켜지고 있는데, 원래 중국어는 안 그렇거든요. 예를 들어, '愛'라는 글자의 한글 독음은 '애'입니다. 그런데 중국어로는 '아이'라고 읽습니다. 두 음절로 읽히는 글자들까지 한 음절로 읽으려고 하니까 독음에 수렴현상이 일어나게 됩니다.

이런 문제의 맥락에서 한자, 한글 병기를 주장하는 사람들이 있었던 것이겠죠. 모든 일간지에서 한글 전용이 채택된 지가 얼마 안되었구요, 중의성이 절대 허락 안되는 법전에서는 아직도 한자가 병기되고 있습니다. 저는 한자, 한글 병기로 돌아가자는 쪽은 절대 아닙니다. 그 보다는 될 수 있으면, 한자어 대신 순우리말을 쓰자는 쪽입니다. 그러니까,

'출입문개방요망' 이렇게 쓰지 말고, '문을 열어놔 주세요' 이렇게 쓰자는 말입니다. 사용하지 말고 쓰자는 말입니다.

K-means 알고리즘을 이용한 영화 배우 클러스터링

심보준 — Wed, 11 Mar 2009 22:45:52 +0900

k-means 알고리즘을 이용해서 영화 배우 이름을 클러스터링 하는 실험을 해보았습니다.

단어가 문서에 출현하는 횟수를 다음과 같은 테이블로 표현할 수 있습니다.

각각의 열을 하나의 문서 벡터로 표현할 수 있는 것과 마찬가지로, 각각의 행은 하나의 '단어(텀) 벡터'로 표현할 수 있습니다. 즉, 아래와 같은 모습입니다.

A = <1, 3, 0, 0, 0>
B = <0, 0, 0, 1, 2>
C = <2, 1, 0, 0, 3>

D = <0, 0, 3, 0, 0>

이처럼 각각의 단어를 벡터로 표현할 수 있습니다.
또한, 이렇게 구한 벡터끼리 유사도(Similarity)를 구하면 두 단어가 얼마나 가까운 단어인지 계산할 수 있습니다. 위의 예를 보면 A와 B는 멀고, C는 A, B 양쪽에 모두 가깝다는 것을 알 수가 있습니다. 이런 벡터 표현을 이용하면, 문서를 클러스터링 하는 것과 똑같은 방법으로 단어를 클러스터링 할 수도 있습니다. 단어 클러스터링은 관련 검색어나, 토픽맵, 관련 문서 찾기 등 다양한 의미 기반 응용프로그램에 이용될 수 있습니다.

K-means 알고리즘
저는 K-means 알고리즘을 이용해서 단어 클러스터링을 테스트해 보았습니다. 아래는 K-means 알고리즘에 대한 간략한 소개입니다.

1. 적당한 클러스터 개수 K를 선정한다.
2. 각 클러스터 마다 초기 중심 벡터(centroid)를 선택한다.
3. 각 instance를 각 클러스터의 중심벡터와 비교하여 가장 가까운 클러스터로 할당한다.
4. 각 클러스터에 할당된 instance들의 평균을 계산하여 클러스터마다 새로운 중심벡터를 구한다.
5. 3, 4를 반복하면 클러스터링이 진행된다. 인스턴스가 새로운 클러스터로 이동하는 일이 없어지면 iteration을 중단한다.

이 알고리즘에는 K의 선택, 초기 centroid의 선정, iteration 중단 조건, 유사도 계산 방법 등 몇가지 이슈가 있지만, 이 포스팅에서는 다루지 않겠습니다.

클러스터링 실행
85,771개의 최근 블로그 포스트에 등장한 영화배우 이름 1005개를 이용해서 클러스터링을 실행해 보았습니다. 영화배우 이름 목록은 여기서 구했습니다. 영화 배우 벡터는 다음과 같이 표현됩니다. 0인 부분은 생략하고, 대신 <문서번호:출현횟수> 방식으로 표현했습니다.

박주미 = <8746:1, 55731:1>
문근영 = <220:1, 803:3, 3016:1, 3954:1, 6033:3, 8124:1, 8837:5, 9184:1, 9770:1, 13362:1, 15403:1, 16514:2, 16517:1, 18811:1, 20047:1, 29290:1, 33458:1, 36278:1, 36694:1, 41038:1, 41066:2, 42945:5, 42946:1, 42949:4, 43094:1, 44280:1, 49120:3, 53376:1, 53377:4, 580 21:2, 58027:2, 60246:4, 60431:7, 61896:1, 63994:2, 64110:2, 65770:5, 68207:3, 72367:2, 74112:3, 74474:5, 76494:6, 76495:10, 76496:8, 76497:10, 81073:10>
배두나 = <8320:1, 13707:1, 55315:1, 63738:1.0>
이연희 = <707:2, 2155:1, 7680:2, 10572:2, 18510:1, 18806:1, 22324:1, 22329:1, 22331:1, 30836:1, 33760:2, 38076:2, 39504:4, 45111:3, 46030:1, 53222:1, 55306:1, 55731:1, 65607:2, 66649:1, 68665:2, 70244:1, 70251:1, 75375:1, 80136:1, 84844:1>

클러스터 개수 K는 그냥 별다른 고민없이 50으로 정했고, cosine 유사도를 이용했습니다. 실행결과 흥미있는 클러스터를 몇개 골라봤습니다. <center> 표시는 클러스터의 중심벡터와 가장 가까운 배우 이름입니다.

CLUSTER-9 : [강성연, 김민선, 김영호, 김정태, 김태연, 문성근, 박지영, 유지태, 전세홍, 최규환, 추자현<center>, 현정은]
이 클러스터는 '미인도'와 3월말 개봉 예정인 '실종'이라는 영화의 배우들이 몰려있습니다. 김민선, 김영호, 추자현, 최규환 등이 '미인도' 출연진이고 문성근, 추자현, 전세홍은 '실종' 출연 배우들입니다. 추자현 덕분에 문성근과 김영호가 같은 클러스터에 묶이게 되었습니다.

CLUSTER-12 : [강병규, 김수미, 김태진, 김흥기, 배도환, 유인촌, 이계인, 이순재, 이준기<center>]
이 클러스터의 주류는 '전원일기' 출연진입니다. 김수미, 김태진, 유인촌, 이계인이 전원일기 출연진입니다. 이계인이 노마아빠고, 김태진이 노마라고 합니다. 그런데, 이런. 최불암 회장님이 빠졌네요. 이준기가 이계인과 일지매에 출연한 인연으로 묶였고, 강병규는 유인촌하고 베이징 올림픽 응원하러 간 인연으로 엮였습니다.

CLUSTER-41 : [김래원, 박진희, 백도빈<center>, 백윤식, 엄정화, 엄태웅, 유건, 정시아]
정시아가 백윤식의 아들 백도빈하고 결혼을 했는데, 유건이 사회를 봤다고 합니다. 김래원은 엄태웅의 누나 엄정화하고 인사동 스캔들을 찍고 있다고 합니다. 두 그룹은 별 관계가 없는데, 연애 소식 관련 모둠 글에서 하나로 엮였습니다. 문서수가 작으니 이런 문제가 생기는군요.

CLUSTER-42 : [구혜선<center>, 김소은, 김현주, 김형준, 김혜성, 민지, 윤지후, 이민정, 이민호, 이시영, 장태성, 정의철]
꽃남 클러스터가 나왔습니다. 배우 윤지후가 등장인물 윤지후로 묶여 버렸습니다. F4가 다 들어갔는지는 제가 드라마를 안봐서 잘 모르겠습니다.

아무래도 클러스터링을 하기에는 문서수가 적었습니다. 문서수가 적은 이유는 성능 후진 단일 머신에서 돌렸기 때문입니다. 그러다 보니, 최불암, 김혜자 회장님이 내외분이 전원일기 클러스터에 안 묶이고, 부부인데 떨어진 경우도 많았습니다. 아, 물론 옥소리와 박철은 같은 클러스터에 묶이더군요. 전체 결과를 파일로 첨부해 놓았습니다.

clusters.txt

중앙일보의 네이밍 센스

심보준 — Wed, 11 Mar 2009 11:00:24 +0900

어디서 2등인지는 중요하지 않은 중앙일보의 네이밍 센스 짱이네요.

한나라당이 사형집행을 공식촉구 했다고 하네요.

심보준 — Thu, 12 Feb 2009 23:06:17 +0900

어쩌면 58명의 사형수가 한꺼번에 교수형에 처해지는 뉴스를 보게될 수도 있겠군요.

무섭습니다.

뉴스쯤이야 시간이 지나면 잊혀지겠지만 저 뉴스를 보면서

'속 시원하다! 거참 잘 죽였다!'고 생각하는 사람들과 함께 살아야 한다는 사실이 정말 무섭습니다.

내 아이들도 그 사람들과 함께 살아가고, 아니 어쩌면 그 사람들처럼 되어져 갈 것이라는 것도 정말 정말 무섭습니다.

p.s. 무기징역은 안 무섭고 사형은 무서워서 연쇄 살인이 줄어든다는 거 아무리 생각해도 말이 안됩니다.

지하철 실수담

심보준 — Wed, 04 Feb 2009 23:43:01 +0900

그저께 제가 실제로 겪은, 아니 저지른 실화입니다.

이날 탄 지하철이 사람이 저어엉말로 많았습니다. 지하철 승차 개인 역사상 손에 꼽힐 만큼 사람이 많았습니다. 이건 뭐 자포 자기가 되어 상체와 하체가 따로 놀아버리는 그런 상황 있잖습니까.
내리실 문이 오른쪽과 왼쪽이 번갈아 반복되면서 열차안이 심하게 요동치고, 출입문 주변을 간신히 피해 이리 저리 부유하다가 안쪽 좌석 앞에 자리를 잡고 서있게 되었습니다.

이 때 자세가 이랬습니다. 뒤쪽에서 압박이 너무 심해 제 다리는 앞자리에 앉은 젊은 남자의 무릎과 무릎 사이에 심하게 밀착이 되었고, 상체 역시 뒤에서 밀려서... 왜 상체가 밀리면 위에 달린 손잡이를 잡지 못하고 상체가 앞으로 구부러지면서 선반의 가로 막대를 잡게 되잖습니까. 그렇게 앞자리에 앉은 남자와 밀착이 심하고 거리가 가까웠지만 열차안의 모든 이들이 주먹밥처럼 똘똘 뭉쳐 있는 상황이니 뭐 이상할 것도 없었습니다. 어쩔 수 없는 것이니까요.

저는 2호선을 타고 신촌역에서부터 삼성역까지 출근을 합니다. 갈길이 멀죠. 비록 내 처지는 주먹밥 밥알 신세지만, 선반에 얹혀있는 무가지 메트로를 펼치고, 가방에서 이어폰을 꺼내 음악 감상까지 시작했습니다. 그러고서는 메트로의 퍼즐과 이어폰에서 흘러나오는 (그날 따라 몹시 빠른 템포의) 음악 속으로 집중 집중하며 빠져들어 갔습니다.
중간에 앞에 앉아 있던 남자와 눈이 한번 마주친 것도 같습니다. 이런 생각이 스쳤습니다. '짜증이 얼굴에 박혀있는 인상이군. 인생이 피곤해 보여'

그렇게 뭐 평범한 출근 있었습니다.... 강변역까지는.
그 때. 앞의 남자가 저를 올려다 보고는 뭐라고 입술이 움직입니다. 이어폰을 끼고 있어 뭐라 그러는지 잘 못들었습니다. 이어폰을 빼고 물었습니다.
나 : 에?
그 남자 : 뒤로 좀 물러나 주시라구요...
나 : 에.. 에?
그 남자 : 지금 너무 붙어 계시잖아요.
앗. 흠칫... 태연한척 하며 뒤를 슬며시 돌아봤는데. 아아아 이럴수가 내가 뭘 하고 있었던 거야.
다시 한번 말을 하자면 저는 신촌역에서 삼성역까지 출근을 합니다. 신촌역에서 저는 사상 초유의 지하철을 탔구요. 그런데, 이 출근 코스는 을지로3가, 동대문운동장 등등의 갈아타는 역을 거치면 사람들이 썰물처럼 빠져나갑니다. 그러니까,
한가하고 사람 좀 드문드문 서있는 지하철에서, 저는 그 남자의 무릎팍 사이에 제 다리를 밀착하고 그러고 계속 가고 있었던 것이지요. 그 남자는 참다 참다 못해 저에게 말을 꺼낸 것이구요. 문 열리면 정말 뛰쳐 내리고 싶었습니다. 아까 신나게 들었던 댄스 뮤직에 도취되어 몸을 살짝 살짝 흔들었던 기억까지 스칩니다. ToT

잠실역인가에서 그 남자 내리더군요. 설마 일부러 먼저 내린것은 아니겠지요. 그 남자가 일어난 자리에 제가 앉게 되었습니다. 앉고 보니 그 남자 입장이 실감나게 상상이 되더군요. 그리고, 주변 시점에서 바라본 우리의 부비 부비도 떠오르더군요.

여기까지. 아는 사람이 봤을까 무서웠던 지하철에서 사고 친 얘기였습니다. 여자였으면 어쩔뻔했을까...

정규분포 이론을 이용한 검색엔진의 정확도 평가

심보준 — Sun, 01 Feb 2009 14:37:18 +0900

떨어진 미션이 있어서 통계 공부를 좀 하고, 공부한 내용을 정리해 봤습니다. 내용을 요약하자면, 검색엔진의 정확도를 평가했을 때, 그 평가가 얼마나 신뢰할만한지 통계학의 정규분포 이론을 이용해서 계산하고, 설명하는 내용입니다. 이 포스트를 이해하면 팀장과 이런 대화를 나눌 수 있습니다.

A: 우리 검색엔진의 정확도는 85~90%입니다.
팀장: 그 말 몇 %나 신뢰할 수 있지?
A: 믿어주세요. 95% 확실합니다.

일의 출발은 이렇습니다.
우리가 개발한 검색엔진의 정확도를 측정하려고 합니다. 정확도는 재현율일 수도 있고, 정확률일 수도 있고, F-measure일 수도 있습니다. 그냥 통칭해서 정확도라고 하겠습니다. 정확도를 측정하기 위해서 수작업을 통해서 정답셋을 만들기로 했습니다.

어떤 질의 Q에 대한 정답셋은 아래와 같이 만듭니다.
1. 검색엔진이 색인하는 모든 문서에서 n개의 문서를 샘플링합니다.
2. n개의 샘플 문서를 사람이 하나씩 하나씩 읽어가며 질의 Q에 대해서 검색결과로 올바른지 아닌지 체크를 합니다.
3. 체크된 n개의 샘플 문서를 질의 Q에 대한 정답셋이라고 합니다.

정답셋을 이용해서 질의 Q에 대해 검색엔진의 정확도는 다음과 같이 측정합니다.
1. 검색엔진에 질의 Q를 실행하면 검색 결과가 주루룩 나올 것입니다.
2. n개의 샘플 문서를 하나씩 하나씩 검토합니다.(검색 결과를 하나씩 살피는게 아닙니다.)
- 각각의 문서에 대해 정답셋에서 체크한 내용과 검색엔진의 판단이 같으면 검색엔진이 정답을 맞춘것입니다.
- 반대로 판단이 다르면, 즉, 정답셋에는 이 문서는 이 질의에 나와야 된다 그러는데 검색엔진이 이 문서를 안찍었다든가, 아니면 정답셋에는 이 문서가 이 질의에 안 맞다고 그랬는데 검색엔진 결과에 포함되었을 때 검색엔진이 틀린 답을 낸 것입니다.
3. 여기까지 하면, 질의 Q에 대해서 검색엔진이 n개의 문제를 풀어서 맞춘게 몇개, 틀린게 몇개 그래서 점수는 몇점 이렇게 성적표를 받게 됩니다.

여기서 질문이 하나 생깁니다.

몇개의 문서를 샘플링해야 위에서 계산한 검색엔진의 성적이 믿을만 할까?

검색엔진한테 10개의 문제를 풀게하는 것보다는 당연히 100개의 문제를 풀게 하는게 실력을 파악하는데 더 정확할 것입니다. 엔진은 지치지 않으니까 당연히 다다익선! 더 많은 문제를 풀게 할 수록 우리가 얻는 점수는 더 신뢰할 수 있는 점수 일 것입니다. 그런데 문제는 엔진이 지치는게 아니라, 사람이 지친다는 것입니다. 정답셋을 만드는 과정은 만일 100만개의 문서를 샘플링했다면 100만개의 문서를 하나씩 읽어가며 질의에 적합한 문서인지 아닌지 체크를 해야 합니다. 그러니까, '많을 수록 좋은건 알아, 하지만, 적어도 몇개의 문서를 샘플링하면 믿을만 한거야?' 이것이 문제입니다.

결론부터 얘기하자면 통계학을 이용하면 위의 질문에 대해서 직접적인 답은 못주지만, 다음과 같이 결론을 이야기할 수는 있습니다.

1만개의 문서를 샘플링해서 측정한 이 검색엔진의 정확도는 0.7 ~ 0.9일 확률이 95% 입니다.

음... 뭐랄까 신중하지만 정확한 설명입니다. 샘플의 개수를 좀더 늘리면서 똑같이 95%의 신뢰도로 정확도가 얼만지 측정하면, 이번에는 구간이 좁아질 것입니다.

2만개로 샘플을 늘려서 측정한 이 검색엔진의 정확도는 0.75~0.85일 확률이 95% 입니다.

바로, 지체 없이, 공식과 예제 들어가도록 하겠습니다.
샘플 문서의 개수가 n개, 검색엔진 돌려서 채점한 결과 r개가 맞았을 때, 이 검색엔진의 정확도를 N% 만큼 신뢰도로 구하면 다음과 같은 구간을 구할 수 있습니다.

여기서 Z(N)은 신뢰도에 따라 값이 달라지는데 95% 신뢰도로 구하고 싶으면, 1.96이라는 값을 사용하면 되고, 90% 신뢰도로 구하고 싶으면 1.64라는 작은 값을 사용하게 됩니다. 좀 낮은 신뢰도로 말하면 더 좁은 구간을 제시할 수 있다 이런 얘기입니다.
위 식을 사용하는 예제 들어갑니다.

예제> 1000개의 문서를 샘플링 해서 검색엔진이 800개를 맞췄다. 95% 신뢰구간으로 검색엔진의 정확도를 설명하라.
풀이> x=800/1000 = 0.8 이고, Z(N) 루트 어쩌구 하는 식은 1.96X루트(0.8X0.2/1000)=0.02479 이므로
"이 검색엔진의 정확도는 0.77521 ~ 0.82479 일 확률이 95% 입니다." 라고 얘기할 수 있습니다.

샘플링 하는 문서 개수를 10000개로 늘려보고, 같은 비율인 8000개를 맞췄다면 이번에는 Z(N) 루트 어쩌구 하는 식이 1.96X루트(0.8X0.2/10000)=0.00784 이므로
"이 검색엔진의 정확도는 0.79216 ~ 0.80784 일 확률이 95% 입니다." 라고 더 정확하게 얘기할 수 있게됩니다.

얘기가 이정도 진행되면, 지금 정규분포(Normal Distribution)를 얘기하려 한다는 것을 알만한 사람은 다 알 수 있을 것입니다. Z(N) = 1.96 이 숫자도 통계책 부록 표준 정규분포표에서 따온 숫자입니다.
그렇다면, 도대체 뭐가 정규분포를 따른다는 얘기일까요? 이 질문이 가장 핵심적인 부분입니다.

우리가 만든 검색엔진의 정확도의 확률분포는 정규분포이다.

'의'를 중첩해서 대단히 죄송합니다만, 이 포스트를 이해하고 싶으신 분은 이 문장이 가슴에 와닿을 때까지 반복해서 읽으셔야만 합니다. 도저히 와닿지 않으면, 아래 그림의 x축과 y축을 곱씹고 다시 저 문장이 와닿을 때까지 읽어보십시오.
즉, 다음과 같은 정규분포입니다.

이 그래프의 경우 검색엔진의 정확도가 60%일 확률이 가장 높습니다. 검색엔진의 정확도가 50%일 확률과 70%일 확률은 같습니다. 즉, 대칭입니다.
우리가 저 위의 식을 사용하겠다는 것은 검색엔진의 정확도가 이 그래프처럼 생긴 정규분포라고 가정하겠다는 뜻입니다.
그런데, 무슨 근거로 검색엔진의 정확도가 정규분포라고 함부로 가정을 할 수가 있는 것일까요? 여기서 통계 이론 하나가 더 필요합니다.

이항분포(Binomial Distribution)에서 샘플의 개수 n이 충분히 크다면 그 이항분포는 정규분포이다.

검색엔진이 정답을 맞춘 횟수의 분포는 이항분포(이항분포가 뭔지는 잠깐만 홀딩)입니다. 이항분포는 샘플의 개수가 충분히 크다면 정규분포가 됩니다. 정답을 맞춘 횟수를 샘플의 개수 n으로 나눈 정확도의 분포 또한 정규분포가 됩니다.

정리하자면, 검색엔진의 정답 맞추기의 확률분포는 이항분포입니다. 이항분포에서 샘플 개수가 충분히 크면 정규분포입니다. 정규분포라면 저 위의 공식에다가 샘플의 개수와 샘플에서 측정한 정확도를 대입하여, 검색엔진의 진짜 정확도를 추정(Estimation)할 수가 있습니다. 그럼 마지막으로 이항분포가 뭔지, 검색엔진의 정답 맞추기가 왜 이항분포인지를 설명하고 마치도록 하겠습니다.

통계학에서 성공-실패 두 가지 경우의 수가 존재하는 독립적인 실행을 n번 반복하는 것을 베르누이 시행(Bernoulli Trial)이라고 합니다. 베르누이 시행에서 성공 횟수의 확률 분포를 이항분포라고 합니다. 베르누이 시행의 대표적인 예로 찌그러진 동전 던지기를 들 수 있습니다. 이 실험의 목적은 찌그러진 동전이 앞면 몇% 짜리 동전인지 알아보는 것입니다. 이 것을 알아보기 위해 100번을 던져봤더니 앞면이 70번 나왔습니다. 이게 한번의 n=100짜리 베르누이 시행입니다. 첫번째 베르누이 시행의 결과는 이 동전은 앞면 70% 짜리 동전입니다. 두번째 베르누이 시행을 하면 아마 70번 언저리의 어떤 숫자가 또 나올 것입니다. 베르누이 시행을 여러번 하면 이 동전에 대해서 다음과 같이 얘기할 수 있을 것입니다.
"이 동전은 n=100짜리 베르누이 시행을 했을 때 앞면이 70번 나올 확률이 30%, 69번 나올 확률이 10%, 68번 나올 확률이 7%..."
이 내용을 그래프로 그리면 이 동전의 이항분포가 되는 것입니다.

우리 검색엔진의 정확도 평가 또한 이항분포를 따릅니다. n=100 이라면 100개의 문서 각각에 대해 결과를 맞추는지 못맞추는지 판단합니다. 즉, 동전을 100번 던집니다. 통계학 정리에 따르면 n이 충분히 큰 이항 분포는 정규분포로 가정할 수 있다고 합니다. 일반적으로(Rule of Thumb) n>=30 정도면 정규분포로 볼 수 있고, np(1-p) > 5 라는 식으로도 최소한의 n을 산정할 수가 있습니다. 여기서 p는 검색엔진의 진짜(궁극적인, 실제의)정확도인데, 그건 우리가 구하고자 하는 그 자체이므로, 실험에서 구해지는 추정치(즉, 맞춘개수/n)를 대입하면 될 것입니다.

마지막으로 정리 한번 더 하겠습니다. 반복 또 반복...
검색엔진의 정답 맞추기는 동전 던지기처럼 베르누이 시행이고, 확률분포는 이항분포입니다. 이항분포이므로 샘플개수가 충분히 크면 정규분포 가정을 이용할 수 있습니다. 정규분포 가정을 이용하면 저 위의 식을 이용하여 검색엔진의 정확도를 계산하고 그 결과를 다음과 같이 얘기할 수 있습니다.
"이 검색엔진의 정확도는 0.85~0.95일 확률이 95%이다."
이 말을 통계학적인 용어로 바꿔말하면 "95% 신뢰구간에서 +- 0.05의 오차를 가진다" 라고 얘기합니다.
만일 더 많은 샘플을 사용한다면 같은 신뢰구간에서 더 작은 오차를 가지게 될 것입니다.

-----------------------------------------------------------------------------------------------------------------

제가 정규분포에 대해 스터디를 하게 된 것은 두가지 질문에 답을 얻기 위한 것이었습니다.
첫째, 우리가 할 검색엔진 평가 작업에 대해서 정규분포 가정을 적용할 수 있을까?
둘째, 신뢰도를 95%로 고정하면 몇개의 문서를 샘플링을 해야 하나?

첫번째 질문에 대해서는 검색엔진 평가가 베르누이 시행이라는 설명으로 해결했다고 할 수 있습니다만, 둘째 질문에 대해서는 정규분포 이론에 대해서 무지했었다는 것을 알게 되었습니다. 샘플링은 다다익선이고 샘플이 적으면 오차 범위가 넓어지는 것이 공식이 설명하는 바였습니다. 아 물론, 이항분포가 정규분포가 되기 위해서 샘플이 30개는 넘어야 한다는 사실은 알게 되었습니다.

테레비에 관한 주저리

심보준 — Sat, 03 Jan 2009 11:40:31 +0900

우리 집에는 테레비가 없습니다. 이 얘기를 하면 대부분 사람들은 '아이들 때문에' 테레비를 치웠을 거라 생각하고 그 쪽 방향으로 대화가 이어지게 됩니다. 아이들에게 유해한 테레비 프로나 뭐 이런 얘기들 말입니다. 제가 테레비를 치우자(아니 치워버리자)고 얘기했을 때, 와이프도 아이들 이유 때문에 찬성을 했습니다. 그런데, 제 진짜 본심은 아이들이 아니라, 어른들, 그 중에서도 제 자신이 더 큰 이유였습니다.

저로 말할 것 같으면 남들 못지 않은 테레비 중독자였습니다. 특히, 집에 혼자 있는 시간이나 가족들이 모두 잠든 시간에는 습관적으로 테레비를 틀어 놓고 시간을 죽이거나 그대로 잠들어 버리는 그런 꽈였습니다. 그런데, 테레비를 사랑하거나 예찬하는 류는 또 아닙니다. 짝짓기 오락 프로 이런 거는 보면서 신나게 웃다가 이거 뭐 내가 제내들 노는 걸 보고 앉아 있네 뭐 그러면서 딴데 돌려버립니다. 뉴스를 보다가 아이씨 이거 뭐 좋은 소식은 하나도 없고 기분만 드러워지는 이걸 꼭 봐야해 이런 생각이 들다가, 그래도 이거 끝나야 스포츠 뉴스 나오니까... 뭐 이런 식입니다.

말이 나와서 하는 말인데, 티비 프로중에서 가장 유해한 프로가 뉴스입니다. 현실에 라이브 중인 전쟁과 살인 등등을 아주 구체적으로 반복해서 전달해 주고 있으니 말입니다. 같은 내용을 다루지만 현실이 아닌 영화보다 차원이 다르게 유해한 물질입니다. 마이클 무어 감독이 만든 다큐 영화 '볼링 포 컬럼바인'에서는 미국에서 심심찮게 일어나는 총기 난사 사건의 원인에 대해서 폭력성이 있는 영화나 게임, 메릴린 맨슨 같은 Rock 음악 보다 미국이 전세계에서 '항상' 저지르고 있는 실제 살인-전쟁-과 그 전쟁 소식을 끊임없이 보도하는 뉴스들을 원인으로 암시하는 내용이 있습니다. 얘기가 좀 샜는데요. 이 포스트는 주저리입니다. 제목을 보세요.

아무튼 이런식으로 욕을 하면서도 '나도 모르게' 리모콘을 돌리고 앉아 있는 그런 평범한 테레비와의 관계를 가지고 있었습니다. 스포츠나 영화가 그래도 깔끔한데, 항상 보고 싶은 게 나오는 것도 아니고, 또 식구들과 채널 다툼을 하는데 제 욕심을 관철시키는 그런 류의 아빠는 제가 또 아닙니다. 아무튼, 테레비 없이 살아본 적은 제 인생에서 없었습니다. 군대에도 테레비는 있습니다. 심지어 오대수가 15년동안 같혀 있던 사설 감옥에도 테레비는 있었잖습니까.
그리고, 어느 순간 이게 좀 지긋 지긋해졌습니다. 그리고, 와이프에게 얘기를 했습니다.

나 : (나는 욕을 하면서도, 기분이 별로 좋지 않으면서도 테레비를 보고 앉아 있는 이 이상한 시츄에이션이 싫어. 정말 볼만할 가치가 있는 일주일에 한번쯤 있는 두시간 짜리 프로 때문에 매일 두세시간씩 습관적으로 보고 앉아있는 네 자신이 싫어...... 라는 말은 생략한 채로) 우리 테레비 치워버리자!!!
마누라 : 그래. 아이들은 테레비가 없으면 책을 볼거야!!!
이렇게 성사가 되었고, 결행했습니다.

테레비를 끊는다는 것이 담배와 비슷합니다. 손으로 드르륵 드르륵 돌리던 채널.(채널을 바꾸기 위해 돌리던 손잡이를 우리는 그냥 채널이라고 불렀습니다.) 그 채널이 빠져서 뺀찌로 채널을 돌리던 14인치 흑백 테레비로 부터 시작해서.... 아 갑자기 우리 옆집에 가서 처음으로 칼라 테레비를 봤을 때의 그 부러움과 감동이 기억납니다. 길을 가면서 칼라 테레비가 있는 집과 없는 집을 헤아려 보던 기억도 나구요. 어떻게 아냐구요? 지붕 위에 안테나를 보면 알 수 있습니다. 흑백용과 칼라용이 달랐거든요. 또 샜다. 주저리니까요.

아무튼 테레비 끊기는 담배 끊기와 비슷합니다. 삼십년 넘게 몸에 밴 습관을 인생에서 도려내는 것입니다. 그래서 결행이 두렵습니다. 이런 식으로 살아 본적이 없는 인생의 새로운 국면이랄까. 근데 아예 테레비를 버려 버리면 다시 사는데 돈이 너무 많이 드니까 담배보다는 성공률이 높겠죠. 우리 집의 경우는 뭐 버리지는 않았고, 창고 깊숙히 집어 넣었습니다. (그나마 얼마전 닌텐도 wii를 사서 다시 나왔습니다. 케이블만 창고 깊숙히 쳐박혀 있어서 시청불가 상태입니다. 그러고 보니 '우리집에는 테레비가 없다'는 첫문장은 정확한 표현이 아니군요. 새겨 들으시면 됩니다.)
아무튼 그렇게 테레비를 치워 버리니까요... 테레비의 빈자리 이거 정말 큽니다. 테레비가 집안에서 차지하는 물리적, 심리적 위치를 보면 테레비가 얼마나 신성한 대접을 받고 있는지 알 수 있습니다. 한 집안 거실의 가장 널직하고 전망 좋은 벽면을 등지고, 고급스러운 재단위에 신주 단지 처럼 올려져 있는 테레비. 먼 훗날 고고학자들이 집집마다 같은 위치에 놓여있는 테레비를 발견하고 종교적 의미를 부여할지도 모르겠다는 상상도 스칩니다.

테레비의 빈자리 벽면에는 전원 콘센트 단자에, 케이블 연결 단자, 지금 보니 랜선 단자도 있네요. 테레비를 치우면 이런 단자들이 흉터처럼 드러납니다. 그리고, 참 난감할때가 손님들이 왔을 때입니다. 손님들을 초대하고 식사가 준비되기 전 테레비가 없으면 정말 뻘쭘해질 때가 많이 있습니다. 테레비가 발명되고서부터 집안에서 사람들은 마주 보지 않는 것이 관례가 되었습니다. 나란히 테레비를 향해 앉아서 고개를 옆으로 돌리며 대화를 나누는 것이 테레비 출현 이후의 관례입니다. 재밌는 것이 손님들을 초대해 보면 대부분의 사람들이 테레비가 없는데도 테레비가 있어야 할 벽면을 향해서 앉아있습니다. 그런데, 그 자리에 있어야 할 테레비는 없고, 흉터처럼 드러난 단자들만 있는 것이죠. 그래서 뻘쭘한 분위기가 연출될 때가 많이 있습니다.

근데, 새삼 이런 테레비에 대한 얘기를 꺼내게 된것은.... 음, 다시 테레비를 놓을까. 뭐 정확히 말하면 케이블만 연결하면 됩니다. 그런 생각이 요새 좀 쎄게 듭니다. 마누라님 방송국 홈페이지에 들어가서 그지 같은 화질로 드라마 보는 것도 안스럽고, 아들 녀석이 야구를 좋아하는데 좀 있으면 하게될 WBC 중계도 인터넷 아프리카 TV로 보게 될 거 같아 좀 미안하고 그렇습니다. 문제는 테레비를 켜면 불쾌하고, 한심하고, 좋지도 않은 별책 부록들이 같이 딸려 나온다는게 그게 문제라서 말입니다. 그게 좀 그렇습니다. 주저리 주저리 이상 마치겠습니다.