방명록  *  도서관  *  책소개  *  인터넷  *  역사  *  세상  *  음악  *  기타
이글루스 | 로그인

SCI의 전성시대(2)
앞의 글에서 말씀드렸듯이 SCI는 논문의 인용 정보들을 서로 연결하여 과학 관련 학술 정보를 쉽게 파악하기 위해서 만들어진 도구였습니다. 그리고 피인용지수(Impact Factor)는 SCI 에 수록할 저널들을 선정하는 과정에서 만들어진 도구입니다. 1961년에 SCI의 최초 모델이라 할 수 있는 Genetics Citation Index 가 만들어지고 3년 후인 1964년에 마침내 SCI 가 상업적인 출판물로 나왔을 때 이것에 대한 학계와 도서관계의 관심은 그리 많지 않았습니다.

실제 Genetics Citation Index 는 미국 정부의 지원을 받아 시작한 일이었지만 미국 정부는 SCI 에 대해서는 큰 관심을 기울이지 않았습니다. 결국 SCI 를 제작하기 위해 가필드 씨는 은행 대출은 물론 월스트리트의 투자자들을 모아야 했습니다. 당시 50 만달러를 가필드씨의 ISI 에 투자해서 SCI 의 제작을 지원했던 투자자들은 선견 지명이 있었나 봅니다. 왜냐하면 서서히 SCI 는 학계에서 그 지명도를 높여갔고 80년대에서 90년대로 넘어 가면서 과학계에서 발표되는 논문들이 늘어나면서 SCI 를 찾는 기관들도 늘어났지요. ISI 는 과학 관련 논문에 대한 인용 색인만을 출판하던 것에서 범위를 넓혀 사회 과학(Social Science Citation Index)과 인문학(Art and Humanities Citation Index) 을 포함하는 인용 색인을 만드는 회사로 성장해갔습니다. 그러면서 이들이 만들어내는 인용 색인은 학계의 표준처럼 자리잡게 되었고 그 과정에서 최초에 만들어졌던 목적과는 다르게 사용되기 시작했습니다.

정보를 쉽게 찾기 위한 도구에서 이제는 연구자와 연구 단체 혹은 저널을 평가하는 도구로 사용되기 시작한 것입니다. 그러한 상황이 나타나게 된 배경에는 "인용(Citation)"이 많이 된 논문은 우수한 논문이고 그런 논문을 많이 실은 저널 역시 우수한 저널이라는 막연한 믿음이 자리잡고 있습니다. 즉, 피인용지수가 높은 저널은 우수한 저널이라는 것이지요. 그러다보니 초기에 SCI 가 그리 큰 관심을 받지 못 했을 때는 SCI에 대한 비판적인 의견도 적었지만 SCI 가 마치 하나의 표준이 되고 그것을 바탕으로 연구자들에 대한 평가가 이루어지고 또 그 평가 결과를 토대로 각 종 연구비의 지원이나 연구자의 임용 및 승진이 결정되자 SCI 와 피인용지수가 가진 문제점에 대한 비판적인 의견들이 등장하기 시작했습니다.

먼저 피인용지수에 대한 의견부터 소개해 보겠습니다. 앞의 글에서 이야기했습니다만 만일 어떤 저널의 2008년 피인용지수가  10 이라고 한다면 그 말은 지난 2006년과 2007년에 그 저널에서 출판된 논문들이 2008년  한 해 동안 다른 논문들에 의해서 평균적으로 10번 인용되었다는 의미입니다. 그런데 이 평균 10 이라는 숫자를 주의깊게 생각해 보셔야 합니다. 이 숫자는 산술 평균일 뿐입니다. 예를 들어 지난 2년 동안 10편의 논문을 발표한 저널이 있는데 그 저널에 실린 논문들이 다른 논문에 의해 인용된 횟수가 총 100회라서 10 이라는 피인용지수를 받은 저널이 있다고 칩시다. 피인용지수를 놓고 볼 때는 그 10 편의 논문들이 각 각 10번씩 인용되었다고 볼 수 있지만 실제는 그렇지 않은 경우가 대부분입니다. 10 편의 논문 중에는 60-70 회 인용된 논문이 있는 반면 한 번도 인용되지 못한 논문도 있습니다. 하지만 어쨌든 전체 인용 횟수는 100 회이고 그래서 인용지수는 10이 되었습니다.

반면에 10 편의 논문을 발표했는데 총 50 회의 인용이 이루어져서 5 라는 피인용지수를 받은 저널이 있다고 가정해 보지요. 그런데 이 저널에 발표된 10 편의 논문들은 약간의 차이는 있지만 모든 논문이 3-7회씩 골고루 인용되었다고 해 보지요. 그렇다면 10 편 중에 2-3 편의 논문이 특별하게 많이 인용되고 나머지는 전혀 인용되지 않았지만 절대적인 숫자 때문에 10 이라는 피인용지수를 받은 저널과 절대적인 숫자는 적지만 10 편의 논문이 골고루 인용되어서 5 라는 피인용지수를 받은 저널, 둘 중 어느 것이 더 우수한 저널이라고 할 수 있을까요? 쉽게 대답할 수 없는 질문입니다.

이 계산 방식에 사용되는 2년이라는 기간도 문제입니다. 학문 분야에 따라서는 최신의 논문들이 빨리빨리 인용되고 또 연구의 결과들이 단기간에 발표되는 분야도 있지만 1-2년 이상의 긴 연구 기간을 필요로 하는 분야도 있습니다. 그래서 인용을 할 때에도 2년 혹은 그 이상 지난 논문들을 인용할 수 밖에 없는 분야들도 있지요. 그리고 논문에 따라서는 몇 년의 시간이 지난 후에 가치를 인정받아 다른 연구자들에 의해서 인용되는 논문들도 있지요. 그렇게 본다면 천편일률적으로 2년이라는 기간을 두고 측정한 피인용지수는 학문 분야와 주제에 따라 다르게 받아들여져야 하고 또 매우 조심스럽게 이용해야합니다. 그래서 가필드 씨 역시 피인용지수로 저널들을 살펴볼 때는 같은 학문 분야의 저널들을 따로 모아서 보아야 한다는 말을 했습니다. 연구 기간이 짧은 분야의 저널과 상대적으로 긴 분야의 저널을 동시에 놓고 그 두 저널의 피인용지수만을 가지고 저널을 평가해서는 안된다는 말입니다.

그리고 계산에 사용되는 인용의 횟수와 발표 논문의 통계에도 문제의 여지가 있습니다. 지난 2년 사이에 출판된 논문의 수를 계산할 때에는 그 저널에서 출판된 연구 논문들만을 계산합니다. 저널의 서두에 들어가는 편집자의 사설(Editorial)이나 편집자에게 보내는 편지 혹은 짧은 연설문이나 의견, 서평 등은 이 계산에서 제외됩니다. 하지만 인용된 횟수를 계산할 때에는 이런 짧은 글들이 인용된 횟수도 인용 횟수에 들어갑니다. 따라서 연구 논문 이외에 다른 짧은 글들이 많이 실린 저널의 경우 상대적으로 피인용지수가 높아질 개연성이 있는 거지요.
이런 기술적인 문제 이외에 "인용"이라는 행위 자체도 여러 가지 면에서 생각해 보아야 합니다. 연구자들이 논문을 쓸 때 왜 인용을 할까요? 블로그에 글을 포스팅 하면서 다른 사람의 글을 링크하거나 트랙백을 다는 경우를 생각해 보시면 이해가 쉬우리라 생각합니다. 어떤 이의 글에 동의하고 거기에 자신의 의견을 첨가하기 위해 링크를 하는 경우도 있고 다른 사람의 말을 이용해서 자신의 글에 무게를 싣기 위해서도 링크를 합니다. 하지만 그 반대의 경우도 있지요. "누가 누가 이런 말을 했는데 그건 말도 안되는 소리다" 혹은 이 사람의 "이런 저런 말은 요점을 제대로 이해하지 못 해서는 그렇다"는 말을 하기 위해 링크를 하는 경우도 있습니다. 그렇다면 이런 경우 링크가 많이 된 포스팅이라고 해서 반드시 질이 좋은 포스팅이라고 할 수는 없습니다.

논문도 마찬가지이지요. 일반적으로 논문에 실린 자료와 아이디어가 어디에서 왔는지를 밝히기 위해서 인용을 합니다. 그러나 반드시 그런 것만은 아니지요. 기존에 나와있는 연구 중에서 잘못된 부분을 지적하기 위해서 그 잘못된 연구를 인용하는 경우도 있지요. 그리고 한 연구에 따르면 인용의 가장 큰 목적은 다른 논문을 평가하려는 것이 아니라 자신의 의견을 보강하기 위해 사용한다고 합니다. 즉, 인용하는 논문들을 평가하기 위해서가 아니라 자신의 논문을 읽는 독자들을 설득하기 위해 다른 사람들의 글을 인용한다는 것이지요.

그런데 이와 같은 인용의 질적인 맥락은 피인용지수를 계산하는데 전혀 고려 대상이 아닙니다. 실제로도 불가능하겠지만 수 백만건의 인용을 하나하나 살피면서 그 성격을 통계에 포함시키는 일은 막대한 전문 인력과 시간이 필요한 일입니다. 설사 그런 인력과 시간이 있다고 하더라도 인용의 성격을 파악하는 것은 읽는 사람의 주관적인 판단이 개입되는 것이니 완벽할 수 없는 일입니다.

아울러 논문의 성격에 따라 인용되는 횟수의 차이도 생기지요. 아직 남들이 아무도 하지 않은 새로운 주제에 대한 연구를 시작한 경우 그 논문이 인용되는데는 시간이 걸릴 겁니다. 반면에 현재의 학계의 연구 동향에 대한 개괄적인 상황을 알려주는 이른바 Review Article 의 경우 그 논문 자체로서 새로운 연구 발표를 한 것은 아니지만 다른 논문들에 의해서 인용될 확률이 더 많습니다. 또 한 가지 주제에 대한 이론적인 사항을 이야기하는 논문은 그것을 실제에 적용한 사례를 이야기하는 논문에 비해 인용될 확율이 높습니다.

더구나 피인용지수를 계산하고 SCI 에 포함되는 연구물들은 대부분이 저널에 실린 논문들입니다. 단행본이 전혀 포함되지 않은 것은 아니지만 그 수가 극히 미미합니다. 그리고 단행본 안에서 이루어진 인용은 전혀 고려 대상이 아닙니다. 이 점은 학문 분야에 따라서 큰 문제가 될 수도 있는 것이지요. 논문보다는 단행본을 통해서 더 많은 연구 결과를 발표하는 학문 분야가 있고 또 발표된 논문에서 주로 인용하는 자료들도 논문이 아니라  단행본이나 기타 자료인 학문 분야도 있습니다. 연구자가 한 편의 논문을 발표하는데 들이는 노력과 한 편의 단행본을 발행하는데 드는 노력 중 과연 어느 것이 더 의미가 있을지는 쉽게 대답할 수 없는 문제입니다. 하지만 거의 논문만을 이용하는 SCI 의 세계에서 단행본을 발표하는 것은 큰 의미가 없습니다.
 
이처럼 질적인 구분이 되지 않은 상태에서 통계적으로 계산한 인용 횟수에 따라 피인용지수가 결정이 되고 그것이 표준이 되어 연구자들과 연구 기관을 평가하게 되었습니다. 그러다보니 피인용지수를 높이기 위한 여러 가지 변칙적인 방법도 나타나게 되었지요. 그래서 일부 저널들은 주제의 독창성을 떠나 Review Article 처럼 남들의 인용이 많을 것이라 예상되는 논문들 즉,  피인용지수를 높일 수 있는 논문들을 중점적으로 발표하는 현상도 나타났습니다. 아울러  피인용지수를 측정하기 위해 계산하는 인용횟수는 그 인용이 이루어진 저널을 따지지는 않기 때문에 같은 저널에서 발표된 논문들을 더 많이 인용하게 만드는 방법도 있습니다. 예를 들어 Science 지의 2008년 판에서  Science 지의 2007 년 판에 발표된 논문을 인용하는 경우 이것은 Science 지의 피인용지수를 높이는데 이용될 수 있습니다.

그 외에도 자신이 이전에 발표한 글을 자신의 다른 글에서 인용하는 경우가 있지요. 한 연구에 의하면 이와 같은 자기 인용의 비율이 논문에 따라 5-20%에 달한다고 합니다. 그리고 논문을 이해하는데 큰 관계가 없는 다른 저작들을 형식적으로 인용하는 경우도 있다고 합니다. 분야에 따라 다르지만 이와 같은 형식적인 인용이 20%-40%까지 된다고도 합니다. 또 친한 연구자들끼리 당장 논문과 관계가 없음에도 불구하고 서로의 논문을 인용해 주는 행위 등도 일어나고 있지요. 이와 같은 비양심적인 인용이 아니더라도 당장 주위에 있는 학술 논문을 한 편 구해서 읽어 보십시오. 특히 인용된 논문들과 그 논문들이 인용된 맥락을 살펴보시면 과연 이러한 '인용' 이라는 행위가 인용된 논문의 가치를 결정지을 수 있을지 의문이 드는 경우를 상당히 많이 발견하실 겁니다.

2003년 Medical Journal of Australia 에 짧은 글을 발표한 조지 런더버그(George Lundberg) 박사는 이런 말을 했습니다.
" 내가 JAMA, The Journal of American Medical Association의 편집장이 되었던 1982년 JAMA 의 피인용지수는 3-4 였다. 몇 몇 사람들이 이것을 수치스러운 일로 보았기에 우리는 우리 저널의 질을 높이는 작업의 일환으로 피인용지수를 높이기 위한 작업에 착수했다. 그 결과는 성공적이어서 1999년 내가 편집장에서 물러날 무렵 피인용지수는 10-11 정도가 되었다. 이상하게 들릴지는 모르겠지만 90년대 중반이 되면서 나는 JAMA 의 피인용지수가 올라가는 것을 의도적으로 막으려했었다. 왜냐하면 나는 JAMA 의 근본적인 목적, 즉 현직에 있는 모든 의사들에게 도움이 되는 저널이라는 그 목적이 변질되어 연구자들끼리 서로의 의견을 교환하기 위한 연구 저널로 JAMA 가 변해가는 것 같아 걱정 스러웠기 때문이다. "
이 글에서 런더버그 씨는 지난 1982년 있었던 일화를 소해했는데요. 그는 JAMA 의 창간 100 주년 기념 사업의 일환으로 JAMA 가 처음 발간된 1884년부터 당시까지 발표된 논문들 중 50개의 가장 중요한 논문들을 선정했다고 합니다. 이 선정 작업에는 JAMA 의 편집진들을 비롯한 그 분야의 전문가들이 참가했다고 합니다. 그런데 그 논문들과  SCI 를 통해 파악한 JAMA 에서 가장 많이 인용된 100 편의 논문들 비교해 보니 50 편의 중요 논문 중 단지 13편 만이 가장 많이 인용된 100 편의 논문에 들어가 있더라는 겁니다. "인용 횟수"와 논문의 질이 반드시 일치하지는 않는다는 것이지요.

이처럼 '인용' 횟수를 기준으로 피인용지수가 매겨지고 그것을 바탕으로 또 SCI에 실릴 저널들이 결정되다 보니 SCI 에 실린 저널들은 미국 혹은 영어에 편중되었다는 비판도 있습니다. 아래의 표를 보시면 당장 그 사실을 쉽게 아실 수 있는데요. 전세계에서 발간되는 각 종 저널과 일반 정기 간행물들에 대한 정보가 실려있는 울리히 국제 정기 간행물 목록(Ulrich's International Periodicals Directory)을 통해서 각 국가 그리고 각 언어별로 현재 발간되고 있는 저널의 숫자와 그 중 SCI 에 등재된 저널의 숫자를 비교해 보았습니다. 저널에 따라서는 복수의 발행 국가와 언어가 등록된 경우도 있습니다만 전체적인 상황을 파악하는데는 큰 무리가 없으리라 생각합니다.
영어가 전세계에서 마치 공용어처럼 쓰이고 있는 현실에서 위와 같은 상황은 어찌 보면 당연한 일일런지도 모릅니다. 인용 횟수가 중요한 역할을 하는 SCI 와 피인용지수 측정 방식이다보니 당연히 전세계에서 많은 사람들이 읽을 수 있는 영어로 된 논문과 저널의 비율이 높게 나오는 것이겠지요. 그러나 이것은 영어로 된 논문이 다른 언어로 된 논문보다 질적으로 높은 수준에 있다는 것은 의미하지는 않습니다. 위에서도 말씀드렸지만 많이 인용되었다고 해서 반드시 질이 높은 것은 아니라는 말입니다.

이와 같은 비난에 대해 SCI 와 JCR 을 옹호하는 사람들은 그 비난 자체가 무의미한 것은 아니라고 말합니다. 분명 그와 같은 문제점은 존재하지만 그것이 전체적인 상황을 변화시킬 만큼 큰 변수는 아니라고 이야기하고 있습니다. 그러나 이들 역시 피인용지수를 도구로 연구자나 연구 기관을 평가하는 것이 매우 위험하다는 말을 하고 있습니다. 지난 2006년 JAMA 에 발표한 가필드 씨의 글에서는 피인용지수에 대해 이야기하며 이에 대한 Hoeffel 박사의 의견을 소개하고 있습니다.
"피인용지수는 논문의 질을 평가하는데 완벽한 도구는 아니다. 그러나 그보다 더 나은 도구는 현재 존재하지 않는다. 피인용지수는 이미 존재하고 있다는 장점이 있고 따라서 과학적인 평가를 내리기 위해 좋은 기술이다. (Impact Factor is not a perfect tool to measure the quality of articles but there is nothing better and it has the advantage of already being in existence and is, therefore, a good technique for scientific evaluation.)
경험적으로 보았을 때 각 분야에서 최고의 저널들은 논문을 싣기 가장 힘든 저널들이고 그 저널들이 피인용지수도 높다. 이러한 저널의 대부분은 피인용지수가 등장하기 전부터 있어왔고 (논문의) 질을 평가하는데 피인용지수를 이용하는 방법은 이미 널리 퍼져있는데 그것은 각 분야에서 최고의 저널에 대해 우리가 가지고 있는 생각과 잘 들어맞기 때문이다."
실제로 최근 여러 편의 글에서 가필드 씨는 Hoeffel 박사의 의견을 인용하고 있는데요. 불완전하지만 더나은 도구가 없기 때문에 그리고 이미 존재하고 있기 때문에 좋은 방법이라는 말은 쉽게 받아들이기 힘든 말입니다. 그런데 이 말은 제외하고라도 가필드 씨 역시 오래 전 부터 피인용지수만으로 한 연구자의 연구를 평가해서는 안된다고 여러 차례 이야기하고 있습니다. 피인용지수는 단지 하나의 도구일 뿐이므로 한 연구자와 그가 행한 연구의 질을 평가할 때에는 다른 평가 방법과 함께 사용되어야 한다고 말이지요.

그러나 실제 일어나고 있는 일들은 가필드 씨의 주장과는 반대로 진행되고 있습니다. 그리고 이와 같은 가필더 씨의 주장에 비추어 볼 때 우리 나라에서 최근 벌어지고 있는 일들은 정말 걱정스럽습니다. 마지막으로 다음 글에서는 이러한 SCI 와 피인용지수에 치중한 평가 방법이 가져올 수 있는 문제점들을 한국 상황에서 살펴보고 과연 해결책은 없는지 적어보겠습니다. 그리고 이 문제에 대해 관심있으신 분들에게 도움이 될 만한 자료들도 소개하겠습니다.
, , , , , , , 
by Clio | 2009/04/27 10:13 | 도서관 이야기 | 트랙백(1) | 핑백(3) | 덧글(16)
트랙백 주소 : http://cliomedia.egloos.com/tb/2302471
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
Tracked from powereyes' m.. at 2009/04/27 14:14

제목 : 힘눈의 생각
Cliomedia : SCI의 전성시대, SCI 에 대한 좋은 설명이 있는 글...more

Linked at Cliomedia : SCI.. at 2009/04/27 10:39

... 널은 다른 사람들에 의해 많이 인용되었으므로 피인용 지수가 그보다 낮은 저널에 비해 우수하다는 생각으로 이어지게 되었지요. 그러나 과연 그렇게 간단하게 말 할 수있을까요? 다음 글에서 이어집니다. ... more

Linked at Anything Review .. at 2009/04/27 13:35

... SCI에 대한 역사, 설명, 그리고 문제점에 대한 좋은 글 발견. :) SCI의 전성시대 (1) SCI의 전성시대 그러나 현실은.. 어떤 PNAS 논문이 내 논문을 다음과 같이 인용하면 뿌듯하고 자랑하고 싶은..;;; (이게 "자랑" 포스팅이 되는 현실.. -_-a) ... more

Linked at Cliomedia : SCI.. at 2009/04/28 11:27

... 연구자와 그의 연구를 평가하는 방식은 그것이 가진 위험에도 불구하고 여러 곳에서 이용되고 있습니다. 그리고 그러한 방법이 이용되고 있는 이유는 그것이 쉽고 간단하기 때문입니다. 앞서의 글에서 이러한 숫자가 가진 함정에 대해서 이야기했습니다만 한 사람의 연구자와 그가 행한 연구를 재대로 평가하기 위해서는 숫자를 보는 것 뿐만 아니라 그 사람의 연구를 제대로 ... more

Commented by 우기 at 2009/04/27 11:04
완벽한 도구는 존재하기 힘들다하더라도 SCI를 보완할 수 있는 도구의 개발을 위한 노력이 꼭 필요하다고 봅니다.

가끔은 정말 중요한 연구성과도 주류가 믿고 지지하는 학설이 아닐 때 외면받기도 합니다.
Commented by Clio at 2009/04/27 12:17
동감입니다. 그런 노력은 차지하고라도 지금 사용하고 있는 도구가 불완전하다는 인식만이라도 가지고 있었으면 좋겠습니다.
Commented by kc at 2009/04/27 13:04
사람들은 상대 평가에 익숙하기 때문이 관련 인덱스가 좋은 지 나쁜 지 따지기 전에 평가를 받아들이는 것이 아닐까요?
특히 인덱스라는 것이 점수로 나오니 상대 평가가 아주 쉽다는 점도 한 몫하겠죠.
또한 우리나라는 상대 평가를 맹신하니 이런 현상은 더더욱 심화된것이고요.
세계화의 큰 흐름을 따라야 된다는 명목으로 미국 유수(?) 저널에 논문을 내는 것을 최고로 치는 것도 해석이 가능하겠네요. ^^
Commented by Clio at 2009/04/28 11:36
상대평가라는 것이 도움이 되는 부분도 있지만 언제나 장단점이 있겠지요. 좀 더 심각하게 생각하고 고민하여 평가를 하고 판단을 내리는 그런 분위기가 늘어났으면 좋겠다는 생각이 듭니다.^^
Commented by 문경귀 at 2009/04/27 13:17
Clio님 깊이 있는 글 즐겨 읽고 있습니다. 인용 성격에 대한 문제는 검색 엔진이 보여주는 결과물에도 존재한다고 생각합니다. 구글이 검색 결과물을 정렬할 때 사용하는 방법도 해당 웹 페이지가 얼마나 많은 다른 페이지에서 참조되고 있는지에 따른다고 합니다. 하지만 이 참조 자체가 어떤 성격을 지닌 것인지를 고려하지 않기 때문에 사용자가 원하는 결과물이 얻어지지 않는 경우도 발생하지 않을까요?
Commented by Clio at 2009/04/28 11:38
중요한 점을 지적해 주셨습니다. 말씀하신 그런 부분이 저널과 인용지수에서도 충분히 적용되는 것이지요. 자신의 웹 싸이트를 구글 검색 결과의 상위에 올리는 것이 영업 이익과 직결되는 경우 기업체들은 여러 가지 방법을 사용하지요. 어떤 면에서 인용지수를 높이기위한 저널들의 노력 역시 그와 비슷한 점이 많다고 봅니다.
Commented by Betty at 2009/04/27 13:22
SCI급 운운하는 것도 부끄러운데 종종 국외SCI, 국내SCI 저널을 또 나누어서 평가하는 곳도 있습니다. ㅜㅜ
저는 공대생이라서 IF 얘기하면 정말 한숨만 나와요.
공학계열 논문은 당연히 피인용횟수가 떨어질 수 밖에 없는데... 똑같은 잣대 들이대고 거침없이 잘라내니 말이죠..
Commented by Clio at 2009/04/28 11:39
국외, 국내로 나누어 SCI를 따진다는 이야기는 처음 듣습니다만 충분히 그럴 수도 있을 것 같다는 생각이 듭니다. 정말 ㅜㅜ 입니다. ...
Commented by 필군 at 2009/04/27 13:38
숫자로 만들기가 쉽기에 - 즉 정량화 하기가 쉬우니 인용지수나 impact factor에 목을 메는 거겠죠. 반대로 얘기하면 심사자들이 피심사자들의 능력/실력을 제대로 검증할 능력이 없다...라는 뜻도 되겠습니다만. -_- 다른 댓글 분들도 얘기하고 있지만, 분야에 따라 이러한 수치가 천지차이인걸 생각하면 현재의 흐름은 좀 위험하죠. 말씀하신대로 현재의 방법에 위험한 측면이 있다, 라는 인식을 넓히는게 중요할 듯 싶습니다. 그리고 이러한 경험을 토대로 새로운 방법이 제안되겠죠.
Commented by Clio at 2009/04/28 11:40
동감입니다. 문제점을 인식한다면 그 도구를 좀더 조심스럽게 그리고 정밀하게 사용할 수 있겠지요. 그리고 그것을 보완할 다른 도구들도 만들수 있을 것이고 말입니다. 현재의 상황은 여러 면에서 위험하게 보입니다.
Commented by powereyes at 2009/04/27 14:09
좋은 글 잘 읽었습니다 :)
Commented by Clio at 2009/04/28 11:41
찾아 주셔서 감사합니다.
Commented by 사이동생 at 2009/04/27 15:36
저런 분류가 장점이 되기도 하지만 단점이 되기도 하지요. 가장 큰 단점이라면 정량화된 정량화 될 수 없는 연구의 결과가 되겠네요. 좋은 글 잘 읽었습니다.
Commented by Clio at 2009/04/28 11:41
세상에 완벽한 도구는 없다고 봅니다. 중요한 것은 그 사실을 사용하는 사람이 얼마나 인식하는가 하는 문제이지요. 좋게 보아주셔서 감사합니다.^^
Commented by virustotal at 2009/04/27 22:28
삼천포로 가는 댓글이라고 할수 있으나
제가 전에 이런말을 선생님에게 안했지만 아무튼 제가 이런일이 나오면 흔히 하는 말인데
과거시대 그사람이 살았을떄 아주 유명하고 잘 나간 화가 소설가도 있습니다.
그러나 몇년 몇세기 뒤에서는 "뭐야 그런놈이 있어" 되는 그림과 책이 있지만

그당시에는 뭔소린지 모르고 뭔 뜻인지 모르지만 나중에 아주 대단하다고
그 사람이 있기전과 있은후로는 전혀 다른 세계가 나오는데
음 대표적인예가 멘델이죠 살아서는 미친놈 물론 그사람도 연구하면 문제점이 있어요

아무튼 1000만명이 하나의 거짓을 진실이라고 말한다고 해서 다시 말해 그 당시 기술로 맞다고 생각한다고 해
그것이 좋은 인용이라고 볼수없죠

그 대표적 예가 인터넷 지식나누기에서 다수결이 맞다고 하면 맞는 의견으로 몰아가는 시스템이 있던데

어이가 없다고 학자들이나 지식인들이 말하더군요

정치이야기 하자면
정치도 뭐 민의를 무시하네 뭐냐 하지만 어떻게 보면 바둑판 훈수 10명 100명이 뭐라고 다수결로 뭐라하지만

이창호나 이세돌 같은 사람들이 낫다고 하죠

다수결 많은 인용 그래서 소피스트들이 차라리 똑똑한 소수가 대수를 경영하는것이 낫다고 했지만
Commented by Clio at 2009/04/28 11:43
멘델의 연구 결과를 두고 인용 통계 분석을 한 논문을 본 기억이 있는데 지금 찾을 수는 없군요. 지적하신 것처럼 절대적이고 항구적인 판단을 그렇게 쉽게 내릴 수는 없는 일이지요. 더구나 긴 시간을 두고 본다면 더욱 그러하리라 생각합니다. 좋은 말씀 감사합니다. ...삼천포라니요.전혀 그렇지 않습니다^^

:         :

:

비공개 덧글