검색 엔진 이야기(1) -보이지 않는 웹

'보이지 않는 웹(Invisible Web)'에 관한 전설을 들어보셨습니까? 보통 인터넷을 서핑할 때 찾고자 하는 자료가 있으면 대부분의 사람들은 인티넷 검색 엔진을 이용합니다. 그리고 그러한 검색엔진을 통해 검색되는 웹싸이트들을 '보이는 웹(Visible Web)' 이라고 할 수 있습니다. 따라서 보이지 않는 웹은 인터넷 검색 엔진을 통해 검색되지 않는 웹페이지들을 의미합니다.

"구글이 인덱싱한 웹 페이지가 얼만데.." 하고 생각하실런지도 모르겠지만 검색엔진들이 인덱스한 웹싸이트들은 인터넷에 존재하는 웹싸이트들 중 극히 일부분이라고 합니다. 물론 처음 '보이지 않는 웹'에 관한 이야기가 나왔을 때에 비해 검색 엔진은 많이 진화했습니다. 그래서 당시에는 검색되지 않던 각종 문서 파일(PDF 나 DOC 등)내에 있던 내용도 이제는 검색이 됩니다. 그러나 여전히 검색엔진을 통해 검색할 수 없는 많은 웹페이지들이 있습니다.

웹페이지 소유자가 의도적으로 검색 엔진의 접근을 막아 놓았거나 이용자가 돈을 지불하고 가입해야 하는 각 종 데이터 베이스 내의 자료들, 그리고 가입이 필요하지는 않아도 이용자가 검색어를 입력해야만 결과를 볼 수 있는 각 종 데이터 베이스 상의 자료 등은 여전히 검색 엔진을 통해 검색하실 수 없습니다. 그런 의미에서 이러한 종류의 웹싸이트들을 '보이지 않는 웹' 혹은 '깊숙한 웹(Deep Web)'이라고 부르지요.

이러한 보이지 않는 웹의 숫자가 얼마나 되는지는 정확한 통계가 없습니다. 눈에 보이는 웹페이지의 500배 정도라고 하기도 하고 검색 엔진은 전체 웹페이지의 15-20%만 인덱스했다고 주장하는 사람들도 있습니다. 사실 이 경우 숫자는 큰 의미가 없지요. 매 순간 늘어나는 웹페이지의 정확한 숫자를 파악하기란 애당초 불가능한 일이다 보니, 보이지 않는 웹의 숫자 파악은 의미 없는 일입니다. 대신 명심해야 할 것 중의 하나는 우리 눈에 보이는 웹페이지보다 보이지 않는 웹페이지들이 더 많다는 사실입니다. 그리고 이것은 우리의 인터넷 사용 습관과 관련해서 중요한 점을 지적하고 있습니다.

대부분의 인터넷 이용자들이 검색 엔진을 통해 정보를 찾는 현재 상황에서 검색 엔진은 막강한 권력을 가지고 있습니다. 그리고 그 권력은 안타깝게도 이용자들 스스로 검색 엔진에게 부여해 준 것입니다. 지구상에 존재하는 모든 정보가 인터넷에 있을 것이라는 환상과 인터넷 검색 엔진이 필요한 모든 것을 검색해 내리라는 착각이 합쳐지면서 검색 엔진은 마치 세상의 모든 정보가 들어있는 백과 사전과 같은 존재가 되었습니다. 실제 그렇다는 것이 아니라 사람들이 그렇게 믿고 있다는 것이지요.  검색 엔진을 검색해보고 검색 결과에 포함되지 않으면 그 정보는 존재하지 않거나 가치 없는 정보가 되어버립니다. 그것도 불과 한 두개의 검색 엔진에서 한 두개의 검색어만을 입력해서 나온 결과를 보고 내리는 결정입니다.

오늘 저녁에 외식을 어디에서 할 건지 결정하기 위해 검색 엔진을 이용했는데 검색 결과가 없다면 그것은 큰 문제가 될 일은 아닙니다. 그러나 자신의 사업이나 연구 혹은 생명과 관련된 중요한 정보를 검색했는데 결과가 없다면 그리고 검색 엔진을 통해 결과가 나오지 않았다는 사실을 토대로 잘못된 결정을 내리게 된다면 그것은 정말 큰 문제입니다.  일전에 어느 블로그에서 읽은 이야기입니다만 한국의 한 중소기업에서 미국에 진출하기 위해 미국의 관련 업체를 네이버를 통해 검색했는데 검색 결과가 하나도 없었다고 불평하더랍니다. 다행히 이 경우는 검색 엔진을 통해 검색하기 이전에 이미 미국에 관련업체가 있을 것이라는 생각을 하고 있기 때문에 네이버에 검색 결과가 없으면 다른 방법으로 찾아 볼 수 있겠지요. 하지만 그렇지 않은 경우는 어떨까요?

(위의 경우 구글을 통해 미국의 관련 업체들을 검색할 수 있을 겁니다. 그런데 구글 역시 전체 웹페이지 중의 일부만을 보여줄 뿐이라는 사실을 감안한다면 통상적인 검색 엔진만을 맹신하는 것은 자칫 문제를 일으킬 수 있습니다. 물론 일반적인 정보 검색이나 일상 생활에서는 네이버나 다음이면 충분할 겁니다. 이 글은 좀더 전문적인 일을 위해 인터넷을 이용하려 하시는 분들을 위한 것입니다.)

그렇다면 이러한 보이지 않는 웹을 검색할 방법은 없는 것일까요? 그렇지는 않습니다. 이용자가 자신이 찾고자 하는 분야와 관련된 정보가 있는 장소를 알고 또  찾고자 하는 정보가 많이 수록된 전문 검색 엔진이나 데이터 베이스를 사용하면 완벽하지는 않아도 어느 정도는 가능한 일입니다. 

제가 하고 있는 일의 특성 때문에 저는 많은 종류의 검색 엔진과 데이터 베이스를 사용합니다. 그래서 특정한 종류의 정보만을 찾아주는 전문 검색 엔진들을 소개해 보아야겠다는 생각을 했습니다. 물론 일상 생활에서는 필요하지 않은 것들일 수도 있습니다. 하지만 그저 재미삼아 보아 두셨다가 나중에 필요할 때 (기억나신다면)다시 한 번  찬찬히 살펴보시면 도움이 될 때도 있을 겁니다. (혹시 직장이나 학교에서 중요한 프로젝트를 위해 필요하신 정보가 있으신 분들은 덧들을 남겨주시면 관련 검색 엔진들을 알아 봐드릴 수도 있습니다. 블로그를 이용한 참고 봉사 서비스의 한 예가 되겠군요.^^)

* 이 글에 사용된 이미지는 Flickr's Creative Commons pool 에서 가져온 것들입니다.