메타분석 범람의 시대

꽤 많은 메타분석연구와 논문에 참여하면서, 나 역시 아래 칼럼과 같은 생각을 한 바 있다.

[바이오토픽] 생의학 분야의 리뷰 논문, 너무 많아서 탈!

Pubmed에서 메타분석[타이틀] 키워드를 넣어보면, 1996년에 250편이었던 것이 급격히 늘어 2006년 1021편, 2016년 현재 9400편이 검색된다. 최근 10여년만 봐도 10배 정도로 불어난 것이다. 칼럼에서는 중국 저자들의 유전적 연관분석연구(genetic association study)가 특히 많이 늘었으며, 2014년에 발표된 메타분석의 63퍼센트를 차지했다고 한다. 실제 검색을 해보면 유전 관련 이외의 영역에서도 중국 연구자들의 논문이 다수를 차지하고 있음을 쉽게 알 수 있다. 왜 이런 현상이 생겼을까? 칼럼에서도 지적하고 있지만, 몇 가지 생각해볼 점이 있다.

저비용 고효율

연구자가 직접 data를 모아 진행하는 역학 연구나 임상 시험은 규모에 따라 수백만-수억원의 연구비가 들지만, 메타분석의 경우 비용이 거의 들지 않는다. 기존 발표 논문을 검토하는 작업이 대부분이므로 막말로 연구 시작부터 끝까지 컴퓨터 앞에 앉아서 끝낼 수도 있다. 그럼에도 불구하고 메타분석 논문은 상대적으로 좋은 성과를 내는 경우가 많다.(그 성과란 저명한 저널에 출판을 하고, 해당 논문의 피인용지수가 높아지는 것이다.) 메타분석 논문이 공장에서 찍어나오는 것처럼 양산되는 요즘엔 사정이 좀 다르지만, 메타분석 방법론의 역사가 짧아 새로운 논문들이 많이 나올 수 있었던 것이 주된 이유이다. 개인적으론 저널에서 메타분석 논문에 대해 후한 평가를 내려왔던 것도 영향을 미쳤다 본다.

Review

체계적 고찰과 메타분석은 연구 방법 면에서 근거수준이 가장 높기 때문에 많은 저널에서 환대를 받아왔다. 연구자 입장에선 본인 논문이 출판될 확률이 그만큼 높아질 수 있는데다 비용도 안들기 때문에 해볼만한 일이다. 그로 인해 메타분석 논문은 급격히 늘었지만 메타분석에 대한 충분한 지식을 가진 리뷰어는 그만큼 늘지 않았다. 또한 체계적 문헌 고찰과 메타분석 논문을 검토하려면 개별 논문들보다 더 많은 시간과 노력이 필요하지만 대부분의 리뷰어는 그만큼의 시간을 투자하기 어렵다. 이러한 이유로 결함이 있는 논문이 리뷰 과정에서 걸러지지 않고 출판되는 일도 잦아지게 된다.

Garbage in, Garbage out

메타분석이라는 방법론 자체는 유용하지만 그 방법을 원칙에 따라 적용하지 않았을 때 문제가 생기기 마련이다. 어떤 방법론의 연구이든, 연구에 쓰인 raw data나 data를 모으는 방식에 문제가 많다면 좋은 결과물을 내긴 어렵다. 체계적 문헌 고찰은 대개 수백, 수천편의 논문을 검토해야 하는, 노가다에 가까운 힘든 과정이다. 연구자는 검토에 필요한 시간과 노력을 되도록 줄이려하기 마련이고, 그 과정에서 누락되는 연구들이 생길 위험이 크다. 또한 개별 연구에 대해 충분한 검토를 하지 않으면 포함되지 않아야 할 연구들이 포함될 수 있다.
환자대조군 연구나 코호트 연구라 가정하면 연구대상자의 포함/제외 기준이 잘못된 것인데, 이렇게 시작부터 잘못된 연구가 좋은 연구가 될리 만무하다. 이러한 문제를 줄이려면 칼럼에서 지적한 바와 같이 검색과 선정 과정을 구체적으로 명시하도록 해야하고, 현재는 많은 저널에서 이것을 요구하는 추세이다.

근거수준 피라미드

특정 연구 방법이 연구의 질을 보장해주지는 않는다. 전통적 연구 방법이든 메타분석이든, 함량 미달 논문은 늘 존재한다. 연구 방법마다 성격이 다르기 때문에, 주제에 맞는 방법으로 잘 수행된 연구라면 어떤 것이든 훌륭한 결과를 얻을 수 있다. 체계적 문헌고찰과 메타분석은 가장 높은 근거수준을 가진 연구 방법이지만 근거수준이 높다는 것이 곧 우월한 방법이라는 의미는 아니며, 메타분석으로 보고된 결과를 무작정 신뢰해서도 안된다. 제대로 수행되지 않은 메타분석은 증례보고만도 못한 가치를 지닐 수도 있다.