책리뷰 연구를 제대로 수행하고있는지 타당성과 신뢰성 알아보기

 

질적연구의 신뢰도와 타당도

연구를 제대로 수행하고 있는지 타당성과 신뢰성 알아보기

질적 연구자들이 연구를 수행하면서 또는 연구물에 대해서 흔하게 고민하는 문제들은 '연구 목적을 달성하기 위해 연구를 제대로 수행하고 있는가?' '본 연구의 결과가 과연 믿을 만하고 타당한 것인가?' '연구 목적과 다르게 부정확한 연구를 하고 있는 것은 아닌가?' 등 연구자들은 이런 고민거리에 대해 연구 초기에 계속해서 의문을 가지게 됩니다. 이에 오늘 저는  질적 연구에서 논의가 되고 있는 타당성과 신뢰성에 대한 학자들의 견해를 중심으로 타당성과 신뢰성을 높이기 위한 전략에 대하여 알아보도록 하겠습니다. 

타당성

양적 연구에서 논하는 타당도는 검사도구가 측정하고자 하는 것을 실제로 충실하게 측정하였는가를 말합니다. 타당도는 연구자가 알고 싶은 혹은 검사하고 싶은 내용을 측정하는 데 있어 타당성이 높은가 낮은 가에 대한 정도를 의미하는 것입니다. 모 학자들은 양적 연구에서 논의되는 타당도와 신뢰도의 개념을 질적 연구에 적용시켜 양적 연구에 상응하는 질적 연구에서의 타당성과 신뢰성에 저해되는 요인의 중요성에 대하여 논의하였습니다. 양적 연구에서와 마찬가지로 질적 연구에서 타당도와 신뢰도를 감소시킬 수 있는 요인이 존재하며 질적 연구 나름대로 타당도와 신뢰도를 향상하기 위한 전략이 필요하다는 것입니다.

타당성과 신뢰성은 양적 연구 혹은 질적 연구의 형태와는 상관없이 중요한 이슈로 논의되고 있지만 양적 연구에서 이해, 작동되는 타당성과 신뢰성의 개념이 질적 연구에서 이해, 작동되는 개념과는 거리가 있음을 알 수 있습니다. 이는 타당성과 신뢰성은 연구 자체의 목적 및 이론적 배경과 인식론적 바탕, 연구자 및 연구 참여자의 세계관 등에 따라 다르게 이해되거나 작동될 수 있다는 점입니다. 

질적 연구에서 타당성에 관한 관점들과 용어들이 존재하듯 타당성을 높이기 위한 전략도 학자들 마다 조금씩은 다릅니다. 주요 학자들이 제시한 타당성 전략과 기법에 관하여 공통적으로 논의하고 있는 전략과 방법에 대하여 알아보겠습니다. 질적 연구의 질을 높이고 신빙성을 향상하기 위해 주의할 점을 알아보면 먼저 엄격한 현장조사법을 통해서 높은 질의 자료를 얻을 수 있으며 나중에 체계적인 분석이 가능한 현장조사법이 있습니다. 또 연구자의 신빙성은 연구 훈련 정도, 경험, 추적 기록, 지위, 자기표현 들에 기초하는 신빙성이 있습니다. 마지막으로 질적 연구의 가치에 관한 철학적인 믿음입니다. 조작되지 않은 자연스러운 탐구, 질적인 방법들, 귀납적인 분석과정, 의도적 표집방법, 종합적 사고 등에 대한 연구자의 믿음이 있어야 한다는 점입니다. 

타당성을 높이기 위한 전략 

어느  저명한 학자는 타당성을 높이기 위한 여섯 가지 구체적인 전략을 제시하였습니다. 첫 번째는 삼각 검증법입니다. 이는 다수의 연구 조사자, 다수의 자료원, 또는 연구결과를 확인하기 위한 다수의 방법을 사용하는 것을 말합니다. 학자들에 따라서 삼각 검증법이 실증주의적 성격을 띠고 있어  질적 연구 본연의 목적과 성격과는  맞지 않는다고 주장하지만 삼각 검증법은 질적 연구 상황에서 타당성을 확보하는 데 있어 가장 흔하게 사용되는 전략 중하 나입니다.

질적 연구의 타당성을 높이기 위한 또 하나의 전략으로는 연구 참여자 확인법이 있습니다. 연구결과에 대해서 또는 연구를 수행하고 수집된 자료를 분석하는 과정에서 연구자는 연구 참여자들의 견해를 물어 연구의 정확성을 추구하는 방법입니다. 연구자는 연구에 첨 여했던 대상자 1명에서  3명에게 연구의 분석과 연구결과물에 대한 정확성을  확인할 것을 요청하게 됩니다. 이때  연구 참여자는 연구자가 연구 수행 당시 자신의 의견을 왜곡하지 않고 제대로 해석하였는지 연구자의 표현 및 기술이 정확하고 공정한지 분석과정에서 빠뜨리거나 임의로 추가된 사항은 없는지 연구결과의 주제가 제대로 참여자의 견해를 나타내고 있는지 등을 검토하게 됩니다. 그 결과 연구자는 연구 참여자 확인법을 통해 연구의 정확성, 신빙성, 타당성을 확보할 수 있게 됩니다. 

세 번째 타당성 전략으로는 장시간 관찰법이 있습니다. 장시간 관찰법은 연구가 행해지고 있는 장소 혹은 같은 현상이 반복되고 있는 것을 비교적 장기간에 걸쳐 관찰을 수행함으로써 타당성을 높이는 방법을 말합니다. 

네 번째로는 동료검토 법을 통해 질적 연구의 타당성을 향상할 수 있습니다. 수행하고 잇는 연구주제, 질적 연구방법론, 관련 분양에 대해 잘 알고 있고 연구에 대해 자신의 의견을 충분히 제공할 수 있다고 판단되는 동료 3명에서 5명을 선정하여 그들에게 연구 분석자료와 연구결과에 대한 검토를 요청하는 방법입니다. 

또 다른 전략법은 연구자의 편견을 독자들에게 명확하게 알리는 방법입니다. 연구자는 독자들에게 연구자의 성별, 나이, 인종, 출생지, 과거 경험, 직업, 삶의 신조, 정치적 성향, 등 연구를 하는 데 있어 관련되거나 영향을 준 이론적 방향등에 관한 사항을 제공함으로써 이러한 요인들이 연구에 접근하고 수행하는 데 있어 어떠한 영향을 주며 어떻게 해석되는지를 알 수 있게 도와줍니다. 

신뢰성을 높일 수 있는 전략

신뢰도는 동일한 피험자 집단에서 동일한 검사를 반복 시행하거나 같은 대상을 상대로 다른 형태의 검사를 실시하여 얻은 두 측정치 간의 차이를 말합니다.  인간의 행동을 측정하는 사회과학 분야에서는 신뢰도를 정확하게 측정하기가 쉽지 않습니다. 조작되지 않은 자연스러운 상황에서 인간의 행동을 기술하고 관찰에 의존하는 질적 연구에서는 신뢰도를 논한다는 자체가 잘 맞지 않으며 신뢰도를 측정하기 위해 같은 연구를 반복적으로 수행하여 같은 결과를 기대한다는 것은 비논리적이기 때문입니다. 

신뢰성을 높이는 첫 번째 전략은 삼각 검증입니다. 타당성 전략에서도 언급했듯이 다수의 자료, 다수의 방법, 다수의 조사자, 다수의 이론 등을 활용하여 연구의 신뢰성을 향상하는 방법입니다. 두 번째는 연구자의 견해입니다. 어떤 질적 연구를 수행할 때 연구자는 연구의 전제, 관점, 이론, 정보제공자에 대한 설명, 자료에 있어서의 사회적 맥락 등에 대한 정보를 충분히 제공함으로써 연구의 신뢰성을 높일 수 있습니다. 세 번째 전략 감사 추적기법은 질적 연구의 신뢰성 및 일관성을 확립하기 위한 것으로 연구자가 전체 연구자의 수행과정을 문서의 형태로 상세히 기록하여 제삼자가 그 기록을 통해 연구자의 행적을 추적하여 연구결과물이 도출된 경위와 그 근거의 전후관계를 명확히 파악할 수 있도록 함으로써 연구과정의 엄격함과 진정성을  밝히는 방법입니다. 

질적 연구는 인과관계, 일반화, 검사, 예측 등에 관심을 두고 있는 양적 연구와는 다르게 깊이 있는 심층 기술을 통한 '이해'에 보다 많은 관심을 두고 있습니다. 그렇기 때문에 양적 연구에서 주로 논의되는 타당도와 신뢰도의 개념 및 적용은 질적 연구를 수행하는 상항에서는 잘 맞지 않다는 제기가 제기되어오고 있습니다. 양적 연구든 질적 연구든 연구의 신뢰성과 타당성에 대한 논의와 검토는 그 연구가 어떠한 세계관과 인식론에 근거하여 연구가 설계되었는지에 따라 연구 자료는 어떻게 수집, 분석되어 그 결과를 해석하고 있는지에 대한 주의가 요구됩니다. 위에서 알아본 타당도와 신뢰도 높이는 전략을 잘 활용하여질 높은 연구 결과물을 얻을 수 있기를 바랍니다.