<신뢰도와 타당도 개념과 종류>

 

신뢰도 : 측정에서의 정확성과, 일관성을 의미

 

신뢰도를 통계적인 용어로 설명해본다면, 신뢰도를 높이 갖는 측정도구는 특정한 구성이나 개념을 측정함에 있어, Measurement error(측정오류) 이적은 observed score(관찰값)을 도출하게 된다.. 여기서 Measurement error는 측정 대상에 대한 true score(참값) 과 측정 대상의 관찰값의 차이로 정의할 수 있다. 참값은 측정에서 오류가 없을 때 얻을 수 있는 기댓값이고, 관찰 값이란 측정도구를 통하여 실제로 측정된 값이다.

 

관찰값 = 참값 + 측정 오류

 

신뢰도 측정방법

1. 검사-재검사법

검사-재검사 신뢰도는 동일한 검사를 동일한 대상에게 일정한 시간 간격을 두고 두 번에 걸쳐 실시했을 때 두 번 실시한 시험 점수가 일치되는 정도를 의미한다. 두 번 실시한 점수가 일치되는 정도를 의미한다는 점에서 안정성 계수라고 부른다. 검사-재검사 신뢰도에서 오차의 근원은 시간 간격이다.

이 방법에서 측정방법은 검사-재검사 신뢰도는 동일 검사를 동일집단에게 두 번 실시하여 얻은 두 검사 점수 간의 상관계수로 추정한다. 이 검사는 측정방법이 간단하다는 장점을 지니고 있지만 여러 가지 단점을 지니고 있다.

1. 시험 간격 설정에 따른 논란이다. 시험간격 설정은 검사를 두 번 시행하는 데 따른 기억효과를 배제하기 위한 기간을 의미한다. 일반적으로 2주에서 4주의 기간을 설정하나 검사도구의 특성이 시험간격 설정의 주요 변수가 된다.

2. 검사를 두 번 시행하는 데 따른 문제점이다. 현실적으로 검사를 두 번 시행해야 하는 번거로움과 동일한 검사환경, 검사에 대한 동일한 동기와 검사태도를 만들기 어렵다는 점이 문제로 제기된다.

 

 

2. 동형검사법

동형검사 신뢰도는 문항 내용은 다르지만 측정내용, 문항수, 문항형식 등이 같도록 만든 두 개의 동형검사를 동일한 대상에게 연속적으로 실시했을 때 두 개의 검사에게 받은 점수가 일치되는 정도를 의미한다. 동형검사 신뢰도는 두 검사의 유사성을 측정하며 평행검사 신뢰도라고도 한다.

해당 방법에서 측정방법은 두 개의 동형검사가 제작되어 동일 피험자에게 검사가 두 번 시행되어야 한다. 두 번 시행으로 얻어진 각 피험자의 검사점수 간의 상관계수를 계산하여 동형검사 신뢰도를 측정한다. 하지만 동형검사 신뢰도 또한 장단점을 가진다. 두 개의 동형검사를 동일집단에게 동시에 시행하므로 시험간격이 문제가 되지 않으며 신뢰도 계수 측정이 쉽다는 점이 장점이다. 단점으로는 동형검사 제작이 어렵다는 점을 들 수 있다. 동형검사 신뢰도는 추정 시 두 검사의 동형성 여부에 따라 동형검사 신뢰도 계수가 달리 추정되는 단점이 있으므로 연구자의 검사도구 제작능력에 따라 신뢰도 계수가 영향을 받게 된다.

 

3. 반분법

도구의 내적 일관성을 측정하는 방법 중의 하나로, 도구에 있는 항목들은 단순하게 두 가지 부분으로 나눈 후, 상관계수를 이용, 두 가지 부분이 같은 개념을 측정하게 되는 방법이다.

예를 들어서가지 문항이 있다면, 이를 두 가지 부분으로 나눈 후에 한쪽이 높으면 다른 한쪽이 높을 것, 혹은 한쪽이 낮으면 다른 한쪽은 낮을 것으로 보게 된다.

 

 

타당도 : 조사자가 만든 측정도구가 측정하고자 하는 개념을 왜곡되지 않도록 정확히 측정하고 있는지 또는, 측정치가 연구자가 설명하고자 하는 개념을 잘 설명하는지에 대한 것

 

 

타당도 평가방법

1. 내용타당도

측정도구에 포함되어 있는 지표가 해당 내용의 모집단을 대표하고 있는지의 정도를 나타내는 측정도구의 대표성 또는 표본 문항의 적절성을 의미하는 것으로 논리적 타당도라고도 불리며 특징으로는 측정도구에 포함돼있는 설문 문항들이나 관찰 항목에 대해서 적합성을 결정하기 위해 주관적 판단에 기초한다.

또한 장점은 문항에 대한 면밀한 검토에 따른 주관적인 판단에 의존하므로 적용이 쉽고 시간이 많이 소요되지 않으며 단점으로는 연구자나 전문가의 주관적 판단에 의존하므로 오류의 가능성이 있다. 따라서 이를 해결하기 위해 다양한 외부적인 관점을 포함시켜 주관성의 소지를 최대한 줄여야 한다.

 

2. 기준타당도

단일 측정도구를 사용하여 측정한 결과를 이미 타당성이 경험적으로 입증된 독립된 기준을 적용하여 측정한 결과와 비교하여 나타난 관련성의 정도를 의미한다.

기준타당도는 비교 기준의 시점에 따라 동시타당도, 예측 타당도로 나눈다

-동시타당도 : 동시에 두 개 이상의 도구를 이용하여 측정을 실시하고 결과치들을 비교하여 상관관계의 높고 낮음으로 타당도를 판단하는 방법

-예측타당도 : 측정에 의한 결과가 미래의 다른 개념을 예측하는데 사용되는 개념이라면, 측정에 의한 결과치와 예측하고자 하였던 개념의 실제 값을 비교한 상관관계로 타당도를 판단

 

기준타당도는 개발된 측정도구에 의해 산출된 측정 결과들이 비교의 기준이 되는 다른 측정결과들과 상관성이 높을 때 기준타당도는 높으며 측정값과 비교의 기준 사이의 상관관계 계수를 가지고 타당도 계수로 많이 사용 한다.

또한 외부 기준으로 동원된 측정치 자체에 대한 타당도와 신뢰도를 살펴볼 경우 이미 타당도와 신뢰도를 널리 인정받은 측정치를 선택한다. 이는 현존하는 상태를 측정하는 것으로 서로 상이한 두 대상을 구별해 내는 능력인 동시적 타당도와 특정도구가 현재의 상태로부터 미래의 차이를 얼마나 정확하게 예측해 내는지의 능력인 예측적 타당도가 있다.

장점은 타당도 계수를 계산해 냄으로써 내용타당도에 비해 훨씬 객관적이고 비교가 가능하다.

단점으로는 기본적으로 비교 기준을 이용하기 때문에 비교 기준이 있는가를 알아야 하고 그 비교기준이 타당한 것인가를 먼저 고려해야 하는 등의 추가적인 비용이 소요된다.

 

3. 구성타당도

정되는 개념이 어떤 관련을 맺고 있는 개념들이나 가정들을 토대로 전반적인 이론적 틀 속에서 측정도구의 타당성을 경험적으로 검증하는 방법이다.

구성타당도를 평가하는 방법으로는 다중속성기법과, 요인 분석이 있다.

 

-다중속성 : 서로 다른 두 가지 개념(다중속성)을 재는 두 가지의 척도(다중측정)가 동등한 수준이라고 가정하고 동일한 응답자에게 측정을 실시하여 측정치들 간의 관계를 검증함으로써 연구자의 척도가 타당한 것인가를 보여주는 방법

 

-요인분석

여러 문항과 잠재적인 요인 간의 상관관계를 산출해서 상관관계가 높으면 같은 요인으로 묶고, 요인별로 상호 독립적이 되도록 하는 분석방법이다.

가.탐색적 요인분석:개념들간의 관계를 탐색적으로 파악하고자 할 때 사용

 

 

신뢰도와 타당도 관계

 

-신뢰도가 있어도 타당도는 없을 수 있다.

-타당도가 없어도 신뢰도를 가질 수 있다.

-타당도가 높으면 반드시 신뢰도가 높다.

타당도가 높은 측정은 반드시 신뢰도가 높지만, 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아니다.

-신뢰도가 낮고 타당도가 높은 측정은 없다.

-신뢰도가 높고 타당도가 낮은 측정은 있다.

-타당도는 신뢰도에 대한 충분조건 신뢰도는 타당도의 필요조건이다.

 

---

도움이 될 만한 관련 글∇∇∇

[사회복지정책론] #4장, 사회복지정책 형성 및 결정. 사회복지사 1급 필기시험 요약!

 

 

사례관리 정의 및 구성요소

 

---

 

좋아요와 구독은 글을 쓰는 힘이 됩니다.

좋은 하루 되세요.