또한, PhonePass 테스트에 사용되는 녹음 문항은 북미 영어를 구사하는 모국어
사용자의 다양한 표본에서 추출하였습니다.
영어 모국어 사용자에 대한 PhonePass 테스트 평가 또한 PhonePass 테스트의
내용 타당성을 지지하고 있습니다.

각 능력의 평가 기준에 대한 자세한 지침은 구술 영어를 가르치고 평가하는
분야에서 활동하는 전문 언어학자들에 의해 개발되었습니다.

PhonePass SET-10 시제품은 4,000명 이상의 영어 모국어 사용자 및 비모국어
사용자를 대상으로 한 인증 연구를 거쳤습니다.

영어 모국어 사용자 준거 집단은 미국 전체 인구를 지역적으로 대표하고 18세에서
50세에 이르는, 교육 받은 성인377명으로 이루어졌습니다.

여성/남성 비율은 60/40이었고 18%는 흑인이었습니다. 비모국어 준거 집단
(NNG; non-native norming group)은 전화 통화를 통해 선발된, 40가지의 서로
다른 언어를 모국어로 사용하는 519명의 사람들로 구성되었습니다.

이 비모국어 준거 집단은 영어가 모국어가 아닌 3,500명 이상의 사람들에게 전화를
걸어 그 중에서 선택한 사람들입니다.

NNG의 언어 분포는 TOEFL과 유사하며 각각 15명 이상의 언어 사용자들로 이루어진
한국어, 중국어, 스페인어, 일본어, 프랑스어, 이탈리아어, 태국어로 이루어져
있습니다.

연령층은 17세에서 63세까지며 여성/남성의 비율은
50/50이었습니다.

PhonePass SET-10의 개발 과정에서 채점자들은 수백명의 서로 다른 응시자
들로부터 얻은 22,000회 이상의 응시결과를 분석했습니다.
채점자들이 매긴 점수의 응답 분석결과는 채점자들이 비교적 일관되게 유창성,
발음, 회화 능력 점수를 매겼음을 보여주고 있으며 채점자 간 신뢰도는 0.82에서
0.86사이였습니다.

서술형 질문에 대한 응시자의 응답에 기초한 전반적 회화 능력 평가는 신뢰도
0.93이었습니다. 북미 지역과 유럽, 아시아 지역의 교육 기관과 기업들이
PhonePass 시스템 개발과 인증 테스트에 참여해주었습니다.
(아래의 기관을 포함한 25개 기관)

Bologna University, Italy