J Environ Anal Health Toxicol Search

CLOSE


J Environ Anal Health Toxicol > Volume 23(3); 2020 > Article
통계기법을 활용한 정도관리 결과 분석

ABSTRACT

The results of proficiency tests and on-site assessments regularly conducted by environmental testing and inspection organizations from 2011 to 2019 were analyzed. The non-conformity rate of the proficiency test decreased from 6.71% in 2011 to 1.17% in 2019, while the non-conformity rate of on-site assessments decreased from 17.9% in 2011 to 3.7% in 2019. By comparing the results of the two tests from 2011 to 2019, it was concluded that the quality control ability of environmental testing and inspection institutions has improved greatly. Moreover, it was established that the ability of the proficiency test to evaluate the physicochemical analysis capability and the ability of the on-site assessments to evaluate the operational capability of the laboratory were highly correlated.

1. 서 론

국립환경과학원에서는 우리나라 환경분야 시험·검사 기관의 측정분석능력을 향상시키고자 1983년부터 정도 관리 제도를 운영하여 왔으며, 2005년부터는 시험·검사 기관의 품질시스템 확립을 위한 국제적인 요구사항인 ISO/IEC 17025 [1]를 도입하여 본격적으로 숙련도 시험과 현장평가로 시행하고 있다. ISO/IEC 17025의 근간은 국가 간의 기술장벽의 해소를 위해 제품생산자의 품질시스템을 평가하여 품질보증 능력을 인정해주는 목적으로 제정된 ISO 9000시리즈로 볼 수 있다. 그 후 국제시험소인정협의회(ILAC)를 중심으로 시험, 검사 및 교정 분야에서는 ISO/IEC 17025를 바탕으로 국제적인 협력이 강화되고 있으며, 이러한 국제기구를 주축으로 국제적인 협력을 통해 세계 각국에서는 자국의 여건에 맞는 환경분야를 포함한 시험·검사기관들의 인정기구 및 시스템을 구축하여 운영하고 있다. 미국은 국가환경 시험·검사기관인정협의회(NELAC, National Environmental Laboratory Accreditation Conference) [2]를 중심으로 환경 분야의 측정, 인정프로그램운영, 국가표준을 통한 환경자료 생산을 위해 노력하고 있다. 영국의 UKAS (United Kingdom Accreditation Service) [3]를 중심으로 수질, 먹는물, 토양, 대기, 의료폐기물, 매립지가스, 미생물오염 등에 대한 분석기술의 평가와 인정업무를 수행하고 있다. 캐나다는 CALA(The Canadian Association for Laboratory Accreditation) [4]를 중심으로 수질, 대기, 토양을 포함한 환경분야의 시험기관 및 검사기관에 대한 인정업무를 수행하고 있다. 우리나라에서는 환경분야 시험·검사 등에 관한 법률(이하, 환경시험·검사법) [5]을 중심으로 환경분야 시험·검사기관에 대한 정도관리 업무를 수행하고 있다. 환경시험·검사법에 따라서 국립환경과학원에서는환경시험·검사기관 정도관리 운영 등 관한규정(이하, 정도관리 운영 고시) [6]을 제정하여 숙련도 시험과 현장평가에 대한 구체적으로 규정하고 있다. 정도관리 고시에서 따라서 숙련도 시험은 1년 주기로, 현장평가는 3년 주기로 실시하고 있다. 우리나라와 유사한 형태의 정도관리 제도를 운영하고 있는 외국의 시험·검사기관[7]에서도 숙련도 시험은 6개월~1년 주기로 실시하고 있으며, 현장평가는 2년~3년 주기로 실시하고 있다. 본 연구에서는 우리나라 환경 분야 시험·검사기관의 시험실을 대상으로 정기적으로 실시한 숙련도 시험 결과와 현장평가 결과를 분석하였다.

2. 연구 방법

2011년부터 2019년까지 정기적으로 실시한 숙련도 시험결과를 토대로 평가분야 및 평가항목 확대, 참여 시험실의 증가 현황, 부적합률의 변화를 분석하였다. 또한, 현장평가 결과도 평가항목, 참여시험실, 평가위원, 부적합률에 대한 분석을 실시하였다. 두 분야에 대한 부적합률의 비교는 년 도별로 전체 부적합률을 비교하고, 당해 연도별로 평가분야에 대한 비교를 실시하였다. 환경시험·검사법과 국립환경과학원의 규정에 따르면 숙련도 시험과 현장평가가 모두 적합 판정을 받아야 3년 유효기간의 정도관리 검증서를 발급하도록 정하고 있다.

2.1. 숙련도 시험

숙련도 시험은 정도관리의 일부로서 시험·검사기관의 정도관리시스템에 대한 주기적인 평가를 위하여 표준 시료에 대한 시험능력과 시료채취 등을 위한 장비운영 능력을 평가하는 것으로 정의하고 있다. 개별 숙련도 시험 항목의 적합 및 부적합 판정은 Z-score에 의한 평가방법을 사용하고 있다. Z-score에 의한 평가방법은 숙련도 시험 참여 시험실에서 제시한 측정값과 기준값의 차를 목표 표준편차로 나눈 값이 기준(|Z-score|= 2)을 충족하는지 여부로 나타내고 있다. 또한, 숙련도 시험에 참여한 시험실의 숙련도 시험의 적합 및 부적합 판정은 숙련도 시험을 신청한 개별 항목의 총점을 합산한 후 항목수로 나누어 환산하는 방식을 적용하고 있다. 숙련도 시험에 참여한 시험실에 대한 최종결과는 평가점수 90점 이상 취득 시 적합으로 판정하고 있다. 국립환경과학원에서 실시하는 숙련도 시험은 대부분의 국내·외 시험·검사기관에서 준용하고 있는 ISO/IEC 17043 [8]과 ISO 13528 [9]의 규정을 따르고 있다.

2.2. 현장평가

현장평가는 평가위원이 시험·검사기관을 직접 방문하여 시험·검사기관의 정도관리 시스템 및 시행을 평가하고, 시험·검사기관의 기술인력 확보, 장비보유 현황, 운영능력에 관련된 자료를 검증·평가하는 것으로 정의하고 있다. 정도관리 고시의 별표 8에서는 운영 및 기술 점검표를 정하고 있으며, 별지 제9호 서식에서는 환경 분야의 여러 매질을 기준으로 분야별로 평가항목을 정하고 있다.
운영 및 기술평가는 경영요건과 기술요건 평가로 크게 구분하고 있으며, 세부적으로는 조직, 품질시스템, 문서관리, 시험의뢰 및 계약 시 검토, 시험의 위탁, 서비스 및 물품구매, 고객에 대한 서비스, 부적합 업무관리 및 보완조치, 기록관리, 내부정도관리, 직원, 시설 및 환경조건, 시험방법, 시험장비 및 표준물질, 시료채취, 시료관리, 시험결과의 보증, 결과보고에 대해 평가항목을 정하고 있다. 분야별 평가표는 대기, 수질, 먹는물, 토양, 폐기물, 실내공기질, 악취, 잔류성유기오염물질, 환경유해인자 분야를 포함한 9개로 분류하고 있으며, 세부적인 평가항목은 매질별 특정을 반영한 평가내용으로 구성되어 있으며, 평가항목은 ISO/IEC 17025에 따른 평가항목[10]를 인용하고 있다.

3. 결과 및 고찰

3.1. 숙련도 시험

3.1.1 평가분야 및 항목

숙련도 시험은 시험·검사기관의 기술 인력이 수행하는 시료채취 능력평가를 포함한 이화학적인 항목에 대한 분석능력을 검증하는 정도관리의 한 평가분야이다. 2011부터 2013년까지는 대기, 수질, 실내공기질, 악취, 먹는물, 토양, 폐기물, 잔류성유기오염물질 분야를 포함한 8개 분야에 대한 숙련도 시험을 실시하였으며, 2015년 부터는 환경유해인자분야를 추가하여 현재까지 9개 분야에 대한 숙련도 시험을 실시하고 있다. 숙련도 항목의 증가는 2012년~2013년도 사이에 수질분야 4개 항목, 2014년~2015년도 사이에는 대기분야와 환경유해인자 분야를 포함하여 8항목이 증가되어 전체적으로 2011년에는 70개 항목에서 2019년도에는 108개 항목으로 증가하였다. 숙련도 시험에 참여한 시험실도 계속적으로 증가하여 2011년에 760개에서 2019년에는 1,110개로 증가하였다. 숙련도 시험에 참여하는 시험실은 익 년도 숙련도 시험 계획을 수립하기 전에 당해연도 12월 31일을 기준으로 시험·검사기관의 인·허가를 담당하는 기관에서 제출한 근거자료를 토대로 하고 있다. Fig. 1은 정기 숙련도 항목의 변화를 나타내고 있으며, Fig. 2는 숙련도 참여 시험실의 변화를 나타내고 있다.

3.1.2 부적합률

Fig. 3은 2011년~2019년까지 매년 실시한 정기 숙련도 시험에 대한 전체 부적합률을 나타내고 있으며, 2012년도에 9.32%에서 2019년에는 1.17%로서 전체적으로는 감소하는 경향을 보여주고 있다. 이러한 경향은 시험·검사기관들의 숙련도 시험 항목에 대한 분석능력이 매년 향상되고 있다고 평가할 수 있다. 부적합률이 소폭 상승했던 2011년~2012년, 2014년~2015년, 2016년~2017년에는 앞서 3.1.1항에서 언급한 것처럼 숙련도 시험 항목의 증가에 따른 영향이 있는 것으로 판단된다. 2011년∼2012년까지의 부적합률을 제외하면 2013년~2019년까지의 부적합률은 4%미만을 나타내고 있어서 시험·검사기관들이 새로운 숙련도 시험 항목의 추가에도 충분한 완충능력을 보유한 것으로 판단된다. Fig. 4는 숙련도를 실시한 년도를 기준으로 개별 숙련도 시험 분야에 대한 부적합률을 나타낸 것으로서 전체 부적합률이 높은 년도에는 개별 분야의 부적합률도 높게 나타났다. 시험검사기관의 이화학적인 분야의 능력을 평가하는 숙련도 시험에 대한 결과적인 부분의 해석과 사후관리 차원의 내용들은 IUPAC [11]과 CITAC [12]의 지침에서 언급하고 있는데, 이 지침에서는 통계적인 유효성을 갖는 참여기관의 수와 사후관리 방법들을 제시하고 있으며 반복적인 훈련의 중요성을 강조하고 있다.

3.2. 현장평가

3.2.1. 평가항목

현장평가는 평가위원이 환경시험·검사 종합운영시스템(qaqc.nier.go.kr)에 접속하여 평가항목에 대해 평가하는 on-line 평가 방식으로 진행된다. 평가팀은 팀장 1인을 포함하여 대기, 수질, 먹는물 등 각각의 매질별로 1인 이상의 평가위원 위원으로 구성되며, 평가 대상기관에서 생산한 시험·검사결과를 포함하여 시험실의 종합적인 운영 상태를 평가한다. 외국의 시험·검사기관의 인정업무를 수행하는 인정기관에서도 현장평가 또는 사후관리 차원의 평가에 대한 규정을 두고 있으며, 현장평가의 수행주기, 평가위원 참여인원, 평가항목 등을 정하여 운영[13-15]하고 있다.
ISO 17025를 준용하고 있는 현장평가는 운영 및 기술 분야를 포함하여 9개의 환경매질에 대한 평가표에 따라서 수행되며, 평가항목은 전체 1,333개의 항목으로 구성되어 있다. 운영 및 기술 분야 평가는 별지 제8호 서식에 따라서 시험·검사기관의 전체적인 운영분야를 평가하는 것으로서 경영요건과 기술요건에 대해서 평가를 수행한다. 시험분야별 분석능력 평가는 별지 제9호 서식에 따라서 대기 9개, 수질 10개, 먹는물 6개, 폐기물 5개, 토양 4개, 실내공기질 5개, 악취 1개, POPs 1개, 환경유해인자 6개의 평가표에 의해서 실시된다. 초기의 현장평가는 장비 또는 시설의 보유여부에 따른 평가에 중점을 두었으나, 최근에는 분석장비의 실질적인 운영능력, 공정시험기준에서 정한 개별 항목의 검출한계와 정량한계의 충족여부를 평가하는 방향으로 수행되고 있다. 현장평가에서 지적된 미흡사항은 평가 종료일로 부터 30일 이내 보완자료를 환경시험·검사종합운영시스템(qaqc.nier.go.kr)을 통해 제출하여 평가위원의 승인을 받아야 한다. Fig. 5는 분야별로 현장평가 항목을 나타내고 있으며, Fig. 6은 2011년부터 2019년까지 9년간 실시한 현장평가 대상 시험실수와 평가에 참여한 평가위원 수를 나타내고 있다. 현장평가 대상 시험실은 2011년 240개에서 2019년 345개로 증가하였으며, 현장평가에 참여한 평가위원도 2011년에 183명 에서 2019년에는 626명으로 증가하였다.

3.2.2. 부적합률

Fig. 7은 2011년부터 2019년까지 실시한 현장평가 결과의 부적합률을 나타내고 있다. 2011년도 부터 2012년까지 전체 부적합률은 11.59%~17.94%였다. 2013년 이후 2019년까지 현장평가의 부적합률은 0.91%~5.91%로서 시험·검사기관의 시험실 운영능력이 많이 향상된 것으로 판단할 수 있다. Fig. 8은 년 도별로 개별 분야에 대한 부적합률을 나타낸 것으로서 전체 부적합률이 높았던 2011년과 2012년에는 개별 부적합률도 높은 것으로 나타났다. 이러한 경향은 숙련도 시험 결과에 대한 전체 부적합률과 개별 분야에 대한 부적합률의 변화 패턴과 유사한 특징을 보여주고 있다.

3.3. 숙련도 시험 및 현장평가 부적합률 비교

Fig. 9는 2011년부터 2019년까지 숙련도 시험과 현장평가의 전체 부적합률을 비교한 것으로서 전체적으로 두 분야의 평가 결과가 상관성이 높음을 나타내고 있다. 시험자의 분석능력을 평가하는 숙련도 시험과 시험실의 종합적인 운영능력을 평가하는 현장평가는 평가방법은 서로 다르지만, 시험실의 정도관리 평가 차원에서는 상호간에 보완적으로 작동되고 있음을 알 수 있다. 따라서 시험·검사기관의 시험실 운영능력은 시험·검사기관에서 생산되는 분석결과의 신뢰도 향상을 미칠 수 있으며, 분석결과의 신뢰도 향상은 시험실 운영수준의 향상과 상관성이 높다고 할 수 있다.

4. 결 론

환경분야 시험·검사 등에 관한 법률과환경시험·검사기관 정도관리 운영 등에 관한 규정에 따라서 매년 실시하는 숙련도 시험과 3년 주기로 실시하는 현장평가를 통해 환경분야 시험·검사기관에 대한 정도관리를 실시하고 있다. 2011년부터 2019년까지 전국의 환경분야 시험·검사기관을 대상으로 실시한 숙련도 시험과 현장평가 결과를 분석한 결과, 환경분야 시험·검사 시험실의 정도관리 수준이 전체적으로 향상된 것으로 판단되었다. 시험자의 분석능력을 평가하는 숙련도 시험과 시험실의 종합적인 운영능력을 평가하는 현장평가는 평가방법은 서로 다르지만, 시험실의 정도관리 유지여부를 확인하는 차원에서는 상호간에 보완적으로 작동되고 있음을 알 수 있었다.

감사의 글

연구는 국립환경과학원 연구사업(과제번호: NIER-2019-01-03-001)로 수행되었으며, 연구진들은 국립환경과학원의 지원에 깊은 감사를 드립니다.

Fig. 1.
Categories subjected to regular proficiency tests from 2011 to 2019.
jeaht-23-3-165f1.jpg
Fig. 2.
Regular proficiency testing in laboratories from 2011 to 2019
jeaht-23-3-165f2.jpg
Fig. 3.
Overall nonconformity rate of proficiency testing from 2011 to 2019.
jeaht-23-3-165f3.jpg
Fig. 4.
Nonconformity rate for each category of proficiency testing from 2011 to 2019.
jeaht-23-3-165f4.jpg
Fig. 5.
Categories subjected to regular on-site assessment by each sectors.
jeaht-23-3-165f5.jpg
Fig. 6.
Status of target laboratories and committee members for on-site assessments from 2011 to 2019.
jeaht-23-3-165f6.jpg
Fig. 7.
Overall nonconformity rate of on-site assessments from 2011 to 2019.
jeaht-23-3-165f7.jpg
Fig. 8.
Nonconformity rate for each category of on-site assessment from 2011 to 2019.
jeaht-23-3-165f8.jpg
Fig. 9.
Comparison of nonconformity rates for proficiency testing and on-site assessments from 2011 to 2019.
jeaht-23-3-165f9.jpg

참고문헌

5. 환경부, 환경분야 시험·검사 등에 관한 법률, 2019.

6. 국립환경과학원, 환경시험·검사기관 정도관리 운영 등에 관한 규정, 2019.

7. 국립환경과학원, 환경측정분석 정도관리 체계 개선에 관한 연구, 2008.

8. ISO/IEC 17043, Conformity assessment - General requirements for proficiency testing, ISO Geneva, 2010

9. ISO 13528, Statistical methods for use in proficiency testing by interlaboratory comparison, ISO, Geneva, 2015

10. ISO/IEC 17025, General requirements for the competence of testing and calibration laboratories, ISO, Geneva, 2015

11. M Thompson, and R Wood, “Harmonised guidelines for internal quality control in analytical chemistry laboratories, (IUPAC technical report)”, Pure Appl. Chem, 1995, 67 (4), 649-666.
crossref
12. EA-4/18 INF, Guidance on the level and frequency of proficiency testing participation, 2010, EA

13. ILAC G18:04/2010, Guideline for the formulation of scopes of accreditation for laboratories, 2010. ILAC

14. LAB 39, UKAS, Guidance on the implementation and management of flexible scopes of accreditation within laboratories, 2004

15. EA-2/15 M, EA Requirements for the accreditation of flexible scopes, 2008, EA



ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
EDITORIAL POLICY
FOR CONTRIBUTORS
Editorial Office
Hansin B/D 305 MapoDeae-ro 12, Mapo-Goo, Seoul, 04175 Korea
Tel: +82-2-704-4801    Fax: +82-2-704-4802    E-mail: ksfea7044801@gmail.com                

Copyright © 2022 by Korea Society of Environmental Analysis. All rights reserved.

Developed in M2PI

Close layer
prev next