국가적 예측 활동에 대한 평가 : 이론적 근거, 절차와 영향

국가적 예측 활동에 대한 평가 : 이론적 근거, 절차와 영향.

 

본 논문은 각기 다른 상황에서의 국가 예측 활동을 평가하는 가장 적절한 방법을 논한다.

우선순위를 결정하는 것부터 참여지향적 목표(participation-oriented goals) 그리고 일반적인 비전과 전략들에 대해 새로운 네트워크를 형성하는 것에 걸친 예측의 다양한 이론적 근거들을 살펴본다.

 

주요 평가 이슈들의 진화를 보여주기 위해서는 예측의 세대 모델이 사용되었으며 이를

책임(accountability), 정당화 그리고 학습의 평가를 위한 포괄적 동기를 예측이라는 맥락 안에서 살펴본다.

행태적 부가성의 개념에 기초한 평가와 시스템 실패 이론이 공공 정책으로서의 예측에 대한 적절한 이론적 근거가 되는 것으로 밝혀졌다.

 

예측의 효과를 평가하기 위해서는 먼저 공공정책에 영향을 미치는 요인이 예측 이외에도 많이 있다는 사실을 이해 해야 한다. 성공인 평가를 위해서는 평가가 전략적 행태와 정책 싸이클, 그리고 경제 주체들에 잘 맞게 이루어져야 한다.

영국, 독일, 그리고 헝가리에서 예측 프로그램을 평가한 케이스가 제시되었다.

모든 경우에 적합한 한가지 평가 방법이란 없으며, 평가 방법은 동기, 타이밍 그리고 집단 수준에 따라 결정된다고 결론지었다. 예측은 그 맥락과 따로 놓고 생각할 수 없으며 예측은 엄격하고 체계적인 지식이 수반된 학습과 향상을 통해 점차 성장하고 있다

 

1. 도입

 

유럽 전역에 걸쳐 예측이 확산되고 있음에도 불구하고 지금까지는 집단에서의 그 효과를 입증하려는 시도가 없었다.

특히 예측은 과학과 혁신 정책의 도구로써 평가되지 않고, 평가는 극히 소규모의 패널과 조사에 기초하여 특정 과제를 평가 하는데 만 국한되었다.

이러한 과제에서 동등성은 고려조차 하지 않았다. 본 논문에서 우리는 이러한 과제를 검토하며, 각기 다른 상황에서의 예측을 평가하기 위한 적절한 전략은 무엇인가에 대해 살펴본다.

본 논의는 국가적 예측 과제에만 국한되는데, 이것은 국가적 과제들은 이미 대규모로 별개의 하위군(sub-class)을 형성하고 있으며 이며 평가라는 매개체 혹은 다른 기제를 통해 서로 개념과 실제를 전달하여 상호 연관되어 있기 때문이다.

예측과 평가의 상호작용을 알아보기 전에 먼저 각각의 상대적 위치를 알아보자. 정책 입안자가 사용할 수 있는 일련의 전략적 정책 접근법 중에서, 이 둘(예측과 평가)는 종종 같은 그룹으로 묶이게 된다. 평가는 이미 일어난 일을 돌아보는 것이며, 예측은 가능한 미래를 내다보는 것이라는 작은 차이가 있을 뿐이다.

European working group이 기술 평가(기술 정책 분야에서의) 와 함께 이러한 활동들을

Distributed strategic intelligence 의 일반적 개념으로 통합하고자 하였으나 이들은 여전히 제도적으로 차이가 있다. 그러나 한편으로는 대부분의 평가가 어떤 형태로는 미래에 대한 조형적 관점을 포함하며 또 종종 평가하려고 하는 도구의 향후 의미를 고려해야 한다는 점에서, 예측과 평가를 따로 떼어놓고 생각하기는 힘들다.

결국, 예측 활동은 과거와 현재에 대한 완벽한 이해를 필요로 한다.

 

그러나, 본 논문의 목적은, 우리가 어떻게 예측을 평가할 것이며 정책 도구로써의 예측을 어떻게 다룰지에 대하여 어떤 답을 줄 것이냐를 알아보는 것이다.

국가적 수준의 기술 예측은 이제 유럽과 일본에서 하나의 정책 도구로써 성숙 단계에 접어들고 있다. 1990년대 초기부터 예측이 널리 퍼져 대부분의 산업화된 국가와

다수의 선진국들이 다양한 형태의 예측 과제를 경험하게 되었으며 이미 여러 번 실시한  나라가 있는가 하면, 이제 막 시작하려는 나라도 있다. 이러한 과제의 결과 뿐만 아니라 그 결과를 문서화 하고 분석하는 작업을 통해 여러 경험이 자료로 축적 되었다.

예로, Duran은 French Technology 2005로부터 12개의 주요 포인트를 정리하였으며 Havas는 헝가리의 TEP예측 프로그램과 정책 입안자의 연관성에 주안점을 두어 일반화 할 수 있는 내용을 정리하고자 하였다.

 

초기 프로그램들은 본 저널의 특별호에 실려있다. 여기서 Grupp과 Linstone은 공동으로 최근의 예측 활동을 통해서 가장 이득을 본 것이 누구인지를 잘라 말하기는 어렵지만 커뮤니케이션 테크닉으로써의 그 가치는 과학 단체보다는 정부와 산업에 있어 더 크다고 했다.

대부분의 국가적 프로그램이 그 잠재력을 충분히 발휘할 시간이 부족 했을 뿐 더러, 그 결과를 제대로 평가할 시간도 부족했기 때문에 예측이 이노베이션 시스템 내에서의 커뮤니케이션 및 벤치마킹 도구로 부상 하는 동안에도 당시 저자들이 사용할 수 있었던 정보는 제한되어있었다.

오늘 날에 와서야 이제 우리는, 우리가 무엇을 '예측' 이라고 하는지를 살펴본 후에

예측의 평가와 관련된 문제들과 이슈를 논할 것이다. 개별 프로그램에 대한 평가와 예측을 정책 도구(tool)로 사용하기 위해 대두되고 있는 교훈들도 알아볼 것이다.

 

2. 예측의 이론적 근거

 

개입의 이론적 근거에 대한 고찰은 정책 도구 평가의 근본적인 요소이다. 바로 왜 정부가 그 분야에 개입을 해야 하는가 라는 질문이 되겠다. 이노베이션 정책의 전통적인 틀에서 개입은   정보의 불균형, 높은 불확실성, 또는 이익을 취할 수 없는 경우와 같은 시장 실패를 개선하는 역할을 한다. 지식의 공동 이용이 불확실성을 줄이는 동시에 비 참여자도 출판물 등을 통해 그 결과를 볼 수 있게 되고, 그렇기 때문에 예측 과제는 공공의 지원 없이는 불가능 하다는 점에서 이러한 논의는 예측과 연관이 있다.

 

주체들이 직접 우선순위를 정하는 일이나 주요 테크놀로지 수행을 하게 되면 임계치에 이르기도 전에 너무 광범위한 활동에 노력을 기울이게 될 것이다.

다른 사람들이 보조적인 측면에서 작업할 때 테크놀로지 자체를 가지고 작업하는 것이 더 성공할 가능성이 높으므로, 프로그램의 개입을 통해 네트워크 외부효과를 달성할 수 있다. 그러나, 이노베이션 연구에 있어서 좀더 최근의 이론적 관점인 진화론적 관점의 경제학에 기초한 시스템 실패는 공공 정책으로 사용되는 예측을 위한 적절한 이론적 기반이 된다.

 

오래 전 1997년에는 Metcalfe 는 예측(최초의 영국 예측 프로그램)이 이노베이션 정책의 변화를 반영한다고 했다. 그에 따르면 이노베이션 정책이 “진화론적 관점에 완전히 일치하는, 협동, 특정 기업의 기술 지원 시스템을 창조, 지원하는 것의 문제" 로 가고 있다는 것이다.

시스템 실패의 측면에서 공공 정책이 칭하는 “실패”란 이노베이션 매개체(기업, 공공 매개체 등)의 경직성과 미숙, 그리고 이노베이션 주체와의 연관성 부족이나 분열로 인해 시스템 자체에서 비롯된다. 이러한 관점은 또한 이노베이션과 일련의 다른 요인들-훈련된 인원, 재정, 마케팅과 생산능력- 과의 상호연관성을 강조한다.

또한 예측의 네트워킹 이점을 강조할 수 있다. 이노베이션이 순전히 과학적 발견에서부터 일어나는 경우는 거의 없거나 아주 특별한 케이스다. 이러한 이노베이션의 선형적 모델을 지양함으로써 예측은 폭넓은 사회 경제적 흐름에 밀접하게 연관된 활동이어야 한다는 점을 알 수 있다.

 

이런 이론적 근거 하에서 이노베이션 정책의 도구로 사용되는 예측에 대하여 흔히 다음과 같은 질문을 던질 수 있다.

 

-이것이 기업에게 새로운/확장된 기술이나 시장을 제시함으로써 어려움을 극복할 수 있도록 돕는가? 이 경우 기업은 예측을 통한 공적 개입의 도움(benefit)없이 자체의 시장과 기존의 테크놀로지 네트워크로부터의 시그널만을 받게 되고, 이러한 범위 이상에서 오는 주요한 위협과 기회를 놓치게 된다.

 

-예측이 기업간이나 기업과 과학 기반간에 표준이 필요한 새로운 네트워크나 협업 체계적 이노베이션을 구축하는가. 예측은 새로운 사회구조, 특히 보다 산포적이고 개방된 이노베이션 시스템의 맥락에서 사용될 수 있다.

 

이 근거들을 국가예측활동의 전형적인 목표와 비교해 볼 수 있겠다.

예측활동들의 공통점뿐만 아니라 차이점을 짚어 보는 것 도 중요한데, 실제로 우리가 사용하는 "예측"이라는 한 단어는 다양한 활동과 목적을 아우른다. 일반적으로 알려진 예측의 목적은 다음과 같다.

 

+ 과학과 이노베이션에 대한 투자의 우선순위를 결정할 수 있도록 미래를 탐구하는 것

예측으로부터 우선순위가 파생되는 정도는 다음과 같다.

"필수기술(critical technology) 실행(exercise) : 전체 담론이 우선순위 리스트에 초점을 맞추고 있음.

좀더 일반적인 프로그램 : 우선순위가 파생됨

목표된 예측 : 예측이 시작되기 전에 우선순위가 사실상 정해지는 목표

이후에 설명 하겠지만, 예측이 우선순위에 미치는 실제 영향은 파악하기 힘들다.

 

 

+ 과학과 이노베이션 시스템 방향의 재설정.

 : 이 목표는 우선순위설정(priority setting)과 관련이 있지만 그 이상의 것을 다룬다. 이런 경우, 과학과 이노베이션 시스템이 국가의  니즈와 일치하지 않는다는 사전진단이 있었을 것이다. 이는 공산주의 직후시기에 자원부족 및 뒤처진 산업체제를 갖고 있던 중앙 및 동유럽에서 쉽게 찾아볼 수 있었다. 예측은 자원l과 같은 분야로부터 생명과학(life science)로 방향을 재설정하는 도구였으며, 새로운 i제도적 구조를 탐색하는데도 이용되었다.

 

+ 과학과 이노베이션 시스템의 상태를 입증하는 것.

 : 이 맥락에서 예측은 가능한 기술적 기회들(technological opportunity)를 증명하고 그 가능성을 이루어낼 능력을 평가하기 위한 "쇼윈도우"의 역할을 한다.

 

+ 전략적 논쟁에 새로운 주체를 포함시키는 것

 : 예측을 과학과 이노베이션 정책에 개입된 주체들의 범위를 폭넓게 하기 위해 사용하는 경우가 늘어나고 있는 추세이다. 예를 들면 사회적 이해관계자나 심지어는 "젊은세대" 같이 일반대중의 한 계층을 포함시키기도 한다.

 

+ 필드와 부문, 시장 또는 문제들간의 새로운 네트워크와 연관성을 구축하는 것

 : 오래된 규율 또는 부문별 계층을 무너뜨리는 새로운 네트워크나 집단(cluster)를 만들기 위해 예측을 사용 하는 것.

 

예측의 양식 역시 크게 차이가 있다. 위에서 언급된 모든 목표는 국가적 수준뿐만 아니라 조직, 지역, 심지어는 초국가적 수준에서 추구하는 것이다. 예측의 시간 척도는 가까운 미래에서부터 먼 미래에 걸쳐있고. 개입된 주체, 사용된 절차와 기법, 활동의 현황 이 모두가 매우 다양하다.

예측 방법론적 실험에서부터 정치적 이유로 시작된 주요 의안까지 모두 포함한다. 평가(평가)의 관점에서 볼 때, 예측 활동이 어떤 목표를 을 향해 가고 있는지를 확립하는 것은 매우 중요하다. 이론적 근거와 목표를 이해하면 평가의 틀을 확립할 수 있으며 기대효과를 예상할 수 있다.

다음 장에서 우리는 특정예측활동에 적합한 평가방법을 설계하는 방법을 살펴본다.

 

 

3. 이론적 근거와 목표 그리고 평가 접근법의 일치

 

위에서 제시된 다양한 예측의 배경 중 논의를 구성하기 위해 좀더 유연한 정의를 채택하기로 한다. 이 활동에 가장 최근에 참여한 국가의 노력의 일환으로 형성된 이 정의는 그 자체가 예측의 국제적 확산과 관계된 누적 학습효과의 증거가 될 수 있다. 이 정의는 좀더 일반적으로 사용되는 공식에서는 보통 무시하기 쉬운 프로세스의 주요 요소들을 잡아낸다.

 

예측프로세스는 개방된 숙고와 네트워킹 협의, 토의와 같은 심도 있는 반복기간들을 포함하여 과학, 기술, 그리고 사회 이노베이션을 통해 생긴 장기적 기회들을 활용하고자 하는 목적으로 향후 비전을 협동조정하고 전략을 공동 소유하게 되는 결과를 낳는다...... 이는 미래에 대해 개방적으로 숙고할 수 있는 공동의 장이며 잠재적으로는 전략적 접근법의 배양기 이다.

 

중요한 것은, 예측활동과 합동 공식 (joint formulation), 그리고 전략의 소유권과의 연관성을 강조했다는 점이다. 이러한 관점은, 흔히 저지르기 쉬운 오류인, 예측의 처리와 그 실행을 별개의 프로세스로 보는 관점을 피할 수 있도록 해준다.

 

이 둘의 관계를 확립해야 효과적인 평가의 중요한 배경이 마련된다. 이는 단순히 예측을 평가하려면 그 영향(impact)도 고려해야 한다는 뜻이 아니다. 그렇기보다, 예측이 공공정책(public policy)이나 기업의 전략측면에서 얻고자 하는 효과에 미치는 폭넓은 영향력의 일부라는 것이다. 더 나아가, 일단 예측이 결과를 산출하여 실시 환경으로 도입될 경우, 그것이 로비나 평가, 전략연구, 오랜 참여의 영향 또는 예산분석 등에 의한 다른 형태의 정책정보와 다른 점이 무엇인가 하는 질문을 던질 수 있다. 장기적이라는 점, 창의성, 참여를 통한 기여 등이 그 답이 될 수 있으나 이런 특징들은 다른 정보들도 갖고 있는 것 들이다. 올바른 평가를 위해 알아야 할 가장 큰 예측의 특징은, 정치적/경제적 주체들의 전략적 행태와 예측의 결과간의 상호관계에 대한 이해가 필수적이라는 것이다.

 

규범 문제도 고려해야 한다. 예측이 항상 수혜자(recipient)의 니즈에 맞춰져 있는 것은 아니며 때로는 신호들이 무시될 수 있기 때문에 정보는 정책,전략 기제가 받아들일 수 있는 방법으로 제시되어야 한다. 한가지 조정 요인은 타이밍인데, 이는 정책이나 전략 싸이클과 동시적으로 일어나야 할 필요성이다. keenan은 최초의 영국 기술예측프로그램이 연구협회의(재정 지원을 하는 주체가 가장 강력한 실행 주체가 됨) 우선순위 결정 면에서 잘못된 시기에 도출되었으며 그래서 그 결과가 지연되고 감소 되었다는 것을 보여준다. 더 나아가 권고사항 역시 가능한 재정 수준이나 개혁 실행 능력에 맞도록 이루어 져야 한다. 그러나, 항상 예측을 현상태내에서 실시할 수 있는 것은 아니며 가끔은 정책이나 전략구조를 변경해야 하는 경우도 있다.

위에서 인용한 예측의 정의로 되돌아가보자.

이 예측의 정의를 예측의 평가를 실시하는 문제와 결합해보면 예측과 그 실행이 선형적 또는 순차적인 것이 아니라 공동의 장과 공동 소유를 통해 실행 공간으로 움직여 가야 한다. 다시 말해, 예측을 실시하는 것 자체가 발생하는 발견들의 실행(아니면 최소한 실시하는 조건)을 조정하며, 실시 환경이 예측을 수행하는 방식에 영향을 미친다. 결국 예측과 그 실시는 상호적인 활동이다. 결과에 초점을 맞춘 경우 평가는 예측 절차가 그 결과를 충분히 설명할 수 있는지 고려해야 하는 한 편, 실행 주체의 전략적 행태 동기를 이해하도록 해야 한다.

 

초기에 저자 중 한 명이 미래 전문가 들이 수행하는 기술예측과 관련된 1세대 활동과, 산업과 시장을 주요 주체로 도입한 2세대, 그리고 여기에 사회/사용자 중심적 관점을 더한 3세대로 구분한 예측의 세대적 모델을 제시한 바 있다.

 

이 모델들에서 분명한 것은 평가에 대한 각기 다른 접근이다. 1세대 예측모델에서 중요한 이슈는 예측의 정확성과 비전문가들에 대한 결과의 확산이다.. 2세대 모델에서는 우선순위를 정하는 것과 산업/학계 참가자들 간의 네트워크를 형성하는 것이 중요한 평가 이슈가 되었으며 3세대 모델에서는 이해관계자들이 평가에 개입하는 것과 예측 문화의 출현을 예견한다.

4세대 모델에서는 본 논문에서 다루는 국가 프로그램 모델이 아니라, 다수의 조직이 그들 자신만의 특정한 니즈에 따르되 어느 정도 협동하여 예측을 실시하게 되는 과학과 이노베이션 시스템에서의 확장된 역할에 초점을 맞추고 있다.

 

제 4세대 모델과 같은 목적의 국가적 예측 활동 프로그램은 아직 없지만 이 4세대 모델의 의미는 본 논문의 결말 부분에서 거론될 것이다. 중요한 것은, 여기서 말한 세대적 모델은 어디까지나 이상적인 것이며 실제로 개개의 예측 활동은 두 가지 혹은 세 가지의 각 다른 세대의 특징을 동시에 보일 수 있다는 점이다. 그러나 우리는 이러한 세대 모델을 통해 평가 접근법이 예측의 접근법에 의해 결정된다는 점을 알 수 있다. 

예측 과제를 수행하기 위한 이론적 근거는 같은 과제 내에서도 다양하다. 몇 가지 가능한 근거들이 표1 에 제시되어 있는데, 이 장의 서두에 나온 목표들을 각각 기대되는 결과와, 관련된 평가 방법으로 구분해 놓았다.

분명히, 자원 분배 결정을 예측 과제에 귀인 시키려는 평가자와, 예측이 사회 네트워크에 미치는 영향을 연구하려는 평가자는 서로 다른 접근법을 사용할 것이다. 또한 상호 의존성이라는 것을 들어서 모든 면을 다루고자 전문 평가자들도 없지 않아 있을 것이다. (예를 들면, 자원분배결정은 문제구성과 특정 이슈의 사회화를 얼마나 성공적으로 하는지에 달려있다.

 

평가법을 조정 해야 하는 이유는 예측을 평가하는 집단 단위의 차이로 설명할 수 있다. 예를 들면, 예측은 정책이 될 수도 있고, 프로그램 또는 실습이 될 수도 있다. 이들 각각에는 서로 다른 평가법이 필요하다. 정책평가에서는 공적 움직임에 대한 이론적 근거 문제가 가장 중요하며 다른 정책과 예측간의 상호 작용도 주요 쟁점이 된다. 좀더 전통적인 형태의 프로그램 평가에서는 대부분 목표 달성의 측면 또는 목표 적절성의 측면에서 평가 목표가 핵심 논점이 된다. 실제로서의 예측을 논할 때는 그 기법과 사용되는 구조 등에 초점을 맞추게 된다. 이들은 모두 그 자체의 성격과 목적에 적합 한지를 평가하기 위한 것이다. 예를 들면, Delphi 가 전문가 여론을 허용하는가 라는 문제와, 특정 참가자 그룹에 대한 상담이 옳은 일 이였는가 하는 문제는 별개인 것이다.

역시 실제 상황에서는 서로 다른 집단이 중요도는 다르지만 복합적으로 존재하고 있다.

 

 

 

4. 평가의 동기, 범위 그리고 목적

 

예측은 시간과 자원을 소요하는 정책 도구이기 때문에 다른 도구에도 엄격하게 적용할 수 있도록 하는 평가를 실시해야 한다.

일반화된 평가 틀 에서는 세 가지의 기본 테스트를 적용할 수 있다.

 

-Accountability: 활동이 효율적으로 수행 되었는지?  공공 기금의 적절한 사용

-Justification; 예측 활동을 계속 실시하고 연장할만한 결과를 낳고 있는가

-Learning: 특정 상황에서 예측을 더 잘 활용할 수 있는 방법

 

위의 세가지는 각각 별개로, 또는 결합하여 예측활동을 평가하는 동기를 제공하며 그 평가 수행의 의미를 수반한다. 이러한 관점에서 볼 때 Accountability(법적 책임)은 예측의 가장 전통적인 기반인 동시에 가장 대답하기 힘든 문제이기도 하다.

Accountability는 자원과 정부의 두 가지 경우가 있는데 두 경우 모두 예측을 평가하기 어렵다. 예측의 자원들은 주로 정부에서 오는데 이런 종류의 'soft'한 정책 도구에서 가장 중요한 자원은 참가자의 자발적인 기여이다. 지배권의 경우도 마찬가지 인데, 예측 과제의 소유권이 때로는 불분명하기 때문이다. 실제로 예측 과제는 다양한 니즈와 목표를 가진 주체들의 집단에 걸쳐서 전개된 활동인 경우가 많다.

 

평가자들은 계약 없이 일하고 그래서 잠재적으로 변동 가능한 목표들을 가진다. 이러한 TF 팀들에게 힘든 요구들을 할 수는 없는 노릇이다. 평가에서 accountability를 고려할 때 또 한가지 문제점은, 다른 공적으로 재정 지원되는 활동과 비교할 수 있는 표준 테스트를 실시해야 한다는 압력이다. 앞서 이미 설명한 것처럼, 예측의 결과는 전적으로 제도화에 달렸을 수 있기 때문에 표준 테스트를 실시하는 일은 쉽지 않다.

 

국가적, 지역적으로 최초의 시도는 역사적인 첫걸음으로 간주되며 창의성이라는 미명하에 조직은 무시되고, 실수는 쉽게 용서받는다. 두 번째 싸이클 에서는 창의성과 조직의 중요도가 뒤바뀌어 좀더 제대로 된 척도에 의한 평가의 필요성을 인식하게 된다.

 

Justification(정당화)라는 동기는 평가에서 일반적인 것으로, 얕잡아 봐서는 안 된다. 프로그램의 작업자가 그다지 규격화 되지 않은 새로운 활동의 연장 또는 반복 여부를 결정해야 하는 중요한 시점에 이를 때가 있다. 이런 상황에서 그들은 그들의 수고가 그만한 가치가 있는지를 알고 싶어 하며, 그래서 평가를 통해 독립적인 견해를 얻고자 하는 것이다.

실 상황에서 justification 동기는 종종 learning(학습)과 결합된다. 예측의 평가는 대부분 형태적일 수 밖에 없으며 도구라는 맥락에서의 신생성과 민감도를 고려할 때 lesson 이라는 결론이 나오는 것이다.

이는 뒤에서 거론될 타이밍의 문제로 인해 outcome(성과) 보다는 절차와 연관되는 경우가 많다. 표준 평가 접근법에서는 조기에 평가 대상의 범위와 목적을 정의하는 것을 중요하게 여긴다. 이전 장에서는 예측의 다양한 형태들을 논하였다. 예측을 설명하는 또 하나의 척도는 시간상의 위치이다. 예측 활동의 시작과 끝이 어디냐 하는 것이다. 국가적 시도에서는 자원과 수고를 들이고 사무국 같은 것을 구축하려는 결정과 함께 절차가 시작되므로 시작은 보통 분명하다. 그러나 종료시점은 훨씬 덜 분명하다. 보고서나 우선순위 리스트를 만드는 것이 목표인 경우 출판이나 출시를 하는 것이 종료 시점이 될 수 있다. 그러나 네트워크 활동 시작하면 이는 예측 활동이 종료된 이후에도 얼마간 지속될 것이므로 뚜렷한 종료 시점을 알 수 없게 된다. 예측 결과가 더 이상 정책 담론에 있어서 뚜렷하거나 영향력 있는 내용이 아닐 때, 언제 종료시점을 정할 것인가에 대해서는 임의의 결정을 내려야 한다. 더 나아가, 이러한 점은 예측의 효과를 이해하기 위해서는 좀더 폭넓은 전략/정책의 맥락에서 봐야 한다는 사실을 뒷받침한다. 평가를 위해서는 예측이 실행한 시기와 시스템의 다른 요소들과의 상호작용을 연구해야 할 것이다.

 

타이밍 문제는 또한 질문의 유형과도 관계가 있다. 선형적 또는 순차적인 예측의 관점을 취할 경우, 활동이 아직 진행되고 있는 동안 절차를 실시하는 것이 가장 좋다. 그러나 이 시점에서 대다수의 output(출력물)과 outcome(성과)는 가시적이지 않기 때문에 사후까지 기다려야 한다. 여기서 문제는 귀인 효과가 된다. 시간이 갈수록 강도가 약해지는 신호와 knowledge creep (정보의 변질)문제 때문에 이것이 평가자가 다른 영향들 속에서 예측이 결과에 미치는 영향을 골라내는 것이 어려워 지기 때문이다.

평가자들은 그러한 환원론적 접근법을 지양하고, 예측을 다른 정책 도구를 보조하는 역할로써 보는 전체적이고 조직적인 접근법을 취해야 할 것이다.

 

마지막으로, 미래에 대한 통찰력의 정확성을 논할 때, 사후의 지연은 예측 기간과 관계가 있다. 이는 단기 5년 기술 과제의 경우 큰 문제가 아니지만 15년 정도의 장기적인 과제에 대한 예측의 경우 상당히 안정적인 시스템을 요한다. 이런 전제에서는 일본의 STA/NISTEP 예측만이 적절하게 평가 되었다고 할 수 있다.

여기서 사용된 방법은 당시 Delphi의 반복을 위해 모인 전문가패널이 주제가 정해진 기간 내에 얼마나 달성되었는지를 확인하는 것 이였다. 1992년 출판된 Delphi survey에 이 같은 평가가 최초로 보고되었다. 패널들은 주제의 28%가 달성되었으며 36%.는 부분적으로 달성되었다고 판단하였다. Kuwahara는 시간 척도의 정확성이 꼭 주요 판단 지표가 아니라고 하였다. 결과를 적용함으로써 연구의 방향과 기술이 변했을 수 있고 그에 따라 달성에도 영향을 미쳤을 수 있기 때문이다. 또, 정확성은 적절성  또는 유용성과 꼭 일치 하지 않을 수 있다는 문제도 제기될 수 있다. 부분적인 달성이라는 것도 수치화 하기 힘든 개념이다. 이런 종류의 데이터들은 평가 자체이기 보다는 평가에 대한 인풋으로 보는 것이 좋겠다.

 

 

5 척도와 부가성

 

평가의 고전적인 척도는 다음과 같다.

a. 실시의 효율성: 절차 평가로도 알려져 있으며 경영/거점 문제에 중점을 두고 있다. 이것은 꼭 관료적인 관심사만은 아니다. 절차 평가는 조직과 경영의 주제들을 다루며 다음과 같은 질문을 던질 수 있다 - 적절한 사람들이 과제를 행하고 있는가? 전문가 패널이 충분한 지원을 받는가? 과제는 정책 결정 수뇌부와 충분히 연계되어 있는가? 또한 사용한 기법의 적절성과 효율성에 대한 질문을 던질 수도 있다. 'Delphi 를 사용했어야 하는가?' '시나리오 워크샵이 순조롭게 진행 되었는가?' 제대로 진행된 절차 평가는 예측의 역학을 조명한다. 앞서 언급한 것처럼 이는 실시간 또는 활동 완료 직후에 실시하여 발견 왜곡되거나 데이터 손실이 일어나지 않도록 해야 한다.

b. 영향력과 유효성: 정책 입안자들이 가장 중요하게 생각하는 점으로 예측의 output(출력무)과 outcome(성과)를 다룬다. 먼저 output은 활동만을 측정할 뿐 그 중요성은 고려하지 않는다는 점을 기억해야 한다. 따라서 회의나 조사의 참가인원이나 배포한 보고서의 수, 회의 건수, 웹사이트 조회수 등으로는 outcome에 대한 기여도를 가늠할 수 없다. 숫자들은 때로 잘못된 정보를 주기도 한다. '새로운 네트워크' 의 수는 그 신생성과 크기, 중요도 그리고 지속성에 대한 정보를 주지 못한다. 뒤에서도 다루겠지만, outcome 평가는 보통 귀인문제로 인해 훨씬 더 복잡해진다.

c. 적절성: 이론적 근거에 관한 문제를 통해 정책 수준을 평가하기 위한 척도. 국가 예측 활동에서 이는 국가 개입까지 다루며 또한 대안은 무엇 이였는지에 대한 질문도 제기한다 (반사실 포함)

모든 공공정책 개입 평가에 있어서 핵심질문인 이러한 반사실 문제들을 연구하는 것이 곧 부가성에 대한 연구이다.

"공적인 개입 없이 활동은 어느 정도나 진행 될 것인가?” 라는 질문은 사실상 앞서 거론된 이론적 근거에 대한 검토인 것이다. 이러한 틀 내에서 예측 활동에 대해 다음과 같은

질문을 할 수 있다.

-정책 개입 없이도 예측이 발생했을 것인가?

-정책 개입의 영향으로 예측이 영향을 받았는가?(변경/개선)

-지속적인 변화가 있는가?(예측문화)

 

평가라는 분야에서는 부가성을 한 쌍의 교대적 조정책으로 여기는 경향이 점차 사라지고 있다. 이노베이션 시스템 틀에서, 일시적인 재정적 개입보다는 보다 지속적인 방향으로 이노베이션 시스템을 변경하려는 노력이 더 중요시 되고 있다. 앞서 언급한 것처럼, 예측의 고질적인 문제인 과도하게 단기적인 시야와 기술, 사회적으로 혁신적인 활동들 간에 새로운 네트워크 형성하기가 힘든 점 등을 개선할 때야말로 가치와 행동을 변화시키는 예측의 본질을 가장 잘 평가할 수 있을 것이다.

 

행태적 부가성이라고 알려진 이러한 부가성에 대한 견해를 통해 평가 방법도 알 수 있다.

예를들어 효과의 지속성에 대한 관심이 있다고 하면, 참가자가 새로운 절차 또는 실습 (네트워크와 예측을 계속할 능력을 포함)을 채택하였는지를 알아보면 된다.

많은 OECD 국가들이 R&D 지원이 산업에 미치는 영향을 조사하기 위해 행태적 부가성 관점을 취하고 있다. 또한 이는 예측을 평가하는데도 적절한 틀을 제공하며 실제로 제3차 영국 예측프로그램의 현재 평가의 기초가 되는 개념으로 이용되고 있다. 이러한 질문에 답하기 위해 다시 한번 예측과 참여하는 조직의 전략간의 상호작용을 연구해야 하는 필요성을 짚어보자. 여기에는 어떻게 예측이 조직과 상호작용하여 조직에 침투하는지에 대한 지식과 특정 outcome(성과)를 유도하는 전략적 정책 결정에 영향을 미치는 다른 요인들에 대한 이해가 필요하다.

예측을 평가할 때는 잠재적인 덫에 주의해야 한다. 전통적으로 예측은 martin's SC(20)에서

처럼 이해관계자간에 commitment를 구축하는 절차로 생각되었다. 그러나, 이는 예측의

부가성을 평가하고자 할 때 위험을 초래할 수도 있다. 한가지 위험은 예측 활동의

소유주가 (예를 들면 스폰서) 실행 단계에서 자원의 분배까지 관할할 때

생기는 자성적 예언이다. 이런 것은 그 과제의 엄격도와 가치 면에서 부적절한 영향을

미칠 수 있다.

좀더 방법론적인 수준에서는 이해관계 공유와 합의가 어느 정도 타협이 되는 것으로 본다. 이미 통용되고 있는 견해를 채택하는 것이 아주 새롭거나 파격적인 개념을 사용하는 것 보다 수월할 수 있다.

 

 

 

 

 

 

 

 

 

6. 평가 실례

 

표2는 최근의 예측평가 예를 나타낸다. 이 표를 통해서 일관적이고 비교 가능한 접근법이 아직 나타나지 않았다는 것을 알 수 있다. 또한 국가예측과제를 행한 거의 모든 국가들이 평가의 필요성을 절감했음을 알 수 있다.

이중 세 개의 국가들이 케이스 스터디로 논의될 것이다. 여기서는 평가결과를 알리고자 하는 것이 아니라 사용된 평가 접근법의 유형을 나타내고 그 평가가 행사한 영향을 고찰해보고자 한다..

 

6.1 case 1. UK예측평가

 

UK예측 프로그램은 세 번의 주기를 거치면서 그 이론적 근거와 목표도 상당히 변화했으며 평가를 논할 때는 이러한 변화를 먼저 살펴보아야 한다.

첫 번째로 예측은 나라의 과학기반을 부의 창조와 삶의 질 방향으로 전환고자 하는 핵심정책 도구로 시작되었다. 초기에는 과학의 발견들에 대한 우선순위를 확립함으로써 이를 달성할 수 있을 것이라고 기대했으나 시간이 가면서 이를 실시하는데 따른 어려움들이 점점 분명해졌고 새로운 기회들간에 산업-과학 네트워크를 구축하고자 하는 2차적 목표가 대두되었다. 이 프로그램은 이노베이션 시스템의 실재를 거론하고 있는 것으로 보일 수 있다. 세 번째 단계 에서도 이러한 목표가 어느 정도 진행중인 동시에 주요 포커스는 정부 구조를 가로지르며 과학 내용에 관한 가진 정책 이슈들을 논하기 위해 정부 내의 이해관계자들과의 계약에 초점을 맞추고 있다. 또한 예측문화 목표가 강조된다.

표3는 UK내의 예측평가에 대한 주요 시도들을 나타낸다. 이 표를 통해 평가에 대한 일관적이고 신뢰할 만한 주요 접근법 없이는 수많은 활동들만 생겨날 뿐이라는 사실을 알 수 있다.

표3에 제시된 작업의 대부분은 임계치에 이르지 못하는 수준이거나 일화적이고 편파적인 증거에 의존하고 있었다. 이 표는 측정이 계획단계를 넘어 실제로 실행되었는지를 보여주고 또한 저자들이 그 결과에 대해 등급을 매겨놓았다.

예측의 관할기관인 "Office of science and technology"가 활동의 주체이나, 여러 방법론적 연구와 현장업무의 운영에도 불구하고 완벽한 독립적 평가를 실시하는 데에는 10년이 넘게 걸렸다.

 

영향력(Impact)는 반드시 평가의 질을 나타내는 것은 아니고, 그 결과가 실시 되었는지 만을 보인다. Parliamentary office of Science and Technology(POST)와 같은 다른 관련 주체들이 보다 비판적이고 통찰력 있는 견해를 개진했으나 사후관리를 하기에는 자료가 부족했다.

POST는 OST 소유가 아님에도 불구하고 상당한 영향력이 있는데 한편으로는 Parliamentary home의 높은 지위 때문이며 다른 한편으로는 이것이 잘 연구된 균형 잡힌 보고서였기 때문이다.

 

공공부문 활동의 모든 분야의 수행에 대한 정부의 늘어나는 관심 역시 또 하나의 주제이다. Output(출력물) 지표의 한계점에 대해 앞서 언급한 내용에도 불구하고 예측의 효과를 핵심 지표로 나타내라는 계속적인 압력이 있어왔다.

두 번째 시기에 저자들은 지표 중심적인 평가 틀을 개발하도록 요청을 받았다.

앞서 말한 것처럼, 이러한 Accountability(책임) ?스타일의 접근법에서 특히 어려운 점은 예측이 무보수로 일하는 패널리스트나 기고가들에게 의존해야 하기 때문에 모니터링 하기가 쉽지 않다는 것이다. 그리하여 다른 아이템은 중앙에서 집계하고 중요한 데이터는 수집하고 분석하는 참가자들에게 의존하는 좀더 "쉬운(softer)" 평가접근법이 제시되었다.

조직 원칙은 영향력(impact)으로부터 절차를 분리하고 후자의 경우 5개의 주요 이해관계집단인 과학기반, 산업과 통상, 지원부문, 정부와 교육, 과학 교육과 공공의 이해를 파악하는 것 이였다. 이 틀에서 일련의 핵심 지표가 파생되었으며 이 지표들을 가지고 전 범위의 output(출력물)과 outcome(성과)을 설명하기 위한 노력이 있었다. 이러한 지표 중 몇 가지가 표 4에 나와있다. 여기서는 프로그램이 조기 종료하여 영향(impact)은 생략되었다.

실적 구조 강조한 UK의 두 번째 단계에 대한 검토에서도 책임(Accountability)에 대한 강조를 엿볼 수 있는데, 첫 번째 단계에서의 결과에 견줄만한 통찰이나 영향력이 있을 것 같지 않다는 인식이 늘어나자 그 프로그램의 총 이해관계자인 Government Chief Scientific Adviser 이러한 상황을 인식하고 높은 수준의 검토를 조직하였다. 이는 이해 관계자들에게 견해를 요청하는 것에 기초하여 내부적으로 실시된 평가였으나 체계적으로 정리하거나 상세한 증거를 제시하려는 노력이 결여되어 있었다. 그러나 이 검토결과는 강력했으며 예측의 방향에 엄청난 변화를 가져왔다. 매년 두 가지의 토픽(주제)가 새로 시작되어 4가지가 동시 진행되도록 하는, 보다 더 집중된 접근법을 통하여 예측을 고객의 관심사에 맞추어 재조정 하였다.

 

6.2 Case 2 : C 독일 FUTUR initiative의 평가.

 

독일의 FUTUR는 BMBF의 연구 재정 우선순위에 새로운 아이디어를 도입하려 했다는 면에서 아젠다 설정과 우선순위 설정 이라는 전통적 기제에 폭넓은 이해관계자 그룹을 포함하는 제3세대 접근법을 더하여 UK 프로그램보다 훨씬 구체적인 목표를 가진다.

최근의 FUTUR 평가는 책임 정부 부서인 BMBF가 실시했으며 다음에 중점을 둔 절차평가의 성격이 강하다.

 

-FUTUR의 목표

-과제는 어떤 가정을 기초로 하고 있는지

-유효성에 따라 각기 다른 도구와 기법

-효율성과 상호작용

-전체적인 절차

 

평가접근법은 ISI-fraunhofer가 개발 하였으며 FUTUR의 이상과 수행을 뒷받침하는 가정과 가설을 체계적으로 나타낸다. 이러한 가정들은 조사와 인터뷰 원형을 통해 상세화된 질문으로 조작되어 시험을 실시했으며. 참가자들에 대한 조사 후에 International Panel of Foresight Evaluation Experts를 지원하기 위한 문서를 작성했다. 이 패널은 매일 공청회를 개최하고 의장(저자 중 한 명) 평가 보고서를 작성하기 전에 가장 고위층(senior level)의 사용자인 정부와 협의하였다. 이 평가의 동기는 정당화(justification)과 학습(learning)이었으며 그 결과는 평가 대상을 새로운 국면으로 계속 진행하는지 결정하기 위한 입력으로써 뿐만 아니라 절차를 수정하기 위해서도 사용되었다.

 

이 과제의 한계는 사용할 수 있는 시간과 자원이 너무 적었다는 것과 시점상 그 outcome(성과)을 도출하기엔 너무 일찍 수행 했다는 것이다. 그러나 절차와 관련된 제안사항들이 다수 나왔으며 이 활동의 지속과 발전의 원동력이 되었다.

이것이 바로 전략적 논쟁에 새로운 주체들을 참가시키기 위해 예측이 사용된 예이며 성공의 척도 한가지는 참여이다. 한편으로는 그 참여의 질과 참여가 최종적인 정책 outcome(성과)에 미친 영향 등도 평가해야 한다.

이런 면에서 중요한 사실은, 참가자들이 실시 절차와 분리된 것처럼 느꼈으며 소수의 프로그램 매니저들(실행 책임자)에게 FUTUR에 대한 소유 의식이 결여되어 있어서 전통적인 정책 인풋과 영향에 더 쉽게 반응했다는 것이다. 이것은 예측 절차와 그 실시 환경 사이의 상호 작용을 이해하는 것과 밀접한 연관 보여주는 예이다.

2004년 12월에 재구성된 패널들이 대체로 같은 기법으로 실시한 2차 FUTUR 평가에서는 영향력 문제를 더 자세히 연구 하였으며 2005년 초반에 결과를 보고하였다.

 

 

 6.3 Case 3 TEP 평가

 

TEP는 산업별/주제별 패널과 Delphi 조사법, 거시 시나리오 그리고 워크샵을 근간으로 한 전체적 과제였다. 프로그램의 근본적인 이론적 근거는 확고한 이노베이션 관점 시스템 이였으며, 프로그램 매니저에 따르면 당면한 문제는 사회 경제적 급변동의 시기를 거치며 크게 분열된 이노베이션 시스템 이였다.

프로그램의 목표는 비즈니스, 과학 기반과 정부를 통합하여 시장과 기술에서 도래하고 있는 기회들을 확인하고 대응하는 것 이였다.

평가는 TEP의 주 phase완료 시점에서 3년 후에 프로그램을 스폰서한 Research and Development Division of the Ministry of Education이 실행하였다. 목표는 다음과 같았다.

 

1) TEP가 그 목표를 어느 정도나 달성하였는지 파악하는 것

2) 정책 결정이 헝가리에서의 향후 예측 활동에 적응할 수 있도록 돕는 것.

 

위의 목표를 위해 다음과 같은 사항이 거론되었다.

-본래 목표의 적절성

-본래 목표가 제대로 형성 되었는지

-경영층의 조직 구조와 수행

-직/간접적인 output(출력물) 달성 수준

-화폐 가치 면에서 과제의 정당성

-권고 사항을 실시하는 데 따르는 어려움

-헝가리에서 향후 예측 활동 조직을 위한 권고사항.

 

국제적 패널들이 이해 관계자 (3분의 2는 프로그램 조정 그룹의 일원이거나 패널리스트/ 나머지는 전문가이거나 정부 관리) 들을 위한 질문지를 작성하고 22명의 참가자와 사용자를 인터뷰하는 방법을 사용하였다. 이 역시 동기는 학습과 정당성 (learning and justification)으로, 복합적인 것으로 볼 수 있으며 정치적인 분열 이후 예측과, 새로운 예측활동의 설계 및 채택에 도움을 줄 수 있는 평가에 대한 관심을 다시금 불러일으키고자 하는 것도 다른 하나의 동기가 되었다.

 

그 결과가 가시화 되는데 생각보다 긴 시간이 소요되어 자료가 평가하기에는 다소 최근의 것 이였기 때문에, 연기하여 평가하도록 했다.

TEP는 정치적 맥락의 중요성을 잘 드러내는 예이다. 초기에 눈에 띄는 성과를 거두지 못한 이유는 고객층인 OMFB가 그 결과를 정부에 보급시킬 만큼 유대관계가 좋지 않았고, 정치적 변화에 의해 상황이 더 악화되었기 때문이다.

 

여기서 가장 중요한 효과는 문화적 변화가 일어났다는 점이다. 장기적 관점이 확립되고 더 큰 학제성이 생긴 것이다. 이는 단기 아젠다가 지배적이었던 국가에 (경제적 불황이나 이전 시대의 장기 계획에 대한 반작용의 영향) 장기적 사고를 소개하는 좋은 기회가 되었다.

응답자들은 본래 목표의 달성, 특히 산업이나 공공분야의 연구 방향에 미친 영향을 부정적으로 평가했다. 앞서 언급한 것처럼 공공정책에는 큰 영향력이 있었으나 가시화 되는 절차가 느리고 비선형적이었다.

 

 

7. 결론

 

평가에 의해 제시된 구조 유형에 따라 예측을 검토하는 것에 대해 여러 이슈를 제기할 수 있다. 기술전략 우선순위 결정에서의 네트워크 구축과 과학 시스템 재건에의 참여적 접근 등을 포함하여 예측을 적용하는 모든 상황을 고려해 볼 때, 여러 상황에 모두 적용 가능한 만능 접근법이 존재하지 않음은 분명하다. 더 나아가, 평가 방법은 평가 동기나 예측 활동과의 타이밍, 그리고 예측에 접근하는 집단 단위와 같은 다른 여러 요인에 의해 영향을 받게 된다.

 

특정 예측 개입 배후의 이론적 근거에 대한 체계적 이해를 통해 평가 구조를 도출할 수 있고, 또한 이론적 근거를 통해 우리는 예측은 그 맥락과 따로 놓고 평가할 수는 없음을 알 수 있다. 이는 다음의 두 가지로 나타난다.

-다른 영향과 비교하여 예측이 가지는 상대적인 신호 강도

-예측과 예측을 통해 영향을 주고자 하는 조직 전략간 상호작용

 

평가는 드러나는 귀인과 드러나지 않는 귀인을 주의해서 잘 파악할 수 있어야 한다.

 

논의한 세 가지의 국가적 케이스 스터디는 다양한 평가 접근법을 보이는 동시에 평가의 불완전성을 드러낸다. 절차나 조기 효과 등의 문제는 동료 평가를 통해 잘 관리가 되지만 장기적인 효과를 이해하고 측정하는 면에서는 아직 많이 부족하다고 할 수 있다.

여기서 다루어진 많은 국가들이 제 4세대 모델 국면(확대 모델)으로 접어들고 있는 만큼, 새로운 이슈들이 대두되고 있다. 유명한 국가적 과제를 둘러싼 정치적 압력이 줄어들어 이론적으로는 평가를 실시하기가 더 수월해 졌으나, 한편으로는 정책 입안자들이 서로 다른 미래지향적 과제에 대한 정보나 전문 지식간의 관계를 알아내고자 할 것이므로 평가 수행이 더 복잡해 질 수 있다.

또 다른 추세는 유럽국가에서 설명회나 노골적인 벤치마킹을 통해 예측과 그 효과에 대한 연구 교환을 체계화 하려는 시도가 진행 중이라는 것이다. 이런 활동이 믿을 수 있고 유용해 지려면 엄격한 평가가 필수적으로 선행되어야 한다.

 

예측은 학습과 발전을 체계적이고 확실하게 지원함으로써만이 강화될 수 있다. 더 나아가 예측과 마찬가지로 평가 또한 중요한 연구들을 낳을 여지가 있는 분야라고 할 수 있겠다.

 

Evaluation of national foresight activities.pdf

0.17MB