查看原文
其他

编辑视角(三):定量研究中的常见问题

中国行政管理 中国行政管理 2022-05-14

为了使广大作者和读者更好地了解本刊的稿件要求和采稿原则,我们请栏目编辑就审稿过程中的常见问题和栏目需求与广大作者和读者交流探讨,欢迎大家给我们留言。本期由“绩效与财政”板块编辑与大家分享对于来稿在定量研究上的一些问题和期待。
——本刊编辑部


定量研究中的常见问题 
 
本刊在线投稿系统设有“绩效与财政”板块,我们欢迎任何类型的研究论文,包括定性研究、定量研究和理论研究,以及任何针对研究方法的切磋和讨论。我们倡导有视角的中国问题和有品质的中国故事,兼顾严谨性(Rigor)与实用性(Relevance);既反对过度数字化和模型化,也同时尊重学术共同体在推动研究方法上的阶段性探索,肯定实证研究在研究方法和工具上日新月异的发展,推动方法迭代与理论发展的齐头并进;既不放大和过度解读不同研究方法的局限性,也不逾越不同研究方法本身的边界和限度去判断学术贡献。

从目前的投稿来看,本板块定量研究的来稿比例超过60%,定性研究论文约占20%,理论论文和其他文章不足20%。三种类型的论文有一些共性的问题,如概念和理论框架不明等,但针对本板块定量研究相对较多的特点,我们重点就此类论文常见的四个方面的问题与大家进行交流探讨。

第一,部分论文在理论框架以及研究创新方面阐述较为模糊,无法识别其理论贡献也无从判断其学术价值。如近一段时间我们接收了大量营商环境的投稿,这些稿件或者在引文部分泛泛而论营商环境选题的重要性和政策背景,略过学术性探讨直接进入操作化部分;或者在理论框架(Theoretical Frame)不明的情况下对营商环境进行测量。理论框架在研究论文中的作用不言而喻,其所包含的核心概念和研究问题是指向学术创新的:或者是收集到新的数据去验证已有的理论,或者以理论为基础解释数据,或者分析批评已有的理论,或者以新的方式在整合已有理论基础上进行建构。理论框架既是学术严谨性的要求,也是实用性的体现。实用性包括了两个层面,即学术实用性和有益于实务工作的实用性[1],二者都是指一个领域内的知识可以迁移到另一个领域。对营商环境这类较强时政性的主题,理论框架是其所研究的内容可以被实务工作者认知、理解、筛选和迁移的条件,因此即使是政策效果评价的定量研究也需要提供一个明确且紧凑(Parsimonious)的理论框架。

第二,部分论文对真实世界不够关切,导致研究问题和因果机制的解释缺乏根基。改革开放以来的我国政府管理实践,一个突出的特点就是新政策、新生事物层出不穷,这是公共管理研究者的机遇也是挑战。就研究问题而言,如果对不断变化的政策情境缺少细致入微的跟踪观察,提出的问题容易“大而无当”或是找不准“痛点”。例如全面预算绩效管理是当下的政策热点,有研究者采用模糊综合评价等方法对各地全面预算绩效管理的阶段进行判定,工作量也很可观;然而全面预算绩效管理正式提出的时日尚短,比起对其进行阶段判定,可能更有意思的是不同时期、不同区域在全面绩效管理特征、效果、前因等方面的差异。又比如很多研究热衷于就某一突发社会问题构建单独的评价指标体系,但现实中如果每出现一个社会问题就构建一套特殊的指标体系,转型时期的政府多半在正式考核之前就已不堪重负。就技术细节而言,如果统计分析的逻辑基础不牢固,容易忽略关键变量,导致结论流于表面,出现因果倒置、同义反复等问题。

第三,对变量的测量通常有多种方式,但部分论文不解释选择特定测量方式的原因及其与理论框架和概念之间的紧密关联性。以非营利组织财务的绩效测量为例,目前至少有70种指标用来测量财务绩效,明确这些指标是从哪个维度抓取了构念并与理论框架和概念一致,对研究的外推性和稳健性是非常重要的,同时也很考验作者的研究直觉[2]。比如2017年发表于JPART的一篇论文讨论了公共服务动机对政策工具使用偏好的影响[3],该研究并没有直接应用公共服务动机的四维量表,而是根据构念和理论框架进行了严谨地取舍。通常我们认为直接政策工具比如规制、行政命令等会带来更多的寻租空间,所以自利性的也就是公共服务动机较弱的官员更愿意使用直接政策工具。但这篇论文提出了竞争性解释,认为利他性即公共服务动机较高才是官员选择直接政策工具的原因。为了证实这个假设,需要从利他性角度对公共服务动机进行测量,但通常测量公共服务动机使用Perry提出的四维量表,即“服务于公共利益的承诺”、“自我牺牲”、“同情心”、“期望参与政策制定”。为了与理论框架和研究假设相匹配,作者只选择了“服务于公共利益的承诺”和“自我牺牲”这两个与利他性高度契合的维度来测量公共服务动机,既简单又有效,很好地解决了测量指标的适配性问题。

第四,部分论文二手数据来源不明或者来源单一。公共管理研究大概有50%的定量研究使用二手数据,通常是大样本并且有较高的客观性、可复制性和可重复性。年鉴、政府网站的记录以及国际组织的跨国跨区域数据等是获得二手数据的主要途径。相当多的论文由于研究的需要通常需要多个来源的二手数据,但很多投稿对二手数据的来源缺乏明确解释。如针对政府间合作网络的研究,仅通过政府网站搜集2000-2018年地方政府间的合作协议这个单一来源,就很难令人信服。我国的政务公开程度在过去17年间发生了翻天覆地的变化,早期数据不能在互联网上获得,仅通过政府网站搜集无法确保数据的完整性。同理,如果研究中国慈善基金会的财务绩效,那么2016年之后的数据可以在民政部网站获得,缺失的部分可以通过其他途径人工收集。在2016年之前的数据则需要将多个来源,如机构公布、基金会网站抓取以及报纸公布的数据合并。对于定量研究来说,数据来源是研究质量的根本,需要作者在来稿中给出可信和详实的说明。我们也在投稿系统中设置了“附件”选项,以方便实证研究的投稿人可以提交限于篇幅无法在正文中呈现的部分,有助于投稿人与编辑之间就论文进行沟通。

以上是投稿中定量研究出现的突出问题,其他问题限于篇幅不一一列出。此外,本板块存在较多跨学科、跨专业来稿。我们非常欢迎跨学科的学术交流,但很多稿件的研究议题与本刊的核心关切距离较远。这里提供两个基本的判断标准:第一,要与公共事务、公共部门有关,并在研究框架、研究创新以及论证过程中展现出这部分研究在“公共性”方面的意义。第二,要与公共管理领域的相关文献、理论有所对话。

欢迎大家围绕“绩效管理”和“公共财政”议题给我们投稿,尤其欢迎围绕当前我国全面预算绩效管理与绩效评估、中央与地方财政事权和支出责任划分、公共部门国有资产管理等当前政府重点改革领域的理论与实践问题投稿。
 

[参考文献]

[1]Daft, R. L. and A. Y. Lewin . Rigor and Relevance in Organization Studies: Idea Migration and Academic Journal Evolution. Organization Science,2008,19(1): 177-183.
[2]Prentice, C. R. . Why So Many Measures of Nonprofit Financial Performance? Analyzing and Improving the Use of Financial Measures in Nonprofit Research. Nonprofit and Voluntary Sector Quarterly, 2016,45(4): 715-740.
[3]Song, M., I. Kwon and S. Cha . The Effect of Public Service Motivation and Job Level on Bureaucrats’ Preferences for Direct Policy Instruments. Journal of Public Administration Research & Theory,2017, 27(1): muw036.
 
 


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存