柯老师从学术和用浅显易懂的话语解读了2011年春晚满意度调查的看法，非常值得欣赏！转载这里与大家分享！——柯老师是我的老师，也是同事，值得尊敬的学者！

央视春晚满意度调查的两个版本之我见 [ 研究之声 ]  中国传媒大学教授 柯惠新

近年来，关于央视春节联欢晚会的观众满意度调查，网上会盛传两种版本，一种是CTR央视市场研究公司除夕午夜发布的同步电话调查的结果，另一种是春节期间 一些网站，例如新浪网，发布的网络调查的结果。这两种调查的结果一般都是大相径庭的，例如在2010年，认为春晚办得好的比例分别是CTR公布的 81.6%和新浪网公布的13.4%，相差非常大。
作为一位在大学专门从事调查方法和统计方法的教学和科研的教师，我想结合自己的教学和科研经历，谈一下自己对调查出现截然不同结果的看法。
一、相对于调查结果，我更关注调查的方法和过程
我参加过不少涉及到民意、社会和市场调查研究方面的国际会议和国内会议，学术性的和非学术性的会议，发现了一个很有意思的现象，就是与会者对研究报告发表方的提问很不相同。
在国际性的学术会议上，提问者更关注的是调查数据的来源，包括调查的设计（例如，样本怎样抽取的？问题是怎样提出的？）、调查的方法（例如，采用面访调 查？电话调查？网络调查？等）、实施的质量控制（例如，成功率/拒访率是多少？是怎样计算的？）、数据分析的方法（例如，样本对总体是否有代表性？具体如 何处理的？）等等。
而在国内的一些会议上，提问者更关注的是调查数据的结果，以及对调查结果的分析和解读。即使是在一些很学术性的场合，比如研究生的论文答辩，也可能会出现答辩专家不耐烦地打断答辩人的情况：“直接说你的研究/调查结果，方法部分不用说了”。
我的观点是：相对于研究/调查结果，方法和过程是更重要的。因为结果在很大程度上是依赖于方法和过程的，采用不同的方法，可能会得到大不相同的结果。所以我在给学生们上方法课时，会反复灌输“方法比结果更重要”的观点。

二、得到两个截然不同的调查结果，我认为这是必然的
2010年央视春节联欢晚会的观众满意度调查，得到了两个截然不同的调查结果。CTR除夕夜进行的同步电话调查，被访者认为春晚办得好的比例高达81.6%；而新浪网在春节期间进行的网络调查，被访者认为春晚办得好的比例只有13.4%。
在我看来，方法不同，得到截然不同的调查结果，是必然的。
在课堂上，我常常用下面的实际小例子，来向学生们强调“方法”的重要性。
美国专栏作家蓝德丝在杂志上刊登了一个问题，询问已有孩子的读者：
“如果可以重来一次，你会要孩子吗？”
她收到了近10,000份答复，几乎有70%说：“不要！”，同时附上了很多令人心碎的故事，他们的孩子是如何折磨父母的 … …
这个调查的对象是该杂志的父母读者，方法是在杂志上刊登问卷，得到的样本是一种“自发性的回应样本”。
那么，这种“自发性回应样本”与一般专业调查采用的“随机样本”，结果会有多大的不同呢？
一周之后，美国《每日新闻》在其全美专业性的电话随机抽样调查中，也询问了同样的问题：
“如果可以重来一次，你会要孩子吗？”
这个随机抽样共调查了n=1,373位父母（注：美国专业调查机构定期进行的民意调查，样本量一般都是这个水平），其中有91%说：“要！”
比较一下这两个调查结果，对于“如果可以重来一次，你会要孩子吗？”的回答是“要！”的：
自发性回应：30%；随机样本回应：91%
随机抽样的最大优点是什么？是没有偏差，它给了所有父母相同的回答机会！并没有特别照顾那些因为被孩子气昏了而写信给蓝德丝的父母！
在这个实例中，同样的调查问题，但是由于调查的总体（对象）和方法不同，得到的调查结果就截然不同。
类似地，比较CTR和新浪网的调查总体和方法，也有诸多的不同，例如：
1、总体：CTR的调查总体是全国电视人口，包括农村和城市；新浪的调查总体是全国网民；
2、方法：CTR采用的是电话调查的方式，新浪网采用的是网络调查的方式；
3、时间：CTR采用的是同步调查，从除夕夜20:30开始，23:30结束，当天午夜就发布调查结果；而新浪网采用的是持续几天的调查，初四公布调查结果；
4、受访对象：CTR采用电话调查的方式，在家庭中接听电话的可能多为中老人，而主动填答新浪网调查问卷的网民可能多为年轻人，平均来说，这些网民的教育程度也可能高于CTR的电话调查样本。
因此，CTR的调查和新浪网的调查有截然不同的调查结果，是必然的。反过来，如若这两个不同的调查得到了大致相同的结果，那反而是不正常的。

三、到底相信哪一个？我觉得都有参考的价值
对于CTR的调查和新浪网的调查，我个人都是相信的；就像前面的关于对是否还会要孩子的两个调查，我也相信它们都是真实可信的。关键是要按照数据获取的不 同方法，从不同的视角理性地去分析和使用数据。这样的话，我觉得这两个调查的结果，都会是很有参考价值的。不管是作为春晚主办单位的中央电视台，还是广大 电视观众和网民，都应该可以从不同的角度去解读数据，客观理性地评价春晚的成败。
例如，CTR在除夕午夜公布：“81.6%的观众表示春节晚会办得好”，我觉得很正常。试想在大年三十晚上，全家人都聚在一起，热热闹闹，一边看看晚会， 一边说点高兴的吉利话，乐呵乐呵，就是过年了。这时候如果我接到了CTR访问员的电话，问我觉得今年的晚会办得怎么样，在这样喜庆的氛围下，我的回答大概 会是“不错”、“还行”、“还可以吧”。即使有些节目觉得没有意思，大过年的，相信一般人也不太会说“不好”的丧气话的。所以，81.6%的高满意度实际 上很有“中国特色”，也是有些水分的，中央电视台不要太拿这个数据当回事。
事实上，认为春晚办得好的观众比例高，除了过年的欢庆气氛的影响，还可能因为在春晚进行过程当中做调查，也许魔术还没被揭秘，小瑕小疵的毛病也都还没被挑 剔出来；除夕过后，央视春晚会在中央台各频道重播，细心的网民会针对自己感兴趣的演员和节目发表意见和评论，直播过程中被观众忽视的小问题也逐渐浮出水 面，一般来说春节的前几天都是评论、批评最热烈的时期，质疑假唱的、录播的，种种声音都出来了。此外还要注意到，越是对春晚有看法的网民，越是可能会主动 地去回应网上的调查问卷，就像前面所举例子中那些“被孩子气昏了而写信给蓝德丝的父母”那样。这样，到初四新浪网公布调查结果的时候，得到“只有 13.4%的观众表示春节晚会办得好”的结论，也是很可理解的。虽然这是那些主动回应的网民的意见，不一定能够代表沉默的大多数，但是中央电视台一定要十 分重视这个数据，认真研究网民的意见，改进工作，并做出必要的虚心的回应。

四、为什么会受到质疑？我猜测有多方面的原因
CTR市场研究公司每年的春晚调查结果都受到了质疑，相关的专业调研人员感到非常委屈，他们将整个调查项目的方案介绍，包括调查内容、抽样方案、项目流 程，以及近年同步电话调查的抽样分布、调查结果新闻稿、历年调查数据等非常详细的资料，都全部交给我审核。
仔细地看过这些资料之后，我觉得作为受中央电视台委托的项目，CTR这15年来（自1996年起）对中央电视台春节联欢晚会进行的同步电话调查，从专业的 角度来说应该是没有什么问题的，当然条件允许的话还可以有不少改进的空间（详见最后部分）。但是为什么会受到那么多的质疑呢？我觉得要比较客观地回答这个 问题，应该也需要做一个比较全面的调研。现在我只能根据个人的猜测，觉得可能有以下几方面的原因（不一定正确，希望以后能有机会做调研去验证）：
1、对抽样调查的知识不够了解，导致认识上的诸多误区
例如，一般民众更关注调查结果，并不那么关注调查的方法；即使关注方法，也不很了解，其实不同的方法是可以导致大相径庭的调查结果的；此外，调查的规模重要，但是，样本的性质其实是更重要的，等等。希望相关的部门今后要做更多有效的科普工作。
2、目前的调查方式并非完美无缺，导致质疑在所难免
例如，为了了解广大民众对春晚的真实态度，是否有比同步电话调查更好的方法？如果为了得到快速的、可以进行逐年比较的连续数据，需要在除夕夜采用与春晚同 步的电话调查之外，是否可以考虑在春晚之后的几天之内，再采用电话或网络的方式，做进一步细致深入的调查？不只是简单的“总体评价”，更重要的是了解民众 对具体节目的评价和改进意见？我觉得这样的有针对性的详细数据，才能对央视春晚的改进，提供更有价值的参考依据。
3、对相关部门的不满/不信任，导致对客观数据的不信任
例如，不少民众对央视有诸多不满，认为其缺乏实事求是之心，而存哗众取宠之意；自吹自擂、有意掩饰不足，等。对央视的不满/不信任，导致了对CTR与央视 关系的质疑，进一步导致对CTR数据的不信任。联想到最近社会上出现的诸多因为民众对政府/国企/权威的不信任导致的危机事件，觉得这种不信任并不是简单 地通过解释就可以解决的问题，需要各方面长期的努力。

五、对央视春晚满意度调查的几点思考和建议
1、关于调查的目的
自1996年起，CTR受中央电视台的委托，开始对中央电视台春节联欢晚会进行同步的电话调查，以了解中央电视台春节联欢晚会的收视情况和收视效果。新浪网等网站近年来进行的网络调查，目的基本上也是围绕收视情况和收视效果来进行的。
1）关于春晚的收视率，我个人认为，要了解春晚的收视情况或收视率，参考一些专业性的收视率调查公司的监测数据，应该是更为客观的，因为这些数据依据的是 有代表性的固定样本和专业性的测量仪（或日记法），尽管可能也有这样那样的缺陷，但是起码这样测量到的春晚的收视率，和其他同时段节目的收视率，例如各个 省市电视台的春晚的收视率，是可以进行横向比较的，这样常规的连续监测数据会更有意义。
2）关于春晚的收视效果，单纯看收视率的数据是不够的，因为收视率的数据反映的主要是有多少人在看，对于看的人是否喜欢、如何评价等等，需要有进一步的满意度调查。
所以，我个人认为，不管是CTR的电话调查，还是新浪网的网络调查，如果将重点放在详细了解民众对每年春晚的需求、意见、评价和改进建议上，会更有价值。
也就是说，将调查的目的定位在如何针对民众的意见和建议去做改进，而不是仅仅停留在对数据的争执上。
2、关于调查的内容和方法
1）对于调查的内容，如果将春晚满意度调查的目的定位在详细地了解民众对每年春晚的需求、意见、评价以及如何针对民众的意见和建议去做改进，那么，目前不 管是CTR的电话调查，还是新浪网的网络调查，调查的内容都是过于简单和笼统的，建议作必要的补充设计。
2）对于调查的方法，无论是采用电话调查，还是网络调查，都是有意义的，关键是需要有比较严谨的设计和质量控制。
目前CTR的同步电话调查采用的是比较规范的随机抽样调查设计，最后样本的地区分布覆盖了全国的400多个区县，但是样本的性别、年龄、文化程度等的分布 是否也有代表性呢？我猜测可能不少接答电话的被调查者会是年龄偏大的中老年人，看春晚可能只是出于习惯，好不好看对他们来说并不那么重要。
此外，CTR的调查并没有涉及到手机用户，这可能也会造成一定的样本偏差。
而新浪网的调查样本则可能会更集中于年龄偏小的中青年网民，而且相当一部分可能会是对春晚形成了“刻板印象”的网民。除夕之夜批评春晚，大概也是一种过年的“习惯”。春节头几天在微博上有一个广为流传的段子，也许可以说明不少网民的心理：
有人说，看春晚就是图个高兴，你骂什么。我说：我就是得骂出来才高兴啊，要不我看它干嘛。骂春晚已经成为中国人民的传统节日了，一年到头，啥都不让骂，好不容易有一春晚还不让骂，这日子还咋过？
因此，不管是CTR的电话调查，还是新浪网的网络调查，我个人都建议起码要对一些可能影响满意度的指标（如性别、年龄、文化程度）作必要的配额限制，以使 CTR的电话调查样本对全国电视观众有更好的代表性，而新浪网的网络调查样本也要对全国的网民有更好的代表性。
3）对于调查的时间，如果条件允许的话，建议CTR的调查也不妨从除夕夜8:30开始，一直延续到大年初四，与新浪网等网络调查的时间同步。除了可以比较一般电视观众和网民的态度之外，也可以研究电视观众的态度是否受除夕夜气氛的影响等。
另外，如果有条件的话，不管是CTR还是新浪网，是否都可以考虑在春晚开始筹备之前就进行民意调查，然后针对民意调查的结果对春晚改版提出建议，这样也许会提高一般电视观众，包括网民，对春晚的关注度和满意度。
3、关于调查数据的使用
1）对于中央电视台，我个人认为，不管是CTR的数据还是新浪网的数据，都是同样宝贵的，因为它们分别反映了不同层面/群体民众的意见和态度，都需要认真对待。要深入地做好数据的分析和研究，并在此基础上认真地改进央视春晚的工作，争取更高的满意度。
此外，作为一个国家级的大台，应该有宽广的胸怀和包容心，对于“挑剔的”网民们的批评意见，更要抱着虚心听取的态度。虚心对待批评不但不会降低中央电视台的身份，也许反而会拉近距离，赢得更多的忠实观众。
2）对于一般民众，特别是网民，也需要提高自己对调查数据的识别和理解能力。如前所述，CTR的调查的确还大有改进的空间，但是新浪网的调查手段目前存在 的问题其实更大。不少网友们看春晚时一直守在微博上，跟着好友和网络上的意见领袖一起，一边看一边骂，舆论场十分一致。这可能也导致了不少网民们的“过度 自信”。我们应该理性地思考一下，网民们的意见也是有局限性的，网民们的想法并不就是多数国人的想法。
因此，我希望不管对来自何方的调查结果，我们大家都要更加理性地去关注调查的方法和过程，而不要只看重调查数据的大小。
4、题外的话
为了更好地根据民众的意见和建议去改进工作，我认为中央电视台每年花钱进行满意度调查是非常必要的。但是不要仅仅将调查的结果用作简单的发布和数据对比， 其实我个人觉得，如果能将春晚满意度用作央视内部改进工作的参考数据，而不是普通民众的话题，也许会更有价值。
这篇小文章是我的一点浅见，其实我知道关于“两个调查结果”的问题并不只是一个简单的技术或专业问题，也是由于一种不信任政府/国企/权威的社会心理在中国长期存在，我觉得作为一名普通的教师，很难通过一两篇“专业”文章来说服大家。
转载自《现代传播》2011年第3期