规律与因果：大数据对社会科学研究冲击之反思
来源:用户上传
作者: 刘林平 蒋和超 李潇晓
摘要：在社会科学中，大数据研究还刚刚起步，但也取得了一定成果。大数据为社会学和社会科学重新发现社会历史发展规律提供了可能性：它提供了认知宏观社会、检验社会现象的“异质性假设”和“结果稳定假设”的数据基础；它以实时记录的特点较大程度上排除了获取数据时的人为干扰；它将抽样数据中被排斥的极端值重新纳入统计分析。在因果关系上，大数据有助于从根本上克服由于抽样偏颇所引起的样本选择性偏误；匹配数据可以克服或缓解变量遗漏问题；作为面板数据和分层数据，大数据对确定因果效应、检验因果关系比抽样数据更为有利、稳健和可靠。大数据也许可以重构社会学和社会科学的研究目标。
关键词：大数据；规律；因果关系；冲击；反思
中图分类号：C91-03
文献标识码：A
文章编号：0257-5833（2016）0943067-14
作者简介：刘林平，南京大学社会学院教授、博士生导师；蒋和超，南京大学社会学院博士研究生；李潇晓，南京大学社会学院博士研究生
（江苏
南京210023）
一、大数据特征与社会学相关研究
“数据”是系统收集到的关于世界的信息要素。“大数据（Big data或Megadata），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的形式的信息。”由于互联网的普及和相关设备的广泛使用，人类活动的痕迹几乎都可以转化为可以储存的数据，如日常起居、运动、购物、旅行、休闲、人际交往、写作（发表意见、评论和文章等）等等莫不如此。在社会和国家的层面，经济、政治、军事、科学、教育、社会和文化活动，及人类对自然界的影响，都会留下可储存的海量数据。这些数据可以用来分析人类活动的特点和规律。因而，大数据必然会对传统社会科学的研究方式产生巨大冲击、挑战并提供新的机遇。本文从社会学和社会科学研究的基本目标人手来进行反思。
大数据不同于传统数据之处在于：它不是通过抽样调查所获取的样本数据，而是人类活动的实时记录，并大都可以通过互联网存储、获取、交换和分析。大数据是“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集”。大数据有多方面的来源，一般而言可以分作五类：企业公司数据，指来自公司企业的销售、交易等数据，比如阿里巴巴的销售数据、证券公司的交易数据等；网络数据，主要是指来自互联网、社交媒介的数据，比如Facebook、Twitter、新浪微博等；期刊图书数据库，是指取自某一个具体的数据库的数据，比如CNKI期刊数据库、Web of Science、Google图书等；政府数据，是指源自政府的总体数据，比如人口普查数据、全国用水用电数据等；其他，是指除上述四类数据之外的其他数据，但不包含抽样调查数据。有关大数据的基本特征，我们可以在与传统数据的比较中进行描述和分析。
1.样本与总体
和以往抽样调查获得的数据不同，大数据不是抽样数据而是一个总体数据。但是，这个总体是一定范围里的总体，而不是绝对总体。比如，人们通过京东商城购物，所有的购物过程都可以转化为数据，所得到的总体就是在京东商城发生购物行为的总体。这个总体不是所有网上购物者的总体，更不是包括线下购物者的全部购物者的总体。不过，有一些数据的总体，就是一个完整的总体。比如，美国国防气象卫星计划（Defense Meteorological Satellite Program）的夜间灯光图像数据，就是每天对地球进行扫描的数据，其平均灯光强度可以作为代表区域社会经济发展的指标，现有研究表明这一指标与GDP的相关度非常高。这个数据的总体，就是整个地球。因而，我们不能笼统地说总体，而要具体看该数据所代表的总体是什么样的总体。这样所得结论的界限就比较明确。
作为总体的大数据，在统计上至少有两个意义：其一，它可以给抽样数据提供参照，纠正其偏差。抽样调查采用抽样数据推断总体，实际上，很大程度上对总体认识不清，并不知道推论的实际效果，只是根据统计的显著性来进行检验。大数据的出现为抽样数据提供了总体的基本特征，抽样数据可以与大数据进行比较，看到底有没有偏差，偏差有多大。所以，大数据给小数据（抽样数据）提供了一个标杆和判断的标准。其二，运用大数据进行统计时，显著性检验可能就是不必要的了，实际数据差异是多少就是多少，因为它就是总体。
2.结构化与非结构化
与人们的一般想象不同，大数据其实主要不是结构化的数据，而是非结构化（含半结构化）的数据。“据统计，只有5%的数据是结构化的且能适用于传统数据库。”非结构化的数据对社会科学研究提出了如下问题：其一，它对数据的分类、整理提出超越以往任何时候的技术要求和理念更新。其二，精确性与模糊性并存。“大数据要求我们有所改变，我们必须能够接受混乱和不确定性。”大数据是精确性与模糊性并存的数据，可能精确的更精确，而模糊也是能够接受的。
3.单一与匹配
一般说来，大数据的数据比较单一，它仅包含有限的变量。比如家庭和企业的用电、用水记录，通讯公司的手机消费记录，等等。但是，这些数据是可以匹配起来的。比如，通过通讯公司的手机（或座机）记录、网上购物记录和快递公司的送货记录，我们可以分析手机用户的网络消费情况，进一步也可以将其人际交往情况匹配起来，等等。如果匹配是可能的，那么将有可能改变大数据目前变量较少的状况。这种匹配，在技术上是可行的。问题在于不同数据的产权可能归属于不同的公司或部门，怎么解决数据交换的问题，就是一个市场交易的问题，是一个经济学和法学的问题。
在个体的层次上，将数据匹配起来，牵涉到个体的权利、隐私等问题。在组织（如企业、公司、学校、科研机构、政府组织和非政府组织等等）层次上、地区（如社区、城市、行政区划等）层次上，也同样存在上述问题。不过，非个体层次对隐私的要求没有那么严格，在现有条件下，数据的获得、使用主要受限于信息的不公开。 4.容量、记录与面板
数据容量巨大也是大数据的基本特征。当前，大数据是指容量超过1TB或1PB的数据集，容量的界定是相对的，它会随着时间和数据类型有所不同，随着存储能力的提高，大数据容量的阈值也会提高，对大数据容量给出一个确切的阈值是不切实际的。
大数据是人类活动的实时记录，与抽样数据如问卷调查数据相比较，它往往不是回顾性的，基本不受到人的记忆的干扰，所以，在这个意义上，它比问卷调查数据更准确。由于大数据是实时记录，所以它又具有时效性。由于大数据源源不断地产生，它又是面板数据，而且是间隔时间非常短暂的面板数据，这是抽样调查数据，哪怕是其中的面板数据所难以比拟的。
总而言之，作为人类活动实时记录的大数据是一个总体数据，它包含结构化数据和非结构化数据，一般容量较大，现实中单一的数据变量较少但可以进行匹配，许多大数据是源源不断涌现的面板数据。这些特征使得它区别于传统数据，并对人类活动和科学研究产生了难以估量的影响。2008年，在《自然》杂志出版的专刊“大数据（Big Data）”中，费利斯・弗兰克尔（Felice Frankel）和罗莎琳德・里德（Rosalind Reid）指出，巨大的数据流埋藏着对新科学的启示，但是，我们需要发现的工具，比如透镜。当然，大数据对科学的启示或冲击是从自然科学领域里开始的，但这种影响必然延伸到社会科学。
我们在收录了SSCI期刊的WOS（Web of Science）数据库中，对社科类文献中涉及大数据的社会科学（包含社会学）文章进行检索，结果发现：在社会科学研究中，涉及大数据的研究还很少，2010年至2015年12月以标题检索的总计仅为249篇，采用大数据进行实证研究的则更少，仅为43篇。这说明大数据研究刚刚起步，涉及大数据的文章80%以上还在讨论概念、特征和研究框架等初步问题。
在社会学学科中，共有30篇有关大数据的论文发表，其中2011年到2014年有9篇，2015年则有2l篇。其中实证研究仅有2篇，所用数据来自网络中的Twitter，研究方法采用时间序列分析，所用软件为R。这说明，在英文文献中，社会学的大数据研究也是刚刚起步。尽管大数据的研究并不多，但还是取得了一定的成果。根据斯科特・戈尔德（ScoR A.Golder）和迈克尔・梅西（Michael w.Macy）的归纳，西方学界对大数据中的网络数据的研究（主要涉及传播学、心理学、社会学和政治学等学科）在三个方面有所进展。
一是社会网络与传播研究。借助Facebook、Twitter、邮件、电话通讯等数据提供的丰富的人口学特征和社会网，学者们验证了格兰诺维特（Mark Granovetter）“弱关系假设”和博特（Ronald Butt）“结构洞”理论。伊格尔（Eagle N.）等对6500万电话用户的通讯记录的研究表明，社区成员社交网络的多样性与其经济发展呈正相关，证实了社会网络理论。乌干达（Ugander J.）等使用Facebook的社交网络数据发现，随着用户社交网络规模的不断扩大，用户之间的分割由2008年的5.3步下降到了2011年的4.7步，验证了“六度分隔理论”。巴克什（Bakshy E.）等对2.5亿Facebook回帖数据的研究表明，新信息的传播主要通过弱关系。相反，奥涅拉（Onnela J-P）等对460万手机用户的通讯记录的研究发现，尽管弱关系使社交网络联系了起来，但是大多数信息的传播都是通过中等强度的联结实现。
二是社会交换、合作与信任的研究。巴克斯卓（Backstrom L.）和克莱因伯格（KleinbergJ.）随机抽取了130万成年Facebook用户来测试恋爱关系建立和维持过程中社交网络的“嵌入效应”。令人惊奇的是，他们发现“离散”（较少的重叠）而不是“嵌入”更容易产生恋爱关系，这与“嵌入关系理论”相悖，但却与博特的“结构洞”理论相一致，即那些能够填补结构洞的人更能吸引同伴。
三是集体行动与社会运动研究。用户的网络互动数据为研究者检验集体行动理论、公共物品和博弈论的相关假设提供了良好的机会，并受到政府机构的极大重视。比如，冈萨雷斯（Gonzalez-Bailon S.）等使用Twitter和Facebook提供的数码痕迹来追踪“阿拉伯之春”中的抗议信息和公众舆论，因为通过追踪用户发布内容的转变可以用来衡量抗议动员的速度和程度。迪格瑞齐亚（Digrazia J.）等关于地方选举的研究表明，当地共和党的选票与Twitter用户消息中出现“共和党”名称的次数呈正相关关系，社交网络数据为传统舆论调查提供了一个重要的补充。
在国内的研究中，大数据研究相关文献并不太多。我们采用同样标准对CNKI数据库中收录在CSSCI中的文献进行搜索，结果发现：中文文献中大数据（共1359篇）相关的文章远远超出英文文献，但实证研究仅为30篇，少于英文文献。这说明，中文文献更是处于介绍、讨论基本概念、特征等初步阶段上。在中文文献中，社会学有54篇，但实证研究仅有4篇。王程辚使用CNKI数据库搜索“大数据”关键词，进行反事实分析，认为暂不能判断“大数据”是否能引领新科学范式的“大趋势”。陈云松等人使用谷歌图书和社交媒体Twitter的数据，研究了中国城市的知名度和社会学百年来的发展情况。这些研究具有一定的价值，但研究方法还比较简单。
总体来说，在中英文文献中，大数据的研究刚刚起步，多数文章还在描述大数据的特征，确定研究大数据的基本框架。实证研究非常少，也比较简单，不过也取得一定的成果。
当然，大数据对社会科学及其社会学的影响并不是表现为刚刚开始发表的少量论文，更为根本之处在于：它冲击或挑战了社会学和社会科学的基本理念、研究逻辑、研究方法与技术，或者说，大数据对以往社会学及社会科学的研究范式形成很大挑战。
二、找回规律：古典社会学是否可以重生？ 以社会现象异质性较强而自然现象同质性较强来否定对社会历史发展规律的追求，也是建立在有限经验事实基础上的。自然界丰富多彩，人类社会也具有同质性。“复杂性和非线性是物质、生命和人类社会进化中的显著特征。”异质性和同质性都是较为抽象的概念，笼统地说异质性（如文化异质性）并没有扎实的基础。应该将社会现象的异质性作为一个假设而不是一个前提，并通过对人类社会生活、历史发展和文化异同的大量经验事实的分析来检验这一假设。社会现象的异质性或同质性，绝对不是有限个案可以确证的。而大数据提供了检验这一假设的可能性。
人的确具有能动性、意向性、情境性和逆反心理，这是产生质性研究、抽样调查以及人口普查所得数据之误差的重要来源之一。但大数据恰好在这方面具有一定的优势或长处。“随着大数据分析取代了样本分析……当记录下来的是人们的平常状态，也就不用担心在做研究和调查问卷时存在的偏见了。”大数据是人类活动的实时记录，和通过访谈等方式得到的数据不同，它更能排除获取数据时人的不诚实、记忆误差及环境干扰等因素导致的误差。
关于人的能动性和意向性对社会历史规律的影响，恩格斯早有论述。他认为，在社会历史领域内进行活动的人具有意识、激情，经过思虑、追求目的。但是，历史进程受内在规律支配。“无数的个别愿望和个别行动的冲突，在历史领域内造成了一种同没有意识的自然界中占统治地位的状况完全相似的状况。行动的目的是预期的，但是行动实际产生的结果并不是预期的，或者这种结果起初似乎还和预期的目的相符合，而到了最后却完全不是预期的结果。这样，历史事件似乎总的说来同样是由偶然性支配着的。但是……这种偶然性始终是受内部隐藏着的规律支配的，而问题只是在于发现这些规律。”
恩格斯的论述可以概括为“结果稳定假设”。如前所述，迪尔凯姆也十分强调社会现象外在于个人的客观性。现代社会学和社会科学的众多研究证明，个人的意向性只是增强了社会现象的随机性、偶然性，而并不是没有规律可循。比如，人的迁移行为（国际移民，如中国人移民美国建立唐人街；国内移民，如农民外出打工）是有意向性的，单个人的迁移也可能是偶然的，但大规模的迁移行为则是有规律的。“国家的和国际的迁移效应不可能用单个人的自由意志来解释。”当然，恩格斯的“结果稳定假设”还需要证明或证伪。如果有足够的经验材料，比如大数据，这个假设就会得到进一步的检验。
大数据对于探讨人类行为和社会历史规律并且更为准确地进行预测还有一个非常有利的方面，那就是：在抽样数据中往往被删节的少量极端值在大数据中成为可以分析的个案或变量。帕特里克・塔克尔（Patrick Tucker）指出，“大数据可以帮你实现的，是找到拥有特定的行为模式和性格的人，而在小样本中你很难遇到――或许永远不会遇到，因为周围噪音太多了”。“当你的数据中有了足够的点，即便异常事件也可能显示出某种特征。”在小范围里的小概率事件，在一个大范围里可能就不是小概率事件，或者至少有较多的个案可以进行统计分析。这样，大数据就超越了小数据，将在小数据里被排斥的个案重新纳人分析框架之中。
总而言之，作为总体、实时记录和面板的大数据为重新发现宏观社会历史发展规律提供了以往所不具备的数据基础和可能性，在这个意义上，大数据可以重构社会学和社会科学的研究目标：它使得社会学、经济学和其他社会科学研究者至少可以发现或寻找人类活动的行为规律，并在此基础上发现社会历史的发展规律。
需要进一步澄清的是，承认社会历史发展具有规律并以此作为社会学或社会科学的研究目标，并不必然导致决定论。波普尔等人对古典社会科学的决定论性质的批评并非毫无道理。受限于当时的科学理念与发展水平，大多数古典哲学家、经济学家、社会学家及其他社会科学家将人类活动与社会历史规律看作是必然的，这当然具有决定论的特征。区别决定论或非决定论，关键在于将规律理解为是必然的还是概率性的，而不是是否具有规律。人类行为、社会现象、历史进程的变化是有规律的，但不是决定论意义上的必然性，而是概率论意义上的可能性。
在大数据的研究中，一些学者指出了人类行为的可预测性、规律性。帕特里克・塔克尔指出：“人类行为的可预测性比任何人想象中的都要强。”艾伯特一拉斯洛・巴拉巴西（Albert-Laszle Barab6si）同样认为：“人类行为遵循着一套简单并可重复的模型，而这些模型则受制于更加广泛的规律。”
三、大数据要放弃对因果关系的追求吗？
任何科学都要追求因果关系解释，缺乏因果关系解释就没有规律。反过来，追求发现规律就必然要追求因果关系。休谟认为，因果关系“是我们从经验中得来的关系”。发现因果关系的必要条件是：第一，“凡被认为原因或结果的那些对象总是接近的”；第二，“在时间上因先于果”；第三，原因和结果之间的“恒常结合”之“必然联系”。休谟奠定了科学对于因果关系的基本理解。休谟所谓的“恒常结合”就是事物之间统计上的强相关关系。此后，经过密尔等人的发展，关于确立事物之间因果关系的标准就基本稳定了：“两个变量间存在因果关系，即一个变量导致另一个变量，如果（1）在时序上，因先于果。（2）两者间有实证的相关性，而且（3）因果关系不是第三个变量的结果。完全符合上述三个条件的关系，就是因果关系。”
上述标准中的第3条，实际上就是要排除其他因素的干扰，确认就是原因对结果的影响而不是其他因素的影响。“研究特定原因的理想状态是什么？那就是所有其他的‘干扰，因素都消失的状态。……当所有的其他的干扰都不复存在的时候，原因就在它的行为中清楚地展示它的力量。”对于第3条的理解，也可以从反事实的角度进行：当有原因A时，会导致结果B；当没有原因A时，则不会导致结果B。因而，“因果关系问题实际上是一个反事实问题’一。
当然，社会科学通常是在概率的意义上来理解因果关系的。“统计学对因果关系表述为：在相等条件下，如果A发生，则B发生的概率提高，或者x变化导致Y平均值的变化。因果关系的必然性不表述为个体事件，而表述为群体概率或平均值和随机组试验的可重复性。” 基于第3条标准，实验法成为确立因果关系最成熟的方法和手段。因为实验可以将实验对象随机分配到控制组和实验组，并排除外界其他因素的干扰。可是，社会科学的研究对象是人，造成了“进行实验的特殊困难”。“在社会研究题材上进行受控实验的可能性极为狭小。”因而，社会科学主要采用统计方法并结合其他手段来探寻因果关系。
从统计的意义上来探讨因果关系，就不是两个变量（一个因变量，一个自变量）之间的关系那么简单的事情，因为社会生活中几乎不存在单因单果的现象。统计控制就是要将可能对因变量（被解释变量）和自变量（关键解释变量）有影响的变量纳入模型。从统计的角度来说，因果关系的问题就转变成了因果效应。“当解释变量被赋予两个不同的值时，因果效应就是这些值对应的观察值中系统部分间的差异。”在统计模型中准确估计因果效应主要受制于三个因素：
其一，样本选择性偏误。样本选择性偏误是由于缺乏科学的研究设计、非随机抽样、客观条件限制等因素引起的。这既可能是由于研究者的主观选择所导致（比如力图证明某一假设而只选取有利证据），也可能是由于客观条件限制（如没有好的抽样框导致缺乏随机抽样的基本条件），还可能是尽管有一个好的研究设计，但由于操作过程中的失误所致。样本选择性偏误有两种基本的形式：其一，缺乏参照组或对照组，不能进行反事实分析。其二，只看到有限样本，而且是一个非随机样本⑨。就缺乏参照组来说，当下的许多大数据也是如此。比如，由京东商城购物者行为所形成的大数据，就是一个线上购物者的数据，且不说还有其他的线上购物（如亚马逊），如果要完整研究消费者的购物行为，那就缺少线下购物者这一参照组，即使只研究线上购物，也可能由于缺乏线下购物的对比而导致认识偏差。显然，大数据只对由于抽样引起的有限样本的选择性偏误具有一定的纠正作用。因为大数据就是一定范围里的总体，在理论上可以“收集所有的数据，即‘样本’=‘总体”。因此，它也纠正了对于这一总体抽样所导致的偏差。
统计学家们想出种种方法来解决样本选择性偏误，但最根本的解决方案之一是不需要抽样，换句话说，就是具有一个总体样本。而这恰好是大数据的优势所在。大数据如果是总体或全部样本的数据，那就从根本上解决了由于抽样偏颇所引起的样本选择性偏误。
其二，变量遗漏。现实生活中的大数据往往只有几个简单的变量，其中一些数据只有客观变量（缺乏态度或评价性的主观变量），如果采用单一数据，变量遗漏问题会非常严重，甚至远远不如精心设计的抽样数据。不过，如果将不同的数据匹配起来，那么这一问题将在一定程度上得到缓解。匹配大数据在技术上是可以解决的，现实的问题主要在于数据的产权交换和数据使用的伦理，经过充分的讨论，这些问题是可以解决的。某一大数据变量简单或较少的问题，是测量标准、技术和设计的问题，这些问题是可以逐步改进的。现有测量，社会科学很少介入，在一定程度上导致社会关系指标或变量较少。假以时日，由于社会科学的进步和公众对此的认可，一些社会性的变量被列人、重视和普及，也是很有可能的。
其三，内生性问题。内生性问题涉及对于因果关系的基本理解。所谓内生性问题，是指“在一些情况下出现反向因果问题：解释变量受到被解释变量影响，而不是我们假设的影响被解释变量”。我们认为，在简单、封闭、稳定和局部的系统，因果关系较易确定；在复杂、开放、动态和庞大的系统中，因果关系难以确定。因果关系之所以难以确定，主要是互为因果或因果关系相互纠缠的问题，也就是“内生性”问题。“许多社会变量具有相互作用的效果，因而因果关系通常是不能简单累加的。”“预期的作用会导致因果关系难以在许多人类互动中定位。……由于人们会根据对他者如何行动的预期以及对自己行动结果的信念来调整自己的行为，因此经验性调查乃至因果概念的界定都变得非常困难。”
所以，在复杂、开放、动态和庞大的系统中，因果关系的内生性问题较难解决，而在简单、封闭、稳定和局部的系统中，在统计模型中可以尽量避免内生性问题。过去和现在的社会科学研究模型，就是将纳入模型的有限变量视为与其环境相对隔离或独立的因素。由这样的模型所得出的因果关系，如果将其放入或回归社会环境中，很有可能发生变化。这也是社会科学研究预测难以准确的基本道理。进一步说：由有限数据得出的因果关系要接受大数据的检验。以往的研究缺乏大数据，所以检验就要多次重复地进行。
尽管在复杂、开放、动态和庞大的系统中，因果关系的内生性问题较难解决，但并不是说就一定不能解决，复杂与简单、开放与封闭、动态与静态、庞大与狭小、全局与局部，都是相对而言的。避免在抽样数据中所设置模型的内生性问题的原则与技术，也可能在大数据中能够得到应用，或者有所改进。而在大数据中能确立的因果关系，其稳定性应该远超于抽样数据的结果。
大数据对确定因果效应的有利之处还在于：大数据中的多数数据是面板数据，并且具有层次性，可以进行分层处理。
基于上述分析，我们不能同意所谓大数据不需探求因果关系而只是追求相关关系的说法。如维克托・迈尔-舍恩伯格（Viktor Mayer-Schonberger）和肯尼斯・库克耶（Kenneth Cukier）认为的，不是因果关系，而是相关关系。
我们认为，相关关系和因果关系不是对立的，相关关系是因果关系的必要条件，因果关系是表明事物间作用之方向性的一种特殊的相关关系。事物间具有较强的相关关系，其中必然蕴含着因果关系，只是谁是因、谁是果，需要甄别，并要弄清楚因果关系的作用机制。当然，我们同意“相关关系分析本身意义重大，同时它也为研究因果关系奠定了基础”。
实际上，使用大数据是可以探讨因果关系的。约翰・格林（John Gerring）等人曾收集了一个覆盖国家、地域和区县的多层次的选举档案（the Multi-Level Election Archive，MLEA）来研究政体大小与民主的因果关系。该文档记录了从18世纪到2013年间，88个国家、2344次选举、79658个选区、超过400000场竞选活动的数据，是典型的大数据。通过普通最小二乘法（OLS）对样本总体进行的一系列检验表明，在多党竞选的地区，较大的选区能在更大程度上鼓励民主选举，选民规模对各政党的竞选力有正向的显著影响。这一发现与传统观点――政体大小与民主呈负相关关系相矛盾，为了证明作者的研究结论，文章对可能影响选举竞争力的其他因素，比如选民对反对党的偏好、竞选者的供给、选区的文化多样性以及候选人与选民的关系等因素进行了干预，在排除干预效应的模型里，选民规模仍然对政党的竞选力有正向的显著影响。随后，作者又用部分国家的议会选举数据和投票权改革数据验证了这一结论。网络数据同样可以用来探求因果关系，拉塞尔’纽曼（w.Russell Neuman）等人在2014年曾根据美国国家选举研究网站中涉及的29个议题，从传统媒体与社交媒介中获取了美国2012年全年各个议题的数据资料，这29个议题包含经济、外交事务、政治、公共秩序、社会问题和环境六大方面，其中，平均每天有13362条社交媒介的评论数据和4573条传统媒体的新闻报道。作者运用格兰杰因果关系检验了传统媒体、社交媒介与公共议题之间的因果关系，研究发现，社交媒介是社会问题和公共秩序议题的动力，而在经济、外交事务、政治和环境议题方面没有一种媒体主导这些公共议题，社交媒介和传统媒体呈现出复杂的、动态的领先与滞后模式。此外，约翰尼斯.本德勒（JohannesBendler）等人对Twitter用户数据的研究发现，某一兴趣点（Point of Interest，POI）（比如餐厅、酒吧、银行、博物馆等）与用户在该兴趣点发布的Twitter消息之间存在着因果关系。 四、结论与讨论
基于上述描述和分析，我们可以得出如下结论：
（1）和以往抽样调查所得到的数据不同，作为人类活动实时记录的大数据基本不受人类记忆、偏好和情感干扰；大数据是一个总体数据，但大部分数据不是全球或全国范围里的完整总体，而是一定范围里的总体；大数据包含结构化数据和非结构化数据；现实中单一的大数据变量较少但可以与其他数据进行匹配，匹配的困难主要不在于技术，而是产权和伦理问题；大数据具有时效性，大数据大多是面板数据。
（2）中英文文献检索结果表明，大数据的研究并不多，但还是取得了一定的成果。比如，西方学界对大数据中的网络数据的研究就有所进展。有的研究验证并支持了社会网络理论中格兰诺维特的“弱关系假设”和博特的“结构洞假设”，有的研究验证了“六度分隔理论”，有的研究则提出了新的理论假设。
（3）古典社会学和社会科学理论力图发现人类社会历史规律。后来的学者基于人类社会活动的整体性、异质性、能动性或意向性对此提出质疑。在社会学领域，主流观点认为应该抛弃发现普遍规律的企图，回到中层理论，关注具体的“因果机制”。
大数据为社会学和社会科学重新发现宏观社会历史发展规律提供了可能性：它以“总体”数据提供了认知宏观社会的数据基础；它为社会现象的“异质性假设”检验提供了较为全面的数据；它以实时记录的特点排除了获取数据时的人为干扰；它也为恩格斯的“结果稳定假设”提供了检验所用的充分的经验材料；它超越抽样调查的小数据，将小数据中被视为极端值并且往往被删节的个案或变量重新纳入统计分析。
作为总体、实时记录和面板的大数据也许可以重构社会学和社会科学的研究目标：它使得社会学、经济学和其他社会科学研究者至少可以发现或寻找人类活动的行为规律，并在此基础上进而发现社会历史的发展规律。但这种重构不是回到历史决定论，不是对规律作决定论的理解，而是概率论的理解。
（4）追求因果关系解释是科学包括社会科学的必然目标。由于作为社会科学研究对象的人的特殊性，社会学和社会科学很少采用实验法而主要采用统计方法并结合其他手段来探寻社会现象之间的因果关系。在统计模型中准确估计因果效应主要受制于三个因素：样本选择性偏误、变量遗漏和内生性问题。
大数据作为总体或全部样本的数据，有助于从根本上克服由于抽样偏颇所引起的样本选择性偏误。单一大数据变量较少，如采用单一数据，变量遗漏问题会非常严重；如果将不同的数据匹配起来，可以克服或缓解变量遗漏问题；尽管在复杂、开放、动态和庞大的系统中，因果关系的内生性问题较难解决，但大数据对因果关系的检验比有限样本的抽样数据更为稳健和可靠，避免在抽样数据中设置模型的内生性问题的原则与技术，在大数据中也能应用，甚至有所改进；大数据作为面板数据和分层数据，对于确定因果效应极为有利。因而，我们不能同意大数据不需探求因果关系而只是追求相关关系的说法。大数据对于社会学和社会科学追求因果关系的努力比抽样数据更为有利。
总体来说，我们认为，大数据是可以用来重构社会学和社会科学的研究宗旨和目标的。不仅如此，大数据对社会学和社会科学的研究逻辑、方法和技术、研究的组织方式及人员素质等都会产生深远影响。对此，我们略加讨论。
其一，研究逻辑。一般说来，传统社会学和社会科学定量研究的基本套路是假设检验，即提出假设，然后用数据去检验，这种逻辑被视为演绎逻辑。从抽样数据推论总体的角度看，也有人认为是归纳逻辑。在逻辑实证主义看来，真正使用演绎逻辑的是数学和逻辑学本身，得出的是先验知识；其他从经验事实中得出结论的都是归纳逻辑，科学就是这样，得出的是经验知识。
我们认为，关于归纳还是演绎的争论并不是特别有意义，对于大数据来说，事先不提假设，直接从数据得出结论，是完全可以的；提出假设，比如从抽样调查的数据或理论演绎提出假设，再用大数据去检验，也是可以的，前文所述用大数据验证了“六度分隔理论”就是一例。
不管是归纳还是演绎，只要遵循科学的推理过程，都是可以的，在大数据研究中都可以使用。当单一大数据的变量较少，主要使用描述统计时，就主要是归纳逻辑；当某一大数据可以使用模型进行统计分析时，演绎逻辑可能就更为重要。
从演绎逻辑出发，使用大数据进行检验，可以称之为“理论驱动”；从归纳逻辑出发，使用大数据进行描述和分析，可以称之为“数据驱动”。两种逻辑并存，理论驱动和数据驱动并存，可能是使用大数据进行研究的一个特点。以往的抽样数据研究，主要是理论驱动和演绎逻辑；而质性研究，主要是数据驱动和归纳逻辑。大数据将两种逻辑结合起来，可能是其优势所在。
其二，研究方法和技术。大数据对定量研究方法的挑战目前可能主要是对当下定量研究所使用的工具（比如软件）形成冲击。主要用于抽样数据的传统软件不足以容纳这么大的数据量，难以进行计算，更难直接获取或抓取数据。所以，大数据对统计分析技术会有很大的冲击和促进，对计算机及其软件的发展有要求。
社会科学发展一个重要的推动力就是技术手段的进步。从技术的角度，对大数据的获取、存储、交换、匹配、分析、建模，大数据分析对统计理念、技术和软件的要求，都会形成冲击。
需要指出的是，大数据对质性研究方法挑战可能更为尖锐：一是，大数据给质性研究提供了源源不竭的数据，对以往质性研究限于有限个案的做法影响极大，至少不比对定量研究的影响小，只不过质性研究者对此往往认识不足。二是，传统的质性研究之所以有一席之地，原因之一是可以研究统计中的极端值。在抽样数据中，极端值个案数太少，难以单独进行统计分析，给质性研究留下空间。大数据可以提供大量极端值的个案数，因而可以进行统计分析。在这个意义上，大数据又可能压缩了质性研究的空间。三是，大数据中绝大部分是非结构性数据，也就是质性研究的基本材料，怎么对这些数据进行分类、处理，既是定量研究的难题，也可求助于质性研究深入、细致的分析；四是，大数据提供了总体的基本特征，对于质性研究将个案类型化、进而选择个案（抽样）提供了很大的帮助；五是，大数据的非结构化特征迫使人们从简单的二值逻辑走向多值逻辑，走向人工智能，大数据为人工智能的训练提供了数据基础。
转载注明来源:https://www.xzbu.com/4/view-7724952.htm
