近年来，“爬虫玩得好，监狱进得早；爬虫爬得欢，监狱要坐穿；数据玩的溜，牢饭吃个够 ”这句话广泛流传于技术圈。然而，这句调侃的话并非危言耸听，近些年来还真有很多爬虫程序员因此面临牢狱之灾。
网络爬虫，亦称之为“网络蜘蛛”，它是一种自动化浏览网络程序，其按照设置的规则，通过模拟人工点击来自动地抓取互联网数据和信息，从而自动、高效地读取或收集互联网数据。网络爬虫技术的应用场景广泛，在搜索引擎、网络舆情、大数据挖掘等方面的应用快速发展。在大数据时代，随着数据价值的日益凸显，使用网络爬虫等高科技手段获取公民个人信息的行为愈演愈烈。
在司法实践中，爬虫技术可能涉嫌多种罪名，爬虫获取个人信息则容易触犯侵犯公民个人信息罪，然而，并非所有的爬虫获取个人信息都构成侵犯公民个人信息罪。
根据《刑法》第二百五十三条之一规定，违反国家有关规定，向他人出售或者提供公民个人信息、窃取或者以其他方法非法获取公民个人信息的，情节严重的，构成侵犯公民个人信息罪。
由此可知，网络爬虫行为是否构成侵犯公民个人信息罪，主要取决于爬虫行为是否为《刑法》第二百五十三条之一第三款规定的“以其他方法非法获取公民个人信息罪”行为。认定属于“以其他方法非法获取公民个人信息”的情形需要同时考虑以下两个要素：一、爬虫获取的个人信息属于刑法意义上的公民个人信息；二、爬虫技术获取个人信息违反了国家有关规定。只有同时符合上述两个要素，才能认定属于“以其他方法非法获取公民个人信息”的情形，且达到情节严重的，进而构成侵犯公民个人信息罪。
一、爬虫获取的个人信息不属于刑法意义上的公民个人信息则不构成侵犯公民个人信息罪
根据《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第一条规定，刑法第二百五十三条之一规定的“公民个人信息”,是指以电子或者其他方式记录的能够单独或者与其他信息结合识别特定自然人身份或者反映特定自然人活动情况的各种信息，包括姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等。
由此可知，侵犯公民个人信息罪中规定的“公民个人信息”应当具备可识别性，能够直接或间接识别特定自然人身份或反映特定自然人活动情况。
但是，如果爬虫技术获取的个人信息不属于刑法意义上的“公民个人信息”，例如经去识别化处理且无法复原的个人信息，所获取的个人信息只能认定为普通数据。即使爬虫技术获取个人信息行为违反了国家有关规定，因其不符合侵犯公民个人信息罪的全部构成要件，也不构成侵犯公民个人信息罪。
二、爬虫技术获取个人信息行为未违法国家有关规定则不构成侵犯公民个人信息罪
在爬虫技术广泛应用的情况下，网站经营者通常并希望所有的数据都可被爬取，于是会在网站设置robots协议及一系列的反爬措施，用于防止部分数据被爬虫技术所获取。常见的反爬措施有IP限制、验证码、登录限制、数据伪装、参数签名、隐藏验证和阻止测试等。
爬虫可分为善意爬虫和恶意爬虫。善意爬虫指遵守robots协议，爬取网站许可的数据。与之相对的是恶意爬虫，恶意爬虫无视robots协议，对网站中某些深层次、不希望公开的数据肆意爬取，其中不乏涉及个人隐私及商业秘密等重要信息。
侵犯公民个人信息罪中规定的“国家有关规定”，主要指法律、行政法规、部门规章有关公民个人信息保护的规定。主要包括《个人信息保护法》、《网络安全法》、《信息安全技术个人信息安全规范》、《电信和互联网用户个人信息保护规定》、《关于加强网络信息保护的决定》等法律法规。这些法律法规基本确立了获取公民个人信息需要遵循合法性原则。
例如《个人信息保护法》第十四条规定：基于个人同意处理个人信息的，该同意应当由个人在充分知情的前提下自愿、明确作出。法律、行政法规规定处理个人信息应当取得个人单独同意或者书面同意的，从其规定；个人信息的处理目的、处理方式和处理的个人信息种类发生变更的，应当重新取得个人同意。
《关于加强网络信息保护的决定》第一条规定：任何组织和个人不得窃取或者以其他非法方式获取公民个人电子信息,不得出售或者非法向他人提供公民个人电子信息。
根据网站经营者设置的反爬虫措施，应视为网站经营者拒绝相关数据被爬虫技术爬取，再结合上述针对公民个人信息保护的法律规定，可认定违反了知情同意原则，故恶意爬虫行为属于侵犯公民个人信息罪规定的违反国家有关规定情形。
因此，恶意爬虫获取公民个人信息，构成侵犯公民个人信息罪。反之，不符合侵犯公民个人信息罪的构成要件，则不构成侵犯公民个人信息罪。
综上所述，爬虫获取个人信息行为并不必然构成侵犯公民个人信息罪，准确把握罪与非罪需要对“公民个人信息”、“违反国家有关规定”明确界定。