admin管理员组

文章数量:1130349

Python爬虫实战：HTTP协议详解，请求方法/状态码/Header

Python爬虫实战：HTTP协议详解，请求方法/状态码/Header，本文详细解析了 HTTP 协议的核心要素，包括请求方法、状态码和 Header。HTTP 是基于 TCP/IP 的应用层协议，采用请求 - 响应模式且无状态。请求方法有 GET、POST、PUT、DELETE 等，各有其适用场景和特点；状态码分五大类，反馈服务器处理结果；Header 则是请求与响应的附加信息。文中还给出了使用 Python 的 requests 库实现不同 HTTP 请求的案例。理解这些知识对开发者构建稳定高效的网络应用至关重要，有助于排查错误、优化性能和设计网络接口。​

前言

    Python作为一门简洁、易读、功能强大的编程语言，其基础语法是入门学习的核心。掌握好基础语法，能为后续的编程实践打下坚实的基础。本文将全面讲解Python3的基础语法知识，适合编程初学者系统学习。Python以其简洁优雅的语法和强大的通用性，成为当今最受欢迎的编程语言。本专栏旨在系统性地带你从零基础入门到精通Python核心。无论你是零基础小白还是希望进阶的专业开发者，都将通过清晰的讲解、丰富的实例和实战项目，逐步掌握语法基础、核心数据结构、函数与模块、面向对象编程、文件处理、主流库应用（如数据分析、Web开发、自动化）以及面向对象高级特性，最终具备独立开发能力和解决复杂问题的思维，高效应对数据分析、人工智能、Web应用、自动化脚本等广泛领域的实际需求。

🥇 点击进入Python入门专栏，Python凭借简洁易读的语法，是零基础学习编程的理想选择。本专栏专为初学者设计，系统讲解Python核心基础：变量、数据类型、流程控制、函数、文件操作及常用库入门。通过清晰示例与实用小项目，助你快速掌握编程思维，打下坚实根基，迈出自动化办公、数据分析或Web开发的第一步。

🥇 点击进入Python小游戏实战专栏， 寓教于乐，用Python亲手打造经典小游戏！本专栏通过开发贪吃蛇、飞机大战、猜数字、简易版俄罗斯方块等趣味项目，在实践中掌握Python核心语法、面向对象编程、事件处理、图形界面（如Pygame）等关键技能，将枯燥的代码学习转化为可见的成果，让学习编程充满乐趣与成就感，快速提升实战能力。

🥇 点击进入Python小工具实战专栏，告别重复劳动，用Python打造效率神器！本专栏教你开发文件批量处理、自动邮件通知、简易爬虫、桌面提醒、密码生成器、天气查询等实用小工具。聚焦os、shutil、requests、smtplib、schedule等核心库，通过真实场景案例，快速掌握自动化脚本编写技巧，解放双手，显著提升工作与生活效率，让代码真正服务于你的日常。

🥇 点击进入Python爬虫实战专栏，解锁网络数据宝库！本专栏手把手教你使用Python核心库（如requests、BeautifulSoup、Scrapy）构建高效爬虫。从基础网页解析到动态页面抓取、数据存储（CSV/数据库）、反爬策略应对及IP代理使用，通过实战项目（如电商比价、新闻聚合、图片采集、舆情监控），掌握合法合规获取并利用网络数据的核心技能，让数据成为你的超能力。

🥇 点击进入Python项目实战专栏，告别碎片化学习，挑战真实项目！本专栏精选Web应用开发（Flask/Django）、数据分析可视化、自动化办公系统、简易爬虫框架、API接口开发等综合项目。通过需求分析、架构设计、编码实现、测试部署的全流程，深入掌握工程化开发、代码复用、调试排错与团队协作核心能力，积累高质量作品集，真正具备解决复杂问题的Python实战经验。

在互联网的世界里，HTTP 协议如同一条无形的纽带，连接着客户端与服务器，支撑着网页浏览、数据交互等一系列网络活动。作为一名开发者，深入理解 HTTP 协议的核心要素 —— 请求方法、状态码和 Header，是构建稳定、高效网络应用的基础。本文将带你全面剖析这三大核心组件，揭开 HTTP 协议的神秘面纱。

一、HTTP 协议基础认知

HTTP，即超文本传输协议（HyperText Transfer Protocol），是一种基于 TCP/IP 的应用层协议，它规定了客户端与服务器之间数据传输的格式和规则。其工作过程采用请求 - 响应模式：客户端向服务器发送请求，服务器处理请求后返回响应。

HTTP 协议具有无状态的特点，这意味着服务器不会记住客户端的历史请求信息。每一次请求 - 响应过程都是独立的，这种设计虽然简化了服务器的处理逻辑，但也带来了诸如身份验证等方面的挑战，不过可以通过 Cookie、Session 等技术来弥补。

二、HTTP 请求方法：客户端的 “指令”

HTTP 请求方法是客户端向服务器表明请求目的的方式，不同的请求方法对应着不同的操作语义。下面为你详细介绍常用的请求方法：

（1）GET：获取资源

GET 方法是最常用的请求方法之一，它的主要作用是从服务器获取指定的资源。例如，当你在浏览器地址栏输入网址并回车时，浏览器通常会发送一个 GET 请求来获取网页内容。

GET 请求的特点是请求参数会附加在 URL 后面，以问号 “?” 分隔 URL 和参数，多个参数之间用 “&” 连接。比如http://example/getUser?id=123&name=test。由于 URL 的长度有限制（不同浏览器和服务器限制不同，通常在 2048 个字符左右），所以 GET 请求不适合传输大量数据。另外，GET 请求是安全且幂等的，安全是指它不会对服务器上的资源进行修改，幂等是指多次执行相同的 GET 请求，得到的结果是相同的。

（2）POST：提交数据

POST 方法用于向服务器提交数据，请求参数会被包含在请求体中，而不是 URL 后面。这使得 POST 请求可以传输大量的数据，且参数信息相对安全（但并非绝对安全，仍需通过加密等方式保障）。

POST 请求既不安全也不幂等，因为它可能会对服务器上的资源进行修改，比如提交表单数据创建新用户、发布文章等，多次提交可能会产生不同的结果。

（3）PUT：更新资源

PUT 方法用于向服务器发送数据，以更新服务器上的指定资源。它要求客户端提供完整的资源表示，服务器会用请求中的资源替换掉目标资源。

PUT 请求是幂等的，多次执行相同的 PUT 请求，结果是一致的。例如，使用 PUT 请求更新用户信息，无论执行多少次，最终用户信息都会被更新为请求体中的内容。

（4）DELETE：删除资源

DELETE 方法用于请求服务器删除指定的资源。执行 DELETE 请求后，服务器会删除对应的资源。

DELETE 请求也是幂等的，多次删除同一个资源，结果都是资源被删除（第一次删除后资源已不存在，后续删除操作可能不会产生实际效果，但结果是一致的）。

（5）其他常用请求方法

  • HEAD：与 GET 方法类似，但服务器只返回响应头，不返回响应体。常用于获取资源的元信息，如判断资源是否存在、获取资源的大小等。

  • OPTIONS：用于请求服务器支持的 HTTP 方法，以及服务器允许的跨域请求的相关信息。在跨域资源共享（CORS）中经常会用到。

三、HTTP 状态码：服务器的 “回应”

HTTP 状态码是服务器对客户端请求的处理结果的反馈，由三位数字组成，不同的状态码代表着不同的含义。状态码可以分为以下五大类：

（1）1xx：信息性状态码

表示服务器已接收客户端请求，正在进行处理。这类状态码通常是临时的，客户端不需要做太多处理。

  • 100 Continue：客户端可以继续发送请求，服务器已接收部分请求并准备继续处理。

  • 101 Switching Protocols：服务器同意客户端的协议切换请求，如从 HTTP 切换到 WebSocket。

（2）2xx：成功状态码

表示客户端请求被服务器成功接收、理解并处理。

  • 200 OK：请求成功，服务器返回了请求的资源。这是最常见的成功状态码。

  • 201 Created：请求成功，服务器创建了新的资源，通常在 POST 请求创建资源后返回。

  • 204 No Content：请求成功，但服务器没有返回响应体，常用于 DELETE 请求成功后。

（3）3xx：重定向状态码

表示客户端需要进一步操作才能完成请求，通常是需要重定向到其他 URL。

  • 301 Moved Permanently：请求的资源已永久移动到新的 URL，客户端后续应使用新 URL 进行请求。

  • 302 Found：请求的资源临时移动到了新的 URL，客户端仍可以使用原 URL 进行请求。

  • 304 Not Modified：客户端发送的条件请求（如带 If-Modified-Since 头）时，服务器发现资源未被修改，返回此状态码，客户端可以使用本地缓存的资源。

（4）4xx：客户端错误状态码

表示客户端的请求存在错误，服务器无法处理。

  • 400 Bad Request：服务器无法理解客户端的请求，通常是请求参数格式错误。

  • 401 Unauthorized：客户端请求需要身份验证，且验证未通过。

  • 403 Forbidden：服务器理解客户端请求，但拒绝执行，通常是客户端没有访问权限。

  • 404 Not Found：服务器找不到请求的资源，这是最常见的客户端错误状态码之一。

  • 405 Method Not Allowed：客户端使用的请求方法不被服务器支持。

（5）5xx：服务器错误状态码

表示服务器在处理客户端请求时发生了错误。

  • 500 Internal Server Error：服务器内部发生错误，无法完成请求处理。

  • 502 Bad Gateway：服务器作为网关或代理时，从上游服务器收到了无效的响应。

  • 503 Service Unavailable：服务器暂时无法处理请求，可能是服务器过载或正在维护。

  • 504 Gateway Timeout：服务器作为网关或代理时，未能在规定时间内从上游服务器收到响应。

四、HTTP Header：请求与响应的 “附加信息”

HTTP Header 是 HTTP 请求和响应中的附加信息，用于描述请求或响应的各种属性，如数据类型、长度、缓存策略、身份验证信息等。Header 由键值对组成，键和值之间用冒号 “:” 分隔，每个 Header 占一行。

（1）请求 Header

请求 Header 是客户端发送给服务器的附加信息，常见的请求 Header 有：

  • Host：指定服务器的域名和端口号，必填项。例如Host: ``example。

  • User-Agent：包含客户端的浏览器类型、版本、操作系统等信息。服务器可以根据该信息返回适合客户端的内容。例如User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36。

  • Accept：指定客户端能够接受的响应数据类型，如Accept: text/html,application/json表示客户端可以接受 HTML 和 JSON 格式的数据。

  • Accept-Encoding：指定客户端支持的压缩算法，如 gzip、deflate 等。例如Accept-Encoding: gzip, deflate。

  • Authorization：用于在请求中携带身份验证信息，如 Basic 认证的用户名和密码的 Base64 编码。例如Authorization: Basic dXNlcjpwYXNzd29yZA==。

  • Cookie：客户端向服务器发送的 Cookie 信息，用于维持会话状态。例如Cookie: sessionId=123456; username=test。

（2）响应 Header

响应 Header 是服务器返回给客户端的附加信息，常见的响应 Header 有：

  • Content-Type：指定响应体的数据类型和字符编码。例如Content-Type: text/html; charset=utf-8表示响应体是 HTML 格式，字符编码为 UTF-8；Content-Type: application/json表示响应体是 JSON 格式。

  • Content-Length：指定响应体的长度（以字节为单位）。例如Content-Length: 1024。

  • Content-Encoding：指定服务器对响应体使用的压缩算法。例如Content-Encoding: gzip表示响应体使用 gzip 压缩。

  • Set-Cookie：服务器向客户端设置 Cookie 信息，客户端会在后续请求中携带这些 Cookie。例如Set-Cookie: sessionId=123456; Path=/; HttpOnly。

  • Cache-Control：用于控制缓存策略，如Cache-Control: max-age=3600表示资源可以被缓存 3600 秒。

  • Access-Control-Allow-Origin：在跨域请求中，指定允许访问该资源的域名。例如Access-Control-Allow-Origin: *表示允许所有域名访问。

五、总结

HTTP 协议是互联网通信的基石，请求方法、状态码和 Header 是其核心组成部分。请求方法定义了客户端的操作意图，状态码反馈了服务器的处理结果，Header 则提供了丰富的附加信息，三者相互配合，确保了客户端与服务器之间高效、准确的通信。

深入理解并灵活运用这些知识，对于开发者来说至关重要。它不仅有助于我们排查网络请求中的错误，优化网络应用的性能，还能让我们更好地设计和实现符合需求的网络接口。希望通过本文的介绍，你能对 HTTP 协议有更清晰、更深入的认识，在实际开发中运用自如。

附录：扩展学习资源

  1. 官方资源：
    • Python官网：https://www.python
    • PyPI：https://pypi（查找第三方库）
    • 安装包等相关文件（另附带pycharm工具），网盘下载地址：https://pan.quark/s/649af731037c
    • 学习资料视频和文档资源，网盘下载地址： https://pan.quark/s/ee16901a8954
  2. 本专栏特色资源：
    • 代码资源仓库：CSDN专属资源在线获取
    • 海量Python教程：关注公众号：xcLeigh，获取网盘地址
    • 一对一答疑：添加微信与博主在线沟通（备注“Python专栏”）

联系博主

    xcLeigh 博主，全栈领域优质创作者，博客专家，目前，活跃在CSDN、微信公众号、小红书、知乎、掘金、快手、思否、微博、51CTO、B站、腾讯云开发者社区、阿里云开发者社区等平台，全网拥有几十万的粉丝，全网统一IP为 xcLeigh。希望通过我的分享，让大家能在喜悦的情况下收获到有用的知识。主要分享编程、开发工具、算法、技术学习心得等内容。很多读者评价他的文章简洁易懂，尤其对于一些复杂的技术话题，他能通过通俗的语言来解释，帮助初学者更好地理解。博客通常也会涉及一些实践经验，项目分享以及解决实际开发中遇到的问题。如果你是开发领域的初学者，或者在学习一些新的编程语言或框架，关注他的文章对你有很大帮助。

    亲爱的朋友，无论前路如何漫长与崎岖，都请怀揣梦想的火种，因为在生活的广袤星空中，总有一颗属于你的璀璨星辰在熠熠生辉，静候你抵达。

     愿你在这纷繁世间，能时常收获微小而确定的幸福，如春日微风轻拂面庞，所有的疲惫与烦恼都能被温柔以待，内心永远充盈着安宁与慰藉。

    至此，文章已至尾声，而您的故事仍在续写，不知您对文中所叙有何独特见解？期待您在心中与我对话，开启思想的新交流。

     💞 关注博主 🌀 带你实现畅游前后端！

     🏰 大屏可视化 🌀 带你体验酷炫大屏！

     💯 神秘个人简介 🌀 带你体验不一样得介绍！

     🥇 从零到一学习Python 🌀 带你玩转Python技术流！

     🏆 前沿应用深度测评 🌀 前沿AI产品热门应用在线等你来发掘！

     💦 注：本文撰写于CSDN平台,作者：xcLeigh（所有权归作者所有） ，https://xcleigh.blog.csdn/，如果相关下载没有跳转，请查看这个地址，相关链接没有跳转，皆是抄袭本文，转载请备注本文原地址。

     📣 亲，码字不易，动动小手，欢迎 点赞 ➕ 收藏，如 🈶 问题请留言（或者关注下方公众号，看见后第一时间回复，还有海量编程资料等你来领！），博主看见后一定及时给您答复 💌💌💌

Python爬虫实战：HTTP协议详解，请求方法/状态码/Header

Python爬虫实战：HTTP协议详解，请求方法/状态码/Header，本文详细解析了 HTTP 协议的核心要素，包括请求方法、状态码和 Header。HTTP 是基于 TCP/IP 的应用层协议，采用请求 - 响应模式且无状态。请求方法有 GET、POST、PUT、DELETE 等，各有其适用场景和特点；状态码分五大类，反馈服务器处理结果；Header 则是请求与响应的附加信息。文中还给出了使用 Python 的 requests 库实现不同 HTTP 请求的案例。理解这些知识对开发者构建稳定高效的网络应用至关重要，有助于排查错误、优化性能和设计网络接口。​

前言

    Python作为一门简洁、易读、功能强大的编程语言，其基础语法是入门学习的核心。掌握好基础语法，能为后续的编程实践打下坚实的基础。本文将全面讲解Python3的基础语法知识，适合编程初学者系统学习。Python以其简洁优雅的语法和强大的通用性，成为当今最受欢迎的编程语言。本专栏旨在系统性地带你从零基础入门到精通Python核心。无论你是零基础小白还是希望进阶的专业开发者，都将通过清晰的讲解、丰富的实例和实战项目，逐步掌握语法基础、核心数据结构、函数与模块、面向对象编程、文件处理、主流库应用（如数据分析、Web开发、自动化）以及面向对象高级特性，最终具备独立开发能力和解决复杂问题的思维，高效应对数据分析、人工智能、Web应用、自动化脚本等广泛领域的实际需求。

🥇 点击进入Python入门专栏，Python凭借简洁易读的语法，是零基础学习编程的理想选择。本专栏专为初学者设计，系统讲解Python核心基础：变量、数据类型、流程控制、函数、文件操作及常用库入门。通过清晰示例与实用小项目，助你快速掌握编程思维，打下坚实根基，迈出自动化办公、数据分析或Web开发的第一步。

🥇 点击进入Python小游戏实战专栏， 寓教于乐，用Python亲手打造经典小游戏！本专栏通过开发贪吃蛇、飞机大战、猜数字、简易版俄罗斯方块等趣味项目，在实践中掌握Python核心语法、面向对象编程、事件处理、图形界面（如Pygame）等关键技能，将枯燥的代码学习转化为可见的成果，让学习编程充满乐趣与成就感，快速提升实战能力。

🥇 点击进入Python小工具实战专栏，告别重复劳动，用Python打造效率神器！本专栏教你开发文件批量处理、自动邮件通知、简易爬虫、桌面提醒、密码生成器、天气查询等实用小工具。聚焦os、shutil、requests、smtplib、schedule等核心库，通过真实场景案例，快速掌握自动化脚本编写技巧，解放双手，显著提升工作与生活效率，让代码真正服务于你的日常。

🥇 点击进入Python爬虫实战专栏，解锁网络数据宝库！本专栏手把手教你使用Python核心库（如requests、BeautifulSoup、Scrapy）构建高效爬虫。从基础网页解析到动态页面抓取、数据存储（CSV/数据库）、反爬策略应对及IP代理使用，通过实战项目（如电商比价、新闻聚合、图片采集、舆情监控），掌握合法合规获取并利用网络数据的核心技能，让数据成为你的超能力。

🥇 点击进入Python项目实战专栏，告别碎片化学习，挑战真实项目！本专栏精选Web应用开发（Flask/Django）、数据分析可视化、自动化办公系统、简易爬虫框架、API接口开发等综合项目。通过需求分析、架构设计、编码实现、测试部署的全流程，深入掌握工程化开发、代码复用、调试排错与团队协作核心能力，积累高质量作品集，真正具备解决复杂问题的Python实战经验。

在互联网的世界里，HTTP 协议如同一条无形的纽带，连接着客户端与服务器，支撑着网页浏览、数据交互等一系列网络活动。作为一名开发者，深入理解 HTTP 协议的核心要素 —— 请求方法、状态码和 Header，是构建稳定、高效网络应用的基础。本文将带你全面剖析这三大核心组件，揭开 HTTP 协议的神秘面纱。

一、HTTP 协议基础认知

HTTP，即超文本传输协议（HyperText Transfer Protocol），是一种基于 TCP/IP 的应用层协议，它规定了客户端与服务器之间数据传输的格式和规则。其工作过程采用请求 - 响应模式：客户端向服务器发送请求，服务器处理请求后返回响应。

HTTP 协议具有无状态的特点，这意味着服务器不会记住客户端的历史请求信息。每一次请求 - 响应过程都是独立的，这种设计虽然简化了服务器的处理逻辑，但也带来了诸如身份验证等方面的挑战，不过可以通过 Cookie、Session 等技术来弥补。

二、HTTP 请求方法：客户端的 “指令”

HTTP 请求方法是客户端向服务器表明请求目的的方式，不同的请求方法对应着不同的操作语义。下面为你详细介绍常用的请求方法：

（1）GET：获取资源

GET 方法是最常用的请求方法之一，它的主要作用是从服务器获取指定的资源。例如，当你在浏览器地址栏输入网址并回车时，浏览器通常会发送一个 GET 请求来获取网页内容。

GET 请求的特点是请求参数会附加在 URL 后面，以问号 “?” 分隔 URL 和参数，多个参数之间用 “&” 连接。比如http://example/getUser?id=123&name=test。由于 URL 的长度有限制（不同浏览器和服务器限制不同，通常在 2048 个字符左右），所以 GET 请求不适合传输大量数据。另外，GET 请求是安全且幂等的，安全是指它不会对服务器上的资源进行修改，幂等是指多次执行相同的 GET 请求，得到的结果是相同的。

（2）POST：提交数据

POST 方法用于向服务器提交数据，请求参数会被包含在请求体中，而不是 URL 后面。这使得 POST 请求可以传输大量的数据，且参数信息相对安全（但并非绝对安全，仍需通过加密等方式保障）。

POST 请求既不安全也不幂等，因为它可能会对服务器上的资源进行修改，比如提交表单数据创建新用户、发布文章等，多次提交可能会产生不同的结果。

（3）PUT：更新资源

PUT 方法用于向服务器发送数据，以更新服务器上的指定资源。它要求客户端提供完整的资源表示，服务器会用请求中的资源替换掉目标资源。

PUT 请求是幂等的，多次执行相同的 PUT 请求，结果是一致的。例如，使用 PUT 请求更新用户信息，无论执行多少次，最终用户信息都会被更新为请求体中的内容。

（4）DELETE：删除资源

DELETE 方法用于请求服务器删除指定的资源。执行 DELETE 请求后，服务器会删除对应的资源。

DELETE 请求也是幂等的，多次删除同一个资源，结果都是资源被删除（第一次删除后资源已不存在，后续删除操作可能不会产生实际效果，但结果是一致的）。

（5）其他常用请求方法

  • HEAD：与 GET 方法类似，但服务器只返回响应头，不返回响应体。常用于获取资源的元信息，如判断资源是否存在、获取资源的大小等。

  • OPTIONS：用于请求服务器支持的 HTTP 方法，以及服务器允许的跨域请求的相关信息。在跨域资源共享（CORS）中经常会用到。

三、HTTP 状态码：服务器的 “回应”

HTTP 状态码是服务器对客户端请求的处理结果的反馈，由三位数字组成，不同的状态码代表着不同的含义。状态码可以分为以下五大类：

（1）1xx：信息性状态码

表示服务器已接收客户端请求，正在进行处理。这类状态码通常是临时的，客户端不需要做太多处理。

  • 100 Continue：客户端可以继续发送请求，服务器已接收部分请求并准备继续处理。

  • 101 Switching Protocols：服务器同意客户端的协议切换请求，如从 HTTP 切换到 WebSocket。

（2）2xx：成功状态码

表示客户端请求被服务器成功接收、理解并处理。

  • 200 OK：请求成功，服务器返回了请求的资源。这是最常见的成功状态码。

  • 201 Created：请求成功，服务器创建了新的资源，通常在 POST 请求创建资源后返回。

  • 204 No Content：请求成功，但服务器没有返回响应体，常用于 DELETE 请求成功后。

（3）3xx：重定向状态码

表示客户端需要进一步操作才能完成请求，通常是需要重定向到其他 URL。

  • 301 Moved Permanently：请求的资源已永久移动到新的 URL，客户端后续应使用新 URL 进行请求。

  • 302 Found：请求的资源临时移动到了新的 URL，客户端仍可以使用原 URL 进行请求。

  • 304 Not Modified：客户端发送的条件请求（如带 If-Modified-Since 头）时，服务器发现资源未被修改，返回此状态码，客户端可以使用本地缓存的资源。

（4）4xx：客户端错误状态码

表示客户端的请求存在错误，服务器无法处理。

  • 400 Bad Request：服务器无法理解客户端的请求，通常是请求参数格式错误。

  • 401 Unauthorized：客户端请求需要身份验证，且验证未通过。

  • 403 Forbidden：服务器理解客户端请求，但拒绝执行，通常是客户端没有访问权限。

  • 404 Not Found：服务器找不到请求的资源，这是最常见的客户端错误状态码之一。

  • 405 Method Not Allowed：客户端使用的请求方法不被服务器支持。

（5）5xx：服务器错误状态码

表示服务器在处理客户端请求时发生了错误。

  • 500 Internal Server Error：服务器内部发生错误，无法完成请求处理。

  • 502 Bad Gateway：服务器作为网关或代理时，从上游服务器收到了无效的响应。

  • 503 Service Unavailable：服务器暂时无法处理请求，可能是服务器过载或正在维护。

  • 504 Gateway Timeout：服务器作为网关或代理时，未能在规定时间内从上游服务器收到响应。

四、HTTP Header：请求与响应的 “附加信息”

HTTP Header 是 HTTP 请求和响应中的附加信息，用于描述请求或响应的各种属性，如数据类型、长度、缓存策略、身份验证信息等。Header 由键值对组成，键和值之间用冒号 “:” 分隔，每个 Header 占一行。

（1）请求 Header

请求 Header 是客户端发送给服务器的附加信息，常见的请求 Header 有：

  • Host：指定服务器的域名和端口号，必填项。例如Host: ``example。

  • User-Agent：包含客户端的浏览器类型、版本、操作系统等信息。服务器可以根据该信息返回适合客户端的内容。例如User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36。

  • Accept：指定客户端能够接受的响应数据类型，如Accept: text/html,application/json表示客户端可以接受 HTML 和 JSON 格式的数据。

  • Accept-Encoding：指定客户端支持的压缩算法，如 gzip、deflate 等。例如Accept-Encoding: gzip, deflate。

  • Authorization：用于在请求中携带身份验证信息，如 Basic 认证的用户名和密码的 Base64 编码。例如Authorization: Basic dXNlcjpwYXNzd29yZA==。

  • Cookie：客户端向服务器发送的 Cookie 信息，用于维持会话状态。例如Cookie: sessionId=123456; username=test。

（2）响应 Header

响应 Header 是服务器返回给客户端的附加信息，常见的响应 Header 有：

  • Content-Type：指定响应体的数据类型和字符编码。例如Content-Type: text/html; charset=utf-8表示响应体是 HTML 格式，字符编码为 UTF-8；Content-Type: application/json表示响应体是 JSON 格式。

  • Content-Length：指定响应体的长度（以字节为单位）。例如Content-Length: 1024。

  • Content-Encoding：指定服务器对响应体使用的压缩算法。例如Content-Encoding: gzip表示响应体使用 gzip 压缩。

  • Set-Cookie：服务器向客户端设置 Cookie 信息，客户端会在后续请求中携带这些 Cookie。例如Set-Cookie: sessionId=123456; Path=/; HttpOnly。

  • Cache-Control：用于控制缓存策略，如Cache-Control: max-age=3600表示资源可以被缓存 3600 秒。

  • Access-Control-Allow-Origin：在跨域请求中，指定允许访问该资源的域名。例如Access-Control-Allow-Origin: *表示允许所有域名访问。

五、总结

HTTP 协议是互联网通信的基石，请求方法、状态码和 Header 是其核心组成部分。请求方法定义了客户端的操作意图，状态码反馈了服务器的处理结果，Header 则提供了丰富的附加信息，三者相互配合，确保了客户端与服务器之间高效、准确的通信。

深入理解并灵活运用这些知识，对于开发者来说至关重要。它不仅有助于我们排查网络请求中的错误，优化网络应用的性能，还能让我们更好地设计和实现符合需求的网络接口。希望通过本文的介绍，你能对 HTTP 协议有更清晰、更深入的认识，在实际开发中运用自如。

附录：扩展学习资源

  1. 官方资源：
    • Python官网：https://www.python
    • PyPI：https://pypi（查找第三方库）
    • 安装包等相关文件（另附带pycharm工具），网盘下载地址：https://pan.quark/s/649af731037c
    • 学习资料视频和文档资源，网盘下载地址： https://pan.quark/s/ee16901a8954
  2. 本专栏特色资源：
    • 代码资源仓库：CSDN专属资源在线获取
    • 海量Python教程：关注公众号：xcLeigh，获取网盘地址
    • 一对一答疑：添加微信与博主在线沟通（备注“Python专栏”）

联系博主

    xcLeigh 博主，全栈领域优质创作者，博客专家，目前，活跃在CSDN、微信公众号、小红书、知乎、掘金、快手、思否、微博、51CTO、B站、腾讯云开发者社区、阿里云开发者社区等平台，全网拥有几十万的粉丝，全网统一IP为 xcLeigh。希望通过我的分享，让大家能在喜悦的情况下收获到有用的知识。主要分享编程、开发工具、算法、技术学习心得等内容。很多读者评价他的文章简洁易懂，尤其对于一些复杂的技术话题，他能通过通俗的语言来解释，帮助初学者更好地理解。博客通常也会涉及一些实践经验，项目分享以及解决实际开发中遇到的问题。如果你是开发领域的初学者，或者在学习一些新的编程语言或框架，关注他的文章对你有很大帮助。

    亲爱的朋友，无论前路如何漫长与崎岖，都请怀揣梦想的火种，因为在生活的广袤星空中，总有一颗属于你的璀璨星辰在熠熠生辉，静候你抵达。

     愿你在这纷繁世间，能时常收获微小而确定的幸福，如春日微风轻拂面庞，所有的疲惫与烦恼都能被温柔以待，内心永远充盈着安宁与慰藉。

    至此，文章已至尾声，而您的故事仍在续写，不知您对文中所叙有何独特见解？期待您在心中与我对话，开启思想的新交流。

     💞 关注博主 🌀 带你实现畅游前后端！

     🏰 大屏可视化 🌀 带你体验酷炫大屏！

     💯 神秘个人简介 🌀 带你体验不一样得介绍！

     🥇 从零到一学习Python 🌀 带你玩转Python技术流！

     🏆 前沿应用深度测评 🌀 前沿AI产品热门应用在线等你来发掘！

     💦 注：本文撰写于CSDN平台,作者：xcLeigh（所有权归作者所有） ，https://xcleigh.blog.csdn/，如果相关下载没有跳转，请查看这个地址，相关链接没有跳转，皆是抄袭本文，转载请备注本文原地址。

     📣 亲，码字不易，动动小手，欢迎 点赞 ➕ 收藏，如 🈶 问题请留言（或者关注下方公众号，看见后第一时间回复，还有海量编程资料等你来领！），博主看见后一定及时给您答复 💌💌💌

本文标签： 爬虫详解实战状态协议

版权声明：本文标题：Python爬虫实战：HTTP协议详解，请求方法状态码Header 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1760007483a2838025.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。