获取第三方数据四种方式_从第三方数据获取数据接口

目录

1、API接口调用

2、远程表

3、数据源

4、jsoup

如何判断该使用哪一种获取数据方式？

---

1、API接口调用

许多第三方服务提供API接口，允许开发者通过HTTP请求获取数据。你可以使用HTTP库（如Java中的HttpClient或OkHttp）向API发送请求，并处理响应来获取数据。

优点：

1. 接口文档规范，体现在请求方式和传递的参数及参数类型有严格说明
2. 减少开发人员逻辑处理。api将功能的逻辑在接口内部封装好，不需要开发人员在自行的编写逻辑，可以利用现有的功能和服务，避免重复开发，提高开发效率。
3. 接口返回信息丰富

4. 可以快速扩展自己的应用功能，满足特定需求。

5. 第三方API接口通常由专业的服务提供商提供，能够提供高质量、稳定的服务。

6. 节省成本：通过调用第三方API接口，可以避免自己搭建和维护相关的服务和基础设施，节省成本和资源。

缺点：

1、一个业务可能会调用多个接口。如业务：判断用户创建任务是否符合规范：

接口1、获取指定项目下的成员，

接口2、根据成员获取创建的任务，

接口3、根据任务id获取任务具体信息，

判断任务是否符合规范

2、过度获取数据，增加相应时间。接口返回的大部分信息是不需要的，比方说只获取项目下人员，剩余数据不需要，增加接口响应时间

3、数据结构不明确。需要使用postman或idea调用api并且转义或解析之后才知道返回的数据格

4、调用第三方API接口会增加对第三方服务的依赖性，如果第三方服务出现故障或变更，可能会对应用产生影响。

5、第三方API接口的可用性和性能可能受到第三方服务商的限制，如果第三方服务不稳定或响应时间较长，可能会影响应用的性能和用户体验。

6、调用第三方API接口可能涉及传输敏感数据，需要确保数据的安全性，避免数据被窃取或篡改。

注意事项：

1. 了解API文档：在调用第三方API之前，仔细阅读并理解其提供的API文档，了解API的功能、参数、返回值等信息。

2. 授权和认证：有些API接口需要进行授权和认证才能使用，需要了解其授权机制和认证方式，并按照要求进行相应的操作。

3. 限制和配额：第三方API接口可能有调用频率限制、配额限制等限制条件，需要了解并遵守这些限制，以避免超出限制而导致调用失败。

4. 错误处理和异常处理：调用第三方API接口时，需要处理可能出现的错误和异常情况，例如网络连接失败、请求超时、返回错误码等情况。

5. 数据安全性：在传输敏感数据时，需要确保数据的安全性，可以使用HTTPS协议进行加密传输，避免敏感信息被窃取。

6. 日志和监控：在调用第三方API接口时，记录日志可以帮助跟踪和排查问题，同时可以使用监控工具来监测API的可用性和性能。

---

2、远程表

优点：

1. 在本地能够清晰的看到数据库的数据，并且禅道数据会同步更新到本地
2. 灵活。根据需求能够自定义表之间的连接查询

连接流程：

1. 确保网络连接：首先，确保本地网络能够访问远程数据库服务器。确保网络连接稳定并且具备访问权限。

2. 获取连接信息：获取远程数据库的连接信息，包括数据库服务器的IP地址、端口号、数据库名称、用户名和密码等。

3. 配置数据库连接：使用相应的数据库连接工具或编程语言，根据提供的连接信息配置数据库连接。不同的数据库有不同的连接方式，例如，MySQL可以使用JDBC连接，Oracle可以使用OCI连接等。

4. 建立连接：使用配置好的连接信息，建立与远程数据库服务器的连接。连接成功后，可以执行相应的数据库操作，如查询、插入、更新等。

缺点：

1. 占用服务器内存资源
2. 不支持事务（目前业务需求中只涉及到对数据表的查操作，不涉及事务）
3. 本地只能读取数据，不能修改数据（目前业务需求不涉及到修改）
4. 需要熟悉表结构，花费时间成本

注意事项：

1. 网络连接稳定性：远程表需要通过网络连接到远程服务器，因此需要确保网络连接的稳定性。如果网络连接不稳定，可能会导致数据传输中断或延迟，影响远程表的使用效果。

2. 数据安全性：远程表中可能包含敏感信息，如个人身份信息或商业机密等。在使用远程表时，需要确保数据的安全性，采取相应的安全措施，如使用加密传输协议或访问控制措施等，以保护数据的机密性和完整性。

3. 远程服务器性能：远程表的性能可能会受到远程服务器的影响。如果远程服务器的性能不足，可能会导致远程表的响应时间延迟或数据处理速度下降。在选择远程服务器时，需要考虑服务器的性能是否能够满足远程表的需求。

4. 数据同步与一致性：如果多个用户同时对远程表进行操作，需要确保数据的同步和一致性。例如，如果一个用户对表进行插入操作，另一个用户同时对表进行删除操作，需要确保两个操作的执行顺序和结果的一致性。

5. 远程表的可用性：如果远程服务器不可用或网络连接中断，可能会导致远程表无法使用。在使用远程表时，需要确保远程服务器和网络连接的可用性，以避免无法访问远程表的情况发生。

使用远程表需要注意网络连接的稳定性、数据安全性、远程服务器的性能、数据同步与一致性以及远程表的可用性等方面的问题，以确保远程表的正常使用和数据的安全性。

---

3、数据源

如果第三方数据存储在数据库中，并且你有访问权限，可以使用数据库连接库（如JDBC或ORM框架）连接到数据库，并执行查询来获取数据

优点：

配置灵活。在配置文件中配置数据源的地址、用户名、密码、库名方便，可灵活的去修改数据库连接信息

缺点：

1. 本地只能读取数据，不能修改数据（目前业务需求不涉及到修改）
2. 需要熟悉表结构，花费时间成本

---

4、jsoup

模拟用户的人工行为。如果第三方数据是通过Web页面公开的，你可以编写一些来从页面中提取所需数据。使用框架（如Scrapy或Jsoup）可以帮助你更轻松地进行页面解析和数据提取。

优点：

Jsoup还支持Css选择来定位和提取HTML元素，在获取元素的时候很便捷

HTML解析和操作功能，包括获取、修改、删除和添加HTML元素、属性和文本等

缺点：

如果该网站有爬虫限制，无法获取信息

Jsoup是基于DOM树进行解析，如果解析的话需要将整个HTML文档加载到内存中进行解析操作，比较占用内存

 

---

如何判断该使用哪一种获取数据方式？

• 数据库是否在我们这边，是否可以直接连接数据库？-远程表、数据源
• 是否有权限调用对方api？-调用api
• 模拟用户的人工行为-爬虫

1. 数据来源：首先要确定数据的来源。如果数据需要从外部系统或服务获取，且该系统或服务提供了API接口，那么可以选择使用API接口调用来获取数据。如果数据存储在远程表或数据库中，可以选择使用远程表或数据源来获取数据。

2. 数据格式和结构：考虑数据的格式和结构。如果数据是结构化的，如JSON或XML格式，可以使用API接口调用或远程表来获取数据。如果数据是HTML格式，需要从HTML文档中提取信息，可以选择使用Jsoup进行HTML解析和操作。

3. 功能需求：根据具体的功能需求来选择。如果只需要获取数据，而不需要对HTML进行解析和操作，可以选择使用API接口调用、远程表或数据源。如果需要对HTML进行解析和操作，如提取特定元素或修改HTML内容，可以选择使用Jsoup。

注意：无论使用哪种方式，在使用第三方数据时，你可能还需要考虑数据的合法性、可靠性和安全性等方面的问题，并遵守相关法规和规定！！！

如果有想要交流的内容欢迎在评论区进行留言，如果这篇文档受到了您的喜欢那就留下你点赞、收藏脚印支持一下博主~