科技公元 数据库
2024-09-04
TDengine是一个高性能、可扩展的时序数据库，特别适用于物联网、工业互联网、车联网等场景下的大规模时序数据存储和分析。本文将介绍如何使用GoFrame框架连接和操作TDengine数据库，实现时序数据的插入、查询和分析。
在开始之前，确保你已经具备以下条件：
首先，我们需要安装TDengine的Go驱动。可以使用以下命令进行安装：bash
代码解读复制代码go get -u github.com/taosdata/driver-go/v2
在项目中创建一个配置文件，例如tdengine.yaml，用于配置TDengine的连接信息。yaml
代码解读复制代码# tdengine.yaml
tdengine:
host: "127.0.0.1"
port: 6030
username: "root"
password: "taosdata"
database: "test"
其中，host和port表示TDengine服务的地址和端口，username和password表示连接的用户名和密码，database表示要使用的数据库。
使用以下代码连接TDengine数据库：go
代码解读复制代码package main
import (
"database/sql"
"fmt"
"github.com/gogf/gf/v2/frame/g"
"github.com/gogf/gf/v2/os/gctx"
_ "github.com/taosdata/driver-go/v2/taosSql"
)
func main() {
// 读取配置
ctx := gctx.New()
host := g.Cfg().MustGet(ctx, "tdengine.host").String()
port := g.Cfg().MustGet(ctx, "tdengine.port").Int()
username := g.Cfg().MustGet(ctx, "tdengine.username").String()
password := g.Cfg().MustGet(ctx, "tdengine.password").String()
database := g.Cfg().MustGet(ctx, "tdengine.database").String()
// 构建连接字符串
connStr := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s", username, password, host, port, database)
// 建立连接
taosConn, err := sql.Open("taosSql", connStr)
if err != nil {
g.Log().Fatalf(ctx, "连接TDengine失败: %v", err)
}
defer taosConn.Close()
// 执行查询
rows, err := taosConn.Query("SHOW DATABASES")
if err != nil {
g.Log().Fatalf(ctx, "查询失败: %v", err)
}
defer rows.Close()
// 遍历查询结果
for rows.Next() {
var dbName string
err := rows.Scan(&dbName)
if err != nil {
g.Log().Errorf(ctx, "获取数据失败: %v", err)
continue
}
fmt.Printf("数据库名称: %s\n", dbName)
}
}
在上述代码中，我们读取配置文件中的TDengine连接信息，构建连接字符串，并使用sql.Open函数建立连接。然后，使用Query方法执行查询语句，并遍历查询结果。
注意：
由于其原生的驱动使用了cgo，因此需要安装gcc编译工具，才能编译出可执行文件。如果没有gcc环境建议使用其restful api
使用以下代码插入时序数据到TDengine数据库：go
代码解读复制代码package main
import (
"database/sql"
"fmt"
"time"
"github.com/gogf/gf/v2/frame/g"
"github.com/gogf/gf/v2/os/gctx"
)
func main() {
// 读取配置
ctx := gctx.New()
host := g.Cfg().MustGet(ctx, "tdengine.host").String()
port := g.Cfg().MustGet(ctx, "tdengine.port").Int()
username := g.Cfg().MustGet(ctx, "tdengine.username").String()
password := g.Cfg().MustGet(ctx, "tdengine.password").String()
database := g.Cfg().MustGet(ctx, "tdengine.database").String()
// 构建连接字符串
connStr := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s", username, password, host, port, database)
// 建立连接
taosConn, err := sql.Open("taosSql", connStr)
if err != nil {
g.Log().Fatalf(ctx, "连接TDengine失败: %v", err)
}
defer taosConn.Close()
// 创建数据表
_, err = taosConn.Exec("CREATE TABLE IF NOT EXISTS sensor_data (ts TIMESTAMP, temperature FLOAT, humidity FLOAT)")
if err != nil {
g.Log().Fatalf(ctx, "创建数据表失败: %v", err)
}
// 插入数据
now := time.Now()
temperature := 25.5
humidity := 60.8
_, err = taosConn.Exec("INSERT INTO sensor_data (ts, temperature, humidity) VALUES (?, ?, ?)", now, temperature, humidity)
if err != nil {
g.Log().Fatalf(ctx, "插入数据失败: %v", err)
}
fmt.Println("数据插入成功")
}
在上述代码中，我们首先使用Exec方法创建一个名为sensor_data的数据表，用于存储传感器数据。然后，使用Exec方法插入一条时序数据，包括当前时间戳、温度和湿度值。
使用以下代码查询TDengine数据库中的时序数据：go
代码解读复制代码package main
import (
"database/sql"
"fmt"
"time"
"github.com/gogf/gf/os/gctx"
"github.com/gogf/gf/v2/frame/g"
)
func main() {
// 读取配置
ctx := gctx.New()
host := g.Cfg().MustGet(ctx, "tdengine.host").String()
port := g.Cfg().MustGet(ctx, "tdengine.port").Int()
username := g.Cfg().MustGet(ctx, "tdengine.username").String()
password := g.Cfg().MustGet(ctx, "tdengine.password").String()
database := g.Cfg().MustGet(ctx, "tdengine.database").String()
// 构建连接字符串
connStr := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s", username, password, host, port, database)
// 建立连接
taosConn, err := sql.Open("taosSql", connStr)
if err != nil {
g.Log().Fatalf(ctx, "连接TDengine失败: %v", err)
}
defer taosConn.Close()
// 查询数据
startTime := time.Now().Add(-1 * time.Hour)
endTime := time.Now()
rows, err := taosConn.Query("SELECT * FROM sensor_data WHERE ts BETWEEN ? AND ?", startTime, endTime)
if err != nil {
g.Log().Fatalf(ctx, "查询数据失败: %v", err)
}
defer rows.Close()
// 遍历查询结果
for rows.Next() {
var ts time.Time
var temperature, humidity float32
err := rows.Scan(&ts, &temperature, &humidity)
if err != nil {
g.Log().Errorf(ctx, "获取数据失败: %v", err)
continue
}
fmt.Printf("时间: %s, 温度: %.2f, 湿度: %.2f\n", ts.Format(time.RFC3339), temperature, humidity)
}
}
在上述代码中，我们使用Query方法查询最近一小时内的传感器数据。通过指定时间范围条件ts BETWEEN ? AND ?，可以获取指定时间范围内的数据。然后，遍历查询结果，并打印每条数据的时间戳、温度和湿度值。
使用以下代码批量插入TDengine数据库中的时序数据：go
代码解读复制代码package main
import (
"fmt"
"github.com/taosdata/driver-go/v2/af"
"github.com/gogf/gf/os/gctx"
"github.com/gogf/gf/v2/frame/g"
)
func main() {
// 读取配置
ctx := gctx.New()
host := g.Cfg().MustGet(ctx, "tdengine.host").String()
port := g.Cfg().MustGet(ctx, "tdengine.port").Int()
username := g.Cfg().MustGet(ctx, "tdengine.username").String()
password := g.Cfg().MustGet(ctx, "tdengine.password").String()
// 创建连接
conn, err := af.Open(host, username, password, "", port)
if err != nil {
g.Log().Fatalf(ctx, "连接TDengine失败: %v", err)
}
defer conn.Close()
// 准备数据
data := []string{
`{"metric":"sensor_data","timestamp":1623000000000,"temperature":25.5,"humidity":60.8}`,
`{"metric":"sensor_data","timestamp":1623000001000,"temperature":26.2,"humidity":59.5}`,
`{"metric":"sensor_data","timestamp":1623000002000,"temperature":24.8,"humidity":61.2}`,
}
// 批量插入数据
err = conn.InfluxDBInsertLines(data, "ms")
if err != nil {
g.Log().Fatalf(ctx, "批量插入数据失败: %v", err)
}
fmt.Println("批量插入数据成功")
}
我们使用af.Open函数创建与TDengine的连接。af.Open函数接受连接配置、主机、用户名、密码、数据库名称和端口作为参数。我们使用af.DefaultConfig()获取默认的连接配置。
接下来,我们准备一个字符串切片data,其中每个元素都是一个InfluxDB行协议格式的数据点字符串。数据点包含度量名称(metric)、时间戳(timestamp)以及其他字段(如temperature和humidity)。
最后,我们调用连接对象的InfluxDBInsertLines方法将准备好的数据批量插入到TDengine中。InfluxDBInsertLines方法接受数据点字符串的切片和时间戳精度作为参数。这里我们使用"ms"表示时间戳精度为毫秒。
使用InfluxDBInsertLines方法可以方便地将InfluxDB行协议格式的数据批量插入到TDengine中,无需手动创建表结构。
通过使用GoFrame框架和TDengine Go驱动，我们可以方便地连接和操作TDengine时序数据库。无论是插入、查询还是分析时序数据，都可以通过简单的API调用来实现。GoFrame提供了强大的Web开发功能，结合TDengine的高性能时序数据存储和查询能力，可以构建高效、可扩展的时序数据应用。
希望通过本文的介绍，你能够了解如何在GoFrame项目中集成TDengine，并利用其强大的时序数据处理能力，开发出优秀的时序数据应用。
