查看原文
其他

腾讯又出王炸产品!分分钟开发 AI 文档助手

鱼皮 程序员鱼皮 2024-01-21

大家好,我是鱼皮。

几个月前,我自己开发过一个 AI 文档总结助手应用。给大家简单演示一下,首先我上传了一个文档,定义1 + 1 等于 3

然后把文档喂给 AI 文档总结助手,再向它提问,然后 AI 就回答出了我们文档中的内容,如下图:

是不是很有趣哈哈~ 所以 AI 并不是完全可信的哦,要看原始数据是否可信!

当时参考网上的教程,做这个花了挺长一段时间,成就感满满。

但没想到,这段时间,AI 以一日千里的速度发展,现在开发一个同样的 AI 文档总结助手,大家猜猜要多久?

答案是:只要 5 分钟!!!

没错,使用腾讯云新出的向量数据库产品能力,哪怕没有 AI 知识,也能够轻轻松松开发出 AI 应用。

下面就给大家分享一下 AI 总结助手开发教程。

AI 总结助手开发教程

实现原理

动手写代码前,我们要先了解整个 AI 总结助手的实现原理,为什么 AI 能够回答出我们指定的文档内容呢?

那肯定要把文档数据先 “喂” 给 AI 呀,可是怎么 “喂” 呢?

因为 AI 的 “脑容量” 很小,接受的输入有限,所以我们要对文档进行拆分,比如将一篇万字长文拆为 20 个 500 字的小段落。

然后,我们要将这些小段落存储到数据库中,当用户向 AI 提问时,AI 要先从数据库中查询出和用户问题相似度最高的小段落,然后对这些小段路进行总结,再给用户回答。

为什么要给 AI 提供一个数据库呢?我举个通俗易懂的比喻:我们考试时如果脑袋记不住所有考点,是不是带本书进考场,然后根据考题从书中查出答案,再整理一下写到考卷上就行了呢?

那么问题就来了,怎么根据用户的问题从数据库中查出最相似的段落呢?文本段落应该以什么格式存储到数据库中呢?

这就需要用到一种特殊的数据库技术 —— 向量数据库。

什么是向量数据库?

向量数据库就是一个专门存储和处理向量数据的数据库,它内置了相似内容检索功能,可以找到和某个向量最相似的数据。

相比于传统关系型数据库(比如 MySQL)的模糊查询(like)而言,向量检索会更灵活。如今,得益于 AI 的发展,向量数据库作为 AI 的 “小抄”,也变得越来越流行。

那什么是向量数据呢?

其实就是用一些算法将文本、图片、音视频等内容统一转换成数值向量。

比如:“中午吃饺子”,经过转换后得到的向量数据可能是:[0.8, 0.6, 0.9, 0.4, ...];而 “晚上写代码”,经过转换后得到的向量数据可能是:[0.1, 0.2, 0.3, 0.4, ...]

如果用户要从向量数据库搜索内容,那么也可以把搜索关键字转换为类似的向量数据,然后计算两个向量之间的距离来判断相似度即可。

比如用户问:“中午吃什么?”,经过转换后得到的向量数据可能是:[0.8, 0.6, 0.7, 0.3, ...]。

显然,这个向量数据会和 “中午吃饺子” 的向量数据更接近,所以会优先搜出 “中午吃饺子”。

采用不同的向量转换算法、或者不同的相似度计算方法,得到的向量值和计算结果可能也是不同的。

具体实现流程

了解向量数据库后,我们可以整理出 AI 应用的具体实现流程:

1)将自己已有的知识库文档进行段落拆分;

2)利用算法(Embedding)将文档数据转换为向量

3)将向量存储到向量数据库中

4)将用户发送的问题通过算法(Embedding)转换为向量

5)根据用户问题向量,在向量数据库进行相似性查询

6)将检索到的最相似结果作为背景知识(上下文),转换为 prompt 并发送给 AI 大模型,从而获得响应结果

流程图如下:

此前,鱼皮就是按照这个流程自己开发实现的 AI 总结助手。但是要自己对文档进行拆分、还要通过某种算法转换成向量数据,想想都麻烦!

有没有更简单的实现方式呢?

流程简化

还真有!

最近腾讯云发布了最新版本的向量数据库,不仅提供了数据写入和检索的自动向量化功能(embedding),还支持文本自动拆分和一键上传,可以直接将文章转为拆分好的向量写入到向量数据库,大大简化了开发流程。而且简单易用,新人也能快速上手。

如果用腾讯云的向量数据库,上面的实现流程就简化为 3 个核心步骤:

1)将文档上传到腾讯云向量数据库(自动拆分并转为向量存储)

2)将用户发送的问题传入到向量数据库进行相似性查询

3)将检索到的最相似结果作为背景知识(上下文),转换为 prompt 并发送给 AI 大模型,从而获得响应结果

那么流程图就简化为下面这样了:

流程确定后,就可以开始写代码了。

AI 总结助手开发

从上述流程中我们会发现,想要实现 AI 总结助手,向量数据库和 AI 大模型是两大不可或缺的角色。

此处,我们选用上面介绍的腾讯云向量数据库,并且搭配与腾讯云联合的百川 AI 大模型,能最大程度地节约开发成本。

1、免费领取资源

首先要免费领取腾讯云向量数据库 + 百川 AI 大模型的使用权。

进入向量数据库产品主页,点击免费领取:

地址:https://cloud.tencent.com/act/pro/agi

2)在弹框中填入自己的手机号即可领取成功,等待初始化就好了

3)等初始化成功后,进入腾讯云向量数据库的实例列表,当状态显示为运行中时,开启外网访问:

4)开启外网时,需要填写允许访问的白名单,那由于此处仅为测试,我就直接设置为全网可访问了:

5)访问百川 AI 大模型,点击领取百川的免费调用次数(几百万 tokens 呢)

地址:https://platform.baichuan-ai.com/console/recharge

6)进入 API Key 管理页面,新建一个属于自己的 API Key,后面就可以调用百川大模型的 AI 能力了。

资源领取好了,我们就可以愉快地使用资源啦。

正式开发前,我们要先阅读腾讯云向量数据库官方的 API 开发文档,以最新的文档为准去写代码。

地址:https://cloud.tencent.com/document/product/1709/97768

2、引入依赖

我们以 Java Maven 项目开发为例,先引入程序所需的依赖,比如腾讯云向量数据库、HTTP 调用客户端等。

代码如下:

<dependencies>
    <dependency>
        <groupId>com.tencent.tcvectordb</groupId>
        <artifactId>vectordatabase-sdk-java</artifactId>
        <version>1.0.4-SNAPSHOT</version>
        <scope>system</scope>
        <systemPath>${project.basedir}/src/main/libs/vectordatabase-sdk-java-1.0.4.jar</systemPath>
    </dependency>

    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-lang3</artifactId>
        <version>3.12.0</version>
    </dependency>

    <dependency>
        <groupId>com.fasterxml.jackson.core</groupId>
        <artifactId>jackson-core</artifactId>
        <version>2.12.3</version>
    </dependency>

    <dependency>
        <groupId>com.qcloud</groupId>
        <artifactId>cos_api</artifactId>
        <version>5.6.8</version>
    </dependency>

    <dependency>
        <groupId>com.squareup.okhttp3</groupId>
        <artifactId>okhttp</artifactId>
        <version>4.9.1</version>
    </dependency>
</dependencies>

3、连接向量数据库

参考腾讯云官方提供的 Java SDK Demo 代码,首先和向量数据库建立连接:

import com.tencent.tcvectordb.client.VectorDBClient;
import com.tencent.tcvectordb.model.param.database.ConnectParam;
import com.tencent.tcvectordb.model.param.enums.ReadConsistencyEnum;

public class VDBClientFactory {

    public static VectorDBClient createClient() {
        ConnectParam param = getConnectParam();
        return new VectorDBClient(param, ReadConsistencyEnum.EVENTUAL_CONSISTENCY);
    }

    private static ConnectParam getConnectParam() {
        return ConnectParam.newBuilder()
                .withUrl("url")
                .withUsername("username")
                .withKey("key")
                .withTimeout(30)
                .build();
    }
}

上述代码中的 url 可以直接在腾讯云向量数据库的实例列表中看到,直接选中复制即可:

对于 username 和 key 参数,则需要点进实例,选择密钥管理来获取:

4、上传文档到向量数据库

上传文档到数据库前,肯定要先初始化数据库表。

让我们新建一个AISearchExample类,在这个类中编写调用向量数据库的方法,创建数据库和数据表,代码如下:

public class AISearchExample {
    private static final String DB_NAME = "ai_test_db";
    private static final String COLLECTION_NAME = "ai_test_collection";
    
    private static void initDatabase(VectorDBClient client) {
        System.out.println("init database..");
        try {
            client.dropAIDatabase(DB_NAME);
        } catch (VectorDBException e) {
            // ignore
        }
        client.createAIDatabase(DB_NAME);
    }
    
    private static void initCollection(VectorDBClient client) {
        System.out.println("init collection..");
        Database database = client.database(DB_NAME);
        CreateAICollectionParam param = CreateAICollectionParam.newBuilder().withName(COLLECTION_NAME).build();
        database.createAICollection(param);
    }
}

然后编写一个writeKnowledgeByFile方法,把本地的文档上传到向量数据库里:

可以直接上传文档,不需要再操心文档段落的拆分、如何转换为数值向量等复杂的问题,大幅节约时间

public class AISearchExample {
    ...
    
    private static void writeKnowledgeByFile(VectorDBClient client) throws Exception {
        AICollection collection = client.database(DB_NAME).describeAICollection(COLLECTION_NAME);
    
        for (String f : Objects.requireNonNull(new File("doc").list())) {
            String filePath = "doc/" + f;
            System.out.println("upload file " + filePath);
            collection.upload(filePath, Collections.emptyMap());
        }
    
        System.out.println("all file uploaded.");
        System.out.println("文件上传后,向量数据库会进行解析和Embedding,请耐心等待10-20秒后可以开始进行知识检索。");
 }
}

这里我把自己写的学习路线文章都上传到向量数据库:

编写好上述的初始化方法后,依次调用即可:

public class AISearchExample {
    ...
    private static void initKnowledge(VectorDBClient client) throws Exception {
        initDatabase(client);
        initCollection(client);
        writeKnowledgeByFile(client);
    }
}

5、搜索文档

将文档都上传到向量数据库后,就可以实现数据的检索了。

AISearchExample类中,再添加一个搜索方法searchKnowledge,代码如下:

public class AISearchExample {
    ...

    private static String searchKnowledge(String question, VectorDBClient client) {
        // 访问指定的表
        AICollection collection = client.database(DB_NAME).describeAICollection(COLLECTION_NAME);
        // 构造搜索条件
        SearchByContentsParam param = SearchByContentsParam.newBuilder().withContent(question).build();

        StringBuilder allKnowledge = new StringBuilder();
        List<Document> results = collection.search(param);
        int index = 1;

        // 获取搜索结果
        for (Document document : results) {
            ChunkInfo chunk = (ChunkInfo)document.getObject("chunk");
            allKnowledge.append(chunk.getText()).append(" ");
        }

        return allKnowledge.toString();
    }
}

运行代码,测试下效果,成功检索出了指定回答:

效果不错,我再试试,问问 “中午吃什么”:

What?这什么啊,你不要睁着眼睛乱说好不好!

这里我们发现了一个关键问题:当我搜索一个完全不存在的问题时,向量数据库仍然会给出结果,然而这并不是我想要的。如果没有相关的内容,直接不返回结果好像更符合预期。

好在腾讯云向量数据库返回了检索相似度,可以根据这个值设定一个阈值,从而进行过滤。

修改一下代码,过滤相似度低于 0.8 的文档:

public class AISearchExample {
    ...

    /**
     * 文档相关性的阈值
     */

    private static final Double THRESHOLD = 0.8;


 private static String searchKnowledge(String question, VectorDBClient client) {
        AICollection collection = client.database(DB_NAME).describeAICollection(COLLECTION_NAME);
        SearchByContentsParam param = SearchByContentsParam.newBuilder().withContent(question).build();

        StringBuilder allKnowledge = new StringBuilder();
        List<Document> results = collection.search(param);
        int index = 1;
        for (Document document : results) {
            Double score = document.getScore();
            if (ObjectUtils.isEmpty(score) || score < THRESHOLD) {
                continue;
            }
            ChunkInfo chunk = (ChunkInfo)document.getObject("chunk");
            allKnowledge.append(chunk.getText()).append(" ");
        }

        return allKnowledge.toString();
    }
}

再测试下效果,这次正常了:

至此,我们使用向量数据库实现了文档数据的存储和查询。“小抄” 已经准备好,接下来就把它给 AI 吧!

6、使用百川大模型

可以通过 OKHttp 库向百川大模型发送请求,实现 AI 的问答能力。

代码看起来比较长,但其实只需要按照百川要求的参数格式来设置请求头、封装 prompt,最后发起调用并获取返回结果就好了,代码如下:

public class BaiChuanLLM {

    private static final String URL = "https://api.baichuan-ai.com/v1/chat";

    /**
     * 这里的ak和sk可以从百川官网获取,文章中已经演示过了,直接替换掉即可
     */

    private static final String API_KEY = "ak";
    private static final String SECRET_KEY = "sk";

    private static final ObjectMapper MAPPER = new ObjectMapper();

    private static volatile OkHttpClient HTTP_CLIENT;

    public static String ask(String question, String knowledge) {
        try {
            String prompt = getPrompt(question, knowledge);
            return llmRequest(prompt);
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }

    private static String llmRequest(String prompt) throws IOException {
        String requestData = getBaiChuanRequest(prompt);
        String timestamp = String.valueOf(System.currentTimeMillis() / 1000);
        String signature = calculateMd5(SECRET_KEY + requestData + timestamp);

        Headers headers = getHeaders(timestamp, signature);

        RequestBody body = RequestBody.create(requestData, MediaType.parse("application/json; charset=utf-8"));
        Request request = (new Request.Builder()).url(URL).headers(headers).post(body).build();

        try (Response response = getHttpClient().newCall(request).execute()) {
            JsonNode node = null;
            if (response.body() != null) {
                node = MAPPER.readTree(response.body().string());
            }
            if (node != null) {
                return node.get("data").get("messages").get(0).get("content").asText();
            }
            return null;
        }
    }

    private static Headers getHeaders(String timestamp, String signature) {
        return (new Headers.Builder())
                .add("Content-Type""application/json")
                .add("Authorization""Bearer " + API_KEY)
                .add("X-BC-Request-Id""RequestId-1001")
                .add("X-BC-Timestamp", timestamp)
                .add("X-BC-Signature", signature)
                .add("X-BC-Sign-Algo""MD5")
                .build();
    }

    public static String calculateMd5(String inputString) {
        try {
            MessageDigest md = MessageDigest.getInstance("MD5");
            md.update(inputString.getBytes());
            byte[] digest = md.digest();
            StringBuilder buffer = new StringBuilder();
            for (byte b : digest) {
                buffer.append(String.format("%02x", b & 0xff));
            }
            return buffer.toString();
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
            return null;
        }
    }

    private static String getBaiChuanRequest(String prompt) throws JsonProcessingException {
        ObjectNode data = JsonNodeFactory.instance.objectNode();
        data.put("model""Baichuan2-53B");

        ObjectNode node = JsonNodeFactory.instance.objectNode();
        node.put("role""user");
        node.put("content", prompt);

        data.put("messages", JsonNodeFactory.instance.arrayNode().add(node));
        return new ObjectMapper().writeValueAsString(data);
    }

    private static String getPrompt(String question, String knowledge) throws JsonProcessingException {
        JsonNodeFactory factory = JsonNodeFactory.instance;
        ObjectNode obj = factory.objectNode();
        obj.put("请回答问题", question);
        obj.put("背景知识如下", knowledge);
        return new ObjectMapper().writeValueAsString(obj);
    }

    synchronized private static OkHttpClient getHttpClient() {
        if (HTTP_CLIENT == null) {
            HTTP_CLIENT = (new OkHttpClient.Builder())
                    .connectTimeout(2L, TimeUnit.SECONDS)
                    .readTimeout(60, TimeUnit.SECONDS)
                    .connectionPool(new ConnectionPool(105L, TimeUnit.MINUTES))
                    .build();
        }
        return HTTP_CLIENT;
    }
}

上面的代码大家也不用记,直接复制到自己的程序中就行。

最后,我们在刚刚创建的AISearchExample类中编写一个 main 方法,以实现调用。

示例代码如下:

public static void main(String[] args) throws Exception {
    VectorDBClient client = createClient();
    initKnowledge(client);

    Scanner scanner = new Scanner(System.in);
    System.out.print("请输入您的问题(exit退出):");
    String inputString = scanner.nextLine();
    while (!"exit".equalsIgnoreCase(inputString)) {
        if (!inputString.trim().isEmpty()) {
            String result = searchKnowledge(inputString, client);
            if (StringUtils.isBlank(result)) {
                System.out.println("未找到相关内容");
            }else {
                System.out.println(result);
            }
            String llmResult = BaiChuanLLM.ask(inputString, result);
            System.out.println("---->LLM回答结果:");
            System.out.println(llmResult);
        }

        System.out.println("\n\n");
        System.out.print("请输入您的问题(exit退出):");
        inputString = scanner.nextLine();
    }
}

注意:

1)由于版本持续更新迭代,请以官方最新的 SDK Demo 为准

地址:https://cloud.tencent.com/document/product/1709/97768

2)相比于 Java,Python 调用会更加简单,只需要不到 100 行代码就能搞定

最终效果

查询向量数据库中已有的信息时,向量数据库成功查询到了文档段落:

百川 AI 大模型基于上面的文档段落,给出了更清晰的回答:

很好,一个 AI 总结助手就开发完成啦!

总结

通过开发上述应用,大家应该也能发现,腾讯云向量数据库确实是立了大功,它不仅帮我完成了文件分片上传,还通过内置的 Embedding 功能帮我完成了文档到数值向量的转换,并内置了搜索功能,大幅降低了开发成本!

不过对于我来说,最重要的还是它送了 400 万 token 的百川大模型以及免费一个月的腾讯云向量数据库。

点击下面的链接,或者文章下方的阅读原文,即可免费领取腾讯云向量数据库 + 百川大模型 400 万 tokens 调用额度。推荐大家用它来快速制作自己的学习笔记助手、八股文背诵助手等,提高学习工作效率~

领取地址:https://cloud.tencent.com/act/pro/agi

也可以点击下方阅读原文领取~

往期推荐

鱼皮的编程小圈子

用 Java 做个命令行程序,太简单了!

编写组件文档?用它轻松拿捏!

这个技术,堪称 Java 华佗!

拼多多转正了,我却有些迷茫。。

用这个技术生成代码,太简单了~

继续滑动看下一个

腾讯又出王炸产品!分分钟开发 AI 文档助手

鱼皮 程序员鱼皮
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存