Sutdown Blog

「我相信我的命运因我的选择而转动着」

大模型原理:从transformer到llm

0 前言 这篇主要作用是学习笔记. 大部分都是来源于该项目datawhalechina/happy-llm: 从零开始的大语言模型原理与实践教程. 该篇仅包括上述项目前四章的部分,主概念。 前四章主要讲述ai的发展, 从最初的transformer架构,到预训练语言模型,,到如今的大语言模型。后三章则侧重于实现,比如如何搭建一个大模型,模型如何训练微调,大模型的评测,大模型Agent等...

Langchain到简单Agent

0 AI相关基础概念 LangChain 是一个用于开发由大型语言模型(LLMs)驱动的应用程序的框架。 生成式AI:使用大模型进行支持,在大量原始未标记的数据基础上对于深度学习模型进行预训练,从而让机器能够理解语言甚至图像,能根据需要自动生成内容。 大模型的训练阶段:预训练(提升本身的知识量),SFT(Supervised Fine-Tuning监督微调,专注于选择某一方面...

cuda安装和入门使用

CUDA工具包: 选择cuda版本时,注意先在NVIDIA中看电脑显卡支持的CUDA版本。 完整的 CUDA 开发工具集,包含编译器、库、驱动等,提供 CUDA 开发环境(编译 CUDA 代码、运行 CUDA 程序)。 CUDA安装教程(超详细)-CSDN博客 1 2 3 4 5 6 C:\Users\name>nvcc -V nvcc: NVIDIA (R) Cuda com...

海量数据处理

1 如何在两个大量的文件中找到相同的部分? a和b两个文件,各自存放50亿个URL,每个URL占64B,内存限制为4G,请找出a,b两个文件共同的url。 2^10 10^9 a,b文件大小为320GB 分治+堆+哈希 将a,b大文件拆分为多个小文件。该过程利用相同的哈希规则让url映射存放到某个文件之中,这样能够保证a和b中相同的url映射到相同的文件之中。拆分的过...

二分查找详解

二分查找详解 写法一: 35. 搜索插入位置 - 力扣(LeetCode) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 int searchInsert(vector<int>& nums, int target) { int left = 0, r...

2025.五月小记

哈喽让我想想要怎么向你描述这个月呢 相比较上一次实习的生疏,这一次的你显得更加的游刃有余,虽然依旧出现了一些问题,不过你依然并不是很慌张,毕竟问题终究都会有个结果的。这段时间你也结识了很多人,比如实习中的同事,合租的舍友等等。从前的朋友也还存在着交集,新朋友的相处看着也还不错,一切你应该都是很称心如意的。这样子说的话,那变化最多和最让你感到心慌的就是生活方式的转变了。每天见到的人变多,加上...

WSL2简单安装过程以及注意事项

前置: 控制面板—程序—程序与功能 勾选 适用于Linux的Windows子系统 和 虚拟机平台(随后重启) 之后如果出现 由于未安装所需的特性,无法启动操作。 错误代码: Wsl/InstallDistro/Service/RegisterDistro/CreateVm/HCS/HCS_E_SERVICE_NOT_AVAILABLE是由于虚拟机平台未成功打开,可 以管理员身份 打开...

SQL详解

SQL全名 Structured Query Language。 基本操作 CRUD增删改查 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 INSERT INTO user VALUES(10, 'root', 'xxx@123.com'); -- 删除表中满足特定条件的行 DELETE FROM user WHERE username=...

Go项目实战

qimi liwenzhou 博客 有很多点还没搞清楚,包括业务语法,有待加强 简历 关键在于登录注册投票帖子展示等功能的实现 然后一些库函数,一些算法等 再就是性能分析 库函数 viper Viper是 Go 语言中一款功能强大的配置管理库,旨在简化应用程序的配置处理。它支持多种配置文件格式,包括 JSON、TOML、YAML、HCL、envfile...

Go Web开发常用组件

参考文章: 在Go语言项目中使用Zap日志库 在Go语言项目中使用Zap日志库 日志能够提供的功能: 能够将事件记录到文件中,而不是应用程序控制台。 日志切割-能够根据文件大小、时间或间隔等来切割日志文件。 支持不同的日志级别。例如INFO,DEBUG,ERROR等。 能够打印基本信息,如调用文件/函数名和行号,日志时间等 Go logger 优点:使用简单。...