Posted at 2024-09-16
# LLM 评估LLM-CLUE
OverView
CLUEbenchmark/PyCLUE: Python toolkit for Chinese Language Understanding(CLUE) Evaluation benchmark (github.com)
下载数据,然后运行评估代码。这个过程通常相对完善了。https://github.com/CLUEbenchmark/PyCLUE 这个库就是封装好的脚本了。
# 加载保存好的模型路径(train.ipynb中最后打印出的model_file_dict中的'pb_model_file'地址)
pb_model_file = ''
# 测试数据路径(应包含test.txt文件)
data_dir = '/workspace/projects/PyCLUE_Corpus/sentence_pair/afqmc'
def submit_
Posted at 2024-09-16
# LLM 评估LLM
基础标准
Open LLM Leaderboard 是目前最流行的LLM评测榜单。它由Hugging Face 发布,评估LLM这几个基准数据集:小学科学、常识推理、多任务准确性、语言理解
CLUE 是中文LLM的通用评测榜单。它由北京大学发布,评估LLM这几个基准性数据集上的性能:中文回答、中文文档摘要、中文机器翻译、实体识别、词性标注、语义依存分析、阅读理解、推理
SuperGLUE: super General Language Understanding Evaluation 是一个多任务的自然语言理解NLU+的基准性测试,它结合了多个现有的NLU任务,如问答,文本蕴含,自然语言,以提供一个全面的评估
GLUE:是SuperGLUE的前身,它包含了多个NLP任务,如问答,文本蕴含,情感分析等GLUE是评估语言模型在多种语言理解任务上表现的重要基准
BIG-Bench:
kafka学习全景图
服务端源码【基于Scala开发】
对应core目录
保存Broker所有源码
核心模块
文档相关
对应docs目录
保存kafka相关设计文档
示例相关
对应examples目录
保存Kafka demo示例
消息类处理模块
对应fenerator目录
主要根据Clients模块下的message json文件生成对应的java类
gradle模块
对应的gradle目录
kafka源码安装,保存为gradle的脚本和依赖包定义等相关文件
基准测试模块
一致性协议模块
流式处理模块
测试模块
工具类模块
Kafka Vagrant
代码规范,自动化检测
配置文件
脚本执行文件
客户端源码(基于java开发)
Connect组件源码(基于java开发)
Typescript
Overview
Typescript 是由微软开发的,是基于JavaScript的一个扩展语言
TypeScript包含了javascript的所有内容,即typescript是javascript的超集
TypeScript增加了静态类型检查,接口,泛型等很多现代开发特性
typescript需要编译成javascript,然后交给浏览器或者javascript运行环境执行
javascript缺点
不清不楚的数据类型
有漏洞的逻辑
访问不存在的属性
低级的拼写错误
TypeScript 静态类型检查
在代码运行前进行检查,发现代码的错误或不合理之处,减少运行时异常的出现的几率,此种检查叫做静态类型检查
编译TypeScript
命令行编译
tsc ts文件
自动化编译
生成一个ts配置文件
tsc --init
监控所有ts文件
tsc --wat
部署Vue项目
Vue
vue脚本位置 package.json
pnpm build
端口修改:vue.config.js
将dist目录打包到服务器上面去,配置nginx相关配置
打包生成
Ubuntu
安装nginx
sudo apt install nginx
查看版本
nginx -v
启动ngxin
service nginx start
service nginx stop
service nginx restart
Nginx
1.在/ect/nginx下创建hosts文件:mkidr hosts
2.在下创建 xxx.host并对其进行编辑,内容如下:(一个vue打包项目对应一个host文件)
sudo vim /ect/nginx/hosts/xxx.host
server {
listen 8080;#自己设置端口号