temperature为0为什么会输出不同的结果今天遇到一个有意思的问题，大模型的temperature=0，为什么会有不同的结果？ 理论上，温度为0时，大模型会进入“贪婪搜索”模式，只选取概率最高的那个token。当输入完全相同时，输出应当也完全相同，但是经过实践，发现结果往往有区别。 一、浮点数计算的非确定性首先要知道，浮点数计算不符合结合律： $$(a+b)+c \neq a+(b+c)$$ 举个例子$(1+10^{16})-10^{16}=0$，而$1+(10^{16}-10^{16})=1$ 由于Attention涉及矩阵计算，而显卡对矩阵计算做了很多算子优化，这些计算往往是并行的，这导致成千上万个线程同时计算，计算的顺序无法保证一致性。在浮点数相加时，由于精度限制，精度之外的数字会被抹零。虽然一次计算看不出什么，但是经过上万次放大后会突破阈值，产生微妙的变化，使两个token的概率排序发现改变。 如果要保证确定性，需要在代码中进行特别处理才行，但代价是模型推理速度明显下降。 二、模型架构（MoE）MoE(Mixture of Experts)混 ...

本地部署 Qwen2.5-Omniqwen2.5-omni-7b使用官方提供的transformers演示demo，在不做任何优化（如禁用视觉）的情况下需要26g左右的显存，qwen2.5-omni-3b加载大概需要12g，生成一段22s音频增加至15g 环境5090，cuda12.8，ubuntu22，由于时间隔得比较久，vllm和transformers的部署方式使用了不同的pytorch版本。可以去这里的地址下载 torch和flash_attn 一、使用vllm部署依赖：torch2.9.1、torchvision0.24.1、torchaudio2.9.1从pip安装，python3.12，vllm0.12.0和vllm-omni从源码编译 1export MAX_JOBS=4 # 这个参数非常重要 12345678# 从源码编译vllmgit clone https://github.com/vllm-project/vllm.gitcd vllmgit checkout v0.12.0python use_existing_torch.pypip install -r ...

label studio导入标注通过一个json文件，在label studio当中同时导入本地样本和标注 关键字：label-studio 标注 我在使用label studio标注的时候，需要修改一些已经标注好的样本，这就需要从本地导入带标注的样本。我使用的是 label-studio==1.21.0。 一、从json导入样本和标注 首先需要添加环境变量 12345678# linuxexport LABEL_STUDIO_LOCAL_FILES_SERVING_ENABLED=trueexport LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=你的数据集根目录# 比如我的# LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=/mnt/datasets# windows使用下面的# LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=C:\\data\\media 理论上也可以用http，但我没试 首先创建一个项目，data import不用管， labeling setup选择你的任务 ...

泡泡玛特永生花圣诞节快到了，还在发愁送给喜欢的人什么礼物？不如试试亲自做一个泡泡玛特永生花： 注意：通过我的方式做出来的礼物不能倒置和摇晃！不能快递！只能拎在手上运输，不建议异地情侣用这种方式做，因为这玩意很脆弱，就算拿手上也不建议长途运输！建议先看完这篇攻略再决定要不要动手 原料： 一个泡泡玛特，建议直接选款式，不要开盲盒，因为有些款式不适合做成礼物 53元 永生花，颜色和泡泡玛特自行搭配 10元 玻璃罩展示盒（我选的是12*18）15元 圆形亚克力收纳盒（10*5.3cm） 5元 亚克力小展台（3.5cm高） 6元 无痕双面胶贴 3元 干燥花泥 1元 干燥剂（可选） 4元 泡泡玛特和花是tb买的，其他pdd，所有东西加起来 成本共90多 ，一个晚上基本能做完。 其他工具：镊子、剪刀、小刀等 购买原料时候的注意点： 玻璃罩的内直径和收纳盒的外直径，最好是相差2厘米左右，因为这里还需要加入一些装饰藤蔓。另外注意高度，泡泡玛特+小展台<玻璃罩才行，不然玻璃罩盖不上就尴尬了。 虽然买的是10*5.3cm的收纳盒，但是我用到是收纳盒的盖子，而不是这个收纳盒的盒身。盖子大概是1- ...

安装Kimi-Audio docker镜像在本地部署Kimi-Audio时，需要下载docker镜像，但是安装失败，以下是我遇到的问题 https://www.modelscope.cn/models/moonshotai/Kimi-Audio-7B-Instruct 问题3 torch版本官方提供的依赖是torch2.6的，注意torch版本是否匹配你的显卡，我用的5090算力是sm_120，至少需要torch2.7才行。 解决方案在这个网站上找你的cuda版本、python版本并下载对应的安装包https://download.pytorch.org/whl，将以下代码写入dockerfile，主要要写在RUN pip install -r requirements.txt之前，并且将requirements.txt里的torch和torchaudio删除 123456# 安装本地 PyTorch wheel 文件COPY torch-2.7.1+cu128-cp310-cp310-manylinux_2_28_x86_64.whl /tmp/COPY torchaudio-2.7 ...

连续批处理策略（Continuous Batching）在调用本地昇腾部署的大模型时，观察到一个很有意思的现象：在执行高并发问答时，所有的回答都趋于同一个短暂的时间窗口完成，即使有不同的首字延迟时间。 关键词： 批处理、大语言模型、本地部署 12342025-10-10 11:04:08 [INFO] LLM图像分析455成功响应，用时 86.08秒 | 首字延迟: 63.554秒 | 输入tokens: 872 | 输出tokens: 8 | 总tokens: 880 | tokens/秒: 0.092025-10-10 11:04:08 [INFO] LLM图像分析471成功响应，用时 85.91秒 | 首字延迟: 26.541秒 | 输入tokens: 872 | 输出tokens: 8 | 总tokens: 880 | tokens/秒: 0.092025-10-10 11:04:08 [INFO] LLM图像分析263成功响应，用时 88.34秒 | 首字延迟: 7.496秒 | 输入tokens: 872 | 输出tokens: 8 | 总tokens: 880 | tok ...

f88e8d4cb15b1e1454c44dc031dfa58fa75ae684dae8e194bc7721777593a47900aadb4c962001aa2c6dfc21534f424b3794d4b5505ec2ffe5b0772468c788f284db3181c164cd2ef9ae86ecc48410969533dcb5622c56fd50180787c974870f84fc2af26bffa5595403a2af5b7c9a6f4229a04a568ff55b58374d33e47785725bbb9137b7e217c65f7c07e2cb7a07302399f8c7431aead1919dacb01c1ff7fa5882ea2c51d8ae440a69847a3d486631b6f632e5fbff0d299191bd65bf779406d1f596301c42b5206f060a746ed2ae05ca500c3d6452849e7bc8bfc66ad5ec302a87b87dc7beb56be41c4c8d0e08d20b81fd1eb20fb3f9e84 ...

解决pycharm打字卡顿，性能低下问题摘要：不知道何时起，我的pycharm就打字很卡，粘贴很卡，卡个一两秒钟，卡的没有规律，但单纯地看代码不卡，最后发现原来是远程解释器的问题 关键词： pycharm macos remote python 一、删除你的远程解释器打开你的偏好设置-全部显示，然后直接删除不用的远程解释器，删到只剩5个就差不多不卡了。这个操作只会删除你的设置，不会删除远程服务器上的python环境。 lag when typing in PyCharm with a remote interpreterUI lags and freezes when there are a lot of outdated interpreters in configs 二、增加内存帮助-编辑自定义虚拟机选项，修改内存高一点可以，但我感觉效果不明显。我以前512m和现在2048m用起来没啥区别。 结语善用谷歌，如果你发现百度不到什么东西的话。这个问题百度千篇一律，就是加虚拟内存，然而并没有什么卵用。也正因如此，写此博客，希望对你有用:)

使用figlet、lolcat和oh-my-zsh美化Mac终端摘要：实现开启动画和自定义ohmyzsh主题，需要一定基础 关键词： figlet lolcat ohmyzsh macos 我使用的终端shell是zsh，如果你使用其他shell（如bash），只需要将下文中的zshrc替换成bashrc，依旧可以定义你的欢迎页，但是无法使用oh-my-zsh。 一、欢迎页使用figlet和lolcat figlet可以将普通终端文本转换为大字母 http://www.figlet.org/examples.html 可查看所有字体样式 安装命令 brew install figlet lolcat可以为输出的文本添加彩虹般的色彩，我们可以通过管道将这两个命令联合起来 安装命令 gem install lolcat (可能需要更新ruby) 12# welcome wordsfiglet -f isometric3 helloworld | lolcat -a -d 1 可以在终端中先试试效果，然后再在 .zshrc 文件中加入 -f 表示要选择的字体（见上面连接）， he ...