Follow新兴热门Github repo最让人兴奋的是：看着它从幼稚朝着成熟（神奇）发展，这个发展很快肉眼可见，神奇如昙花开放，但又在你理解范围之内（当前的知识储备加上搜一搜能够理解每一个修改的目的和神奇）。与之相反的是记忆中的被支配高数课，开课还是有条不紊，捡个笔的功夫再抬头已是二世为人。

LangChain于8月1日0.254版本更新，声称采用新的语法来创建带和组合功能的Chain，同时提供一个新的接口，支持批处理、异步和流处理，将这种语法成为LangChain Expression Language(LCEL)。体验了新版本LangChain的LCEL特性，确实是个重大有意义的更新，朝工程化应用方向发展了一大步。

相信国内绝大多数LLM应用个人开发者最头疼的事情就是ChatGPT的API key的问题，一个是获取问题，一个是费用问题（因为充值不易）。LangChain的llm_cache是缓解（或者部分解决）这个问题一个方案。

llama2.c中，最想知道的的一个问题是：模型文件（bin）怎么手搓的（c）读取运行起来？延展开来是一下几个问题：

llama2.c核心的应该是run.c也就是推理引擎方面，training相对简单，先从这里分析。

llama2.c使用纯C编写，不过不同的编译优化能够提供不同的加速性能。在同一台机器（centos gcc 9.3）不同编译配置，运行相同的模型（stories110M），进行推理速度（tok/s)比较。相比原始的c编译（O3优化），叠满Fast，OMP，GNUC11后有了近10倍的加速。

llama2.c 还登上了 Github 的热门趋势榜首，最近这周时间花了一点时间研究llama2.c，应景写一个学习笔记吧。

大群口嗨一时爽，不得不为公司HR做了一个基于内部文档的ChatBot。大概花了2周的个人业余时间，算起来有2个工作日。Open AI ChatGPT Key缺乏、网络延迟以及Open LLM性能不佳的问题，索性不使用LLM进行搜索关联文档后输出优化。

sqlite3是一种很好的数据科学工程实践中保存数据（包括原始数据和中间结果存储）的方法。相比于csv/tsv、pickle、parquet，sqlite3的使用场景和意义被大量低估了。这里数据科学（data scientist），既指机器学习的数据处理，又指数据分析的数据处理。

我相信 Python 的 ExitStack 功能并没有得到应有的认可。我认为部分原因是它的文档位于（已经晦涩的）contextlib 模块的深处，因为正式的 ExitStack 只是 Python 的 with 语句的许多可用上下文管理器之一。但 ExitStack 值得更突出的关注。

设备的RTC大部分场景是有用的，但RTC芯片增加了成本，而实现NTP网络协议又增加了系统的复杂性。如果物联网系统能够提供NTP校时是性价比最高的方案。

参数项目”自修伴侣“需要LCD上显示时钟，考虑移植LVGL。查了一些资料LVGL生态还是不错，不过其强大也就意味的移植，应用开发不会简单；此外lvgl快速发展，以为找到的各种教程版本差异导致你整合到一起不一定能工作。最简便的方法就是站在前人的肩膀上，把手上获得相同硬件平台的lvgl（好像是最近master分支）模块（文件）拷贝到自己的工程，再在工程上对应修改。因为绕开了移植操作，最是方便happy path。

自修伴侣（self-study planner）是基于物联网操作系统TencentOS tiny和CH32V_EVB RISC-V开发套件开发一款物联网化的番茄时钟、喝水提醒、to-do list 清除为一体的自修伴侣。

作为推荐模型训练的重要组成部分，推荐系统的负采样对模型的训练效果有着重要的影响，也是重要研究分支。实际的推荐系统场景，大部分数据是隐式反馈信息。对于模型训练，一般假设用户交互过的产品都是正例，通过抽样，选择用户没有交互过的部分产品作为负例。根据一定的策略从用户的非交互产品集中选择负样本的过程称为负样本采样（Negative Sampling）。

在拟合数据训练之前需要设置超参数，以获得更健壮和优化的模型。任何模型的目标都是实现最小化误差，超参数调优（Hyperparameter Tuning / Optimization）有助于实现这一目标。

TFLM(Tensorflow lite micro)验证嵌入式端模型运行，直截了当做法是：对比PC端和嵌入式端运行的tflite模型的输入输出。笔者就TinyML的HelloWorld例程，实践了PC端tflite模型运行情况和MCU端RT1062部署后运行情况。

Elasticsearch-spark-based recommender系统方案的两个关键步骤：

推荐系统是机器学习当前最著名、最广泛使用，且已经证明价值的落地案例。尽管有许多资源可用作训练推荐模型的基础，但解释如何实际部署这些模型来创建大型推荐系统的资源仍然相对较少。

AIoT创新应用比赛是一个命题作文，AIoT = AI + IoT 是基本了解；要求使用RT1062和TencentOS-tiny是限制条件，也是IDEA创意的出发点。充分利用前提条件的产品形态（IDEA）是正确的进入方式。

NXP eIQ平台提供了嵌入式平台集成化的机器学习应用部署能力，支持BYOD（Bring Your Own Data）和BYOM（Bring You Own Model）的两种建模应用的工作流。