蚂蚁Java一面-问的贼广!!!

哈喽~，大家好，我是千羽。

今年2023年的互联网行业的竞争依然激烈。在这个充满挑战的环境中，面试成为了实现职业发展的重要一步。

近期有幸获得了一份来自中国科学院大学的ACM选手在阿里暑期实习面试的面经。

这位同学拥有丰富的算法竞赛经验，深厚的技术功底和卓越的学术背景。尽管经验丰富、回答出色，令人遗憾的是，他在初面时未能成功晋级。

• 1.static关键字，什么时候加载
• 2.java原子类、包装类
• 3.JVM垃圾回收，新生代到老年代过程、垃圾回收有几种算法
• 4.发现新生区频繁发生垃圾回收，且垃圾越来越多，有哪些情况？会导致那些问题？如何排查？
• 5.线程池参数都说一遍，怎么使用，运行原理
• 6.线程池参数如何确定？现在有一个大并发请求过来，请求很多，每个请求耗时较长，可以允许一定程度的失误，线程池参数如何确定，阻塞队列如何选择
• 7.搞过压测没？压测时需要关注那哪些指标
• 8.系统现在cpu内存飙升，如何发现问题解决问题？用哪些指令？
• 9.现在系统开始的请求处理速度很快，20ms一个，突然变慢变成200ms一个，内存还有很多，cpu使用率也不是很高，可能是什么问题导致的，怎么去排查？你遇到过这种情况吗？
• 10.syn锁升级的过程？简单说就行？如何查看系统里面锁的阻塞状态？dump下来，jprofile
• 11.分布式锁的实现方式？分布式锁的缺点？redis实现分布式锁，现在出现缓存击穿，请求全打到mysql里面去了，怎么办？如何通过降低一致性，增强可用性的方案解决？方案有哪些？redis读写分离怎么搞？
  • Redis读写分离：
• 12.mq使用过没？rabbitmq的消费机制、confrim机制有几种方式？confrim机制如何实现
  • RabbitMQ消费机制：
  • RabbitMQ的Confirm机制：
  • Confirm机制实现：
• 13.Threadlocal原理？什么时候使用？要注意什么？
  • ThreadLocal的原理：
• 14.说一下你对GPT4模型的理解
• 15.什么是HMM，说一下隐马尔可夫模型原理
  • HMM的应用：
• 16.BP神经网络原理过程，梯度下降...你是如何调参的？
  • BP神经网络原理过程：
• 17.大模型使用过没？Bert
  • BERT的特点和原理：
  • BERT的应用：
• 18.用过什么深度学习框架？pytouch 讲一下有没有对模型本身有什么修改，你是如何修改的
• 19.我论文里面的东西：通用模型如何转换为专用模型之间
• 20.知识增强的方法?优点缺点？

蚂蚁Java一面

1.static关键字，什么时候加载

static 关键字主要用于定义静态变量和静态方法。这些静态成员在类加载时被加载，并且随着类的加载而初始化。类的加载过程一般发生在以下几种情况下：

1. 首次实例化对象或访问静态成员： 当第一次实例化类的对象或访问类的静态成员（静态变量或静态方法）时，会触发类的加载过程。这时静态变量会被初始化，静态代码块（如果有的话）也会被执行。
2. 使用Class.forName()方法： 通过 Class.forName() 方法动态加载类时，也会触发类的加载和初始化过程。这种方式可以在运行时动态加载类，这在一些特定场景下很有用。
3. 静态成员在加载类时初始化： 静态变量会在类加载时被初始化，而不是等到类的实例化过程中。因此，在类第一次加载时就会进行静态成员的初始化。

2.java原子类、包装类

1. 原子类（Atomic classes）： 这些类位于 java.util.concurrent.atomic 包中，用于支持在多线程环境下进行原子操作。在并发编程中，当多个线程同时访问共享变量时，可能会引发竞态条件（race conditions），导致数据不一致或出现错误。原子类通过提供特定操作的原子性保证，帮助避免了这种情况。常见的原子类包括 AtomicInteger、AtomicLong、AtomicBoolean 等，它们提供了一些原子性操作，比如原子性的递增、递减、设置等。
2. 包装类（Wrapper classes）： 这些类是 Java 中用于将基本数据类型包装成对象的类，位于 java.lang 包中。在 Java 中，基本数据类型（比如 int、long、boolean 等）是非对象类型，但有时候需要将其转换成对象才能操作或者传递给某些方法。这时就可以使用包装类。例如，Integer 是 int 的包装类，Long 是 long 的包装类，Boolean 是 boolean 的包装类。这些包装类提供了一些方法来操作对应的基本数据类型，同时也允许 null 值。

例如，原子类的用法如下所示：

AtomicInteger atomicInt = new AtomicInteger(0);
atomicInt.incrementAndGet(); // 原子性递增操作

而包装类的用法则是将基本数据类型封装为对象，例如：

Integer intObj = Integer.valueOf(10); // 将int类型10封装为Integer对象
int value = intObj.intValue(); // 获取Integer对象的int值

3.JVM垃圾回收，新生代到老年代过程、垃圾回收有几种算法

JVM的垃圾回收主要涉及新生代和老年代两个部分，它们的垃圾回收过程和算法有所不同。

新生代到老年代过程：

1. 新生代（Young Generation）： 新生代分为 Eden 区和两个 Survivor 区（一般是 Survivor0 和 Survivor1）。对象在 Eden 区被创建，在经过几轮垃圾回收后，仍然存活的对象会被移动到 Survivor 区。当 Survivor 区满时，存活的对象会被晋升到老年代。
2. 晋升到老年代： 新生代中对象经过多次垃圾回收仍然存活的对象会被移到老年代。这个过程通常发生在对象经过了几次新生代的垃圾回收后，仍然存活的情况下。

垃圾回收算法：

1. 标记-清除算法（Mark and Sweep）： 遍历所有对象标记活动对象，然后清除未标记的对象。这种方法可能导致内存碎片化。
2. 复制算法（Copying）： 将内存空间划分为两个相等的区域，每次只使用其中一个。当当前使用的区域满了之后，将存活的对象复制到另一个区域中，同时清除当前区域中的所有对象。这种方法减少了内存碎片化，但是需要额外的内存空间。
3. 标记-整理算法（Mark and Compact）： 类似于标记-清除算法，不同之处在于在清除对象后，会将存活的对象向一端移动，从而减少内存碎片。
4. 分代算法（Generational GC）： 根据对象的存活周期将内存分为不同的代（一般是新生代和老年代），针对不同代使用不同的垃圾回收算法。一般新生代使用复制算法，老年代使用标记-整理算法或标记-清除算法。

4.发现新生区频繁发生垃圾回收，且垃圾越来越多，有哪些情况？会导致那些问题？如何排查？

1. 内存泄漏或对象引用未释放：
   • 问题： 存在内存泄漏或者对象的引用未被及时释放，导致对象无法被回收。
   • 排查方法： 使用内存分析工具（如 VisualVM、jVisualVM、MAT 等）检查对象的存活情况。观察哪些对象存活时间较长并频繁发生晋升。
2. 外部资源未关闭导致泄漏：
   • 问题： 外部资源（文件、网络连接等）未正确关闭，导致资源泄漏。
   • 排查方法： 检查代码中是否存在资源未关闭的情况，尤其是在使用完资源后未调用关闭方法的情况。
3. 过多的临时对象：
   • 问题： 有过多的临时对象（比如字符串拼接、临时集合等），增加了新生代的负担。
   • 排查方法： 代码审查，查看是否有频繁产生大量临时对象的情况，尝试优化代码逻辑以减少临时对象的创建。
4. 应用性能问题：
   • 问题： 应用性能不佳导致大量对象被创建或产生。
   • 排查方法： 检查应用程序的性能和并发情况，查看是否有异常情况导致了大量对象的产生。

5.线程池参数都说一遍，怎么使用，运行原理

常用线程池参数：

1. corePoolSize（核心线程数）： 线程池中保持的最小线程数，即使线程处于空闲状态，也会保留这些线程。新任务会优先分配给这些核心线程。
2. maximumPoolSize（最大线程数）： 线程池中允许的最大线程数。如果队列已满且当前线程数小于最大线程数，会创建新的线程执行任务，直到达到最大线程数。
3. keepAliveTime（线程空闲时间）： 当线程数超过核心线程数并且处于空闲状态时，在经过一段时间后，多余的空闲线程会被终止并从线程池中移除。
4. workQueue（工作队列）： 存储等待执行的任务的队列。可以是有界队列（如 ArrayBlockingQueue、LinkedBlockingQueue）或无界队列（如 SynchronousQueue、LinkedBlockingQueue的无参构造）。
5. ThreadFactory（线程工厂）： 创建新线程的工厂。可以自定义线程工厂，用于设置线程的命名、优先级等。

使用线程池：

创建线程池： 使用 Executors 类的工厂方法创建线程池，根据需要指定参数。例如：

ExecutorService executor = Executors.newFixedThreadPool(corePoolSize);

提交任务： 使用线程池的 submit() 或 execute() 方法提交任务。例如：

executor.execute(new RunnableTask());

关闭线程池： 使用 shutdown() 或 shutdownNow() 方法关闭线程池，释放资源。

运行原理：

1. 当有任务提交到线程池时，线程池会根据线程池状态、线程数等情况来决定任务的执行方式。
2. 如果当前线程数小于核心线程数，且空闲线程数少于核心线程数，会创建新线程来执行任务。
3. 如果当前线程数达到核心线程数，新任务将被放入工作队列。如果工作队列已满且当前线程数小于最大线程数，会创建新线程执行任务。
4. 如果工作队列也满了，且线程数达到最大线程数，会根据拒绝策略（RejectedExecutionHandler）来处理新任务的提交方式，比如丢弃、抛出异常等。
5. 线程池中的线程在执行完任务后，会根据空闲时间策略决定是否被终止。

6.线程池参数如何确定？现在有一个大并发请求过来，请求很多，每个请求耗时较长，可以允许一定程度的失误，线程池参数如何确定，阻塞队列如何选择

1. 考虑系统负载和性能需求：
2. 请求的并发量： 根据请求的并发量确定 corePoolSize 和 maximumPoolSize。如果并发量很大，可以增加最大线程数以处理更多请求。
3. 请求处理时间： 如果每个请求耗时较长，可以考虑增大 corePoolSize 和 maximumPoolSize 以应对长时间的请求处理。
4. 选择合适的阻塞队列类型：
5. 有界队列 vs 无界队列：
   • 有界队列（如 ArrayBlockingQueue）： 可以控制任务的最大排队数量，避免无限制的任务积压。但如果队列满了，会触发线程池的饱和策略。
   • 无界队列（如 LinkedBlockingQueue）： 不限制队列大小，但会导致内存占用增加。当任务量很大时，可能导致内存耗尽。
6. SynchronousQueue： 如果任务提交速度和处理速度相差悬殊，可以考虑使用 SynchronousQueue，它不会保存任务，而是直接将任务提交给线程池的最大线程数处理。
7. 观察系统表现和调整参数：
8. 监控系统性能： 使用监控工具（如 JVisualVM、Metrics 等）监控系统的性能指标，如线程数、CPU 使用率、内存使用情况等。
9. 调整参数： 根据监控数据和系统表现，逐步调整线程池参数，找到最优的配置。
10. 允许一定程度的失误：

如果可以接受一定程度的失误，可以采用调整 keepAliveTime 和 allowCoreThreadTimeOut 的方式，让空闲线程在一定时间内被回收，以节省资源。

7.搞过压测没？压测时需要关注那哪些指标

1. 响应时间（Response Time）：

• 平均响应时间（Average Response Time）： 衡量系统处理单个请求所需的平均时间。较长的响应时间可能意味着系统负载过重或性能问题。
• 最大响应时间（Maximum Response Time）： 最长的请求响应时间。如果某些请求出现异常情况导致响应时间显著增加，可能需要优化这些请求的处理方式。

1. 吞吐量（Throughput）：

• 请求吞吐量（Request Throughput）： 单位时间内系统能够处理的请求数量。较低的吞吐量可能表示系统存在瓶颈或资源不足。

1. 错误率（Error Rate）：

• 错误请求数量和比例（Error Count and Percentage）： 统计请求中发生的错误数量和比例。较高的错误率可能暗示着系统异常或负载过大。

1. 并发用户数（Concurrent Users）：

• 同时在线用户数量（Simultaneous Users）： 测试期间同时存在于系统中的用户数量。这有助于了解系统承载能力和资源利用情况。

1. CPU、内存、网络等系统资源利用率：

• CPU 使用率（CPU Utilization）： 系统CPU的利用率。高CPU使用率可能表示系统负载较重，需要优化代码或增加硬件资源。
• 内存使用率（Memory Utilization）： 系统内存的利用率。高内存使用率可能导致内存不足、频繁的GC等问题。
• 网络带宽使用率（Network Bandwidth Utilization）： 系统网络带宽的利用率。高网络带宽使用率可能导致网络拥堵，影响系统稳定性。

1. 系统稳定性和容错性：

• 系统崩溃率和恢复速度： 压测期间系统是否崩溃，以及系统恢复正常的速度。系统崩溃可能意味着存在严重的性能或稳定性问题。
• 负载均衡和容错机制： 在高并发情况下，系统是否能够良好地应对负载均衡和故障转移。

8.系统现在cpu内存飙升，如何发现问题解决问题？用哪些指令？

监控系统资源使用情况：

1. top 指令： 在命令行中输入 top 可以实时查看系统的 CPU、内存、进程等使用情况。按 Shift + M 可以按照内存占用排序显示进程。
2. htop 指令： 类似于 top，但提供了更直观的交互式界面，可以更方便地查看系统资源使用情况。

查看进程和资源占用情况：

1. ps 指令： 用于列出系统中的进程列表。例如，ps aux 可以显示所有进程的详细信息。
2. pidstat 指令： 用于监控进程的资源使用情况，包括 CPU、内存、I/O 等。例如，pidstat -u -p <PID> 可以显示特定进程的 CPU 使用情况。

监控内存使用情况：

1. free 指令： 用于显示系统内存的使用情况，包括空闲内存、已使用内存和缓存。例如，free -m 显示内存使用情况（以兆字节为单位）。
2. vmstat 指令： 可以实时显示系统的虚拟内存、磁盘、CPU 活动情况。例如，vmstat 1 每秒刷新一次信息。

查看系统日志：

1. dmesg 指令： 用于显示系统启动时的内核信息，可能包含有关硬件和驱动程序的问题。
2. 日志文件： 检查系统日志文件（如 /var/log/messages、/var/log/syslog）中的错误、警告信息，查看系统可能出现的异常情况。

针对性的调试工具：

1. strace： 跟踪系统调用和信号。例如，strace -p <PID> 跟踪特定进程的系统调用。
2. lsof： 显示系统当前打开的文件列表。例如，lsof -p <PID> 显示特定进程打开的文件列表。

9.现在系统开始的请求处理速度很快，20ms一个，突然变慢变成200ms一个，内存还有很多，cpu使用率也不是很高，可能是什么问题导致的，怎么去排查？你遇到过这种情况吗？

1. 网络问题：
   1. 网络延迟： 检查网络连接是否正常，可能是网络问题导致请求处理速度变慢。
2. 系统资源问题：
   1. I/O 阻塞： 查看系统的磁盘和网络 I/O 是否存在阻塞情况，可能导致请求处理变慢。
3. 内存泄漏或溢出： 检查系统的内存使用情况，是否存在内存泄漏或者内存溢出问题。
4. 软件或服务问题：
   1. 第三方服务： 如果系统依赖于第三方服务，检查是否有第三方服务出现故障或者变慢。
   2. 系统日志： 检查系统日志和应用程序日志，查找可能的错误或异常情况。
5. 应用程序问题：
   1. 代码问题： 有可能是代码中出现了效率低下、死循环、不合理的算法等问题导致性能下降。
   2. 资源竞争： 检查是否存在资源竞争问题，如锁竞争、线程池资源耗尽等。
6. 数据库问题：
   1. 数据库连接池： 检查数据库连接池是否出现问题，比如连接泄漏或者连接池达到最大连接数。
   2. 数据库索引问题： 检查数据库查询是否存在缺少索引或者查询语句不合理导致的性能问题。

10.syn锁升级的过程？简单说就行？如何查看系统里面锁的阻塞状态？dump下来，jprofile

在 Java 中，Synchronized 锁在运行过程中存在四种状态，它们包括无锁状态、偏向锁、轻量级锁和重量级锁。Syn锁升级即是指锁从低级状态升级到高级状态的过程。

Syn锁升级的过程：

1. 偏向锁（Bias Locking）： 初始时是无锁状态。当一个线程获取了锁之后，这个锁就会升级成偏向锁，这时锁会记录下获取它的线程ID。如果其他线程来竞争这个锁，会先判断当前锁是否被偏向，若是，则尝试通过CAS操作来获取锁，如果成功就不会进行锁升级，如果失败就升级成轻量级锁。
2. 轻量级锁（Lightweight Locking）： 多个线程争用锁时，偏向锁会升级为轻量级锁。这时，锁会通过CAS操作尝试将对象头中的Mark Word 修改为指向锁记录（Lock Record）的指针，若成功则获取锁。若 CAS 操作失败，表示存在竞争，锁会升级为重量级锁。
3. 重量级锁（Heavyweight Locking）： 如果锁升级到重量级锁，那么等待锁的线程会进入阻塞状态，直到持有锁的线程释放锁。

查看系统中锁的阻塞状态：

1. 通过 JVM 工具： 使用 JVisualVM、jstack、jconsole 等工具，可以进行线程转储（Thread Dump），查看线程的状态、锁信息以及线程的堆栈信息。
2. 通过监控工具： 应用性能监控工具（如JProfiler、VisualVM等）可以提供线程和锁的详细信息，包括等待锁的线程、持有锁的线程等。

11.分布式锁的实现方式？分布式锁的缺点？redis实现分布式锁，现在出现缓存击穿，请求全打到mysql里面去了，怎么办？如何通过降低一致性，增强可用性的方案解决？方案有哪些？redis读写分离怎么搞？

分布式锁的实现方式：

1. 基于数据库： 使用数据库的行级锁或者悲观锁实现分布式锁，但由于数据库访问开销较大，不适合高并发场景。
2. 基于Redis： 利用Redis的原子性操作（如 SETNX、SETEX）实现分布式锁，通过在Redis中设置一个特定键的值来表示锁的状态。

分布式锁的缺点：

1. 单点问题： 若锁服务出现故障或网络问题，可能导致锁失效。
2. 死锁和误删： 当获取锁的客户端崩溃或网络问题时，可能会导致死锁或误删锁。
3. 性能开销： 有些实现方式（如基于数据库的分布式锁）可能会带来较大的性能开销。

缓存击穿解决方案：

1. 热点数据预加载： 在缓存失效前提前加载数据到缓存，避免大量请求同时击穿数据库。
2. 互斥锁： 在缓存失效时，通过互斥锁（如分布式锁）防止大量请求同时访问数据库。

降低一致性，增强可用性的方案：

1. 优雅降级： 可以暂时关闭一些强一致性的特性，降低服务的一致性要求，以提高可用性。
2. 限流： 通过限制访问速率或请求并发数来保护后端服务。

Redis读写分离：

1. 配置主从复制： 在Redis中配置主从复制，将一个Redis实例作为主节点（写入），其他实例作为从节点（读取）。
2. 读写分离负载均衡： 将读操作分发到多个从节点，减轻主节点的读取压力，提高性能。
3. 故障切换： 当主节点发生故障时，可以手动或自动切换一个从节点为主节点，确保服务的连续性。

12.mq使用过没？rabbitmq的消费机制、confrim机制有几种方式？confrim机制如何实现

RabbitMQ消费机制：

1. 推（Push）模式： 消费者通过订阅队列，在有消息到达时，MQ将消息推送给订阅者。
2. 拉（Pull）模式： 消费者主动从队列中拉取消息。RabbitMQ支持基于消费者的拉取模式，消费者可以根据需要拉取消息。

RabbitMQ的Confirm机制：

RabbitMQ提供了三种Confirm机制：

1. 单个确认模式（Single Confirm）： 生产者每发送一条消息，都等待Broker的确认，即confirm，来确定消息是否成功投递到Broker。
2. 批量确认模式（Multiple Confirm）： 生产者发送多条消息后，批量等待Broker的确认，提高效率。
3. 异步确认模式（Async Confirm）： 异步地等待Broker的确认，通过回调函数处理确认和未确认的消息。

Confirm机制实现：

RabbitMQ的Confirm机制通过channel.confirmSelect()开启，然后针对每条发送的消息，通过channel.waitForConfirms()、channel.waitForConfirmsOrDie()等方法等待Broker的确认。

13.Threadlocal原理？什么时候使用？要注意什么？

ThreadLocal的原理：

ThreadLocal使用了一个特殊的ThreadLocalMap来存储数据。这个ThreadLocalMap是Thread类中的一个成员变量，它以ThreadLocal对象为键，以线程的私有变量副本为值。每个线程都可以根据ThreadLocal对象获取自己线程的独立副本，这样不同线程间的变量副本互不干扰。

何时使用ThreadLocal？

1. 保存线程私有数据： 当多个线程需要使用各自私有的数据，并且数据在方法调用间需要共享时，可以考虑使用ThreadLocal。
2. 避免传递参数： 可以避免将数据作为参数传递给每个方法。

注意事项：

1. 内存泄漏风险： 如果ThreadLocal没有正确释放，可能会导致内存泄漏，因为线程结束后ThreadLocalMap中对应的Entry没有被及时清理，可以通过调用ThreadLocal的remove()方法来手动清理。
2. 线程池使用时谨慎： 如果使用线程池，要注意清理ThreadLocal变量，避免变量泄漏到其他线程中。
3. 谨慎使用全局变量： ThreadLocal虽然能够保存线程私有数据，但滥用全局变量会增加代码的维护难度，并且可能造成不必要的混乱。
4. 可序列化问题： ThreadLocal中存储的数据在序列化时并不会被序列化，可能导致在反序列化后获取不到数据。

14.说一下你对GPT4模型的理解

1. 模型规模和参数量： GPT-4很可能比先前版本拥有更多的参数和更大的模型规模，这可能会提高其在理解语言和生成文本方面的能力。
2. 更强的语言理解和生成能力： GPT-4可能在语言理解、推理和文本生成方面表现更出色，提高对语境和上下文的理解能力，并能够更准确地回答问题、生成连贯的文本。
3. 减少偏见和增强公平性： 针对先前版本在生成文本中可能存在的偏见和不准确性，GPT-4可能采取更多的改进措施来减少这些问题，提高生成文本的公平性和准确性。
4. 更好的可控性和语言生成控制： 或许会增强对文本生成的控制性，使用户能够更精确地控制生成文本的风格、主题和内容，从而使模型在特定场景下更有用。
5. 更好的效率和资源利用： GPT-4可能会优化模型的训练和推理效率，以及资源利用效率，以便更广泛地应用于不同领域和场景。

15.什么是HMM，说一下隐马尔可夫模型原理

隐马尔可夫模型（Hidden Markov Model，HMM）是一种基于概率的统计模型，用于建模观测序列和隐藏的状态序列之间的关系。HMM广泛应用于语音识别、自然语言处理、生物信息学等领域。

隐马尔可夫模型原理：

1. 状态和观测： HMM包含两种序列，一种是隐藏的状态序列（不可直接观测），另一种是对应的观测序列（可观测）。
2. 状态转移概率： 模型假设隐藏状态以概率转移形式转移到下一个状态。这些状态转移概率可以用状态转移矩阵表示，描述不同状态之间的转移概率。
3. 观测概率： 模型还假设每个隐藏状态都关联着一个特定的观测值的概率分布。这些观测概率可以用发射矩阵表示，描述隐藏状态产生特定观测值的概率。
4. 模型参数： HMM的模型参数包括初始状态概率、状态转移概率和观测概率。这些参数通过训练数据来学习和估计，通常使用Baum-Welch算法或Viterbi算法。

HMM的应用：

1. 语音识别： 识别语音中的语言和单词。
2. 自然语言处理： 用于词性标注、命名实体识别等任务。
3. 生物信息学： 应用于基因识别、蛋白质结构预测等。

工作原理举例：

在语音识别中，假设有一个隐藏状态序列（声音状态：浊音、清音等）和对应的观测序列（声音信号），HMM可以通过观测到的声音信号来推断最可能的声音状态序列。模型会根据训练数据学习每个声音状态产生不同声音信号的概率，以及声音状态之间的转移概率，然后利用这些概率来预测最可能的声音状态序列。

16.BP神经网络原理过程，梯度下降...你是如何调参的？

BP神经网络原理过程：

1. 前向传播（Forward Propagation）： 输入数据通过神经网络，逐层计算并传递至输出层，生成预测值。
2. 计算损失（Compute Loss）： 将预测值与实际标签比较，计算损失（误差）。
3. 反向传播（Backward Propagation）： 从输出层向输入层反向传播误差梯度，利用链式法则计算每个权重和偏差对损失的贡献。
4. 梯度下降（Gradient Descent）： 根据反向传播计算得到的梯度，更新神经网络的权重和偏差，以减小损失。这个过程重复多次，直到损失收敛或达到最大迭代次数。

调参方法：

1. 学习率（Learning Rate）： 学习率决定参数更新的步长，选择合适的学习率可以影响训练速度和收敛性。
2. 隐藏层神经元数量和层数： 网络结构的选择会影响模型的性能，需要通过交叉验证等方法来确定最佳的隐藏层和神经元数量。
3. 正则化和dropout： 使用L1、L2正则化或dropout技术来减少过拟合，提高模型泛化能力。
4. 激活函数的选择： 不同的激活函数对网络的训练和收敛性有影响，需要根据问题选择适合的激活函数。
5. 批量大小（Batch Size）： 选择合适的批量大小可以影响训练速度和收敛性。
6. 初始化权重： 合适的权重初始化方法（如Xavier初始化、He初始化等）可以帮助加速收敛。
7. 优化器选择： 选择不同的优化器（如SGD、Adam、RMSprop等）可能影响训练速度和收敛性。

17.大模型使用过没？Bert

BERT的特点和原理：

1. 双向性： BERT能够同时考虑左右两个方向上的上下文信息，这使得它能更好地理解语境。
2. 预训练和微调： BERT通过在大规模语料上的预训练，然后在特定任务上进行微调，适应各种NLP任务。
3. Transformer架构： BERT采用了Transformer模型，其中包括多个自注意力机制层和前馈神经网络层。
4. 词片段嵌入（Word Piece Embeddings）： BERT使用词片段嵌入技术来表示单词和词组，这有助于处理未登录词和不常见词。

BERT的应用：

1. 文本分类： 用于情感分析、文本分类等任务。
2. 问答系统： 在问答任务中取得了很高的成绩，如阅读理解、问题回答等。
3. 命名实体识别： 用于从文本中提取实体信息。
4. 机器翻译和摘要生成： 在语言生成任务中也有广泛应用。

18.用过什么深度学习框架？pytouch 讲一下有没有对模型本身有什么修改，你是如何修改的

修改模型本身的方法：

1. 自定义层（Custom Layers）： PyTorch允许你根据需要创建自定义层，这些层可以具有自己定义的计算方式或参数。通过继承nn.Module类并实现forward函数，你可以创建自定义层并将其添加到模型中。
2. 修改现有模型结构： 在PyTorch中，你可以修改现有预定义模型的结构，例如，在已有的预训练模型基础上添加自定义的层或改变层的结构。
3. 参数初始化： PyTorch允许你自定义模型参数的初始化方法。通过修改模型的参数初始化方式，你可以根据需要改变模型的训练行为。
4. 损失函数的定制化： 你可以根据问题定制自己的损失函数。例如，在多任务学习中，你可以定义一个同时考虑多个任务的复合损失函数。
5. 模型优化器的选择和调整： PyTorch提供了多种优化器（如SGD、Adam等），你可以根据自己的需求选择合适的优化器，并通过修改参数来调整优化器的行为。

19.我论文里面的东西：通用模型如何转换为专用模型之间

1. 微调（Fine-tuning）： 迁移学习（Transfer Learning）： 使用预训练的通用模型（比如BERT、ResNet等）作为初始模型，然后在特定任务的数据上进行微调。通过更换输出层、调整权重或微调整个模型，以适应特定任务。 层的冻结和解冻： 在微调过程中，你可以冻结部分层（通常是模型的底层），使它们在训练过程中保持不变，以保留通用模型的特征提取能力，然后解冻部分或所有层，以便让它们根据特定任务进行微调。
2. 网络结构修改： 添加或删除层： 根据特定任务的要求，你可以在通用模型中添加额外的层来更好地适应特定任务，或者删除一些不必要的层。 特定任务的自定义层： 为了更好地适应特定任务，你可以在通用模型中添加自定义层。这些层可能包括针对特定任务的额外处理、注意力机制、新的分类层等。
3. 数据集的处理： 数据增强： 如果你的专用任务数据量较小，可以通过数据增强技术扩充数据集，提高模型的泛化能力。 标签处理： 根据任务的不同，你可能需要调整或处理标签，以适应特定任务。 数据预处理： 针对特定任务，你可能需要对数据进行不同的预处理，比如文本数据的分词、图像数据的归一化等。