如何找到两个数据集之间的相似性，并生成由这些重合的行组成的新数据帧？

import pandas as pd

# 读取两个数据集，并进行预处理和清洗
data1 = pd.read_csv('data1.csv')
data2 = pd.read_csv('data2.csv')

# 计算相似性度量值
similarity_scores = []
for i in range(len(data1)):
    for j in range(len(data2)):
        # 计算相似性度量值，可以使用余弦相似度等方法
        similarity_score = calculate_similarity(data1.iloc[i], data2.iloc[j])
        similarity_scores.append(similarity_score)

# 将相似度高于阈值的行组成新数据帧
threshold = 0.8
similar_rows = []
for k, score in enumerate(similarity_scores):
    if score > threshold:
        row_data = data1.iloc[k]  # 可根据需求选择data1或data2的行
        similar_rows.append(row_data)

new_dataframe = pd.DataFrame(similar_rows)

# 打印新数据帧
print(new_dataframe)