Felguk commited on
Commit
f7d9daf
·
verified ·
1 Parent(s): b09ea8d

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +39 -39
app.py CHANGED
@@ -4,27 +4,27 @@ from urllib.parse import urlparse, urljoin
4
  from bs4 import BeautifulSoup
5
 
6
  def is_valid_url(url):
7
- """Проверяет, является ли строка валидным URL."""
8
  try:
9
  result = urlparse(url)
10
- return all([result.scheme, result.netloc]) # Проверяем наличие схемы и домена
11
  except:
12
  return False
13
 
14
  def extract_additional_resources(url):
15
- """Извлекает ссылки на CSS, JS и изображения из HTML-кода."""
16
  try:
17
  response = requests.get(url)
18
  response.raise_for_status()
19
  soup = BeautifulSoup(response.text, "html.parser")
20
 
21
- # Извлекаем ссылки на CSS
22
  css_links = [urljoin(url, link["href"]) for link in soup.find_all("link", rel="stylesheet") if "href" in link.attrs]
23
 
24
- # Извлекаем ссылки на JS
25
  js_links = [urljoin(url, script["src"]) for script in soup.find_all("script") if "src" in script.attrs]
26
 
27
- # Извлекаем ссылки на изображения
28
  img_links = [urljoin(url, img["src"]) for img in soup.find_all("img") if "src" in img.attrs]
29
 
30
  return css_links, js_links, img_links
@@ -33,84 +33,84 @@ def extract_additional_resources(url):
33
 
34
  def convert_to_text(url):
35
  if not is_valid_url(url):
36
- return "Ошибка: Введите корректный URL.", "", None, [], [], [] # Возвращаем сообщение об ошибке и пустые данные
37
 
38
  try:
39
- # Устанавливаем заголовки, чтобы имитировать запрос от браузера
40
  headers = {
41
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
42
  }
43
  response = requests.get(url, headers=headers)
44
- response.raise_for_status() # Проверка на ошибки HTTP (например, 404, 500)
45
 
46
- # Возвращаем результаты
47
- status = f"Статус запроса: {response.status_code}"
48
- content_length = f"Размер содержимого: {len(response.text)} символов"
49
  results = f"{status}\n{content_length}"
50
 
51
- # Сохраняем текстовое содержимое в файл
52
  file_path = "downloaded_content.txt"
53
  with open(file_path, "w", encoding="utf-8") as file:
54
  file.write(response.text)
55
 
56
- # Извлекаем дополнительные ресурсы
57
  css_links, js_links, img_links = extract_additional_resources(url)
58
 
59
  return results, response.text, file_path, css_links, js_links, img_links
60
  except requests.exceptions.RequestException as e:
61
- return f"Ошибка: {e}", "", None, [], [], [] # Возвращаем сообщение об ошибке и пустые данные
62
 
63
- # HTML и JavaScript для кнопки "Скопировать код"
64
  copy_button_html = """
65
  <script>
66
  function copyCode() {
67
  const text = document.querySelector("#output-text textarea").value;
68
  navigator.clipboard.writeText(text).then(() => {
69
- alert("Текст скопирован в буфер обмена!");
70
  }).catch(() => {
71
- alert("Не удалось скопировать текст.");
72
  });
73
  }
74
  </script>
75
- <button onclick="copyCode()">Скопировать код</button>
76
  """
77
 
78
- # Подключаем CSS-файл
79
  css = "app.css"
80
 
81
- # Создаем интерфейс Gradio
82
  with gr.Blocks(css=css) as demo:
83
- gr.Markdown("## Конвертер ссылки в текст")
84
- gr.Markdown("Введите ссылку на любой сайт, чтобы получить его текстовое содержимое и скачать его в виде .txt файла.")
85
 
86
  with gr.Row():
87
- url_input = gr.Textbox(label="Введите URL", placeholder="https://example.com")
88
 
89
  with gr.Row():
90
- results_output = gr.Textbox(label="Результаты запроса", interactive=False)
91
- text_output = gr.Textbox(label="Текстовое содержимое", interactive=True, elem_id="output-text")
92
 
93
  with gr.Row():
94
- gr.HTML(copy_button_html) # Добавляем кнопку "Скопировать код"
95
- file_output = gr.File(label="Скачать файл", visible=False) # Скрытый компонент для скачивания файла
96
 
97
- submit_button = gr.Button("Загрузить")
98
  submit_button.click(
99
  fn=convert_to_text,
100
  inputs=url_input,
101
- outputs=[results_output, text_output, file_output, gr.Textbox(label="CSS-файлы"), gr.Textbox(label="JS-файлы"), gr.Textbox(label="Изображения")]
102
  )
103
 
104
- # Добавляем Accordion для скрытия/показа дополнительных ресурсов
105
- with gr.Accordion("Показать/Скрыть дополнительные ресурсы", open=False):
106
- gr.Markdown("### CSS-файлы")
107
- css_output = gr.Textbox(label="CSS-файлы", interactive=False)
108
 
109
- gr.Markdown("### JS-файлы")
110
- js_output = gr.Textbox(label="JS-файлы", interactive=False)
111
 
112
- gr.Markdown("### Изображения")
113
- img_output = gr.Textbox(label="Изображения", interactive=False)
114
 
115
- # Запускаем интерфейс
116
  demo.launch()
 
4
  from bs4 import BeautifulSoup
5
 
6
  def is_valid_url(url):
7
+ """Checks if the string is a valid URL."""
8
  try:
9
  result = urlparse(url)
10
+ return all([result.scheme, result.netloc]) # Check for scheme and domain
11
  except:
12
  return False
13
 
14
  def extract_additional_resources(url):
15
+ """Extracts links to CSS, JS, and images from HTML code."""
16
  try:
17
  response = requests.get(url)
18
  response.raise_for_status()
19
  soup = BeautifulSoup(response.text, "html.parser")
20
 
21
+ # Extract CSS links
22
  css_links = [urljoin(url, link["href"]) for link in soup.find_all("link", rel="stylesheet") if "href" in link.attrs]
23
 
24
+ # Extract JS links
25
  js_links = [urljoin(url, script["src"]) for script in soup.find_all("script") if "src" in script.attrs]
26
 
27
+ # Extract image links
28
  img_links = [urljoin(url, img["src"]) for img in soup.find_all("img") if "src" in img.attrs]
29
 
30
  return css_links, js_links, img_links
 
33
 
34
  def convert_to_text(url):
35
  if not is_valid_url(url):
36
+ return "Error: Please enter a valid URL.", "", None, [], [], [] # Return error message and empty data
37
 
38
  try:
39
+ # Set headers to mimic a browser request
40
  headers = {
41
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
42
  }
43
  response = requests.get(url, headers=headers)
44
+ response.raise_for_status() # Check for HTTP errors (e.g., 404, 500)
45
 
46
+ # Return results
47
+ status = f"Request status: {response.status_code}"
48
+ content_length = f"Content size: {len(response.text)} characters"
49
  results = f"{status}\n{content_length}"
50
 
51
+ # Save text content to a file
52
  file_path = "downloaded_content.txt"
53
  with open(file_path, "w", encoding="utf-8") as file:
54
  file.write(response.text)
55
 
56
+ # Extract additional resources
57
  css_links, js_links, img_links = extract_additional_resources(url)
58
 
59
  return results, response.text, file_path, css_links, js_links, img_links
60
  except requests.exceptions.RequestException as e:
61
+ return f"Error: {e}", "", None, [], [], [] # Return error message and empty data
62
 
63
+ # HTML and JavaScript for the "Copy Code" button
64
  copy_button_html = """
65
  <script>
66
  function copyCode() {
67
  const text = document.querySelector("#output-text textarea").value;
68
  navigator.clipboard.writeText(text).then(() => {
69
+ alert("Text copied to clipboard!");
70
  }).catch(() => {
71
+ alert("Failed to copy text.");
72
  });
73
  }
74
  </script>
75
+ <button onclick="copyCode()">Copy Code</button>
76
  """
77
 
78
+ # Link to the CSS file
79
  css = "app.css"
80
 
81
+ # Create the Gradio interface
82
  with gr.Blocks(css=css) as demo:
83
+ gr.Markdown("## URL to Text Converter")
84
+ gr.Markdown("Enter a URL to fetch its text content and download it as a .txt file.")
85
 
86
  with gr.Row():
87
+ url_input = gr.Textbox(label="Enter URL", placeholder="https://example.com")
88
 
89
  with gr.Row():
90
+ results_output = gr.Textbox(label="Request Results", interactive=False)
91
+ text_output = gr.Textbox(label="Text Content", interactive=True, elem_id="output-text")
92
 
93
  with gr.Row():
94
+ gr.HTML(copy_button_html) # Add the "Copy Code" button
95
+ file_output = gr.File(label="Download File", visible=False) # Hidden file download component
96
 
97
+ submit_button = gr.Button("Fetch Content")
98
  submit_button.click(
99
  fn=convert_to_text,
100
  inputs=url_input,
101
+ outputs=[results_output, text_output, file_output, gr.Textbox(label="CSS Files"), gr.Textbox(label="JS Files"), gr.Textbox(label="Images")]
102
  )
103
 
104
+ # Add an Accordion to show/hide additional resources
105
+ with gr.Accordion("Show/Hide Additional Resources", open=False):
106
+ gr.Markdown("### CSS Files")
107
+ css_output = gr.Textbox(label="CSS Files", interactive=False)
108
 
109
+ gr.Markdown("### JS Files")
110
+ js_output = gr.Textbox(label="JS Files", interactive=False)
111
 
112
+ gr.Markdown("### Images")
113
+ img_output = gr.Textbox(label="Images", interactive=False)
114
 
115
+ # Launch the interface
116
  demo.launch()